CN101969563B - 图像处理装置以及图像处理方法 - Google Patents

Abstract

本发明提供一种在将以块单位进行了编码的图像数据进行解码的情况下能够抑制块失真的图像处理装置及方法。控制部根据滤波处理对象的块的图像数据的各块的编码类型来选择对该块的图像数据实施的滤波处理内容，滤波部按照控制部选择的滤波处理内容来对处理对象的块的图像数据实施滤波处理。

Description

图像处理装置以及图像处理方法

本申请是申请日为2006年7月25日、申请号为200680035326.1(PCT申请号为PCT/JP2006/314639)、发明名称为“图像处理装置、图像处理方法以及程序”的申请的分案申请。 

技术领域

本发明涉及一种将编码的图像数据进行解码的图像处理装置、图像处理方法以及程序。 

背景技术

近年来，在广播台等的信息发布以及一般家庭中的信息接收双方中正在普及如下装置，即该装置将图像数据设为数字来进行处理，此时以高效率传送、蓄积信息为目的，利用图像信息固有的冗长性，并以通过离散余弦变换等正交变换和运动补偿进行压缩的MPEG(Moving Picture Experts Group：运动图像专家组)等方式(方法)为基础。 

接着MPEG2、4方式，提出了被称作H.264/AVC(Advanced Video Coding：高级视频编码)的编码方式。 

在这种H.264/AVC编码装置中，根据从编码对象的图像数据得到的块边界强度数据Bs和量化参数QP，对预测编码的重新构成图像数据实施分块滤波处理，生成下一预测编码中使用的参照图像数据。分块滤波处理是如下处理：抑制对图像数据例如以4×4块为单位进行离散余弦变换(DCT)处理等从而产生的块失真的处理。 

另外，上述H.264/AVC的编码装置将块边界强度数据Bs和量化参数QP附加到编码数据。 

H.264/AVC的解码装置根据附加到编码数据的块边界强度数据Bs和量化参数QP，对重新构成图像数据实施分块滤波处理。 

发明内容

发明要解决的问题

另外，在将以块为单位进行MPEG2、4等H.264/AVC以外的DCT处理等图像数据进行正交变换处理而生成的编码数据进行解码的解码装置中，为了抑制块失真，也有想进行上述分块滤波处理的要求。 

然而，在将这种解码装置设为解码对象的编码图像数据中，不包含上述的块边界强度数据Bs以及量化参数QP，在该解码装置中不能进行分块滤波处理，存在残存块失真从而使解码图像的像质下降的可能性。 

本发明的目的在于提供一种即使在将以块为单位被编码的、没有添加规定滤波处理内容的信息的编码图像数据进行解码的情况下也能够抑制块失真的图像处理装置、图像处理方法以及程序。 

用于解决问题的方案

一种图像处理装置，具备：第一解码单元，其对按照第一编码方式编码得到的第一编码流进行解码来生成第一图像数据；设定单元，其按照预先规定的对应关系，将在生成上述第一编码流时利用的量化刻度变换为在生成按照第二编码方式编码得到的第二编码流时利用的量化参数，并且设定单元根据生成上述第一编码流时的宏块类型，设定块边界强度数据的值，其中，该块边界强度数据的值表示去除被包含在对按照第二编码方式编码得到的第二编码流进行解码而得到的第二图像数据 中的块失真的滤波处理的强度；以及滤波单元，其根据由上述设定单元变换得到的量化参数和通过上述设定单元设定的块边界强度数据的值，将去除被包含在对上述第二编码流进行解码而得到的第二图像数据中的块失真的滤波处理应用于由上述第一解码单元生成的第一图像数据，由此对上述第一图像数据进行滤波处理。 

一种图像处理方法，具备以下工序：解码工序，对按照第一编码方式编码得到的第一编码流进行解码来生成第一图像数据；设定工序，按照预先规定的对应关系，将生成上述第一编码流时利用的量化刻度变换为在生成按照第二编码方式编码得到的第二编码流时利用的量化参数，并且根据生成上述第一编码流时的宏块类型来设定块边界强度数据的值，其中，该块边界强度数据的值表示去除被包含在对按照第二编码方式编码得到的第二编码流进行解码而得到的第二图像数据中的块失真的滤波处理的强度；以及滤波工序，根据通过上述设定工序变换得到的量化参数和通过上述设定工序设定的块边界强度数据的值，将去除被包含在对上述第二编码流进行解码而得到的第二图像数据中的块失真的滤波处理应用于通过上述解码工序生成的第一图像数据，由此对上述第一图像数据进行滤波处理。 

另外，根据本发明的实施方式，提供一种图像处理装置，其将具有以对各个块的图像数据规定的编码方法进行了编码的多个块的图像数据的被编码的图像数据进行解码，该图像处理装置具备：控制单元，其根据滤波处理对象的块的图像数据的上述编码类型来选择对该块的图像数据实施的滤波处理内容；以及滤波单元，其按照上述控制单元选择的上述滤波处理内容对上述处理对象的块的图像数据实施滤波处理。 

根据本发明的实施方式，提供一种图像处理装置，其将具有以对各个块的图像数据规定的编码方法进行了编码的多个块的图像数据的被编码的图像数据进行解码，该图像处理装置具有：可逆解码电路，其构成为将解码对象的上述被编码的图像数据的块的图像数据进行可逆解码；逆量化电路，其构成为将上述可逆解码电路进行可逆解码后的块的图像数据进行逆量化；逆正交变换电路，其构成为将上述逆量化电路进行逆量化后的块的图像数据进行逆正交变换；加法电路，其根据上述逆正交变换电路所生成的块的图像数据和预测图像数据，生成重新构成图像数据；控制部，其构成为根据上述解码对象的被编码的块数据的上述编码类型来选择对该块的图像数据实施的滤波处理内容；以及滤波部，其构成为按照上述控制部所选择的上述滤波处理内容对上述加法电路所生成的重新构成图像数据实施滤波处理。 

另外，根据本发明的实施方式，提供一种图像处理装置，其将具有以对各个块的图像数据规定的编码方法进行了编码的多个块的图像数据的被编码的图像数据进行解码，该图像处理 装置具有：可逆解码单元，其将解码对象的上述被编码的图像数据的块的图像数据进行可逆解码；逆量化单元，其将上述可逆解码单元进行可逆解码后的块的图像数据进行逆量化；逆正交变换单元，其将上述逆量化单元逆量化后的块的图像数据进行逆正交变换；加法单元，其根据上述逆正交变换单元所生成的块的图像数据和预测图像数据，生成重新构成图像数据；控制单元，其根据上述解码对象的被编码的块数据的上述编码类型，选择对该块的图像数据实施的滤波处理内容；以及滤波单元，其按照上述控制单元所选择的上述滤波处理内容，对上述加法单元生成的重新构成图像数据实施滤波处理。 

根据本发明的实施方式，提供一种图像处理方法，将具有以对各个块的图像数据规定的编码方法进行了编码的多个块的图像数据的被编码的图像数据进行解码，该图像处理方法具有：第1工序，根据滤波处理对象的块的图像数据的上述编码类型，选择对该块的图像数据实施的滤波处理内容；以及第2工序，按照在上述第1工序中选择的上述滤波处理内容，对上述处理对象的块的图像数据实施滤波处理。 

根据本发明的实施方式，提供一种程序，是将具有以对各个块的图像数据规定的编码方法进行了编码的多个块的图像数据的被编码的图像数据进行解码的计算机执行的程序，该程序使上述计算机执行：第1过程，根据滤波处理对象的块的图像数据的上述编码类型，选择对该块的图像数据实施的滤波处理内容；以及第2过程，按照在上述第1过程中选择的上述滤波处理内容，对上述处理对象的块的图像数据实施滤波处理。 

发明的效果

根据本发明，能够提供一种即使在将以块为单位被编码的、没有添加规定滤波处理内容的信息的图像数据进行解码的 情况下也能够抑制块失真的图像处理装置、图像处理方法以及程序。 

附图说明

图1是本发明实施方式的通信系统的结构图。 

图2是图1所示的解码装置的功能框图。 

图3是图2所示的AVC解码装置的功能框图。 

图4是用于说明图2以及图3所示的分块滤波器的处理的图。 

图5是用于说明图2以及图3所示的分块滤波器的处理的图。 

图6是图2所示的DEB控制电路的功能框图。 

图7是用于说明图6所示的DEB控制电路为了取得参数α、β而使用的表格数据TABLE1的图。 

图8是用于说明图6所示的DEB控制电路为了取得数据Tc0而使用的表格数据TABLE2的图。 

图9是用于说明图2所示的DEB控制电路所进行的量化参数QP生成处理的流程图。 

图10是用于说明由图2所示的DEB控制电路进行的块边界强度数据Bs的生成处理的流程图。 

图11是用于说明由图2所示的DEB控制电路进行的块边界强度数据Bs的生成处理的图10后续的流程图。 

图12是用于说明由图2所示的DEB控制电路进行的块边界强度数据Bs的生成处理的图11后续的流程图。 

图13是用于说明图2所示的解码装置的第1变形例的图。 

图14是用于说明图2所示的解码装置的其它变形例的图。 

附图标记说明

1：通信系统；2：编码装置；3：解码装置；10：MPEG2解码装置；12：AVC解码装置；30：蓄积缓冲器；31：可逆解 码电路；32：逆量化电路；33：逆正交变换电路；34：加法电路；35：帧存储器；36：运动预测/补偿电路；37：帧内预测电路；38：画面重新排列缓冲器；39：蓄积缓冲器；41：D/A变换电路；47：分块滤波器；50：蓄积缓冲器；51：可逆解码电路；52：逆量化电路；53：逆正交变换电路；54：加法电路；55：帧存储器；56：运动预测/补偿电路；57：帧内预测电路；58：画面重新排列缓冲器；81：α·β取得部；82：index计算部；83：tco取得部；84：滤波器运算部。 

具体实施方式

第1实施方式

下面，说明本发明实施方式的包含有编码装置和解码装置的图像数据通信系统。 

首先，说明本实施方式的结构和本发明的结构之间的关系。 

图2所示的DEB控制电路39是本发明的控制部或者控制单元的一例，分块滤波器47是本发明的滤波部或者滤波单元的一例。 

宏块MB是本发明的块的一例，宏块MB的图像数据是本发明的块的图像数据的一例。 

1块的大小为4×4(或者8×8)像素的块的图像数据是本发明的子块的图像数据的一例。 

本实施方式的量化参数QP是本发明的量化参数的一例，块边界强度数据Bs是本发明的块边界强度数据的一例。 

另外，图14所示的程序PRG是本发明的程序的一例，存储器252是记录介质的一例。除了半导体存储器之外，记录介质也可以是光盘、磁光盘或者磁盘等。 

图1是本实施方式的图像数据通信系统1的概念图。 

图像数据通信系统1具有隔着传送介质或者传送通路5设置 在发送侧的编码装置2和设置在接收侧的解码装置3。 

在图像数据通信系统1中，在发送侧的编码装置2中生成通过离散余弦变换、卡亨南-洛维(カル一ネン·レ一ベ)变换等正交变换和运动补偿进行了压缩的各帧中每一帧的图像数据(位流)，在对该帧图像数据进行调制后，通过人造卫星播放波、有线TV网、电话线路网、便携电话线路网等传送介质5发送到解码装置3。 

在接收侧，在对在解码装置3中接收到的图像信号进行解调后，生成通过上述调制时正交变换的逆变换和运动补偿而展开的帧图像数据来利用。 

此外，上述传送介质5不限于传送通路，也可以是光盘、磁盘以及半导体存储器等记录介质。 

下面，说明图1所示的解码装置3。 

图2是图1所示的解码装置3的全体结构图。 

解码装置3例如具有MPEG2解码装置10和AVC解码装置12。 

<MPEG2解码装置> 

如图2所示，MPEG2解码装置10例如具有蓄积缓冲器30、可逆解码电路31、逆量化电路32、逆正交变换电路33、加法电路34、帧存储器35、运动预测/补偿电路36、帧内预测电路37、画面重新排列缓冲器38、DEB控制电路39、以及D/A变换电路41。 

DEB控制电路39进行量化参数QP的生成处理和块边界强度数据Bs的生成处理。 

在蓄积缓冲器30中被写入解码装置3所输入(接收)的在编码装置2中以MPEG方式进行了编码的图像数据S9。 

在判断为编码图像数据S9内的处理对象的宏块MB的图像 数据被帧间编码的情况下，可逆解码电路31对写入到编码图像数据S9头部中的运动向量进行解码，并输出到运动预测/补偿电路36。 

在判断为图像数据S9内的处理对象的宏块MB的图像数据被帧内编码的情况下，可逆解码电路31对写入到编码图像数据S9头部中的帧内预测模式信息进行解码，并输出到帧内预测电路37。 

可逆解码电路31对编码图像数据S9进行解码并输出到逆量化电路32。 

可逆解码电路31将编码图像数据S9中包含的各宏块MB的图像数据的量化刻度Q_SCALE以及MB(Macro Block：宏块)类型输出到DEB控制电路39。 

逆量化电路32根据从可逆解码电路31输入的量化刻度Q_SCALE，对由可逆解码电路31解码的图像数据(正交变换系数)进行逆量化并输出到逆正交变换电路33。 

逆正交变换电路33对从逆量化电路32输入的图像数据(正交变换系数)实施1块为8×8像素单位的逆正交变换处理来生成差分图像数据，并将其输出到加法电路34。 

加法电路34将来自运动预测/补偿电路36或者帧内预测电路37的预测图像数据PI和来自逆正交变换电路33的差分图像数据进行相加来生成图像数据，并将其写入到帧存储器35以及画面重新排列缓冲器38中。 

运动预测/补偿电路36根据从帧存储器35读出的参照图像数据和从可逆解码电路31输入的运动向量而生成预测图像数据PI，并将其输出到加法电路34。 

帧内预测电路37根据从可逆解码电路31输入的帧内预测模式而生成预测图像数据PI，并将其输出到加法电路34。 

画面重新排列缓冲器38在对从加法电路34写入的解码后的图像数据进行图2以及图3所示的AVC解码装置12的分块滤波器53的滤波处理后，按显示顺序将滤波处理结果读出到D/A变换电路41。 

DEB控制电路39根据从可逆解码电路31输入的各宏块MB的图像数据的量化刻度Q_SCALE、以及MB类型而生成块边界强度数据Bs和量化参数QP，并将其输出到AVC解码装置12的分块滤波器53。 

在后面详细说明DEB控制电路39的处理。 

D/A变换电路41对从画面重新排列缓冲器38输入的图像数据实施D/A变换处理从而生成图像信号S10，并将其输出到解码装置3的外部。 

<AVC解码装置> 

如图3所示，AVC解码装置12例如具有蓄积缓冲器50、可逆解码电路51、逆量化电路52、逆正交变换电路53、加法电路54、帧存储器55、运动预测/补偿电路56、帧内预测电路57、画面重新排列缓冲器58、D/A变换电路61、分块滤波器47。 

在蓄积缓冲器50中被写入解码装置3所输入(接收)的以AVC方式编码的图像数据S13。 

在判断为图像数据S13内的处理对象的宏块MB的图像数据被帧间编码的情况下，可逆解码电路51对写入到图像数据S13头部中的运动向量进行解码并输出到运动预测/补偿电路56。 

在判断为图像数据S13内的处理对象的宏块MB被帧内编码的情况下，可逆解码电路51对写入到图像数据S13头部中的帧内预测模式信息进行解码并输出到帧内预测电路57。并且，可逆解码电路51将图像数据S13进行解码并输出到逆量化电路 52。并且，可逆解码电路51将图像数据S13中包含的各宏块MB的图像数据的量化参数QP、以及块边界强度数据Bs输出到分块滤波器47。 

逆量化电路52根据从可逆解码电路31输入的量化参数QP，将表示由可逆解码电路51解码的图像数据的数据(正交变换系数)进行逆量化，并输出到逆正交变换电路53。 

逆正交变换电路53对表示从逆量化电路52输入的图像数据的数据(正交变换系数)实施每1块为4×4像素单位的逆正交变换处理从而生成差分图像数据，并将其输出到加法电路54。 

加法电路54将来自运动预测/补偿电路56或者帧内预测电路57的预测图像数据PI和来自逆正交变换电路53的差分图像数据进行相加来生成图像数据，并将其输出到分块滤波器47。 

分块滤波器47根据从逆量化电路52输入的量化参数QP和块边界强度数据Bs，对从加法电路54输入的图像数据实施分块滤波处理，将处理后的图像数据写入到帧存储器55以及画面重新排列缓冲器38中。 

运动预测/补偿电路56根据从帧存储器55读出的参照图像数据和从可逆解码电路51输入的运动向量而生成预测图像数据PI，并将其输出到加法电路54。 

帧内预测电路57根据从可逆解码电路51输入的帧内预测模式生成预测图像数据PI，并将其输出到加法电路54。 

画面重新排列缓冲器58将从分块滤波器47写入的解码后的图像数据按显示顺序读出到D/A变换电路61。 

D/A变换电路61对从画面重新排列缓冲器58输入的图像数据实施D/A变换处理来生成图像信号S14，并将其输出到解码装置3的外部。 

<分块滤波器> 

分块滤波器47实施滤波处理使得所输入的图像数据中包含的块失真减少。 

具体地说，分块滤波器47根据所输入的量化参数QP和块边界强度数据Bs，例如如图4所示以4×4像素的块的图像数据为单位，对16×16像素的宏块MB内的图像数据进行水平方向以及垂直方向的滤波处理。 

块边界强度数据Bs例如根据H.264/AVC规定为如图5所示。 

例如如图5所示，在像素数据p或者q的任一方属于被帧内编码的宏块MB、且该像素数据位于宏块MB的边界的情况下，块边界强度数据Bs被分配滤波强度最高的“4”。 

例如如图5所示，在像素数据p或者q的任何一方属于被帧内编码的宏块MB、且该像素数据没有位于宏块的MB边界的情况下，块边界强度数据Bs被分配“4”的其次滤波强度高的“3”。 

例如如图5所示，在像素数据p以及q的双方都不属于被帧内编码的宏块MB、且任一个像素数据具有变换系数的情况下，块边界强度数据Bs被分配“3”的其次滤波强度高的“2”。 

例如如图5所示，在像素数据p以及q的双方都不属于被帧内编码的宏块MB、且满足任一个像素数据不具有变换系数的条件的情况、且满足参照帧不同、或参照帧的张数不同、或运动向量不同的任何一个条件的情况下，块边界强度数据Bs被分配“1”。 

例如如图5所示，在像素数据p、q的双方都不属于被帧内编码的宏块MB、哪个像素数据都不具有变换系数、且参照帧以及运动向量相同的情况下，块边界强度数据Bs被分配表示不进行滤波处理的“0”。 

图6是分块滤波器47的结构图。 

分块滤波器47例如具有α·β取得部81、index计算部82、tc0 取得部83、以及滤波器运算部84。 

α·β取得部81将所输入的量化参数QP设为关键字，参照图7所示的表格数据TABLE1来取得数据(参数)α、β。 

在此，参数α、β默认为如图7所示，根据各宏块的图像数据的量化参数QP而决定其值。 

但是，关于参数α、β的值，用户能够根据解码对象的图像数据(bitstream)中的Slice头数据中包含的slice#alpha#c0#offset#div2以及slice#beta#offset#div2这样的两个参数而进行调整。 

index计算部82输入相邻的宏块MB(P)和MB(Q)的图像数据的量化参数QP，并按照下述式(1)计算数据indexA、B。 

此外，在下述式(1)中，FilterOffsetA以及FilterOffsetB相当于由用户进行的调整。 

在图6中，qPP表示宏块MB(P)的图像数据的量化参数QP，qPq表示宏块MB(Q)的图像数据的量化参数QP。 

[式1] 

qPav＝(qPp+qPq+1)＞＞1 

indexA＝Clip3(0，51，qPav+FilterOffsetA) 

indexB＝Clip3(0，51，qPav+FilterOffsetB) 

...(1) 

tc0取得部83将块边界强度数据B s和从index计算部82输入的数据indexA作为关键字，根据图8所示的表格数据TABLE2取得数据tc0，将其输出到滤波器运算部84。 

如以下所示，滤波器运算部84在“Bs＜4”的情况和“Bs＝4”的情况下进行不同的滤波处理。 

首先，说明“Bs＜4”的情况。 

滤波器运算部84进行下述式(2)所示的运算，计算滤波处理后的像素数据p0’、q0’。 

在下述式(2)中，Clip3表示截取(clipping)处理。 

[式2] 

p0′＝Clip1(p0+Δ) 

q0′＝Clip1(q0+Δ) 

Δ＝Clip3(-tc，tc((((q0-p0)＜＜2)+(p1-q1)+4)＞＞3)) 

...(2) 

在标志chromaEdgeFlag表示“0”的情况下，滤波器运算部84根据下述式(3)计算上述式(2)的“tc”，在除此之外的情况下根据下述式(4)计算上述式(2)的“tc”。 

在下述式(3)中，“()？1:0”在满足()内的条件时表示“1”，在除此之外的情况下表示“0”。 

[式3] 

tc＝tc0+((ap＜β)？1:0)+(aq＜β)？1:0)    ...(3) 

[式4] 

tc＝tc0+1                                 ...(4) 

另外，滤波器运算部84按照下述式(5)计算上述式(3)的ap、aq。 

[式5] 

ap＝|p2-p0| 

aq＝|q2-q0| 

...(5) 

在chromaEdgeFlag是0、且ap是β以下的情况下，滤波器运算部84进行下述式(6)所示的运算来计算滤波处理后的像素数 据p1’，在除此之外的情况下通过下述式(7)取得滤波处理后的像素数据p1’。 

[式6] 

p1′＝p1+Clip3(-tc0，tc0，(p2+((p0+q0+1)＞＞1)-(p1＜＜1))＞＞1) 

...(6) 

[式7] 

p1′＝p1    ...(7) 

在chromaEdgeFlag是0、且aq是β以下的情况下，滤波器运算部84进行下述式(8)所示的运算来计算滤波处理后的像素数据q1’，在除此之外的情况下通过下述式(9)取得滤波处理后的像素数据q1’。 

[式8] 

q1′＝q1+Clip3(-tc0，tc0，(q2+((p0+q0+1)＞＞1)-(q1＜＜1))＞＞1) 

...(8) 

[式9] 

q1′＝q1    ...(9) 

下面，说明“Bs＝4”的情况。 

在标志chromaEdgeFlag表示“0”、且满足下述式(10)的条件的情况下，滤波器运算部84按照下述式(11)计算像素数据p0’、p1’、p2’。 

[式10] 

ap＜β&&|p0-q0|＜((α＞＞2)+2)    ...(10) 

[式11] 

p0′＝(p2+2·p1+2·p0+2·q0+q1+4)＞＞3 

p1′＝(p2+p1+p0+q0+2)＞＞2 

p2′＝(2·p3+3·p2+p1+p0+q0+4)＞＞3 

...(11) 

在标志chromaEdgeFlag表示“0”、且不满足下述式(10)的条件的情况下，滤波器运算部84按照下述式(12)计算像素数据p0’、p1’、p2’。 

[式12] 

p0′＝(2·p1+p0+q1+2)＞＞2 

p1′＝p1 

p2′＝p2 

...(12) 

在标志chromaEdgeFlag表示“0”、且满足下述式(13)的条件的情况下，滤波器运算部84按照下述式(14)计算像素数据q0’、q1’、q2’。 

[式13] 

aq＜β&&|p0-q0|＜((α＞＞2)+2)    ...(13) 

[式14] 

q0′＝(p1+2·p0+2·q0+2·q1+q2+4)＞＞3 

q1′＝(p0+q0+q1+q2+2)＞＞2 

q2′＝(2·q3+3·q2+q1+q0+p4+4)＞＞3 

...(14) 

在标志chromaEdgeFlag表示“0”、且不满足下述式(10)的条件的情况下，滤波器运算部84按照下述式(15)计算像素数据q0’、q1’、q2’。 

[式15] 

q0′＝(2·q1+q0+p1+2)＞＞2 

q1′＝q1 

q2′＝q2 

...(15) 

[DEB控制电路] 

详细说明图2所示的DEB控制电路39的处理。 

如以下所示，DEB控制电路39进行量化参数QP的生成处理和块边界强度数据Bs的生成处理。 

首先，说明DEB控制电路39的量化参数QP的生成处理。 

图9是用于说明图2所示的DEB控制电路39所进行的量化参数QP的生成处理的流程图。 

步骤ST11： 

如前所述，DEB控制电路39从可逆解码电路31输入MPEG2方式的图像数据S9中包含的各宏块MB的量化刻度Q_SCALE。 

步骤ST12： 

DEB控制电路39确定与在步骤ST11中输入的量化刻度Q_SCALE对应的量化参数QP。 

另外，在H.264/AVC的量化参数QP(范围0～31)和MPEG2的量化刻度Q_SCALE之间，下述式(16)成立。 

[式16] 

Q_SCALE＝2²⁰/(676×A(QP))    ...(16) 

上述式(16)内的A(QP)对于QP＝0～31中的各个规定为如下述式(17)。 

[式17] 

A(QP＝0，...，31)＝[620，553，492，439，391，348，310，276，246，219，195，174，155，138，123，110，98，87，78，69，62，55，49，44，39，35，31，27，24，22，19，17] 

...(17) 

根据上述式(16)、(17)，下述式(18)的关系成立。 

[式18] 

Q_SCALE(QP＝0，...，31)＝[2.5019，2.8050，3.1527，3.5334，3.9671，4.4573，5.0037，5.6201，6.3055，7.0829，7.9546，8.9146，10.0074，11.2402，12.6110，14.1013，15.8280，17.8293，19.8865，22.4804，25.0185，28.2027，31.6561，35.2534，39.7730，44.3185，50.0370，57.4499，64.6312，70.5067，81.6394，91.2440] 

...(18) 

DEB控制电路39以输入的量化刻度Q_SCALE为关键字，使用规定了上述式(18)所示的关系的表格数据，取得与其对应的量化参数QP。 

接着，上述量化参数QP的范围是0～31，以H.264/AVC规定的量化参数QP的范围是0～51，因此通过下述式(19)计算新的量化参数QP，将其输出到分块滤波器47。 

[式19] 

QP＝QP+12    ...(19) 

接着，说明DEB控制电路39的块边界强度数据Bs的生成处理。 

图10～图12是用于说明DEB控制电路39的块边界强度数据Bs的生成处理的流程图。 

步骤ST21： 

DEB控制电路39从可逆解码电路31输入MPEG方式的图像数据S9的处理对象的宏块MB的图像数据的MB类型(MB类型指示数据)。 

步骤ST22： 

DEB控制电路39当判断为在步骤ST21中输入的MB类型是“Intra”或者“Intra+Q”时进入到步骤ST23，在不是的情况下进入到步骤ST24。 

在此，“Intra”表示宏块MB的图像数据被帧内编码的情形。另一方面，“Intra+Q”表示宏块MB的图像数据被帧内编码、且有量化步骤的更新的情形。 

MPEG2的“Intra”、“Intra+Q”与H.264/AVC的“Intra”对应。 

步骤ST23： 

DEB控制电路39对块边界强度数据Bs[0]设定“4”，对块边界强度数据Bs[2]设定“3”。 

之后，DEB控制电路39进入图12所示的步骤ST35。 

步骤ST24： 

DEB控制电路39当判断为在步骤ST21中输入的MB类型是“MC+Coded”、“MC+Coded+Q”、“NotMC+Coded”或者“NotMC+Coded+Q”时进入步骤ST25，在不是的情况下进入步骤ST26。 

在此，“MC+Coded”表示需要进行帧间预测编码(运动预测/补偿)的情形、即进行了帧间预测编码的情形。“MC+Coded+Q”表示进行帧间预测编码、进行了量化值的变换的情形。“NotMC+Coded”表示不进行运动补偿而只进行了DCT系数的解码的情形。“NotMC+Coded”表示不进行运动补偿而进行量化值的变换的情形。 

MPEG2的“MC+Coded”以及“MC+Coded+Q”与H.264/AVC的“Inter 16×16”对应。 

“NotMC+Coded”以及“NotMC+Coded+Q”与H.264/AVC的“Direct 16×16”对应。 

步骤ST25： 

DEB控制电路39对块边界强度数据Bs[0]、Bs[2]设定“2”。 

之后，DEB控制电路39进入到图12所示的步骤ST35。 

步骤ST26： 

DEB控制电路39当判断为在步骤ST21中输入的MB类型是“MC+Not Coded”时进入到步骤ST27，在不是的情况下进入到步骤ST30。 

在此，“MC+Not Coded”表示进行运动补偿但是不进行DCT系数的解码。 

MPEG2的“MC+Not Coded”与H.264/AVC的“Inter 16×16”对应。 

步骤ST27： 

DEB控制电路39当判断为与处理对象的图像数据的宏块MB相邻的宏块MB的图像数据具有有效的正交变换系数(DCT系数)时进入到步骤ST28，在不是的情况下进入到步骤ST29。 

步骤ST28： 

DEB控制电路39对块边界强度数据Bs[0]设定“2”。 

此时，DEB控制电路39对块边界强度数据Bs[2]设定“0”。 

之后，DEB控制电路39进入到图12所示的步骤ST35。 

步骤ST29： 

DEB控制电路39对块边界强度数据Bs[0]以及Bs[2]设定“0”。 

之后，DEB控制电路39进入到图12所示的步骤ST35。 

步骤ST30： 

在来到ST30的情况下，MB类型是“Skip”。 

在此，“Skip”表示没有对运动向量进行编码的情形。 

在MPEG2中，处理根据是P图片还是B图片而不同。P图片 中的MPEG2的“Skip”与H.264/AVC的“Temporal Direct 16×16”对应。B图片中的MPEG2的“Skip”与H.264/AVC的“Spatial Direct16×16”对应。 

DEB控制电路39当判断为当前的图片类型是P图片时进入到步骤ST31，在不是的情况下进入到步骤ST32。 

步骤ST31： 

DEB控制电路39对块边界强度数据Bs[0]、Bs[2]设定“0”。 

之后，DEB控制电路39进入到图12所示的步骤ST35。 

步骤ST32： 

DEB控制电路39当判断为与处理对象的图像数据的宏块MB相邻的宏块MB具有有效的正交变换系数(DCT系数)时进入到步骤ST33，在不是的情况下进入到步骤ST34。 

步骤ST33： 

DEB控制电路39对块边界强度数据Bs[0]设定“2”。 

此时，DEB控制电路39对块边界强度数据Bs[2]设定“0”。 

之后，DEB控制电路39进入到图12所示的步骤ST35。 

步骤ST34： 

DEB控制电路39对块边界强度数据Bs[0]以及Bs[2]设定“0”。 

之后，DEB控制电路39进入到图12所示的步骤ST35。 

步骤ST35： 

DEB控制电路39对块边界强度数据Bs[1]、[3]设定“0”。 

下面，说明图2所示的解码装置3的动作例。 

在此，说明将MPEG2方式的图像数据S 9进行解码的情况。 

图像数据S9在被存储到蓄积缓冲器30中后，输出到可逆解码电路31。 

接着，可逆解码电路31在判断为图像数据S9内的处理对象 的宏块MB的图像数据被帧间编码的情况下，将写入到其头部中的运动向量进行解码并输出到运动预测/补偿电路36。 

另外，可逆解码电路31在判断为图像数据S9内的处理对象的宏块MB的图像数据被帧内编码的情况下，将写入到其头部中的帧内预测模式信息进行解码并输出到帧内预测电路37。 

可逆解码电路31将图像数据S9进行解码并输出到逆量化电路32。 

可逆解码电路31将图像数据S9中包含的各宏块MB的图像数据的量化刻度Q_SCALE和MB类型输出到DEB控制电路39。 

接着，逆量化电路32根据从可逆解码电路31输入的量化刻度Q_SCALE，将由可逆解码电路31解码得到的图像数据(正交变换系数)进行逆量化，并输出到逆正交变换电路33。 

接着，逆正交变换电路33对从逆量化电路32输入的图像数据(正交变换系数)实施8×8像素单位的逆正交变换处理来生成差分图像数据，并将其输出到加法电路34。 

接着，加法电路34将来自运动预测/补偿电路36或者帧内预测电路37的预测图像数据PI和来自逆正交变换电路33的差分图像数据进行相加来生成图像数据，并将其写入到帧存储器35以及画面重新排列缓冲器38。 

与上述处理并行地，DEB控制电路39进行图9所示的处理，将量化参数QP输出到分块滤波器47。 

另外，DEB控制电路39进行图10～图12所示的处理，将块边界强度数据Bs输出到分块滤波器47。 

分类滤波器47根据从DEB控制电路39输入的量化参数QP以及块边界强度数据Bs，对存储在画面重新排列缓冲器38中的图像数据实施分块滤波处理。 

之后，图像数据按显示顺序被读出到可逆解码电路31，并 变换为图像信号S10。 

另一方面，在将H.264/AVC方式的图像数据S13进行解码的情况下，AVC解码装置12与一般的AVC解码装置相同地将图像数据S13进行解码而输出图像信号S14。 

如以上所说明，根据解码装置3，能够对MPEG2方式的图像数据S9实施分块滤波器47的分块滤波处理，能够生成抑制了块失真的高质量的解码后的图像信号S10。 

另外，根据解码装置3，在MPEG2解码装置10中利用AVC解码装置12的分块滤波器47，因此能够避免装置的大规模化。 

第2实施方式

作为第2实施方式，MPEG2解码装置10在所输入的图像数据S9是隔行扫描信号的情况下进行下面的处理。 

在MPEG2中，对隔行扫描信号除了帧预测之外还使用场预测、双主(dual prime)预测，对残差信号使用帧DCT以及场DCT。由此，出现与帧信号不同的块失真。 

在编码装置中以场信号进行DCT处理、且图像数据S9的处理对象的宏块MB是帧构造的情况下，如图13所示，MPEG2解码装置10在将图像数据S9变换为场构造后进行分块滤波处理。在此，处理对象的宏块MB的图像数据被变换为场构造，变成横16×纵8像素的块的图像数据。 

而且，MPEG2解码装置10的DEB控制电路39对块边界强度数据Bs[1]、[3]设定分别与第1实施方式中说明的块边界强度数据Bs[0]、[2]相同的值。 

由此，实际能够以进行了DCT处理的块为基准，对图像数据实施分块滤波处理。 

第3实施方式

作为第3实施方式，叙述基于DCT类型不同的块边界强度数 据Bs的设定方法。 

在MPEG2中，按每个宏块MB能够选择帧DCT和场DCT这两种。 

在此，在水平方向上相邻的两个宏块MB的图像数据是不同的DCT类型的情况下，产生块失真的可能性高。一般在MPEG2的编码装置中选择帧DCT的是时间相关高的部分，选择场DCT的是在场间产生运动的部分。因此，对相邻宏块MB的图像数据预想为图像性质不同。 

因此，在本变形例中，DEB控制电路39在分块滤波处理的对象的宏块MB的图像数据、和与其在水平方向上相邻的宏块MB的图像数据之间DCT类型不同的情况下，例如对水平方向的块边界强度数据Bs[0]设定“3”。即，DEB控制电路39进行控制，使得在分块滤波处理对象的宏块MB的图像数据和与其在水平方向上相邻的宏块MB的图像数据之间DCT类型不同的情况下，与DCT类型相同的情况相比对边界部分实施更强的分块滤波处理。 

本发明并不限定于上述实施方式。 

即，本领域技术人员也可以在本发明的技术范围或者其均等范围内，对上述实施方式的结构要素进行各种变更、组合、子组合以及代替。 

例如，也可以如图13所示，由CPU(Central Proces sing Unit：中央处理单元)等的处理电路25按照存储在存储器252中的程序PRG的记述，来执行上述解码装置3的功能的全部或者一部分。 

在这种情况下，通过接口251输入解码对象的图像数据，输出其处理结果。 

另外，在上述例子中，叙述了将MPEG-2设为输入的情况，但是本发明范围不限于此，通常能够应用利用离散余弦变换等正交变换的以JPEG、MPEG、H.26x为代表的图像编码方式。 

Claims (11)

1.一种图像处理装置，具备：

第一解码单元，其对按照第一编码方式编码得到的第一编码流进行解码来生成第一图像数据；

设定单元，其按照预先规定的对应关系，将在生成上述第一编码流时利用的量化刻度变换为在生成按照第二编码方式编码得到的第二编码流时利用的量化参数，并且设定单元根据生成上述第一编码流时的宏块类型，设定块边界强度数据的值，其中，该块边界强度数据的值表示去除被包含在对按照第二编码方式编码得到的第二编码流进行解码而得到的第二图像数据中的块失真的滤波处理的强度；以及

滤波单元，其根据由上述设定单元变换得到的量化参数和通过上述设定单元设定的块边界强度数据的值，将去除被包含在对上述第二编码流进行解码而得到的第二图像数据中的块失真的滤波处理应用于由上述第一解码单元生成的第一图像数据，由此对上述第一图像数据进行滤波处理。

2.根据权利要求1所述的图像处理装置，其特征在于，

还具备第二解码单元，该第二解码单元对上述第二编码流进行解码来生成上述第二图像数据，

上述滤波单元将去除被包含在上述第一图像数据中的块失真的滤波处理以及去除被包含在上述第二图像数据中的块失真的滤波处理设为相同的滤波处理。

3.根据权利要求2所述的图像处理装置，其特征在于，

上述设定单元进行变换，使得量化参数与去除被包含在上述第二图像数据中的块失真的滤波处理的强度对应。

4.根据权利要求2所述的图像处理装置，其特征在于，

上述设定单元设定上述块边界强度数据的值，使得该块边界强度数据的值与去除被包含在上述第二图像数据中的块失真的滤波处理的强度对应。

5.根据权利要求3或4所述的图像处理装置，其特征在于，

上述第一编码方式为MPEG2标准，

上述第二编码方式为H.264/AVC标准。

6.根据权利要求5所述的图像处理装置，其特征在于，

上述滤波单元为遵照H.264/AVC标准的分块滤波器。

7.根据权利要求6所述的图像处理装置，其特征在于，

上述设定单元具有表，该表用于将MPEG2的量化刻度变换为与该量化刻度对应的量化参数，

使用上述表将量化刻度变换为量化参数，并且将通过变换得到的量化参数的范围变换为H.264/AVC的范围。

8.根据权利要求6所述的图像处理装置，其特征在于，

在对上述块边界强度数据设定最大值的情况下，上述滤波单元执行与对上述块边界强度数据设定其它值的情况下不同的滤波处理，

上述设定单元在MPEG方式的图像数据的宏块被帧内编码的情况下或者在MPEG方式的宏块被帧内编码且量化步骤有更新的情况下，对上述块边界强度数据设定上述最大值。

9.根据权利要求7所述的图像处理装置，其特征在于，

上述滤波单元对利用隔行方式获得的上述第一图像数据，在将其变换为场结构之后对其执行去除块失真的滤波处理。

10.根据权利要求8所述的图像处理装置，其特征在于，

上述滤波单元对利用隔行方式获得的上述第一图像数据，在将其变换为场结构之后对其执行去除块失真的滤波处理。

11.一种图像处理方法，具备以下工序：

解码工序，对按照第一编码方式编码得到的第一编码流进行解码来生成第一图像数据；

设定工序，按照预先规定的对应关系，将生成上述第一编码流时利用的量化刻度变换为在生成按照第二编码方式编码得到的第二编码流时利用的量化参数，并且根据生成上述第一编码流时的宏块类型来设定块边界强度数据的值，其中，该块边界强度数据的值表示去除被包含在对按照第二编码方式编码得到的第二编码流进行解码而得到的第二图像数据中的块失真的滤波处理的强度；以及

滤波工序，根据通过上述设定工序变换得到的量化参数和通过上述设定工序设定的块边界强度数据的值，将去除被包含在对上述第二编码流进行解码而得到的第二图像数据中的块失真的滤波处理应用于通过上述解码工序生成的第一图像数据，由此对上述第一图像数据进行滤波处理。

Images