CN102132567A - 图像显示装置、录像再生装置、以及图像处理方法 - Google Patents

Abstract

本发明涉及更适合地降低闪烁噪声的图像处理技术。本发明的图像显示装置具备：输入包括通过画面内预测和画面间预测而进行了编码的图像的编码图像数据的输入部；对所述编码图像数据进行解码的图像解码部；对从所述图像解码部输出的解码图像进行滤波处理的滤波器部；以及显示所述滤波处理后的图像的显示部。所述滤波器部执行对从所述图像解码部输出的解码图像中的、至少时间上仅接着通过画面内预测而解码了的解码图像之前的通过画面间预测解码了的解码图像内的像素值进行校正的处理。

Description

图像显示装置、录像再生装置、以及图像处理方法

技术领域

本发明涉及对编码后的图像信号进行解码而再生、显示的图像处理技术。

背景技术

作为对TV信号等运动图像数据高效地进行编码而记录或者传送的方法，制定了MPEG(Moving Picture Experts Group，运动图像专家组)方式等编码方式，作为MPEG-1规格、MPEG-2规格、MPEG-4规格等而成为国际标准的编码方式。另外，进而作为提高压缩率的方式，制定了H.264/AVC(Adbanced Video Coding，高级视频编码)规格等。

一般在运动图像编码中，通过利用了图像的空间方向或者时间方向的相关性的预测编码、频率变换、量化、以及可变长度编码等处理而实现高的压缩效率，但在上述的编码的过程中使用了无法恢复到原来的信号的非可逆编码方法，所以在解码图像中相对原来的原图像产生信号的劣化。以下，将由于所述编码产生的信号的劣化称为编码失真。

作为编码失真之一而举出的闪烁噪声是指，在解码图像中针对每个帧或者针对每几帧，亮度、颜色大幅地变化，所以画面闪烁而看起来劣化。专利文献1公开了减轻闪烁噪声的技术。

专利文献1：日本特开2006-229411号公报

发明内容

但是，专利文献1所记载的技术提出了相对在对运动图像进行编码时仅使用了画面内预测编码(利用了1个画面内的图像信号的相关性的预测编码)的情况的解码图像，而降低闪烁噪声的技术，相对在使用一般的运动图像编码中使用的画面间预测编码(利用了多个画面之间的图像信号的相关性的预测编码)来进行编码的情况，存在闪烁噪声未必被充分降低这样的课题。

本发明是鉴于所述课题而完成的，其目的在于更适合地降低闪烁噪声。

本发明的一个实施方式例如如权利要求书的记载那样地构成即可。

根据本发明，更适合地降低闪烁噪声。

附图说明

图1是本发明的实施例1的图像显示装置的结构框图。

图2是示出生成输入到本发明的实施例1的图像显示装置中的编码图像数据的编码装置的一个例子的框图。

图3是详细示出本发明的实施例1的图像解码部的框图。

图4是示出编码图像数据的结构以及闪烁失真的产生例的说明图。

图5是示出本发明的实施例1的图像处理部的动作例的说明图。

图6是示出本发明的实施例1的图像处理部的动作例的说明图。

图7是示出本发明的实施例1的图像处理部的动作例的说明图。

图8是示出本发明的实施例1的图像处理部的动作例的说明图。

图9是示出本发明的实施例1的图像处理部的动作例的说明图。

图10是本发明的实施例3的录像再生装置的结构框图。

图11是示出本发明的实施例1的图像处理部的动作例的说明图。

图12是示出本发明的实施例1的图像处理部的动作例的说明图。

图13是示出本发明的实施例1的图像处理部的动作例的说明图。

图14是示出本发明的实施例1的图像处理部的动作例的说明图。

图15是示出本发明的实施例2的图像处理部的动作例的说明图。

图16是示出本发明的实施例2的图像处理部的动作例的说明图。

图17是示出本发明的实施例2的图像处理部的动作例的说明图。

图18是示出本发明的各实施例的图像处理部的动作例的说明图。

(符号说明)

100：图像显示装置；101：输入部；102：图像解码部；103：第1缓冲器部；104：第2缓冲器部；105：第3缓冲器部；106：滤波器部；107：切换部；108：输出部；150：编码图像数据；151：解码图像；152：从第1缓冲器部(103)输出的解码图像；153：从第2缓冲器部(104)输出的解码图像；154：从第3缓冲器部(105)输出的解码图像；155：滤波处理后的解码图像；156：从切换部(107)输出的解码图像；200：图像编码装置；201：块分割部；202：减法器；203：DCT部；204：量化部；205：可变长度编码部；206：逆量化部；207：逆DCT部；208：加法器；209：帧存储器；210：运动搜索部；250：输入图像；251：输入图像块；252：差分图像信号；253：量化数据；254：编码图像数据；255：参照图像；256：预测图像块；257：运动信息；301：可变长度解码部；302：逆量化部；303：逆DCT部；304：加法器；305：帧存储器；306：运动补偿部；350：编码图像数据；351：差分块数据；352：参照图像；353：解码图像；354：运动信息；1000：录像再生装置；1001：输入部；1002：录像再生切换部；1003：图像信号处理部；1004：内容积蓄部；1005：图像输出部；1006：声音输出部；1007：控制部；1008：用户接口部。

具体实施方式

以下，说明本发明的实施例。

实施例1

图1是本发明的实施例1的图像显示装置的结构框图。

图1所示的图像显示装置(100)具备输入部(101)、图像解码部(102)、第1缓冲器部(103)、第2缓冲器部(104)、第3缓冲器部(105)、滤波器部(106)、切换部(107)、以及输出部(108)。此处，第1缓冲器部(103)、第2缓冲器部(104)、第3缓冲器部(105)、滤波器部(106)、以及切换部(107)构成图像处理部(109)。所述各部既能够由硬件构成，也能够由软件构成。另外，也能够是组合了硬件和软件的模块。

以下，说明图1所示的图像显示装置的动作。

在图1中，从输入部(101)输入的编码图像数据(150)是例如由图2所示的图像编码装置生成的数据。图像解码部(102)对所述编码图像数据进行解码而生成解码图像(151)。第1缓冲器部(103)保存解码图像(151)中的使用画面内预测编码单元进行了编码的第1解码图像。第2缓冲器部(104)保存解码图像(151)中的使用比所述第1解码图像时间上靠后的画面内预测编码单元进行了编码的第2解码图像。第3缓冲器部(105)保存解码图像(151)中的比所述第1解码图像时间上靠后、并且比所述第2解码图像时间上靠前的1个以上的解码图像。

滤波器部(106)对从第3缓冲器部(105)读出的解码图像(154)，使用从第1缓冲器部(103)读出的第1解码图像(152)以及从第2缓冲器部(104)读出的第2解码图像(153)的信号来进行校正滤波处理。切换部(107)切换输出第1解码图像(152)、第2解码图像(153)以及从滤波处理部(106)读出的滤波处理解码图像(155)。此时，从切换部(107)输出的图像信号(156)的顺序与从图像解码部(102)输出的解码图像(151)相同。输出部(108)显示输出从切换部(107)输出的图像信号(156)。

此处，对生成输入到本实施例的图像显示装置中的编码图像数据的运动图像编码方法进行说明。一般，在运动图像编码中，适应地使用将与编码对象图像同一画面内的编码完毕图像用作参照图像的画面内预测编码方法、和将在时间轴上前后的画面用作参照图像的画面间预测编码方法这两个编码方法。例如在MPEG-2规格中作为切换所述两个编码方法的单位使用图片，将仅使用画面内预测编码方来进行编码的图片称为I图片。在以后的说明中，在简单的表现为I的情况下表示I图片。另一方面，对于使用画面间预测编码方法进行编码的图片，将能够进行依照编码完毕的时间轴上过去的图片的画面间预测编码(前方预测)的图片称为P图片，除了上述以外，将能够进行依照编码完毕的时间轴上未来的图片的画面间预测编码(后方预测)、以及使用了过去和未来这两方的编码完毕图片的画面间预测编码(双向预测)的图片称为B图片。在以后的说明中，在简单表现为P、B的情况下分别表示P图片、B图片。在考虑了解码/显示时的随机访问等时，在P图片以及B图片的解码中，需要成为参照目的地的图片，所以一般使用定期地设置不参照其他图片就能够进行解码的I图片的数据形式。图4(a)示出以I图片间隔＝9为例子时的编码数据形式。在图4中，为简化说明，示出了仅使用了I图片和P图片时的编码数据例。

接下来，对在本实施例中处理的闪烁噪声进行说明。一般，在运动图像中在时间方向上具有高的相关性，所以在P图片、B图片中选择画面间预测编码方法的比例高。因此，由于编而码产生的编码失真通过所述画面间预测，而传播到I图片以后的P图片、B图片(图4(a)中的I0至P8、以及I9至P17)。另一方面，由于在I图片中不进行画面间预测编码，所以所述编码失真不传播(图4(a)中的P8至I9以及P17至I18)。因此，编码失真的性质以I图片的间隔变化，在解码图像中亮度、颜色大幅变化，所以画面看起来闪烁。上述的现象例如在图像信号的值逐渐变化的渐显、渐隐等中特别显著。如果将其对应于图4，则在输入图像中，如图4(b)所示，信号的值随着时间的经过而变大，相对于此，在解码图像中，作为一个例子，如图4(c)所示，从I0到P8，信号的变化小，从P8到I9，信号大幅变化，其被视觉辨认为闪烁噪声。在本发明中，提供能够减轻所述那样的闪烁，并高画质地显示的图像显示装置以及录像再生装置。

此处，使用图2，对生成输入到图1的图像显示装置(100)中的编码图像数据(150)的图像编码装置(200)进行说明。

在图像编码装置(200)中，块分割部(201)将输入图像(250)分割为块。减法器(202)进行上述的分割输入图像块(251)、与从后述编码模式选择部(212)输出的预测图像块(256)的减法处理，生成差分图像信号(252)。DCT部(203)针对每个图像块对从减法器(202)输出的差分图像信号(252)进行Discrete Cosine Transfer(离散余弦变换，以下记为DCT变换)而输出到量化部(204)。量化部(204)对所输入的DCT变换数据进行量化，而生成量化数据(253)。可变长度编码部(205)对量化数据(253)进行可变长度编码，与传送线路对应地输出编码图像数据(254)。另一方面，逆量化部(206)对量化数据(253)进行逆量化，而输出逆量化数据。逆DCT部(207)对逆量化数据进行逆DCT变换而生成差分块数据。加法器(208)对差分块数据、与来自编码模式选择部(212)的预测图像块(256)进行加法处理而生成解码图像。帧存储器(209)为了将上述的解码图像用作针对接下来进行编码的输入图像的参照图像而保存。运动搜索部(210)对从帧存储器(209)读出的参照图像(255)进行运动搜索，求出与分割输入图像块(251)的差为最小的预测图像。另外，画面内预测部(211)根据从帧存储器(209)读出的参照图像进行画面内预测，求出与分割输入图像块(251)的差为最小的预测图像。编码模式选择部(212)选择由运动搜索部(210)计算出的预测图像和由画面内预测部(211)计算出的预测图像中的某一方，将其作为预测图像块(256)而输出到减法器(202)。在编码模式选择部(212)选择了由运动搜索部(210)计算出的预测图像时，将表示求出所述预测图像时的画面间预测编码方法的信息作为编码模式(257)输出到可变长度编码部(205)。另外，在编码模式选择部(212)选择了由画面内预测部(211)计算出的预测图像时，将表示求出所述预测图像时的画面内预测方法的信息作为编码模式(257)输出到可变长度编码部(205)。可变长度编码部(205)与量化数据(253)一起对所述编码模式(257)进行可变长度编码而输出。

图3是示出图1的图像解码部(102)的结构例的框图。以下，对图3所示的图像解码部进行说明。可变长度解码部(301)对所输入的编码图像数据(350)进行可变长度解码，将量化数据输出到逆量化部(302)。逆量化部(302)对量化数据进行逆量化，输出逆量化数据。逆DCT部(303)对逆量化数据进行逆DCT变换而输出差分块数据(351)。加法器(304)对差分块数据(351)与从编码模式选择部(308)输出的预测图像(352)进行加法处理而生成解码图像。所生成的解码图像作为解码图像数据(353)而输出，并且为了用作接下来的编码数据的参照图像而输入到帧存储器(305)中。运动补偿部(306)在接下来进行解码的编码图像数据通过画面间预测编码方法进行了编码的情况下，从可变长度解码部(301)接收编码模式(354)，从帧存储器(306)读出与所述编码模式相应的图像而生成预测图像，输出到编码模式选择部(308)。画面内预测部(307)在接下来进行解码的编码图像数据通过画面内预测编码方法进行了编码的情况下，从可变长度解码部(301)接收编码模式(354)，根据从帧存储器(306)读出的图像生成与所述编码模式相应的预测图像(352)，输出到编码模式选择部(308)。编码模式选择部(308)在所解码的编码图像数据通过画面间预测编码方法进行了编码的情况下，选择从运动补偿部(306)输出的预测图像而输出到加法器(304)。另一方面，在所解码的编码图像数据通过画面内预测编码方法进行了编码的情况下，选择从画面内预测部(307)输出的预测图像而输出到加法器(304)。

接下来，使用所述图4(a)，对图1的第1缓冲器部(103)、第2缓冲器部(104)、以及第3缓冲器部(105)进行说明。

在将图4(a)设为图1的解码图像(151)时，作为使用画面内预测编码单元进行了编码的解码图像，将I0(401)保存在第1缓冲器部(103)中。接下来，作为使用相对I0(401)时间上靠后的画面内预测编码单元进行了编码的解码图像，将I9(410)保存在第2缓冲器部(104)中。最后，将比所述I0(401)时间上靠后、并且比I9(410)时间上靠前的P1(402)～P8(409)保存在第3缓冲器部(105)中。

接下来，使用图5以及图6，对图1的滤波器部(106)的动作进行说明。图5是示出滤波器部(106)的动作的流程图。以下，按照图6的动作例，说明图5的流程图。

在图6(a)(b)中，图像(610)示出从图1中的第1缓冲器部(103)读出的解码图像。图像(611)示出从图1中的第3缓冲器部(105)读出的解码图像。图像(612)示出从图1的第2缓冲器部(104)读出的解码图像。图像(611)是校正滤波处理的对象图像。

首先，对图6(a)进行说明。图6(a)示出针对图像(611)的块(601)进行校正滤波处理的情况。在图6(a)中，图像(610)是位于比图像(611)时间上靠前方T1的图像，图像(612)是位于比图像(611)时间上靠后T2的图像。在图6(a)的例子中，图像(610)、图像(611)、以及图像(612)随着时间经过，作为目标的卡车(622)从画面左移动到画面右。相对于此，背景部(620)、路面部(621)静止。以下，在各画面的说明中，根据需要将卡车(622)所占的区域称为运动区域，将背景部(620)、路面部(621)闭合的区域分别称为静止区域。

另外，图6(a)中的校正滤波处理的对象块是块(601)，但校正滤波处理中使用的参照块是图像(610)的块(600)以及图像(612)的块(602)。决定参照块的方法的详细内容后述，如果使用本实施例的参照块决定方法，则在属于静止区域中的块是校正滤波处理的对象块的情况下，参照块在画面上的位置不会成为校正滤波处理的对象块。因此，在图6(a)的例子中，参照块(600)、参照块(602)在画面上的位置不会成为校正滤波对象块(601)在画面上的位置。

另外，本实施例的校正滤波处理降低在参照块与校正滤波对象块之间图像的亮度时间上变化的情况下所产生的闪烁噪声。因此，在图6(a)中，示出最易于确认其效果的例子。即，示出校正滤波对象块(601)、参照块(600)、以及参照块(602)所属的静止区域即背景部(620)的亮度从图像(610)向图像(611)、图像(612)在时间上变化的情况。

接下来，说明图6(b)。图6(b)示出针对图像(611)的块(604)进行校正滤波处理的情况。在图6(b)中，图像(610)、图像(611)、以及图像(612)的位置关系、由卡车(622)构成的运动区域与背景部(620)、与由路面部(621)构成静止区域的关系和图6(a)的例子相同，所以省略说明。

此处，在图6(b)中对与图6(a)的例子不同的点进行说明。图6(b)中的校正滤波处理的对象块是块(604)，但校正滤波处理中使用的参照块是图像(610)的块(604)以及图像(612)的块(605)。与图6(a)同样地决定参照块的方法的详细内容后述，如果使用本实施例的参照块的决定方法，则在包括运动区域的块是校正滤波处理的对象块的情况下，参照块在画面上的位置追踪构成运动区域的移动目标的移动而变化。因此，在校正滤波对象块(603)中包含移动目标即卡车(622)的一部分。因此，参照块在画面上的位置追踪卡车(622)的运动，分别成为图6(b)所示的参照块(603)、参照块(605)的位置。

进而，本实施例的校正滤波处理降低在参照块与校正滤波对象块之间图像的亮度在时间上变化的情况下产生的闪烁噪声。此处，本实施例的校正滤波处理还能够降低在移动的目标上的像素的亮度在时间上变化的情况下所产生的闪烁噪声。因此，在图6(b)中，为了示出最易于确认该移动目标上的闪烁噪声的降低效果的例子而示出了与图6(a)不同的亮度变化的例子。即，示出构成包含校正滤波对象块(604)、参照块(603)、以及参照块(605)的运动区域(卡车(622))的像素的亮度从图像(610)向图像(611)、图像(612)在时间上变化的情况。

使用以上说明的图6(a)(b)的例子，对图1的滤波器部(106)的动作流程进行说明。首先，使用图6(a)的例子进行说明。在图5的流程图中，最开始，从由图1中的第3缓冲器部(105)读出的解码图像(图6(a)(611))中提取进行滤波处理的对象块(图6(a)(601))(图5(S501))。接下来，从由图1的第1缓冲器部(103)读出的解码图像(图6(a)(610))中提取校正中使用的参照块(图6(a)(600))(图5(S502))。接下来，从由图1的第2缓冲器部(104)读出的解码图像(图6(a)(612))中提取校正中使用的参照块(图6(a)(602))(图5(S503))。对于所述步骤(S502)以及(S503)中的、参照块(图6(a)(600))以及参照块(图6(a)(602))的提取方法，后述。接下来，针对对象块(601)中的第i个像素进行滤波处理(图5(S504))。在后面详述滤波处理。接下来，判定是否针对对象块(601)中包含的所有像素结束了滤波处理(图5(S505))，在对象块(601)内尚有滤波处理没有结束的像素的情况(图5(S505)的判定结果是“否”时)下，针对接下来的像素进行滤波处理(图5(S506))。另一方面，在对象块(601)内没有尚未结束滤波处理的像素的情况(图5(S505)的判定结果是“是”时)下，判定对象块(601)是否为解码图像(611)内的最后的块(图5(S507))。在解码图像(611)内尚有没有结束滤波处理的块的情况(图5(S507)的判定结果是“否”时)下，针对接下来的块进行滤波处理(图5(S508))。另一方面，在解码图像(611)内没有尚未结束滤波处理的块的情况(图5(S507)的判定结果是“是”时)下，结束本处理。

以上，以图6(a)为例子而说明了图5的流程图的动作，但即使是图6(b)的例子，也仅是将对象块从块(601)变更为块(604)，在步骤(S502)以及(S503)中提取的参照块从参照块(600)(602)分别变为参照块(603)(605)不同，其他处理相同。即，图5的流程图的动作能够分别应用于图6(a)(b)的例子。

接下来，详细说明图5中的提取校正中使用的参照块的步骤(S502)以及(S503)。以下的参照块的提取处理，在图6(a)(b)的例子中都能够应用同样的处理。

因此，在以下的说明中“对象块”这样的表现在应用于图6(a)的例子的情况下，表示解码图像(611)中的对象块(601)，在应用于图6(b)的例子的情况下，表示解码图像(611)中的对象块(604)。

同样地，在以下的说明中，关于解码图像(610)的“参照块”这样的表现在应用于图6(a)的例子的情况下，表示解码图像(610)中的参照块(600)，在应用于图6(b)的例子的情况下，表示解码图像(610)中的参照块(603)。

另外，同样地，在以下的说明中，关于解码图像(612)的“参照块”这样的表现在应用于图6(a)的例子的情况下，表示解码图像(612)中的参照块(602)，在应用于图6(b)的例子的情况下，表示解码图像(612)中的参照块(605)。

步骤(S502)以及(S503)：提取参照块的方法的例子如下所述。首先，作为求出图像(610)内的参照块的方法，针对对象块中包含的像素，计算出与图像(610)内的块中包含的像素的差分绝对值和，选择该差分绝对值和成为最小的块即可。

以下，使用图8说明所述动作。图8(b)示出解码图像(611)中的对象块。为简化说明，此处将块的尺寸设为2×2。将解码图像(611)中的对象块中包含的像素值设为c₀₀、c₀₁、c₁₀、c₁₁。另外，图8(a)示出解码图像(610)。将解码图像(610)中的像素值设为a_ij(i＝0、2、4、j＝0、2、4)。此时，作为与对象块相同尺寸的块，能够作为候补举出块(801)、块(802)、块(803)、以及块(804)这4个。例如，关于对象块与块(801)的差分绝对值和能够如下式(3)那样计算。

[数学式3]

差分绝对值和＝|c₀₀-a₀₀|+|c₀₁-a₀₂|+|c₁₀-a₂₀|+|c₁₁-a₂₂|

与所述数学式3同样地，针对块(802)、块(803)、以及块(804)也能够计算差分绝对值和，从所述4个块中将差分绝对值和为最小的块作为参照块。

另外，上述是使用解码图像(610)中的既存的像素值求出参照块的情况的动作例，但例如还能够对在参照图像(610)原来不存在的像素进行内插而生成，并使用该生成的内插像素求出最佳的块。在图8(a)中，b_ij(i＝0～4、j＝0～4)是内插像素。内插像素b_ij能够通过接下来的运算生成。

例如，在将相当于图8(a)中的像素a₀₀与a₀₂的水平方向的中间位置(1/2像素的位置)的像素设为b₀₁时，像素值b₀₁能够通过数学式(4)求出。

[数学式4]

b₀₁＝(a₀₀+a₀₂)/2

同样地，对于相当于像素a₀₀与a₂₀的垂直方向的中间位置的内插像素b₁₀，也能够根据数学式(5)求出。

[数学式5]

b₁₀＝(a₀₀+a₂₀)/2

进而，为水平方向、垂直方向中的某一个的中间位置的像素b₁₁能够根据两个内插像素b₀₁、b₂₁，如数学式(6)那样计算。

[数学式6]

b₁₁＝(b₀₁+b₂₁)/2

＝(a₀₀+a₀₂+a₂₀+a₂₂)/4

上述生成了1/2像素位置处的内插像素，但如果通过增加抽头数来将其扩展，则还能够生成精度更高的1/4、1/8、1/16精度下的内插像素。通过使用这样生成的内插像素，能够以小数像素精度进行解码图像(610)中的参照块的计算。例如，图6(a)的块(805)是由1/2精度的内插像素b₁₁、b₁₃、b₃₁、b₃₃构成的区域，关于解码图像(611)中的对象块与块(805)的差分绝对值和能够如下数学式(7)那样计算。

[数学式7]

差分绝对值和

＝|c₀₀-b₁₁|+|c₀₁-b₁₃|+|c₁₀-b₃₁|+|c₁₁-b₃₃|

这样，通过进行小数像素精度下的评价，能够比整数精度进一步提高精度。

以上，说明了求图6记载的解码图像(610)中的参照块的方法的一个例子，但在所述说明中，如果将解码图像(610)中的参照块置换为解码图像(612)中的参照块，则针对解码图像(612)中的参照块，也能够通过同样的方法提取，所以省略说明。

另外，还能够通过其他方法计算参照块。以下，使用图9，对计算参照块的另一个例子进行说明。图9中的图像(610)(611)(612)示出与图6相同的内容。图9中的对象块(901)相当于图6中的块(601)或者块(604)。此处，在图9中，将以对象块(901)中的像素为中心而成为点对称的解码图像(610)上的块设为块(900)，将解码图像(612)上的块设为块(902)。此时，分别计算对象块(901)内的像素与块(900)内的像素的差分绝对值和(SATD1)、和对象块(901)内的像素与块(902)内的像素的差分绝对值和(SATD2)，将SATD1和SATD2之和为最小时的块(900)、(902)分别作为参照块。

以上，如果利用使用图6、图8、图9说明的参照块的提取方法，则例如在图6(a)的情况下，作为与静止区域中包含的解码图像(611)中的对象块(601)对应的参照块，提取解码图像(610)中的参照块(600)、解码图像(612)中的参照块(602)。如以上所说明的那样，解码图像(611)中的对象块(601)、解码图像(610)中的参照块(600)、以及解码图像(612)中的参照块(602)各自在图像中的位置相同。其原因为，在静止区域中，在时间上的位置不同的多个图像之间，图像中的同一位置处的块之间的差分值变低。

另外，同样地，如果利用使用图6、图8、图9说明的参照块的提取方法，则例如在图6(b)的情况下，作为与包括运动区域即移动目标(卡车(622))的解码图像(611)中的对象块(604)对应的参照块，提取解码图像(610)中的参照块(603)、解码图像(612)中的参照块(605)。解码图像(611)中的对象块(601)处于从解码图像(610)中的参照块(603)的位置，追踪移动目标(卡车(622))的运动而移动的位置关系中。另外，解码图像(612)中的参照块(602)处于从解码图像(611)中的对象块(604)的位置，追踪移动目标(卡车(622))的运动而移动的位置关系中。其原因为，在运动区域中，在时间上的位置不同的多个图像之间，追踪移动目标的运动而移动的位置处的块之间的差分值低。

另外，在所述动作例中，例如，如图6(b)的解码图像(611)中的对象块(604)那样，对于背景部和卡车混合存在的块(604)，针对块内的所有像素，根据数学式(3)～数学式(7)进行评价而求出参照块。此处，背景部由于其信号电平在时间上变化，所以仅针对块(604)中的卡车的区域根据数学式3～式7进行评价，并求出参照块，从而还能够提高参照块的提取精度。其能够通过追加从块(604)分离背景区域和卡车区域的处理来实现。

通过使用以上说明的提取参照块的提取方法，图5的步骤(S502)以及(S503)能够进行参照块的决定/提取。

接下来，详细说明图5(S504)记载的滤波处理。在以下的说明中，与图5的步骤(S502)以及(S503)的说明同样地，“对象块”这样的表现在应用于图6(a)的例子的情况下，表示解码图像(611)中的对象块(601)，在应用于图6(b)的例子的情况下，表示解码图像(611)中的对象块(604)。

同样地，在以下的说明中，关于解码图像(610)的“参照块”这样的表现，在应用于图6(a)的例子的情况下，表示解码图像(610)中的参照块(600)，在应用于图6(b)的例子的情况下，表示解码图像(610)中的参照块(603)。

另外，同样地，在以下的说明中，关于解码图像(612)的“参照块”这样的表现，在应用于图6(a)的例子的情况下，表示解码图像(612)中的参照块(602)，在应用于图6(b)的例子的情况下，表示解码图像(612)中的参照块(605)。

使用数学式(1)说明图5(S504)记载的滤波处理的动作的一个例子。

[数学式1]

S_fil(i)＝w0＊S_back(i)+w1＊S_curr(i)+w2＊S_fwd(i)

(其中，w0+w1+w2＝1)

在数学式1中，S_curr(i)表示对象块中的第i个像素的滤波处理前的值，S_fil(i)表示对象块中的第i个像素的滤波处理后的值。另外，S_back(i)表示解码图像(610)中的参照块中的第i个像素的值，S_fwd(i)表示解码图像(612)中的参照块中的第i个像素的值。w0、w1、w2是针对S_back(i)、S_curr(i)、S_fwd(i)的加权系数，数学式(2)示出具体的设定的一个例子。

[数学式2]

$w0=\frac{f\left(T1\right)}{f\left(0\right)+f\left(T1\right)+f\left(T2\right)}$

$w1=\frac{f\left(0\right)}{f\left(0\right)+f\left(T1\right)+f\left(T2\right)}$

$w2=\frac{f\left(T2\right)}{f\left(0\right)+f\left(T1\right)+f\left(T2\right)}$

在数学式2中，T1表示解码图像(611)和解码图像(610)的帧间距离，T2表示解码图像(611)和解码图像(612)的帧间距离。另外，f(T)表示高斯函数(图7)。在数学式(2)中距离校正对象的解码图像(611)的帧间距离越近，将系数值设定得越大。

即，图1的滤波器部(106)如所述数学式(1)、数学式(2)所示，针对构成校正前的对象块(601)的像素的该像素值、构成参照块(600)以及参照块(602)的像素的像素值，分别乘上加权系数并进行加法运算，计算出构成校正后的对象块(601)的像素的像素值，其中盖加权系数使用了将对象图像(611)与参照图像(610)、参照图像(612)的时间上的帧间距离应用于高斯函数中而计算出的系数。

由此，针对从构成参照块(600)的像素向构成参照块(602)的像素的像素值的变化的迁移，能够进行以使对象块(601)的像素值接近的方式进行校正的滤波处理。在后面详述该像素值的校正例。

以下，说明图1的切换部(107)的动作。在图4的图像中，I0(401)保存在图1的第1缓冲器部(103)中，I9保存在图1的第2缓冲器部(104)中，P1(402)～P8(409)保存在图1的第3缓冲器部(105)中，将通过所述记载的滤波处理对P1(402)～P8(409)进行了滤波处理后的图像分别设为P1’～P8’。此时，切换部(107)最先输出从第1缓冲器部(103)读出的I0。接下来输出从滤波处理部(106)读出的滤波处理后的图像P1’～P8’。最后输出从第2缓冲器部(104)读出的I9。另外，通过以上记载的处理，能够进行图4中的P1(402)～P8(409)的滤波处理，但接着该滤波处理，关于图4的P10(411)～P17(418)，也需要同样地进行滤波处理。在该情况下，将图1的第2缓冲器部(104)中保存的I9(410)作为所述记载中的“第1解码图像”，作为使用比I9(410)时间上靠后的画面内预测编码单元进行了编码的解码图像，将I18(419)作为“第2解码图像”而保存在图1的第1缓冲器部(103)中，从而使用第1解码图像即I9(410)和第2解码图像即I18(419)进行P10(411)～P17(418)的滤波处理。

以下，使用图11～图14，例示具体的图像信号而说明本实施例的像素值的校正例。

另外，在图11～图14中处理的各图像的像素值，例如表示图18(a)或者图18(b)所示的那样的一连串的像素。

首先，说明图18(a)。图18(a)是对应于图6(a)的例子。在图18中，解码图像(610)、(611)、(612)都与图6(a)相同。解码图像(6105)、(6115)分别是配置在解码图像(610)和解码图像(611)之间的图像、配置在解码图像(611)和解码图像(612)之间的图像。

块(600)、(601)、(602)都与图6(a)相同，块(601)在图5的流程图中，是作为参照块而提取块(601)、块(602)的对象块。块(6005)、块(6015)都是与块(601)同样地作为参照块而提取块(601)、块(602)的对象块。这些块都属于静止区域，所以处于画面上的同一位置。

因此，如参照块(600)、对象块(6005)、对象块(601)、对象块(6015)、参照块(602)内的相同位置处的像素(630)、(6305)、(631)、(6315)、(632)那样，对于静止区域中的像素，图11所示的像素值示出图像上的同一位置处的像素的像素值。

接下来，说明图18(b)。图18(b)是对应于图6(b)的例子。在图18中，解码图像(610)、(611)、(612)都与图6(b)相同。解码图像(6105)、(6115)分别是配置于解码图像(610)和解码图像(611)之间的图像、配置在解码图像(611)和解码图像(612)之间的图像。

因此，块(603)、(604)、(605)都与图6(a)相同，块(604)在图5的流程图中，是作为参照块而提取块(603)、块(605)的对象块。这些块都包括运动区域即移动目标(卡车(622))，所以处于追踪移动目标的运动而移动的位置。

因此，如像素(633)、(6335)、(634)、(6345)、(635)那样，对于运动区域中的像素，图11所示的像素值示出全都追踪移动目标的运动而移动的位置处的像素的像素值。

另外，在图18(b)中，示出了移动目标(卡车(622))等速移动的情况，所以像素(633)、(6335)、(634)、(6345)、(635)表示在直线上，但移动目标(卡车(622))的速度也有可能并非等速。但是，即使在该情况下，也是追踪移动目标的运动而移动的位置处的像素，这一点是没有变化的。

在图11～图14中以具有以上说明的图18那样的关系的多个图像上的像素值为例子，示出了本实施例的像素值的校正例。以下详细说明。

首先，图11关于图4记载的I0(401)～I18(419)，示出输入图像和解码图像的像素值的一个例子。以下，关于图11的解码图像，根据上式(1)、式(2)进行滤波处理。

在图12中，作为图7的高斯函数，将通过下式(8)计算出的值表示为曲线。另外，在图12中在式(8)中设为σ＝3。

[数学式8]

$f\left(T\right)=\exp (-\frac{T*T}{2*{\mathrm{\σ}}^2})$

将所述式(8)应用到式(2)中。例如，在将P1设为滤波对象图像时，变为T1＝1(I0和P1的帧间距离)、T2＝8(P1和I9的帧间距离)，所以能够如下式(9)那样地计算。

[数学式9]

式(9)仅针对w0进行了计算，但对于w1、w2也能够同样地计算为

接下来，如果将所述的计算出的w0、w1、w2、以及S_back(i)＝13(I0的解码图像)、S_curr(i)＝17(P1的解码图像)、S_fwd(i)＝30(I9的解码图像)代入到式(1)中，则变为下式(10)，作为P1的滤波处理后的像素值能够计算出15。

[数学式10]

图13示出在P1～P17中实施以上的处理的结果。另外，在图14中，将本动作例中的输入图像、解码图像、以及校正图像的像素值图示为曲线。从图14可知，在解码图像中例如在时刻＝8(P8)至时刻＝9(I9)之间像素值大幅变动，相对于此，在校正图像中以抑制其变动幅度的方式进行了校正处理。

即，在本发明的实施例1的图像显示装置中，进行如下所述的像素值的校正滤波处理，即：降低仅接着I图片之前的P图片的目标上的像素、与I图片的目标上的像素的像素值之差。由此，能够降低画面的闪烁。

如上所述，在本发明的实施例1的图像显示装置中，在包括画面内预测解码图像和画面间预测解码图像的解码图像中，使用第1画面内预测解码图像的像素值、和相对所述第1画面内预测解码图像时间上靠后的第2画面内预测解码图像的像素值，对时间上位于所述第1画面内预测解码图像与所述第2画面内预测解码图像之间的画面间预测解码图像通过校正滤波进行滤波处理。

由此，能够针对夹着画面内预测解码图像的时间上处于前后的解码图像，对时间方向的信号变化进行平滑化，降低画面的闪烁，降低闪烁噪声。

进而，使用与画面间预测解码图像相比像素值更接近原图像的画面内预测解码图像的像素值，来校正画面间预测解码图像的像素值，所以能够再现更接近原图像的像素值，同时降低闪烁噪声。

即，根据本发明的实施例1的图像显示装置，在包括画面内预测解码图像和画面间预测解码图像的解码图像中，能够更适合地降低闪烁噪声。

实施例2

以下，对本发明的实施例2的图像显示装置进行说明。与所述实施例1同样地，使用图1的结构框图，对本实施方式中的图像显示装置进行说明。另外，对于图1所示的图像显示装置(100)，省略详细说明。

以下，对于图1的第1缓冲器部(103)、第2缓冲器部(104)、以及第3缓冲器部(105)，以图4(a)为例子而示出。

在将图4(a)设为图1的解码图像(151)时，作为使用画面内预测编码单元进行了编码的解码图像，将I0(401)保存在第1缓冲器部(103)中。接下来，作为相对I0(401)时间上靠后的使用画面内预测编码单元进行了编码的解码图像，将I9(410)保存在第2缓冲器部(104)中。接下来，将比所述I9(410)时间上靠后的P10(411)～P17(418)保存在第3缓冲器部(105)中。对于滤波处理的内容，能够应用与实施例1所记载的同样的方法，所以此处省略说明。

以下，说明图1的切换部(107)的动作。在图4的图像中，I0(401)保存在图1的第1缓冲器部(103)中，I9(410)保存在图1的第2缓冲器部(104)中，P10(411)～P17(418)保存在图1的第3缓冲器部(105)中，将通过所述记载的滤波处理对P10～P17进行了滤波处理后的图像分别设为P10’～P17’。此时，切换部(107)最先输出从第2缓冲器部(104)读出的I9(410)。接下来，输出从滤波处理部(106)读出的滤波处理后的图像P10’～P17’。根据上述说明，第1缓冲器部(103)中保存的I0(401)在以前进行的P1(402)～P8(409)的滤波处理后已完成输出，所以在该定时不输出。通过以上记载的处理，能够进行图4中的P10(411)～P17(418)的滤波处理，但接着该滤波处理，关于图4的P19(420)之后的图片也需要同样地进行滤波处理。在该情况下，将图1的第2缓冲器部(104)中保存的I9(410)作为所述记载中的“第1解码图像”，作为比I9(410)时间上靠后的使用画面内预测编码单元进行了编码的解码图像，将I18(419)作为“第2解码图像”而保存在图1的第1缓冲器部(103)中，从而使用第1解码图像即I9(410)和第2解码图像即I18(419)对P19(420)之后的图片的解码图像进行滤波处理。

以下，使用图15～图17，例示具体的图像信号对本实施例的像素值的校正例进行说明。图15～图17例示的各图像的像素与图18同样地，关于静止区域中的像素是图像上的同一位置处的像素，在运动区域中是追踪移动目标的运动而移动的位置处的像素。

图15是关于图4记载的I0(401)～P17(418)，示出了输入图像和解码图像的像素值的一个例子的图，以与图11相同的数值为例子，但在图15中删除了图11中的P1～P7以及I8中的解码图像的像素值。其用于示出使用I0以及I9的解码图像，而明确地进行P10～P17的校正。

如上所述，在本实施例中，相对P10～P17时间上靠后的画面内预测编码后的图像(I18)未知，所以根据I0以及I9进行推定。此处，作为一个例子，假设为I0～I18的亮度变化是线形特性。此时，如果将I0～I9的帧间距离设为T_back、将I9～I18的帧间距离设为T_fwd、将I0的解码图像的像素值设为S_{I0_dec}、将I9的解码图像的像素值设为S_{I9_dec}，则对于I18的解码图像的预测像素值S_{I18_pred}，能够如下式(11)那样地计算。

[数学式11]

$S_{I18\_\mathrm{pred}}=\frac{S_{I9\_\mathrm{dec}}-S_{I0\_\mathrm{dec}}}{T_{\mathrm{back}}}*(T_{\mathrm{back}}+T_{\mathrm{fwd}})+S_{I0\_\mathrm{dec}}$

$=\frac{30-13}{9}*(9+9)+13$

$=47$

由此，能够使用通过上述计算出的S_{I18_pred}＝47以及S_{I9_dec}＝30，与上(式)8～(式)10同样地进行滤波处理。

图16示出在P10～P17中实施以上的处理的结果。另外，在图17中，将本动作例中的输入图像、解码图像、以及校正图像的像素值图示为曲线。根据图17可知，在解码图像中，例如在时刻＝17(P17)至时刻＝18(I18)之间，像素值大幅变动，相对于此，在校正图像中抑制其变动幅度。

即，在本发明的实施例2的图像显示装置中，也进行下述那样的像素值的校正滤波处理，即，降低仅接着I图片之前的P图片的目标上的像素、与I图片的目标上的像素的像素值之差。由此，能够降低画面的闪烁。

如上所述，在本发明的实施例2的图像显示装置中，在包括画面内预测解码图像和画面间预测解码图像的解码图像中，使用第1画面内预测解码图像的像素值、和相对所述第1画面内预测解码图像时间上靠后的第2画面内预测解码图像的像素值，对比所述第2画面内预测解码图像时间上靠后的画面间预测解码图像通过校正滤波进行滤波处理。

这样，在本发明的实施例2的图像显示装置中，对比校正滤波中使用的多个图像还时间上靠后的解码图像进行滤波处理。于是，相对于在第1实施例的图像显示装置中为了进行滤波处理而产生最大1GOP的延迟，并且需要用于保存1GOP量的解码图像信息的缓冲器，在第2实施例的图像显示装置中能够减轻所述延迟，并且能够削减用于保存解码图像的缓冲器。

即，在本发明的实施例2的图像显示装置中，除了实施例1的图像显示装置的效果以外，还能够减轻用于进行滤波处理的延迟、削减硬件规模，能够更适合地降低闪烁噪声。

实施例3

图10是示出应用了实施例1或者实施例2的图像信号处理的录像再生装置的例子的结构图。此处，图像信号处理部(1003)具有与实施例1的图像解码部(102)以及图像处理部(109)同样的结构。因此，图像信号处理部(1003)的动作如实施例1或者实施例2所记载的那样，所以省略详细说明。

录像再生装置(1000)具备：输入以规定的编码方式进行了编码的编码图像信号的输入部(1001)；切换从输入部(1001)输入的内容的录像或者再生、或者后述的内容积蓄部中积蓄的图像的再生中的某一个的录像再生切换部(1002)；在录像再生切换部(1002)进行了录像动作时记录内容的内容积蓄部(1004)；对录像再生切换部(1002)从输入部(1001)输入的内容或者从内容积蓄部(1004)读出的编码图像信号进行实施例1或者实施例2记载的图像信号处理的图像信号处理部(1003)；输出由图像信号处理部(1003)处理后的图像信号的图像输出部(1005)；输出从录像再生切换部(1002)输出的声音信号的声音输出部(1006)；控制录像再生装置(1000)的各结构部的控制部(1007)；以及用户进行录像再生装置(1000)的操作的用户接口部(1008)等。

本发明的实施例3的录像再生装置在图像信号处理部(1003)中，对解码出的图像信号，进行如实施例1或者实施例2记载那样的滤波处理。

由此，能够针对包括输入到输入部、或者积蓄到内容积蓄部而再生的画面内预测解码图像和画面间预测解码图像的解码图像，提供更适合地降低闪烁噪声而输出的录像再生装置。

Claims (17)

1.一种图像显示装置，其特征在于，具备：

输入部，输入包括通过画面内预测和画面间预测编码了的图像的编码图像数据；

图像解码部，对所述编码图像数据进行解码；

滤波器部，对从所述图像解码部输出的解码图像进行滤波处理；以及

显示部，显示所述滤波处理后的图像，

所述滤波器部执行对从所述图像解码部输出的解码图像中的、至少时间上在通过画面内预测而解码了的解码图像的紧前面的通过画面间预测而解码了的解码图像内的像素值进行校正的处理。

2.根据权利要求1所述的图像显示装置，其特征在于，

所述滤波器部降低从所述图像解码部输出的解码图像中的、通过画面内预测而解码了的第1解码图像内的目标上的像素、与作为时间上在所述第1解码图像的紧前面的通过画面间预测而解码了的第2解码图像内的目标上的像素的和所述第1解码图像内的目标上的像素对应的像素的像素值之差。

3.根据权利要求1所述的图像显示装置，其特征在于，

所述滤波器部执行对从所述图像解码部输出的解码图像中的、通过画面内预测而解码了的解码图像、与在时间上处于所述通过画面内预测而解码了的解码图像前后的通过画面间预测而解码了的多个解码图像之间的时间方向的信号值进行平滑化的滤波处理。

4.根据权利要求1所述的图像显示装置，其特征在于，

所述滤波器部执行使从所述图像解码部输出的解码图像中的、作为在时间上比通过画面内预测而解码了的第1解码图像靠前、且最近的前方预测解码图像的第2解码图像的像素的像素值接近所述第1解码图像中的对应的像素的像素值的处理。

5.根据权利要求1所述的图像显示装置，其特征在于，

所述滤波器部执行使用从所述图像解码部输出的解码图像中的、通过画面内预测而解码了的两个画面内预测解码图像的信号值，对位于所述两个画面内预测解码图像的时间上的位置之间或者后面的、通过画面间预测而解码了的画面间预测解码图像的信号值进行校正的处理。

6.根据权利要求5所述的图像显示装置，其特征在于，具备：

第1缓冲器和第2缓冲器，存储画面内预测解码图像；以及

第3缓冲器，存储画面间预测解码图像，

所述滤波器部执行使用所述第1缓冲器和所述第2缓冲器中存储的两个画面内预测解码图像的信号值，对所述第3缓冲器中存储的画面间预测解码图像的信号值进行校正的处理。

7.一种录像再生装置，其特征在于，具备：

输入部，输入包括通过画面内预测和画面间预测编码了的图像的编码图像数据；

存储部，存储所述编码图像数据；

图像解码部，对输入到所述输入部的编码图像数据或者从所述存储部输出的编码图像数据进行解码；

滤波器部，对从所述图像解码部输出的解码图像进行滤波处理；以及

输出部，输出所述滤波处理后的图像，

所述滤波器部执行对从所述图像解码部输出的解码图像中的、至少时间上在通过画面内预测而解码了的解码图像的紧前面的通过画面间预测而解码了的解码图像内的像素值进行校正的处理。

8.根据权利要求7所述的录像再生装置，其特征在于，

所述滤波器部降低从所述图像解码部输出的解码图像中的、通过画面内预测而解码了的第1解码图像内的目标上的像素、与作为时间上在所述第1解码图像的紧前面的通过画面间预测而解码了的第2解码图像内的目标上的像素的和所述第1解码图像内的目标上的像素对应的像素的像素值之差。

9.根据权利要求7所述的录像再生装置，其特征在于，

所述滤波器部执行对从所述图像解码部输出的解码图像中的、通过画面内预测而解码了的解码图像、与在时间上处于所述通过画面内预测而解码了的解码图像前后的通过画面间预测而解码了的多个解码图像之间的时间方向的信号值进行平滑化的滤波处理。

10.根据权利要求7所述的录像再生装置，其特征在于，

所述滤波器部执行使从所述图像解码部输出的解码图像中的、作为在时间上比通过画面内预测而解码了的第1解码图像靠前、且最近的前方预测解码图像的第2解码图像的像素的像素值接近所述第1解码图像中的对应的像素的像素值的处理。

11.根据权利要求7所述的录像再生装置，其特征在于，

所述滤波器部执行使用从所述图像解码部输出的解码图像中的、通过画面内预测而解码了的两个画面内预测解码图像的信号值，对位于所述两个画面内预测解码图像的时间上的位置之间或者后面的、通过画面间预测而解码了的画面间预测解码图像的信号值进行校正的处理。

12.根据权利要求11所述的录像再生装置，其特征在于，具备：

第1缓冲器和第2缓冲器，存储画面内预测解码图像；以及

第3缓冲器，存储画面间预测解码图像，

所述滤波器部执行使用所述第1缓冲器和所述第2缓冲器中存储的两个画面内预测解码图像的信号值，对所述第3缓冲器中存储的画面间预测解码图像的信号值进行校正的处理。

13.一种图像处理方法，其特征在于，具备：

图像解码步骤，对通过画面内预测和画面间预测编码了的图像进行解码；

滤波处理步骤，对通过所述图像解码步骤解码了的解码图像进行滤波处理，

在所述滤波处理步骤中，执行对通过所述图像解码步骤解码了的解码图像中的、至少时间上在通过画面内预测而解码了的解码图像的紧前面的通过画面间预测而解码了的解码图像内的像素值进行校正的处理。

14.根据权利要求13所述的图像处理方法，其特征在于，

在所述滤波处理步骤中，降低通过所述图像解码步骤解码了的解码图像中的、通过画面内预测而解码了的第1解码图像内的目标上的像素、与作为时间上在所述第1解码图像的紧前面的通过画面间预测而解码了的第2解码图像内的目标上的像素的和所述第1解码图像内的目标上的像素对应的像素的像素值之差。

15.根据权利要求13所述的图像处理方法，其特征在于，

在所述滤波处理步骤中，执行对通过所述图像解码步骤解码了的解码图像中的、通过画面内预测而解码了的解码图像、与在时间上处于所述通过画面内预测而解码了的解码图像前后的通过画面间预测而解码了的多个解码图像之间的时间方向的信号值进行平滑化的滤波处理。

16.根据权利要求13所述的图像处理方法，其特征在于，

在所述滤波处理步骤中，执行使通过所述图像解码步骤解码了的解码图像中的、作为在时间上比通过画面内预测而解码了的第1解码图像靠前、且最近的前方预测解码图像的第2解码图像的像素的像素值接近所述第1解码图像中的对应的像素的像素值的处理。

17.根据权利要求13所述的图像处理方法，其特征在于，

在所述滤波处理步骤中，执行使用通过所述图像解码步骤解码了的解码图像中的、通过画面内预测而解码了的两个画面内预测解码图像的信号值，对位于所述两个画面内预测解码图像的时间上的位置之间或者后面的、通过画面间预测而解码了的画面间预测解码图像的信号值进行校正的处理。

Images