CN101222589A - 影像处理装置和包括该影像处理装置的影像显示装置 - Google Patents

Abstract

本发明提供一种影像处理装置和包括该影像处理装置的影像显示装置，根据本发明，在影像信号的帧列中插入插补帧时，能够抑制基于动态矢量的错误检测引起的影像的混乱。本发明的影像处理装置具有：从输入影像信号中所包括的多个帧取得动态矢量并将其输出的动态矢量取得部；和使用该动态矢量生成插补帧，并且使该插补帧与所述输入影像信号的帧组合，生成新的帧列的信号的帧插补部。其中，动态矢量取得部包括：由匹配处理检测动态矢量的第二动态矢量取得部；和对于输入影像信号的帧的特定区域，根据在时间上连续的两个帧之间的规定轮廓成分的相对偏移量，取得动态矢量用的第二动态矢量取得部。

Description

影像处理装置和包括该影像处理装置的影像显示装置

技术领域

本发明涉及影像处理装置和影像显示装置，特别是涉及包括用于变换输入的影像信号的帧频(frame rate)的结构的影像处理装置和影像显示装置。

背景技术

近年来，作为用于提高动画性能的技术，提出了被称为帧频变换的技术。这是指，组合包括在影像信号的多个帧，和使用该输入的影像信号的动态矢量(動きベクトル)在装置内部生成的插补帧(補間フレ一ム)，生成新的帧列的信号的方法。由此改善动画显示的余像感和不连续感等不自然的动作(動き)，能够提高动画性能。

为了进一步提高动画性能，必须生成精度高的插补帧，为此必须提高用以生成插补帧的动态矢量的检测精度。例如在日本特开2006-165602号公报等中公开了关于提高动态矢量的检测精度的现有技术。这种方法是：在包括在输入影像信号内的在时间上连续的两帧间插入插补帧，在规定区域内抽取多个以构成该插补帧的插补像素为中心、位于与该插补像素点对称的位置上的两个帧像素对，以该像素之间的差分成为最小的像素方向为动态矢量。

在上述现有技术，将以插补像素为中心的位于点对称位置上的前后两帧的像素(block：块)间的差分，在规定区域内成为最小的方向作为动态矢量进行求解(以下，称这样的处理为匹配处理)。由此，在上述规定区域中，某电平(レベル)的轮廓成分以一个或两个等小数出现的情况下，因为上述差分最小的像素组少，比较容易特定物体的运动。但是，周期性或非周期性地出现网状物(金網)、铁栅(条纹图样)、格子图样、文字字幕(telop)等的亮度变化的影像图案，在上述规定区域中，具有同一电平的轮廓成分在规定方向(水平、垂直方向)上多个出现。因此，在上述规定区域中，抽取多个上述差分成为最小的像素组，容易引起动态矢量的错误检测。

例如，某铁栅(条纹图案)从在时间上连续的前帧向后帧移动时，后帧的上述某1根棒和与其邻接的棒的像素值也具有与前帧的上述某1根棒同样的像素值。因此，可能会错误检测成前帧的上述某1根棒向后帧的上述邻接的棒移动。

对此现象参照图5进行说明。图5的左上表示连续的两帧在时间上的前帧(第一帧)的影像，右上表示该两帧在时间上的后帧(第二帧)的影像。该影像包括房屋、树木等，之外还包括位于画面下部的，在水平方向周期性出现亮度变化的铁栅。此处，第一帧的影像是在摄像机504的位置摄取的，摄像机504沿方向505移动并摄取第二帧的影像。因此，第一帧和第二帧间的影像的动态矢量为与方向505相反的方向。

第一帧的关注(注目)区域503实际上在后帧运动到了区域506。如由上述匹配(マツチング)处理正确地检测出动态矢量、生成插补帧，则如左下所示。即，关注区域503的前帧的铁栅508在动态矢量520的方向上在后帧移动到铁栅509时，则由上述匹配处理生成作为插补帧的铁栅510。这时，区域506的放大影像如符号530所示。但是，因为铁栅如放大影像531所示，与放大影像530具有同样的像素值，可能会错误检测成例如不是移动到区域506而是移动到区域507。这时，如图5的右下所示，关注区域503的前帧的铁栅508被进行了错误的匹配处理，认为其沿着错误检测出的矢量521在后帧移动到铁栅513。在这种情况下，插补帧的铁栅如符号514所示，出现在与正确检测运动而生成的插补帧的铁栅510不同的位置。

产生这样的动态矢量的错误检测时，与影像的运动没有关联性的或是关联性低的影像出现在插补帧上，结果产生影像的破绽和混乱。

在上述现有技术中，未考虑在这样的周期性或非周期性地出现亮度变化的影像图案中，动态矢量的错误检测，和根据该错误检测出的动态矢量生成的插补帧引起的影像的破绽和混乱。

发明内容

本发明是鉴于上述课题而提出的，其目的在于提供一种技术，该技术在使用插补帧变换帧频的情况下，在显示周期性或非周期性地出现格子、条纹图样等的亮度变化的影像图案时，也能够显示破绽和混乱很少的高图像质量的影像。

为了达成上述目的，本发明具有在技术范围中所述的结构特征。

即，其特征在于：将包括周期性或非周期性地出现例如格子状、条纹状图案、文字字幕等的亮度变化的影像图案的区域作为特定区域，对该特定区域，从输入影像信号内在时间上连续的两帧间的规定轮廓成分的相对的偏移量取得动态矢量。

具体而言，对上述特定区域以外的区域，通过上述匹配处理赋予动态矢量，对特定区域，通过下述的处理赋予动态矢量。即，以规定像素单位在水平和/或垂直方向上将两个帧相对地移动，并对每个移动量检测在该两个帧之间上述规定轮廓成分一致的频率，制作直方图(ヒストグラム)，在该直方图中，将上述规定轮廓成分一致的频率最高的移动量(偏移量)作为对于上述特定区域的动态矢量。

根据本发明，在使用插补帧变换帧频的情况下，在显示周期性或非周期性地出现格子、条纹图样等的亮度变化的影像图案时，也能够显示破绽和混乱很少的高图像质量的影像。

附图说明

通过在下面结合附图进行说明，本发明的上述和其他特征、目的和优点将变得更加明确。

图1是表示本发明的第一实施例的显示装置的一个结构例的图。

图2是表示本发明的第一实施例的第二动态矢量取得部32的一个具体例子的图。

图3是表示本发明的第二实施例的显示装置的一个结构例的图。

图4是表示应用于本发明的第二实施例的区域分割的一个例子的图。

图5是表示现有技术的课题的一个例子的图。

图6是本发明的第一实施例的第二动态矢量取得部32的处理的流程图。

图7是第二动态矢量取得部32的取得第二动态矢量的处理的流程图。

图8是第二动态矢量取得部32的判定特定区域的处理的流程图。

图9是表示第二动态矢量取得部32的一致点检测的一个例子的图。

图10是表示第二动态矢量取得部32的移动量直方图的一个例子的图。

图11是表示抽取的特定区域的一个例子的图。

图12是表示在第二直方图生成部制作的直方图的一个例子的图。

图13是表示匹配处理的动态矢量的一个例子的图。

具体实施方式

以下，参照附图说明本发明的实施方式。

而且，本实施方式不仅能够应用在将帧频为60Hz的输入影像信号变换为例如其两倍的120Hz的情况下，也能够应用于将2-3拉开格式的帧频为60Hz的输入影像信号的若干帧，通过置换成插补帧，变换为非拉开格式的60Hz的影像信号的情况。

[实施例1]

使用图1、2等说明本发明的第一实施例。图1是本发明的第一实施例的影像处理装置，表示将本发明应用于例如具有显示面板6的影像显示装置的情况的一个结构例。

从输入端子1输入影像信号，该输入影像信号的至少两个帧的量的数据被存储于帧缓存器(buffer)2中。由此，帧缓存器2输出时间上在前的前帧12和在时间上连接该前帧的后帧13。前帧12和后帧13分别输入至第一动态矢量检测部31、第二动态矢量取得部32和帧插补电路5。

第一动态矢量取得部31根据上述匹配处理从输入的前帧12和后帧13中检测动态矢量。以下参照图13对该匹配处理的一个例子进行说明。而且，图13表示了如同将帧频从例如60Hz变换为120Hz的情况，在输入的影像信号的两个原始帧之间，在时间上的中间的重心位置上插入一个插补帧的情况。其它方式的帧频变换也基本进行同样的处理。

在图13中，在准备对插补帧33上的对像块(也可以为1个像素)34进行插补(生成插补像素)时，分别对后帧信号21、前帧信号22，以与对像块34在空间上位于相同位置的块为中心，设置由图13的虚线所示的规定块数的检索范围35。在图13的例子中将该检索范围35设定为水平11块、垂直5块。接着，以对像块34为中心，将位于在时间方向上点对称的位置的现在帧信号21、和前帧信号22上的块彼此作为一组块进行抽取。该块对(block pair)的抽取在上述检索范围35的全部块内进行，求得各块对之间的差分值。然后，检测差分值最小的块对36，检测连接该块对的直线方向作为第一动态矢量16。

另一方面，第二动态矢量取得部32为本实施例的特征部分，以与上述第一动态矢量部的匹配(マツチング)处理不同的方法取得动态矢量。即，第二动态矢量取得部32对一帧的量的影像中的特定区域，即包括周期性地出现格子、条纹图样等的亮度变化的影像图案的区域，实行用于赋予与上述第一动态矢量16不同的第二动态矢量14的处理。具体而言，在从后帧信号21和前帧信号22抽取规定轮廓成分的同时，使这些帧相对地在水平方向和/或垂直方向偏移(移动)，对每个移动量计算上述规定轮廓成分在后帧信号21和前帧信号22一致的一致点的次数(出现频率)。根据该计数值生成表示上述每个移动量的一致点的分布的直方图，将该直方图中一致点的出现频率最高的移动量作为该特定区域的动态矢量。在后面会对此进行详细的叙述。而且，在第二动态矢量取得部32中输入屏蔽(マスク)信号11，对该屏蔽信号11指定的屏蔽区域不进行上述的处理。该屏蔽区域例如成为表示由未图示的OSD电路生成的控制面板、菜单画面的区域。

进一步，本实施例的第二动态矢量取得部32从上述被抽取的规定轮廓成分判别特定区域，输出区域识别信号15。此外，就区域识别信号15来说，例如在某像素包括在特定区域的情况下输出“1”的信号，在此以外的情况下输出“0”的信号。对该特定区域的判别在后面进行详细说明。

从上述第一动态矢量取得部31输出的第一动态矢量16，和从第二动态矢量取得部32输出的第二动态矢量14及区域识别信号15，被输入选择器4内。选择器4根据区域识别信号15的值选择第一动态矢量16和第二动态矢量14的任何一方。即，选择器4，在区域识别信号15为“1”的情况下为了用于特定区域的像素插补选择第二动态矢量14，在区域识别信号15为“0”的情况下为了用于特定区域以外的像素插补选择第一动态矢量16，输出选择动态矢量17。

从选择器4输出的选择动态矢量17被输入至帧插补电路5。如上所述，在帧插补电路5中也输入前帧12和后帧13的信号。然后帧插补电路5计算例如图13所示的插补帧33中的对象块(像素)34的像素值，作为通过该对象块34的选择动态矢量17所指示的前帧12和后帧13的像素值的平均值。如此求得插补帧33中的插补像素。帧插补电路5通过对插补帧的全部像素进行该处理，生成一个插补帧。进一步，帧插补电路5通过组合上述插补帧和输入的原始帧，输出新的帧列的信号18。该组合例如包括在时间上连续的两个原始帧间插入一个插补帧的处理。此外，上述组合也包括将存在于两个原始帧间的若干原始帧置换为插补帧的处理。

新的帧列的信号18经由定时(タイミング)控制电路6供给至显示部面板7。该显示面板7可以由例如LCD(Liquid Crystal Display：液晶显示器)面板构成，也可以由PDP(Plasma Display Panel：等离子体显示板)构成。定时控制电路6通过根据水平、垂直扫描的定时将来自帧插补电路5的输出信号供给至显示面板7，在显示面板7的画面上显示变换了帧频的影像。

在上述的例子中，第一动态矢量取得部31是由和帧插补电路5不同的形体而构成的，也可以将这些一体地形成。也可以例如在帧插补电路5中内置第一动态矢量取得部31，由上述匹配处理从输入到帧插补电路5的前帧信号12和后帧信号13抽取第一动态矢量。在这种情况下，不使用选择器4，根据区域识别信号15(即相对区域识别信号15为“1”的像素)进行将第一动态矢量置换成第二动态矢量14的处理。

接着，参照图2详细说明本实施例的第二动态矢量取得部32。来自帧缓存器2的前帧信号12和后帧信号13输入至应用区域判定电路107，在这里进行从前帧信号12和后帧信号13抽取预先设定的规定区域的处理。这里，由应用区域判定电路107抽取的规定区域为例如文字字幕施行的可能性高的区域，设定在例如影像的下部附近。应用区域判定电路107以下的处理仅对由应用区域判定电路107抽取的规定区域进行，对这以外的区域不进行所述这样的处理。

由应用区域判定电路107抽取的规定区域内的前帧信号12和后帧信号13分别输入至第一轮廓抽取电路109和第二轮廓抽取电路111，在各个电路中抽取规定区域内的轮廓成分。首先，第一轮廓抽取电路109例如分别对前帧信号12和后帧信号13检测某关注像素和邻接于其左右或上下的像素的差分，在该差分在存储于第一阈值表108内的第一阈值以上的情况下，且该像素的亮度电平在第二阈值以上的情况下，该第一轮廓抽取电路109由于在其接续的电路检测第二动态矢量，不将微小的亮度变化检测为噪声，将第一阈值表108中存储的阈值设定得较高。

另一方面，与上述第一轮廓抽取电路109同样，第二轮廓抽取电路111例如分别对前帧信号12和后帧信号13检测某关注像素和邻接于其左右或上下的像素的差分，在该差分在存储于第二阈值表110内的第一阈值以上的情况下，且该像素的亮度电平在第二阈值以上的情况下，抽取轮廓。该第二轮廓抽取电路111由于在其接续的电路抽取包括文字字幕、格子状或条纹状图案的特定区域，将第二阈值表110内存储的阈值设定得比第一阈值表108中存储的阈值低。

而且，在本实施例中设置了两个抽取轮廓的系统，但并非限定于此，也可以仅使用任何一方。即，也可以通过一个的轮廓抽取电路和阈值表检测动态矢量检测用的轮廓成分和特定区域判定用的轮廓成分。

由上述第一轮廓抽取电路109抽取的轮廓成分被输入至动态矢量检测电路115。动态矢量检测电路115根据该前帧信号12和后帧信号13的各自的轮廓成分，通过与上述匹配处理不同的处理，检测由应用区域判定电路107指定的规定区域内的图像的动态矢量。以下参照图9详细叙述该动态矢量的检测。

图9是示意地表示在时间上连续的帧的图，y轴901表示垂直方向，x轴903表示水平方向，t轴905表示时间方向。在该例中，使作为前帧信号的第一帧画面906和作为后帧信号907的第二帧画面907在水平和/或垂直方向上一个像素一个像素地相对偏移，即使得第二帧画面907相对第一帧画面906在水平和/或垂直方向一个像素一个像素地移动，同时在两帧画面中检测轮廓一致的点。为了实现该处理，本实施例中，构成为在第二帧画面907预先设定的检索区域904内扫描第一帧画面906的关注像素902。在本实施例中，例如图9的右侧所示，该检索范围904成为以关注像素902为中心，在水平方向上±6像素，在垂直方向上±5像素的范围。当然，检索范围904的水平和垂直方向的像素数并不限定于此。

然后，在本实施例中，依次对第一帧画面906的关注像素902(轮廓成分)和检索范围904内的143个(13×11个)像素(轮廓成分)进行比较，检索在检索范围904内与关注像素902电平一致的点。在本实施例中假设检测出检索范围904内的一致点908作为两者一致的像素。如此对第一帧画面906的全部像素(如上所述，由应用区域判定电路107指定的规定区域内的像素)检索在检索范围904内的一致点。通过进行这样的处理，能够获得大致的动态矢量。在图9的例子中，因为一致点908位于相对关注像素902在水平方向上向右3像素，在垂直方向上向上2像素的位置，所以关注像素902的移动量为在水平方向上向右“3”，在垂直方向上向上“2”。此外，在本实施例中，对检索范围904设定了水平方向和垂直方向两者，也可以仅设定水平方向或垂直方向。

将由动态矢量检测电路115检测出的动态矢量相关的信息，即一致点的信息，和从关注像素到一致点的偏移量(移动量)的信息，输入第一直方图生成部114。第一直方图生成部114根据从动态矢量检测电路115输入的一致点的信息和移动量的信息，制作如图10所示的表示相对各移动量出现的一致点的数目的直方图(以下，称为移动量直方图)。直方图的制作概念表示在位于图9的右侧的检索范围的放大图。第一直方图生成部114具有水平方向一致点数计数器909，和垂直方向一致点数计数器910。如图9所示，关注像素902的座标为(0，0)时，一致点908的座标(i，j)，即水平方向和垂直方向的移动量为(3，2)时，水平方向的一致点数计数器909在相对移动量+3的地址上加“1”，垂直方向计数器910在相对移动量+2的地址上加“1”。第一直方图生成部114通过对上述规定区域内的全部像素进行这样的一致点数的计数，制作如图10所示的直方图(以下称为移动量直方图)。而且，图示的移动量直方图为了说明的方便，仅表示相对水平方向的移动量的一致点数。垂直方向的移动量直方图为与图10所示的直方图相同的形式。

如图10所示，所述移动量直方图，横轴表示移动量，纵轴表示轮廓的一致点的数目，表示在使第二帧画面907相对第一帧画面906一个像素一个像素地移动的情况下，出现多少轮廓的一致点。而且，横轴对应图9的检索范围904的水平方向，在该例中水平方向的移动量为±6个像素。即第一直方图生成部114，通过对位于规定区域的第一帧画面906的全部关注像素，在如上所述的每移动一个像素时，计算在检索范围904内的一个像素一个像素地移动时出现的一致点的数目，制作由应用区域判定电路107指定的规定区域的移动量直方图。然后，本实施例的第一直方图生成部114参照该移动量直方图，将一致点数最大的移动量设定为相对该规定区域全部的像素的动态矢量，即第二动态矢量。

而且，屏蔽设定电路120从上述屏蔽信号11设定显示例如控制面板和菜单图像等的OSD(on screen display：屏幕显示)画面的屏蔽区域。屏蔽处理电路117对由屏蔽设定电路120设定的屏蔽区域按照排除区域直方图的值的方式进行动作。由此，使对OSD画面计数的一致点数不对第二动态矢量的生成造成影响。该屏蔽设定电路120和屏蔽处理电路117并不是必需的，也可以根据需要进行设置。

从屏蔽处理电路117输出的直方图信息被输入至移动误差判定电路118内。如上所述，虽然在本实施例中将在移动量直方图中一致点数最大的移动量设定为第二动态矢量，但还通过下面说明的移动误差判定电路118的处理更加正确地判定该第二动态矢量。

例如，在为了使输入影像的精细度与显示面板7的分辨率相配合而进行对该输入影像的放大、缩小处理时，通过对该输入影像进行滤波(filtering)处理生成插入输入影像的插补像素。因此，在移动的前后输入影像的像素发生不稳。此外，也存在进行例如使文字半透明并使其与背景图像混合的处理的情况。在这些情况下，也存在不抽取文字的轮廓，或抽取位置发生改变的可能性。进一步，影像的运动并不限定于以2像素、3像素等的整数像素单位进行运动，也可能以1.5像素、3.7像素等小数单位进行运动。这样，存在仅求取移动量直方图的最大值不能得到正确的动态矢量的问题。

为了在这样的情况下也更加正确地判定第二动态矢量，移动误差判定电路118进行如图10所示的处理。即，在区域直方图中，在对应某移动量的一致点数上加算对应与该某移动量邻接的移动量的一致点数，作为该某移动量的一致点数。该加算处理的概念由图10的符号182表示。

例如，如果在图10中关注移动量-3的点，则该移动量的一致点数的计数值为“180”，在该移动量直方图中具有最大的计数值，如不考虑上述问题，则设定该移动量-3为动态矢量。但是，进行上述加算处理时，则如以下所述求解动态矢量。

即，在图10中，邻接上述移动量-3的移动量-2的计数值为“10”，移动量-4的计数值为“30”。而且，在本例中，图10的直方图中虚线所示的阈值以下(本例中“20”)的计数值被作为噪声从上述加算处理中排除。因此，由于移动量-2的计数值“10”在该加算处理不被考虑，所以以移动量-3为中心的加算值为加算表181所示的“210”。

另一方面，如果关注移动量+3的点，则该移动量的一致点数的计数值为“170”，与其邻接的移动量+2的计数值为“50”，移动量+4的计数值为“140”。由于任一个计数值均超过阈值，以移动量+3为中心的加算值如加算表181所示的“360”。

由此，移动误差判定电路118参照加算表181，由于对应移动量+3的加算值最大，所以将上述规定区域的第二动态矢量确定为移动量+3而非移动量-3。即，该第二动态矢量表示该规定区域的图像从前帧到后帧朝右方向移动三个像素。

将这样生成的第二动态矢量输入至持续性判定电路121，监视例如5～6个帧的量的第二动态矢量的变化。持续性判定电路121例如在第二动态矢量的大小在5帧内几乎没有变化的情况下，判定该动态矢量有效，将来自移动误差判定电路118的输出作为第二动态矢量14输出至上述帧插补电路5。另一方面，第二动态矢量的大小在5帧内大小发生较大变动的情况下，判定该第二动态矢量的检测并未正常进行，将作为第二动态矢量的例如上一次得到的动态矢量作为第二动态矢量14输出至上述选择器4。该持续性判定电路121根据需要进行设置即可，在本实施例中并非必须设置。

接着，继续使用图2对规定区域的抽取进行说明。由第二轮廓抽取电路111抽取的轮廓成分被输入至区域生成电路119。此处，对由第二轮廓抽取电路111抽取的轮廓成分进行例如水平方向的延伸处理，即使该轮廓成分在水平方向连续的处理。在本实施例中，由于存储在第二阈值表110内的阈值以上的轮廓为“1”，之外的轮廓成分为“0”，在上述延伸处理形成连续为“1”的区域。将该区域作为特定区域使用。上述延伸处理一直继续直到轮廓的下降(立下り)。如未检测出轮廓的下降，则在例如另外生成的时钟的计数值达到规定值时，结束该延伸处理。根据这样的处理，形成例如图11所示的特定区域。

在图11的左侧表示了显示输入影像信号，在由应用区域判定电路107设定的规定区域141内显示文字字幕A的例子。这样的输入影像信号通过区域生成电路119形成图11的右侧所示的特定区域142(白文字“A”)。此外，通过持续性判定电路121向区域生成电路119输入第二动态矢量，为了使该特定区域142与上述插补帧对应，根据该第二动态矢量延迟特定区域142。在将帧频从60Hz变换为120Hz的情况下，由于进行在两个连续的原始帧间插入一个插补帧的处理，插补帧与原始帧间的时间距离为原始帧间的时间距离的一半。因此，在这样的情况下，使之延迟半帧的时间。

作为本实施例的问题，包括在某个方向上出现周期性或非周期性的亮度变化的图案(文字字幕、格子状或条纹状的图案)的特定区域的图像，与周围的图像相比轮廓明确，且占据该区域的颜色多为同色系。即特定区域为轮廓附近的像素间的灰度(階調)差大，区域内的灰度差小的区域。本实施例利用这样的特定区域的性质，如上所述由区域生成电路119形成特定区域142。这里，也存在像素间的灰度差随着画面大小或分辨率而产生变化的情况。这是因为，由于在影像信号和显示面板6间的图像大小或分辨率不同时，放大或缩小影像信号、插补像素或灰度，邻接的两个像素间的灰度差发生变化。例如，在由双线性滤波(bi-linear filtering)方法将图像放大到两倍的情况下，插补像素变为左右或上下的平均值，灰度差具有变窄的倾向。

为了与此对应，也可以预先根据图像大小或分辨率等直接影响构成轮廓的像素的信息，设定存储在第二阈值表110内的第一阈值和第二阈值的数据。这些信息使用例如DVD影像等的外部输入或数字高清晰(digital high vision)播放等的播放方式或种类、TV机器内进行的图像滤波的种类等的信息。例如，在高分辨率显示中显示数字高清晰播放等的高分辨率图像的情况下，将第二阈值表110中存储的第一阈值设定得较大(例如影像信号的灰度为256的情况下，阈值设定为100)，在放大显示如一般播放这样的低分辨率图像的情况下，优选将该第一阈值设定得比上述情况小(例如50)。

将这样由区域生成电路119抽取的特定区域142输入至区域判定电路123。区域判定电路123使用第二直方图生成部122，生成对应特定区域的空间位置的直方图。该直方图的一个例子表示在图12中。该直方图包括水平方向直方图133和垂直方向直方图134，对规定区域141的属于特定区域的像素(即为“1”的像素)的数目进行计数。如图12所示，水平方向直方图133计算对应水平方向的位置的为“1”的像素数，垂直方向直方图134计算对应垂直方向的位置的为“1”的像素数。此处，例如将计数值为5以下的像素作为噪声成分，在下一帧中进行将其从特定区域排除，使其无效化的动作。在图12的例子中将灰色表示的区域作为无效区域131。此外，将水平方向直方图133的计数值为30～15的范围，垂直方向直方图134的计数值为30～15的范围、20～15的范围设定为有效区域132。由此，区域判定电路123将有效区域132内的像素全部作为“1”，输出表示特定区域的区域识别信号15。该区域识别信号15与第二动态矢量一同输入选择器4，以已述的方式控制选择器4。

参照图6对以上说明的第二动态矢量取得部32的处理的流程进行说明。首先在步骤(以下简称为“S”)101，通过应用区域判定电路107决定实施上述第二动态矢量检测处理和特定区域抽取处理的规定区域。接着，在S200，通过第一阈值表108、第一轮廓抽取电路109、矢量检测电路115、和第一直方图生成部114，进行检测上述一致点、制作移动量直方图的处理。接着，在S102，通过屏蔽设定电路120、屏蔽处理电路117、和移动误差判定电路118，进行计算直方图的最大值的处理，由制作出来的移动量直方图检测第二动态矢量。之后，在S103，通过由持续性判定电路122，如上所述地监视在5～6帧内动态矢量的变动，进行动态矢量持续性的判定处理。该持续性判定处理在未抽取到动态矢量或抽取到不同的动态矢量的情况下，进行将上一次的动态矢量应用于预先设定的所有指定帧的处理。

进一步，在S300中，通过第二阈值表110、第二轮廓抽取电路111和区域生成电路119进行生成特定区域的处理。最后，在S104，如图12所示，通过第二直方图生成部122和区域判定电路123，进行使特定区域的直方图的规定阈值以下的连续区域无效的处理。使规定值以上的连续区域为有效区域132。

这样，即取得第二动态矢量14和应用该第二动态矢量14的特定区域。

接着，参照图9对由演算式计算上述动态矢量的方法的一个例子进行说明。一般使用以下的方法作为图像的匹配的评价方法。现在，使第i帧的位置(x，y)处的灰度(或ルミナシテイ)为S_i(x，y)。位于k-1帧的(x，y)的关注像素902移动到第k帧的(x+dx，y+dy)的一致点908时，这两个的灰度差能够由下公式(1)表示。

dS＝S_k(x+dx，y+dy)-S_k-1(x，y)    (1)

此处，使dS最小的位移矢量(dx，dy)为所求的动态矢量。

在本实施例中，通过使用一定的灰度范围[S₀，S₁]的像素，和其附近的两像素间的灰度在阈值E₀以上的像素的灰度差的一致，求取动态矢量，能够使用下述公式(2)～(4)表示。

dE＝E_k((x+dx，y+dy)-E_k-1(x，y))    (2)

E_i(x，y)＝P_i(x，y)grad S_i(x，y)    (3)

P_i(x，y)＝

H(S_i(x，y)-S₀)H(S₁-S_i(x，y))H(grad|S_i(x，y)|-E₀)                           (4)

此处，H表示Heaviside函数(阶跃函数)，H(x)在x≥0时为1，其它情况为0。

此处，公式(3)是表示特定区域的轮廓的函数(以后，称该函数为轮廓函数)，使公式(2)的dE最小的位移矢量(dx，dy)是构成特定区域的轮廓的像素的动态矢量。

相对某小的阈值δE(＞0)，满足|dE|＜δE的情况下(以下，称该条件为条件1)，表示第k-1帧的位置(x+dx，y+dy)和第k帧的位置(x，y)的轮廓一致。

在条件1合计的帧内的像素的个数为特定区域的像素数，公式(2)～(4)的条件式通过以下公式(5)所示进行置换，能够实现量子化。

N(dx，dy)＝∑_x，yH(δE-|dE|)    (5)

此处，使N最大的位移矢量(dx，dy)为所求的动态矢量。

接着，使用图7说明由区域直方图取得第二动态矢量的处理流程的一个例子。其与图6的S200的处理相对应。首先，在S201判定第一帧的位置(x，y)的像素是否在指定的灰度范围内。Yes的情况下进入S202，计算位置(x，y)和其附近的像素间的灰度差。接着在步骤203中判定在S202中计算出的灰度差是否在指定的值以上，如结果为是则进入S204，判定第二帧位置(x+i，y+j)的像素是否在指定的灰度范围内。如为Yes则进入S205计算上述位置(x+i，y+j)和其附近的像素间的灰度差。在S201、202的判定结果为No时结束处理。

此处，在S201～S205中，(x，y)附近的像素在灰度值的范围[S₀，S₁]中，且满足距离为δx或δy附近的两像素间的灰度在阈值E0以上的情况下(以下称该条件为条件2)，能够将上述公式(3)表示为下公式(6)。

E_i(x，y)＝grad S_i(x，y)＝({S_i(x+δx)-S_i(x)}/δx，{S_i(y+δy)-S_i(y)}/δy)              (6)

其中，P_i(x，y)＝1

此外，公式(2)能够使用公式(6)如公式(7)所示进行置换。

dE＝grad S_k(x+dx，y+dy)-grad S_k-1(x，y)    (7)

接着，在S206中判定在S205中计算出的值是否在指定的值以上，如为Yes则进入S207。

现在，考虑位置(x+i，y+j)在检索区域904(x0，y0)-(x1，y1)内(其中x0≤x≤x1，y0≤y≤y1)的情况。这时，公式(7)表示k-1帧的位置(x+i，y+j)和第k帧的位置(x，y)的灰度差的差分，S207使用它计算两帧间的差分，判定该差分是否在指定的值以下。判定结果为Yes时进入S208，进行制作区域直方图的处理。在该S208使用上述公式(5)对满足条件2的全部像素进行计算。结果，使N(i，j)遍历矩形内的全部(i，j)组，总计轮廓的一致个数并计算出区域直方图。这样，在S208计算上述区域直方图N(i，j)，判定遍历全部(i，j)的最大值，从而求得动态矢量(i，j)。此处，区域直方图N(i，j)满足1≤i≤n，1≤j≤m(n、m为整数)。

S208的处理结束后，进入S209移动检索范围904内的位置(移动检索对像的像素)。在S210判定是否对检索范围904内的全部像素进行了到S201～S209的处理，反复进行S201～S209的处理，直到对全部像素完成该处理。在S204、206、207的判定结果为No时，进入S209进行该步骤的处理。

此外，因为使用于二维直方图的实际的装置时，制作对应行和列的i×j个的表时，电路和存储器容量变大，因此也可以由下述公式(8)对二维直方图进行近似处理。

N(n，m)N(n，1)·N(1，m)    (8)

接着，参照图8对特定区域信号15的生成处理的一个例子进行说明。这与图6所示的S300的处理对应。首先在S30 1判定移动了检测出的动态矢量(i，j)的第二帧的位置(x+i，y+j)的像素是否在规定灰度范围[S₀，S₁]内。如结果为Yes，则进入S302求得位置(x+i，y+j)和位于其附近的距离为δx或δy的两像素间的灰度差。接着在S303判定该灰度差是否满足在阈值E₀以上。此处，上述条件1和条件2中，灰度值的范围和灰度的阈值是相互不同的。此外，将满足S301～303的条件在以下称为“条件3”。

如S303的判定结果为Yes，则在S305中，判定第二帧的位置(x+i，y+j)和第一帧的位置(x，y)的灰度差是否小，如为Yes则进入S306，如S301、S303的判定结果为No则进入S304，判定在上一次的处理中是否经过了S301～S303的判定(即S301和S303的判定结果为Yes)。如该判定结果为Yes则进入S306。在S306判定第二帧的位置(x+i，y+j)的像素的灰度是否在指定范围内，如为Yes则进入S309，以该位置的像素作为特定区域内的像素，使区域判定信号M(x，y)为“1”。

另一方面，S304的判定结果为No时进入S307，判定是否具有存在于上述延伸区域(指定扩张范围)内的像素，如为Yes则进入S309，如为No则进入S308。在S308判定在该指定扩张范围内是否存在屏蔽区域，如为No则进入S310。在S310以该像素作为特定区域以外的像素，使区域判定信号M(x，y)为“0”。上述S304、S307、S308的处理是在满足各步骤的条件的情况下用以延伸特定区域的处理。

如以上所说明的，根据本实施例，通过在包括周期性或非周期性地出现亮度变化的影像图案的特定区域中，使用直方图检测出动态矢量，并使用该动态矢量生成插补帧，能够抑制该特定区域的动态矢量的错误检测，能够减少影像的破绽。

[实施例2]

使用图3和图4说明本发明的第二实施例。图3所示的第二实施例以并列设置多个图1的第二动态矢量取得部32为特征。图3中与第一实施例所说明的元件具有同一符号的元件具有与第一实施例同样的功能，省略其详细说明。

第二实施例设置四个第二动态矢量取得部32a～32d作为多个第二动态矢量取得部32，还设置有将其各自的输出合成并进行输出的屏蔽合成电路303。由此，本实施例能够对多个规定区域生成第二动态矢量14和区域识别信号15。虽然各个第二动态矢量取得部的结构与第一实施例的第二动态矢量取得部的结构实质相同，但与第一实施例的第二动态矢量取得部32不同的点如以下所述。即，各第二动态矢量取得部32a～32d将分别生成的第二动态矢量14通过变换器301a～302c输出至下一段的第二动态矢量取得部32a～32d，其相关的结构与第一实施例的第二动态矢量取得部32不同。而且，在本实施例中，第一动态矢量取得部31与帧插补电路5是一体化形成的。

即，本实施例通过将第二动态矢量14经由变换器301a～301c变换为屏蔽信号302a～302c，从由某第二动态矢量取得部制作的移动量直方图中，除去由另一第二动态矢量取得部得到的特定区域的一致点的直方图。这样，各第二动态矢量取得部32a～32d将对应其分别指定的规定区域的第二动态矢量14a～14d和区域指定信号15a～15d供给至屏蔽合成电路303。屏蔽合成电路303从这些信号生成合成第二动态矢量304和合成区域识别信号305，并供给至帧插补电路5。

接着，使用图4说明第二实施例的区域的指定的一个例子。所述区域的指定是由各第二动态矢量取得部32的应用范围判定电路107进行的。作为指定多个区域的方法，考虑如图4(a)所示的将画面在空间上分割成4份(即区域在同一空间上并列)的情况，和如图4(b)所示的在时间上分割成4份(即重叠多个区域)的情况。在前者的情况下，因为动态矢量与其他区域没有依存关系，使变换器301a～d无效而进行使用。另一方面，后者的情况下，必须使变换器301a～c有效，以使得对相同对象不检测出相同的动态矢量。但是，在变更特定区域时，即变更第一阈值表108和第二阈值表110时，因为相互的设定没有依存关系，能够使变换器301a～c无效而进行使用。

此外，也可以如图4(c)所示，将区域指定为左右的立式字幕用区域403与405、下侧的水平字幕用区域406、覆盖全体的区域的通用区域404。这样，混合重叠区域的方法和并列区域的方法的情况下，对应各领域的第二动态矢量取得部和第一直方图生成部114也由于上述依存关系相互影响。在这种情况下，使变换器301a、301b无效，变换器301c有效，相对全体通用区域404，分配使用于第二动态矢量取得部32d。此外，对于第一直方图生成部来说，通过使对应区域403和405的为N(m，1)，对应区域406的为N(m，1)，对应区域404的为N(m，1)N(m，1)，能够抑制电路规模。

如上所述，从各第二动态矢量取得部输出的区域判定信号15a～d是用于指定应用动态矢量的区域或不应用动态矢量的区域的1位(ビツト)的信号。因此，屏蔽合成电路303生成的合成屏蔽区域的信号305与第二动态矢量取得部的个数具有相同的位数。在本实施例的情况下，因为有四个第二动态矢量取得部，所以合成屏蔽信号305为4位的信号。此处，因为在图4(a)的情况下各区域有相互排斥的关系，所以通过在帧插补电路5侧存储各四个区域，能够使之成为1位的信号。此外，图4(c)的情况下为2位的信号。

如以上所说明的，根据本实施方式，通过匹配处理检测动态矢量从而生成插补帧，在这样的结构中，将包括周期性或非周期性地出现例如格子状、条纹状图案、文字字幕等的亮度变化的影像图案的区域作为特定区域，对该特定区域，不是通过上述匹配处理得到动态矢量，而是从两帧间的轮廓成分的相对的偏移量取得动态矢量。进一步，制作对于该偏移量(移动量)的动态矢量的直方图，从该直方图将具有最大度数的动态矢量作为上述特定区域的动态矢量，由此，根据本实施方式，在使用插补帧变换帧频的情况下，即使是在显示周期性或非周期性地出现格子、条纹图样等的亮度变化的影像图案的情况下，也能够显示破绽和混乱很少的高画面质量的影像。

以上，对本发明的几个实施方式进行了列举和说明，但是需要理解的是，对上述实施方式进行允许的变更及改进将不会脱离本发明的范围。因此，本发明并不局限于上述实施方式，所有落入附属权利要求书的范围内的变更和改进将被本发明覆盖。

Claims (17)

1.一种影像处理装置，其特征在于，包括：

从输入影像信号中所包括的多个帧，按照像素或规定的块单位，取得图像的动态矢量并将其输出的动态矢量取得部；和

使用来自所述动态矢量取得部的动态矢量生成插补帧，并且使该插补帧与所述输入影像信号的帧组合，生成新的帧列的信号的帧插补部，其中，

所述动态矢量取得部，对输入影像信号的帧的特定区域中的像素或规定块，根据在所述输入影像信号内的在时间上连续的两个帧之间的、规定轮廓成分的相对偏移量取得动态矢量。

2.如权利要求1所述的影像处理装置，其特征在于：

对于包括在所述特定区域中的全部像素或规定块，赋予与所述偏移量相等的同一动态矢量。

3.如权利要求1所述的影像处理装置，其特征在于：

所述特定区域是包括周期性或非周期性地出现亮度变化的影像图案的区域。

4.如权利要求3所述的影像处理装置，其特征在于：

周期性或非周期性地出现所述亮度变化的影像图案为格子状或条纹状的图案、或文字字幕。

5.如权利要求1所述的影像处理装置，其特征在于：

所述动态矢量取得部通过匹配处理取得所述动态矢量，在所述匹配处理中，以在所述输入影像信号内、在时间上连续的两个帧之间插入的插补帧内的插补像素或块为中心，抽取多个位于点对称位置的该两个帧上的像素或块的对，将该像素对或块对之间的差分最小的对的方向作为动态矢量，

对于所述特定区域，赋予基于所述偏移量的动态矢量以替代由所述匹配处理取得的动态矢量。

6.如权利要求1所述的影像处理装置，其特征在于：

所述动态矢量取得部，以规定的像素单位在水平和/或垂直方向上将所述两个帧相对地错开，并检测在该两个帧之间所述规定轮廓成分一致的频率，制作直方图，在该直方图中，将所述规定轮廓成分一致的频率最高的偏移量作为对于所述特定区域的动态矢量。

7.一种影像显示装置，其特征在于：

从输入影像信号中所包括的多个帧，按照像素或规定的块单位，取得图像的动态矢量并将其输出的动态矢量取得部；

使用来自所述动态矢量取得部的动态矢量生成插补帧，并且使该插补帧与所述输入影像信号的帧组合，生成新的帧列的信号的帧插补部，和

根据从该帧插补部输出的帧列进行影像的显示的显示部，其中，

所述动态矢量取得部对输入影像信号的帧的特定区域赋予与该特定区域以外不同的动态矢量。

8.如权利要求7所述的影像显示装置，其特征在于：

所述动态矢量取得部包括从所述输入影像信号抽取规定轮廓成分的轮廓抽取部，使用由该轮廓抽取部抽取的所述规定轮廓成分取得所述特定区域用的动态矢量。

9.如权利要求8所述的影像显示装置，其特征在于：

所述动态矢量取得部，以规定的像素单位在水平和/或垂直方向上使所述两个帧相对地移动，并检测在该两个帧之间所述规定轮廓成分一致的一致点，由此制作每个移动量的直方图，

在该直方图中，将所述一致点的出现频率最大的移动量作为对于所述特定区域的动态矢量。

10.如权利要求9所述的影像显示装置，其特征在于：

所述轮廓抽取部包括在时间上连续的两个帧中关于像素的灰度和与邻接像素的灰度差的阈值表，使用通过该表确定的灰度和灰度差的阈值抽取所述规定轮廓成分。

11.如权利要求10所述的影像显示装置，其特征在于，还包括：

用于判定所述特定区域的区域判定部，该区域判定部对所述抽取的规定轮廓成分附近的像素的灰度和所述灰度阈值进行比较，判定所述特定区域。

12.如权利要求10所述的影像显示装置，其特征在于：

当所述两个帧的时间上靠前的帧所包括的第一像素、和时间上靠后的帧所包括的与所述第一像素在空间位置相同的所述特定区域内的第二像素，与所述规定轮廓成分对应，且该第一和第二像素间的灰度差在规定阈值以内时，将所述规定轮廓成分视为一致，检测所述一致点。

13.如权利要求9所述的影像显示装置，其特征在于：

所述动态矢量取得部，根据在所述直方图中将基于由所述规定轮廓成分的运动和噪声引起的误差的修正值加算在所述一致点的出现频率上而得到的值，判定所述最大的出现频率。

14.如权利要求13所述的影像显示装置，其特征在于：

所述动态矢量取得部包括，相对所述直方图中的各移动量，用于指定作为使用于所述最大出现频率的判定的数据有效或无效的表。

15.如权利要求11所述的影像显示装置，其特征在于：

所述区域判定部当所述规定轮廓成分附近的像素的灰度在所述灰度阈值以上时，判定该像素包含在所述特定区域。

16.如权利要求11所述的影像显示装置，其特征在于：

所述区域判定部，当从上下或左右与所述规定轮廓成分的像素邻接的两像素间的灰度差分别在规定阈值以内时，判定该像素包含在所述特定区域。

17.如权利要求9所述的影像显示装置，其特征在于：

设置有多个所述动态矢量取得部。

Images