CN103947181A - 图像处理装置和方法以及图像显示装置和方法 - Google Patents

Abstract

关于各帧的视频信号(D2)，使用检测出的运动矢量(V)进行图像校正处理(6、16)。根据检测出的运动矢量(V)的高频成分，进行对各帧内的运动矢量的检测结果的可靠性的判定(9)，在运动矢量的可靠性较低的情况下，输出未经图像校正处理的图像。在参照运动矢量的图像校正处理中，能够防止在被误检测的运动矢量较多的情况下，输出质量比原视频差的视频。

Description

图像处理装置和方法以及图像显示装置和方法

技术领域

本发明涉及通过参照运动矢量进行视频的图像质量提高处理的图像处理装置和方法以及图像显示装置和方法。

背景技术

以提高视频的图像质量为目的，提出了各种图像校正处理。其中，存在检测视频的运动矢量，根据检测出的运动矢量进行图像校正处理的技术。例如，有根据检测出的运动矢量来校正运动模糊的图像校正处理(专利文献1)。此外，还有使用检测出的运动矢量进行帧插值的图像校正处理。

现有技术文献

专利文献

【专利文献1】日本特开平7-65163号公报

发明内容

发明所要解决的课题

但是，在运动矢量的检测中包含较多错误的情况下，存在作为使用检测出的运动矢量进行图像校正处理的结果而得到的视频比原视频的图像质量更为劣化的问题。

本发明是鉴于上述课题完成的，其目的在于：当检测出的运动矢量中包含较多错误时，防止图像质量的劣化。

用于解决课题的手段

本发明的图像处理装置的特征在于，具有：运动矢量检测部，其根据对输入视频信号进行帧延迟而得到的第1视频信号和相对于所述第1视频信号在时间上处于1帧以上之前或之后的视频信号，检测所述第1视频信号的运动矢量；图像校正处理部，其使用由所述运动矢量检测部检测出的运动矢量，对所述第1视频信号进行图像校正处理；高频成分检测部，其使用由所述运动矢量检测部检测出的运动矢量检测高频成分；判定部，其根据由所述高频成分检测部检测出的高频成分，进行对各帧内的运动矢量的检测结果的可靠性的判定；以及图像选择部，其根据所述判定部的判定结果，选择作为所述图像校正处理部进行图像校正处理的结果而生成的视频信号、和所述输入视频信号或对该输入视频信号进行帧延迟而得到的视频信号中的任意一个进行输出。

发明效果

根据本发明，在运动矢量的检测中错误较多的情况下，不使用图像校正处理后的视频信号而输出原视频信号，因此能够防止输出比原视频信号劣化的信号。

附图说明

图1是示出本发明实施方式1的图像显示装置的框图。

图2的(a)～图2的(l)是说明图1的图像处理装置的动作的时序图。

图3是示出图1的输入图像延迟部4的结构例的框图。

图4是示出图1的运动矢量检测部5的结构例的框图。

图5的(a)和图5的(b)是示出连续2帧的视频信号中的运动矢量的搜索范围的一例的图。

图6是示出图1的图像校正处理部6的结构例的框图。

图7是示出帧期间与摄像期间之间的关系的图。

图8是示出对于运动模糊的有效滤波区域EFA的一例的图。

图9是示出对于运动模糊的有效滤波区域EFA的另一例的图。

图10是示出对于运动模糊的有效滤波区域EFA的又一例的图。

图11是示出像素值与平均值之差同调节后的校正强度参数之间的关系的一例的图。

图12是示出图1的处理图像延迟部7的结构例的框图。

图13是示出运动矢量的各分量的图。

图14的(a)和图14的(b)是示出2个帧的运动矢量和运动模糊的一例的图。

图15的(a)和图15的(b)是示出2个帧的运动矢量和运动模糊的另一例的图。

图16是示出运动矢量的方向及大小和针对滤波系数表的指针(IND)的一例的图。

图17是示出基于阈值的非线性处理的曲线图。

图18是示出本发明实施方式2的图像显示装置的框图。

图19的(a)～图19的(l)是说明图18的图像输入装置的动作的时序图。

图20是示出图18的图像合成部17的结构例的框图。

图21是示出本发明实施方式3的图像显示装置的框图。

图22的(a)～图22的(l)是说明图21的图像输入装置的动作的时序图。

图23是示出本发明实施方式4的图像显示装置的框图。

图24的(a)～图24的(l)是说明图23的图像输入装置的动作的时序图。

图25的(a)～图25的(f)是说明图23的图像输入装置的动作的时序图。

具体实施方式

实施方式1.

图1示出本发明实施方式1的具有图像处理装置的图像显示装置的结构。图示的图像显示装置1具有图像处理装置2和图像显示部3，图像处理装置2具有输入图像延迟部4、运动矢量检测部5、图像校正处理部6、处理图像延迟部7、高频成分检测部8、判定部9和图像选择部10。

图像处理装置2接收所输入的视频信号D0，进行运动模糊校正处理。

视频信号D0由表示构成图像的多个像素的像素值的信号的列构成，图像处理装置2依次将各帧的多个像素作为校正对象像素(关注像素)进行模糊校正处理，生成校正处理后的视频信号E0(由具有经校正后的像素值的信号的列构成)，并选择将该校正处理后的视频信号E0延迟1帧而得到的视频信号E1、和将输入视频信号D0延迟2帧而得到的视频信号D3中的任意一个，作为最终输出视频信号F输出。

输入到图像处理装置2的视频信号D0(图2的(b))被提供给输入图像延迟部4。输入图像延迟部4使用帧存储器，进行所输入的信号的帧延迟，从而生成3个彼此不同的帧的视频信号D1、D2、D3(图2的(d)、(e)、(f))。在图2的(a)～2的(l)中，标号T0、T1、T2、…表示各帧期间。其中，视频信号D1相对于视频信号D0没有延迟，视频信号D2相对于视频信号D0有1帧的延迟，视频信号D3相对于视频信号D0有2帧的延迟。

视频信号D2和D1被输出到运动矢量检测部5，视频信号D2被输出到图像校正处理部6，视频信号D3被输出到图像选择部10。

运动矢量检测部5使用从输入图像延迟部4输出的2个不同的帧的视频信号D2、D1，检测视频信号D2所包含的运动矢量V(图2的(i))。

检测出的运动矢量V被输出到图像校正处理部6和高频成分检测部8。

图像校正处理部6将从运动矢量检测部5输出的运动矢量V作为输入，减轻从输入图像延迟部4输出的视频信号D2中由于被摄体的运动和/或相机的运动而产生劣化的视频的运动模糊，并将校正后的视频信号E0(图2的(g)的F0c、F1c、F2c、…)输出到处理图像延迟部7。

处理图像延迟部7使从图像校正处理部6输出的经校正后的视频信号E0延迟1帧并输出。处理图像延迟部7的输出作为经校正且延迟后的视频信号E1(图2的(h)的F0c、F1c、F2c、…)被提供给图像选择部10。

高频成分检测部8将从运动矢量检测部5输出的运动矢量V(图2的(i))作为输入，利用高通滤波器(high-pass filter)对各像素提取运动矢量的高频成分，将提取出的高频成分的值与从外部输入的阈值C1进行比较，并将比较结果作为关于该像素的高频成分检测结果H进行输出。该高频成分检测结果H在高频成分的值小于阈值C1的情况下，取值“0”，在高频成分的值为阈值C1以上的情况下，取值“1”。关于各像素的高频成分，能够通过对关于各像素的运动矢量、及其周边像素的运动矢量实施高通滤波而得到。

关于各像素的运动矢量V的高频成分的值越大，则该运动矢量V是被误检测的运动矢量的可能性越高。在本实施方式中，在高频成分的值为阈值C1以上的情况下，将关于该像素的运动矢量V估计为被误检测的运动矢量而进行处理。

阈值C1能够通过例如由用户从图像处理装置的外部使用未图示的操作键进行输入，来进行设定和变更。

判定部9输入从高频成分检测部8输出的高频成分检测结果H，并在1帧范围内对取值“1”的高频成分检测结果H的数量进行计数。并且，将计数结果Nhf(1帧中的、取值“1”的高频成分检测结果H的产生次数)与从外部输入的阈值C2进行比较，并将比较结果作为选择控制信号R输出到图像选择部10。具体而言，在计数结果Nfh小于阈值C2的情况下将选择控制信号R的值设为“0”，在计数结果Nfh为阈值C2以上的情况下将选择控制信号R的值设为“1”(图2的(j))。

阈值C2也能够通过例如由用户从图像处理装置的外部使用未图示的操作键进行输入，来进行设定和变更。

图像选择部10在选择控制信号R为“0”的情况下，选择从处理图像延迟部7输出的经校正后的视频信号E1，作为最终输出视频信号F输出(图2的(k))，在选择控制信号R为“1”的情况下，选择从输入图像延迟部4输出的视频信号D3，作为最终输出视频信号F输出(图2的(l))。

上述计数结果Nhf(关于各帧的取值“1”的高频成分检测结果H的数量)越多，能够估计为该帧中的运动矢量V的误检测较多的可能性越高、可靠性越低。在本实施方式中，在计数结果Nhf为阈值C2以上的情况下，认为关于该帧运动矢量V的误检测较多，因此将运动矢量V的检测结果作为可靠性低的检测结果进行处理。即，在图像选择部10中，不选择作为使用运动矢量V进行的图像校正处理的结果而得到的视频信号E1，而选择原视频信号(未经图像校正处理的视频信号)D3进行输出。

在各帧期间Tn(n为0、1、2、…中的任意一个)内，从运动矢量检测部5输出的运动矢量V是关于1帧延迟视频信号D2的各像素的运动矢量，运动矢量V的高频成分检测结果H在各帧范围内的合计结束、确定选择控制信号R的值的时刻，与该帧期间结束的时刻大体一致。根据各帧的视频信号D2的运动矢量V生成的选择控制信号R的值被用于图像选择部10在下一帧期间T(n+1)内的选择，其中，在下一帧期间T(n+1)内，2帧延迟视频信号D3和延迟了1帧的校正处理后的视频信号E1被提供给图像选择部10。

例如，在帧F0的视频信号D3和对应的校正处理后的视频信号E1(F0c)被输入到图像选择部10的下一帧期间T2内，基于帧F0的视频信号D2的选择控制信号R(F0)被提供给图像选择部10，在图像选择部10中，根据该选择控制信号R(F0)进行帧期间T2内的、视频信号D3(F0)或视频信号E1(F0c)的选择，其中该帧F0的视频信号D2是在帧期间T1中从输入图像延迟部4输出并输入到运动矢量检测部5的。

图像显示部3进行基于从图像选择部10输出的视频信号F的图像显示。

此处，用户能够通过变更阈值C1，来调节高频成分检测部8中的判定的严格性(在高频成分的值为怎样的程度时，估计为误检测)。此外，能够通过变更阈值C2，来调节判定部9中的判定的严格性(基于在各帧中被估计为运动矢量是被误检测的像素的数量Nhf的、对关于该帧的运动矢量的检测结果可靠性的判定基准，即在各帧中估计为运动矢量是被误检测的像素的数量Nhf为怎样的程度时，确定为关于该帧的运动矢量的检测结果的可靠性较低，从而不选择经图像校正处理后的视频信号)。

在以下的说明中，设图像尺寸为在垂直方向具有M个像素，在水平方向具有N个像素。此时，将变量i和j分别定义为1≤i≤M、1≤j≤N，将表示像素位置的坐标用(i，j)表示，将利用该坐标表示的位置处的像素用P(i，j)表示。即，变量i表示垂直方向位置，变量j表示水平方向位置。在图像左上角的像素的位置处，i＝1、j＝1，随着向下方每推进1个像素间距则i逐次加1，而随着向右方每推进1个像素间距则j逐次加1。

图3示出输入图像延迟部4的结构例。图示的输入图像延迟部4具有帧存储器11和帧存储器控制部12。帧存储器11具有至少能存储2帧所输入的视频信号的容量。

帧存储器控制部12按照存储器地址进行输入视频信号的写入和所蓄积的视频信号的读取，生成连续的3帧视频信号D1、D2、D3，其中，该存储器地址是根据所输入的视频信号D0所包含的同步信号而生成的。

视频信号D1相对于输入视频信号D0没有帧延迟，也被称作当前帧视频信号。

视频信号D2是相对于视频信号D1延迟1帧而得到的、在时间上的1帧期间之前的信号，也被称作1帧延迟视频信号。

视频信号D3是相对于视频信号D1延迟2帧而得到的、在时间上的2帧期间之前的信号，也被称作2帧延迟视频信号。

另外，如以下说明的那样，以视频信号D2作为对象进行运动矢量检测处理，因此有时将视频信号D2称作关注帧视频信号，将视频信号D1称作后帧视频信号。

如上所述，视频信号D1、D2、D3由构成图像的多个像素的信号的列构成，处于坐标(i，j)的位置处的像素P(i，j)的像素值表示为D1(i，j)、D2(i，j)、D3(i，j)。

图4示出运动矢量检测部5的结构例。图示的运动矢量检测部5根据从其外部输入的第1视频信号(D2)和从其外部输入并相对于第1视频信号(D2)在时间上处于1帧以上之前或1帧以上之后的第2视频信号(D1)，检测上述第1视频信号(D2)的运动矢量，图示的运动矢量检测部5具有关注帧块切取部21、后帧块切取部22和运动矢量确定部23。

如图5的(a)所示，关注帧块切取部21从关注帧视频信号D2切取关注像素P(i，j)的周边区域，例如以关注像素作为中心的、高度(垂直方向尺寸)为(2*BM+1)、宽度(水平方向尺寸)为(2*BN+1)的矩形区域(块)D2B(i，j)。

后帧块切取部22对于视频信号D1，以按照每个上述关注像素P(i，j)定义的坐标的集合

S(i，j)＝{(i+k，j+l)}   (1)

(其中，－SV≤k≤SV、－SH≤1≤SH且SV、SH为规定值。)所包含的位置(i+k，j+l)为中心，切取与矩形区域D2B(i，j)尺寸相同的矩形区域D1B(i+k，j+l)(图5的(b))。其中，S(i，j)也被称作关于关注像素P(i，j)的运动矢量的搜索范围。这样定义的搜索范围是横向为2*H+1、纵向为2*V+1的矩形区域。

运动矢量确定部23求出在从关注帧块切取部21输入的矩形区域D2B(i，j)与从后帧块切取部22输入的块D1B(i+k，j+l)之间、各块内的所有像素、即(2*BM+1)*(2*BN+1)个彼此对应的位置处的像素彼此之差的绝对值的总和(绝对差和)SAD(i+k，j+l)。该绝对差和SAD(i+k，j+l)可通过下式(2)表示。

【数式1】

$\mathrm{SAD}(i+k,j+l)=\underset{r=-\mathrm{BM}}{\overset{\mathrm{BM}}{\mathrm{\Σ}}}\underset{s=-\mathrm{BN}}{\overset{\mathrm{BN}}{\mathrm{\Σ}}}|D1(i+k+r,j+l+s)-D2(i+r,j+s)|---\left(2\right)$

如后所述，对应于(2*SV+1)*(2*SH+1)个矩形区域D1B(i+k，j+l)能够得到(2*SV+1)*(2*SH+1)个绝对差和SAD(i+k，j+l)，确定出其中产生了值最小的绝对差和的矩形区域D1B(i+km，j+lm)，将该矩形区域的相对于矩形区域D2B(i，j)的相对位置(km，lm)作为运动矢量V＝(Vy，Vx)＝(km，lm)输出到图像校正处理部6。

通过以上的处理，运动矢量确定部23估计关注帧视频信号D2的矩形区域D2B(i，j)在后帧视频信号D1的哪个区域发生了运动，并将估计出的区域D1B的相对于矩形区域D2B(i，j)的相对位置，作为关于关注像素P(i，j)的运动矢量V(为了与关于其他像素的运动矢量进行区别，有时也表示为V(i，j))输出。

对从输入图像延迟部4输出的视频信号D2的所有像素进行上述那样的运动矢量检测，对各像素检测运动矢量，将由此得到的运动矢量用于减轻运动模糊。

另外，在运动矢量检测部5的运动矢量检测时，图像的上端、下端、左端、右端外侧的像素成为上述矩形区域D2B(i，j)、D1B(i+k，j+l)的一部分，当需要这些像素的像素值的情况下，例如将上端、下端、左端、右端外侧的像素作为分别具有与上端、下端、左端、右端的像素相同值的部分进行处理即可。这对于后述的滤波部34、平均值计算部37等的运算也同样适用。

此外，本发明的运动矢量检测部5的处理方法不限于上述方法，还可以采用除了关注帧视频信号和后帧视频信号之外还使用关注帧视频信号的1帧之前的视频信号的方法、或者不使用后帧视频信号而使用关注帧视频信号和关注帧视频信号的1帧之前的视频信号的方法、或者使用关注帧视频信号和后帧视频信号并利用相位相关函数求出运动矢量的方法等。

图6示出图像校正处理部6的结构例。图示的图像校正处理部6具有校正运算部30、操作信号处理部31、运动模糊估计部32、滤波系数保存部33、滤波部34、平均值计算部37、校正强度调节部38和增益计算部39。

校正运算部30接收视频信号D2，通过后述的增益GAIN针对每个像素进行校正处理，将校正后的视频信号E输出到图像选择部10。

操作信号处理部31对由用户使用未图示的界面输入的信号PR进行分析，输出作为分析结果得到的参数。

从操作信号处理部31输出的参数包含调节参数ADJ、校正强度参数BST0、阈值TH1和TH2。

调节参数ADJ用于根据运动矢量计算运动模糊量，并被提供给运动模糊估计部32。

阈值TH1用于调节滤波部34的特性，并被提供给滤波部34。

校正强度参数BST0用于确定校正强度，阈值TH2在图像特征的判别中使用，它们都被提供给校正强度调节部38。

运动模糊估计部32将由运动矢量检测部5检测出的运动矢量V(垂直方向分量Vy(＝km)、水平方向分量Vx(＝lm))作为输入，计算出用极坐标表示该运动矢量时的分量(大小和角度)。具体而言，将运动矢量的朝向为水平方向的右朝向的情况作为0度，利用下式计算运动矢量的方向A(度)和大小LM(像素)。

【数式2】

A＝(Arctan(Vy/Vx))*180/π     (3)

$\mathrm{LM}=\sqrt{{\mathrm{Vy}}^2+{\mathrm{Vx}}^2}---\left(4\right)$

运动模糊估计部32还求出与运动矢量对应的角度和运动模糊的大小(运动方向的模糊幅度)。例如设为运动模糊的角度与运动矢量的角度A相同，而运动模糊的大小LB与运动矢量的大小LM乘以调节参数ADJ(0＜ADJ≤1)得到的值相等，通过下式(5)求出运动模糊的大小LB。

LB＝LM×ADJ   (5)

如图7所示，调节参数ADJ具有与摄像期间的长度Ts、例如电荷蓄积时间对帧期间的长度Tf之比(Ts/Tf)相当的值，可以按照各帧的实际摄像期间的长度Ts进行变更，但也可以根据本实施方式的作为对象的条件下的摄像期间的典型值、平均值或中间值确定。例如在使用中间值的情况下，如果摄像期间在帧期间的EXS倍至EXL倍(EXS、EXL都小于1)的范围内，则将其中间值(EXS+EXL)/2确定为ADJ。

这样乘以调节参数ADJ的原因在于，运动矢量V是在帧之间检测出的，因此反映的是每个帧期间的运动的量，而与此相对，运动模糊则是由于摄像期间中被摄体的运动造成的。

滤波系数保存部33预先以表形式将多个低通滤波系数(二维FIR滤波系数)与多个运动模糊的方向和大小的组合对应起来进行存储。该滤波系数用于从包含特定方向和大小的运动模糊的视频信号中减少运动模糊的成分。

运动模糊估计部32从表中读取出与如上所述计算出的运动模糊的方向A和大小LB的组合对应的滤波系数，因而根据运动模糊的方向A和大小LB计算出针对表的指针IND，并输入到滤波系数保存部33。

滤波系数保存部33读取出与所输入的指针IND对应存储的滤波系数CF(p，q)，并输出到滤波部34。

由此，运动模糊估计部32通过将指针IND提供给滤波系数保存部33，从滤波系数保存部33所保存的滤波系数中选择与估计出的运动模糊的方向A和大小LB的组合对应的滤波系数CF(p，q)。

滤波部34使用通过运动模糊估计部32选择出的滤波系数CF(p，q)进行滤波。即，滤波部34具有非线性处理部35和低通滤波器36，该滤波部34使用如上所述从滤波系数保存部33读取出的滤波系数CF(p，q)(其中，－P≤p≤P、－Q≤q≤Q)，使用视频信号D2的各关注像素P(i，j)的周边区域内的像素的像素值进行滤波，输出滤波的结果FL1(i，j)。

非线性处理部35根据关注像素的像素值D2(i，j)与其周边区域内的像素的像素值D2(i－p，j－q)之差以及由操作信号处理部31输入的阈值TH1，进行由下式(6a)～(6f)示出的非线性处理。

(B)当D2(i－p，j－q)－D2(i，j)＞TH1时，以

D2b(i－p，j－q)－D2(i，j)＝TH1   (6a)

的方式，即通过

D2b(i－p，j－q)＝D2(i，j)+TH1   (6b)

确定D2b(i－p，j－q)；

(B)当D2(i－p，j－q)－D2(i，j)≤－TH1时，以

D2b(i－p，j－q)－D2(i，j)＝－TH1   (6c)

的方式，即通过

D2b(i－p，j－q)＝D2(i，j)－TH1   (6d)

确定D2b(i－p，j－q)；

(C)当属于上述(A)、(B)之外的情况时，以

D2b(i－p，j－q)－D2(i，j)＝D2(i－p，j－q)－D2(i，j)   (6e)的方式，即通过

D2b(i－p，j－q)＝D2(i－p，j－q)   (6f)

确定D2b(i－p，j－q)。

低通滤波器36在各关注像素D2(i，j)的周边区域、即由(2P+1)*(2Q+1)个像素构成的范围内，对作为上述非线性处理的结果而得到的值D2b(i－p，j－q)乘以所对应的滤波系数CF(p，q)，并求出相乘结果的总和作为滤波结果FL1(i，j)。

以下说明低通滤波器36中使用的滤波系数CF(p，q)。

滤波系数是以关注像素为中心对－P≤p≤P、－Q≤q≤Q的区域内的像素定义的。

与上面所述的同样，滤波系数CF(p，q)是根据运动模糊的角度A和大小LB确定的。

图8～图10示出对将要定义滤波系数的区域中的运动模糊的几个例子，将滤波系数定义为0以外的值的区域。以下将该滤波系数为0以外的值的区域称作有效滤波区域EFA。有效滤波区域EFA内的像素位置处的滤波系数总和为1。

将与运动模糊的大小LB及其角度A对应的带状区域设为有效滤波区域EFA。然后，对完全或部分包含于有效滤波区域EFA的像素赋予与像素包含于该有效滤波区域EFA的比率对应的加权系数。例如，相对于完全(整体)包含于有效滤波区域EFA的像素，对部分包含于有效滤波区域EFA的像素减小加权系数的值，关于各像素的加权系数的值是与该像素包含于有效滤波区域EFA的比率成比例的值。

该带状区域在运动模糊的方向上延伸，其长度是运动模糊的大小LB的规定数倍、例如2倍，具有从运动模糊的起始端和末端向其前后各延长规定量、例如运动模糊的大小LB的0.5倍后的长度。带状区域的宽度相当于1个像素的尺寸。图8～图10所示的例子示出1个像素的尺寸在水平方向和垂直方向都相同的情况。图8～图10中还设为运动模糊的起点处于坐标(i，j)所示的位置处。

在图8所示的例子中，运动模糊为在水平方向上朝右且其大小LB为4个像素。该情况下，运动模糊被观察为从运动模糊的起点像素Ps(坐标为(i，j)的像素)中心延伸至终点像素Pe(坐标(i，j+4))的中心，对其前后加上2个像素(0.5×4像素)的长度。即，从坐标(i，j－2)的像素中心直到坐标(i，j+6)的像素中心为止的范围为有效范围，其中，该坐标(i，j－2)的像素中心是从起点像素Ps的中心朝后方(图8中的左方)后退了2个像素的(图中朝左方移动后的)位置，该坐标(i，j+6)的像素中心是从终点像素Pe的中心朝前方(图8中的右方)前进了2个像素的(图中向右方移动后的)位置。对这些像素赋予与这些像素包含于该有效滤波区域EFA的比率对应的加权系数。即，对从坐标(i，j－1)的像素到坐标(i，j+5)的像素赋予相同值的系数，而由于坐标(i，j－2)的像素、坐标(i，j+6)的像素各自仅有一半包含于有效滤波区域EFA，因此对它们赋予其他像素(从坐标(i，j－1)到坐标(i，j+5)的像素)的系数的1/2的值。

在图8的例子中，仅一半包含于有效滤波区域EFA内的像素的数量为2，完全包含于有效滤波区域EFA内的像素的数量为6，因此对完全包含于有效滤波区域EFA内的像素赋予1/7的加权系数，对仅一半包含于有效滤波区域EFA内的像素赋予1/14的加权系数。

在图9所示的例子中，运动模糊为在水平方向朝右且其大小LB为3个像素。该情况下，运动模糊被观察为从运动模糊的起点像素Ps(坐标为(i，j)的像素)中心延伸至终点像素Pe(坐标(i，j+3))的中心，对其前后加上1.5个像素(0.5×3像素)的长度。即，从坐标(i，j－1)的像素左端直到坐标(i，j+4)的像素右端为止的范围为有效范围，其中，该坐标(i，j－1)的像素左端是从起点像素Ps的中心朝后方(图9中的左方)后退了1.5个像素的位置，该坐标(i，j+4)的像素右端是从终点像素Pe的中心朝前方(图9中的右方)前进了1.5个像素的位置。并且，在图9的例子中，不存在部分包含于有效滤波区域EFA的像素，完全包含于有效滤波区域EFA的像素的数量为6，因此对这些像素分别将系数确定为1/6。

在图10所示的例子中，运动模糊的大小LB为3个像素，与图9的情况相同，有效滤波区域EFA的长度和宽度也与图9的情况相同，然而运动模糊的角度是30度，其结果是，存在较多仅部分包含于有效滤波区域EFA的像素的数量。具体而言，坐标(i－3，j+4)、坐标(i－2，j+2)、坐标(i－2，j+3)、坐标(i－2，j+4)、坐标(i－1，j)、坐标(i－1，j+1)、坐标(i－1，j+2)、坐标(i－1，j+3)、坐标(i，j－1)、坐标(i，j)、坐标(i，j+1)、坐标(i，j+2)、坐标(i+1，j－1)、坐标(i+1，j)的像素分别部分包含于有效滤波区域EFA。因此，对这14个像素按照包含于有效滤波区域EFA的比率赋予加权系数。

对于运动模糊的大小LB、角度A的其他值也同样求出关于各像素的加权系数。但是，并非针对运动模糊的大小LB、角度A能取的所有值都求出加权系数，而是关于大小LB、角度A分别对彼此的每个规定范围的代表值LR、AR求出加权系数，并作为滤波系数保存于滤波系数保存部33，对于各范围内的大小LB、角度A，使用针对代表值LR、AR求出且保存的滤波系数。代表值LR、AR(或与其对应的值)用于后述的指针IND的生成。后面会进一步详细说明这些内容。

并且，在上述例子中，有效滤波区域EFA具有将运动模糊从其起始端和末端向前后分别延长了运动模糊的大小LB的0.5倍的长度，而该延长量也可以是与运动模糊的大小LB无关的规定值，例如可以设该延长量为0.5像素。此外，还可以使该延长量为零。

此外，对于有效滤波区域EFA所包含的像素，进行与该像素包含于有效滤波区域EFA的比率对应的加权，另一方面虽然使用了具备不进行与距关注像素的距离对应的加权的结构的移动平均滤波器，但也可以构成为进行与距关注像素的距离对应的加权。作为那样的滤波器的例子，有高斯滤波器。

与上面所述同样地，低通滤波器36对于对各关注像素D2(i，j)的周边区域的像素进行非线性处理的结果而得到的值D2b(i－p，j－p)乘以从滤波系数保存部33读取出的对应的滤波系数CF(p，q)，并求出相乘结果的总和作为滤波结果FL1(i，j)。可通过下式表示该滤波。

【数式3】

$\mathrm{FL}1=\underset{q=-Q}{\overset{Q}{\mathrm{\Σ}}}\underset{p=-P}{\overset{P}{\mathrm{\Σ}}}\mathrm{CF}(p,q)D2b(i-p,j-q)---\left(7\right)$

式(7)的滤波结果FL1(i，j)被输出到增益计算部39。

平均值计算部37输出视频信号D2的各关注像素D2(i，j)的周边区域内的像素的像素值的平均值FL2(i，j)。

此处所谓的周边区域例如是由(2P+1)*(2Q+1)个像素构成的范围，平均值计算部37计算该范围内的像素值D2(i－p，j－q)的平均值FL2(i，j)、即通过下式(8)表示的值，并输出到校正强度调节部38。

【数式4】

$\mathrm{FL}2=\underset{q=-Q}{\overset{Q}{\mathrm{\Σ}}}\underset{p=-P}{\overset{P}{\mathrm{\Σ}}}D2(i-p,j-q)---\left(8\right)$

校正强度调节部38按照关注像素附近的像素值的变化程度及/或大小、例如关注像素的像素值D2(i，j)与周边区域内的像素的像素值的平均值FL2(i，j)之差，调节对关注像素的校正强度。如以下说明的那样，校正强度的调节通过校正强度参数BST1(i，j)的调节进行。

具体而言，校正强度调节部38根据从操作信号处理部31输入的校正强度参数BST0，输出调节后的校正强度参数BST1，当从输入图像延迟部4输入的视频信号D2的关注像素的像素值D2(i，j)与来自平均值计算部37的平均值FL2(i，j)之差的绝对值小于从操作信号处理部31输入的阈值TH2的情况下，生成比从操作信号处理部31输入的校正强度参数BST0小的调节后的校正强度参数BST1(i，j)，并输出到增益计算部39。作为调节后的校正强度参数BST1(i，j)，例如可使用由BST0×β(β＜1)给出的值。也可以设为可由用户确定调节后的校正强度参数BST1(i，j)相比校正强度参数BST0有怎样程度的减小(例如，β的值)。例如，既可以是β＝1/2，也可以是β＝0。

当像素值D2(i，j)与平均值FL2(i，j)之差的绝对值不小于阈值TH2时，将校正强度参数BST0直接作为调节后的校正强度参数BST1(i，j)输出。因此，(D2(i，j)－FL2(i，j))与调节后的校正强度参数BST1之间的关系如图11所示。

增益计算部39参照从滤波部34得到的滤波结果FL1(i，j)、从校正强度调节部38输出的调节后的校正强度参数BST1(i，j)、以及从输入图像延迟部4输入的视频信号D2的关注像素的像素值D2(i，j)，根据下式计算在校正处理中使用的相乘系数也就是增益GAIN(i，j)。

GAIN(i，j)＝1+BST1(i，j)－BST1(i，j)×FL1(i，j)/D2(i，j)       (9)

其中，当D2(i，j)＝0的情况下，方便起见作为D2(i，j)＝1进行计算。另外，当对式(9)进行了计算的结果为GAIN＜0的情况下，设GAIN(i，j)＝0。然后将得到的增益GAIN(i，j)输出到校正运算部30。

校正运算部30通过基于下式的计算，对从输入图像延迟部4输入的视频信号D2的关注像素的像素值D2(i，j)求出像素值E(i，j)，并作为校正后的视频信号的像素P(i，j)的像素值输出到图像选择部10。

E(i，j)＝GAIN(i，j)×D2(i，j)    (10)

图12示出处理图像延迟部7的结构例。图示的处理图像延迟部7具有帧存储器41和帧存储器控制部42。帧存储器41具有至少能存储1帧所输入的视频信号E0的容量。

帧存储器控制部42按照存储器地址进行所输入的视频信号E0的写入和所蓄积的视频信号的读取，其中，该存储器地址是根据所输入的视频信号E0所包含的同步信号而生成的。具体而言，使所输入的视频信号E0延迟1帧，作为视频信号E1输出。

接着，叙述按照运动矢量V的检测错误是否较少来进行可靠性是否足够高的判定的算法。该判定由高频成分检测部8和判定部9进行，且该判定是基于各帧中的关于各像素的运动矢量与关于其周围像素的运动矢量差异较大的情况较少的事实而进行的。

即，运动矢量的检测由运动矢量检测部5进行，关注像素(i，j)的运动矢量V(Vy(i，j)、Vx(i，j))与其周边像素的运动矢量V相比有时变化较大。但是，认为在大多数情况下，关于视频信号，相关性强的像素在一定区域中二维排列，而构成了有意义的二维信息。在1帧内检测出的运动矢量的变化较多的情况下，能够估计为运动矢量的检测中错误较多、可靠性较低。因此，考虑对由运动矢量检测部5检测出的运动矢量的高频成分进行检测，从而捕捉上述那样的变化。

例如，高频成分检测部8对垂直方向的运动矢量和水平方向的运动矢量(从运动矢量检测部5输出的)运算下式那样的二维的二阶差分，并通过将各个二阶差分的绝对值相加，作为关注像素(i，j)的高频成分L(i，j)输出。

L(i，j)＝|Vy(i－1，j)+Vy(i+1，j)+Vy(i，j－1)+Vy(i，j+1)－4Vy(i，j)|+|Vx(i－1，j)+Vx(i+1，j)+Vx(i，j－1)+Vx(i，j+1)－4Vx(i，j)|       (14)

如下那样将高频成分L(i，j)与阈值C1进行比较，从而得到作为比较结果的高频成分检测结果H。

(A)如果L(i，j)＜C1，则H(i，j)＝0    (15a)

(B)如果L(i，j)≥C1，则H(i，j)＝1     (15b)

在式(15a)、式(15b)的判定结果为H(i，j)＝1的情况下，估计为关于各像素检测出的运动矢量是被误检测的而进行处理。

接着在判定部9中，在1帧内对从高频成分检测部8输出的高频成分检测结果H进行计数也就是累计。即，通过下述式(16)得到高频成分检测结果H的1帧的合计T。

【数式5】

$\mathrm{Nhf}=\underset{i=1}{\overset{M}{\mathrm{\Σ}}}\underset{j=1}{\overset{N}{\mathrm{\Σ}}}H(i,j)---\left(16\right)$

(M是图像的垂直方向尺寸(像素数)，N是图像的水平方向尺寸(像素数)。)

并且，通过由上式(16)得到的合计Nhf与阈值C2的比较，如下述那样得到判定结果R。

(A)如果Nhf＜C2，则R＝0    (17a)

(B)如果Nhf≥C2，则R＝1     (17b)

在R＝1的情况下，判断为该帧中的运动矢量的检测错误较多，可靠性较低。

另一方面，在R＝0的情况下，判断为该帧中的运动矢量的检测错误较少，可靠性足够高。

从判定部9输出的判定结果R被输入到图像选择部10，图像选择部10在选择控制信号R为“0”的情况下，选择从处理图像延迟部7输出的经校正后的视频信号E1(图2的(h))，作为最终输出视频信号F输出(图2的(k))，在选择控制信号R为“1”的情况下，选择从输入图像延迟部4输出的视频信号D3(图2的(f))，作为最终输出视频信号F输出(图2的(l))。

从图像选择部10输出的最终输出视频信号F在图像显示部3上进行显示。

另外，在图1的结构中，在输入图像延迟部4、运动矢量检测部5和图像校正处理部6中，能够通过仅对亮度信号(Y)进行处理，减轻由于被摄体的运动和/或相机的运动而产生劣化的视频的运动模糊。然而，也可以不仅处理亮度信号(Y)，还单独处理红色信号(R)、蓝色信号(G)和绿色信号(B)。另外，还可以通过表示R、G、B之和的信号求出式(9)的增益GAIN(i，j)，关于图像校正处理部6的动作，在式(10)中单独处理R、G、B。此外，还可以单独处理亮度信号(Y)和色差信号(Cb、Cr)。可以通过亮度信号(Y)求出增益GAIN(i，j)，并使用所求出的增益GAIN(i，j)分别对亮度信号(Y)和色差信号(Cb、Cr)通过式(10)的运算单独进行处理。即使是其他的颜色表现形式也能够进行同样的处理。

下面，进一步详细说明图像处理装置2的各结构要素的动作。

输入到图像处理装置2的视频信号D0被输入到输入图像延迟部4。

图2的(a)～图2的(l)是说明被输入到输入图像延迟部4的视频信号D0与从输入图像延迟部4输出的视频信号D1、D2、D3之间的关系的图。如图2的(b)所示，与图2的(a)所示的输入垂直同步信号SYI同步地依次输入帧F0、F1、F2、F3、F4的输入视频信号D0。

帧存储器控制部12根据输入垂直同步信号SYI，生成帧存储器写入地址，使帧存储器11存储输入视频信号D0，并且与图2的(c)所示的输出垂直同步信号SYO(示出为相对于输入垂直同步信号SYI不存在延迟的信号)同步地，如图2的(d)所示那样输出相对于输入视频信号D0不存在帧延迟的视频信号D1(帧F0、F1、F2、F3、F4的视频信号)。

帧存储器控制部12还根据输出垂直同步信号SYO生成帧存储器读取地址，读取出蓄积于帧存储器11的1帧延迟视频信号D2(图2的(e))、2帧延迟视频信号D2(图2的(f))并输出。

其结果，从输入图像延迟部4同时输出连续的3帧视频信号D1、D2、D3。即，在作为视频信号D0而输入帧F2的视频信号的定时(帧期间)，帧F2、F1、F0的视频信号作为视频信号D1、D2、D3被输出，在作为视频信号D0而输入帧F3的视频信号的定时(帧期间)，帧F3、F2、F1的视频信号作为视频信号D1、D2、D3被输出。

从输入图像延迟部4输出的连续的2帧视频信号D1、D2被提供给运动矢量检测部5，视频信号D2还被提供给图像校正处理部6，视频信号D3被提供给图像选择部10。

被输入到运动矢量检测部5的视频信号D1、D2分别被输入到后帧块切取部22、关注帧块切取部21。

在运动矢量检测部5中，例如进行使用了视频编码中经常使用的绝对差和SAD的运动矢量的检测，并输出检测出的运动矢量的值V(图2的(i))。在本实施方式中，目的在于减轻产生运动模糊的像素的运动模糊，因此按照每个像素计算绝对差和SAD，根据其最小值求出运动矢量。

然而，如果对所有像素执行求出绝对差和SAD的运算，则运算量会变得庞大，因而也可以与视频编码同样地，按照使得相邻的用于检测运动矢量的块彼此不重叠的方式进行处理，对于未进行运动矢量检测的像素，利用在周边检测出的运动矢量进行插值。

另外，在上述说明中，将运动矢量检测部5所使用的块尺寸设为以关注像素P(i，j)为中心且上下和左右为相同尺寸的矩形区域，将矩形区域的高度和宽度分别设为了由(2*BM+1)、(2*BN+1)表示的奇数。然而矩形区域的高度和宽度也可以不是奇数，关注像素的矩形区域内的位置也可以不是准确的中心，可以是稍偏离中心的位置。

而且，如式(1)所示，将搜索范围定义为－SV≤k≤SV、－SH≤l≤SH，对该范围内所包含的所有k和l计算绝对差和SAD。然而，也可以基于削减运算量的目的来适度对k和l进行间隔剔除来计算绝对差和SAD。该情况下，关于被间隔剔除掉(通过间隔剔除而被去除)的位置(i+k，j+l)，可以根据关于其周边位置的绝对差和SAD(i+k，j+l)进行插值。此外，还可以研究运动矢量的精度，如果精度不存在问题则使用间隔剔除而获得的绝对差和SAD。

在图像校正处理部6中，对视频信号D2(图2的(e))实施校正处理，输出校正处理后的视频信号E0(图2的(g))。

输入到图像校正处理部6的运动矢量V首先被输入到运动模糊估计部32。如图13所示，输入到运动模糊估计部32的运动矢量V可通过垂直方向的分量Vy(i，j)和水平方向的分量Vx(i，j)表示，因此通过式(3)计算运动矢量的方向A(度)，通过式(4)计算运动矢量的大小LM(像素)。

这里，考虑使相机静止，拍摄正在进行匀速直线运动的物体的情况。图14的(a)、图14的(b)示出此时拍摄的以连续的3帧视频信号表现的图像要素的运动的一例。在图示的例子中，分别在第1帧与第2帧之间(图14的(a))以及第2帧与第3帧之间(图14的(b))，图像的要素ES在水平方向移动4个像素，而在垂直方向上未移动(Vy＝0，Vx＝4)。因此，如图14的(a)、图14的(b)的箭头所示，第1帧与第2帧之间以及第2帧与第3帧之间的运动矢量被检测为水平方向4个像素、垂直方向0像素。

假设图14的(a)、图14的(b)所示的图像的摄像期间Ts与1帧期间Tf相等，则运动模糊的大小LB也为水平方向4个像素、垂直方向0像素。

然而，如图7所示，实际上摄像期间Ts比1帧期间Tf短，因此如图15的(a)、图15的(b)所示，运动模糊的大小LB小于运动矢量的大小LM，其比率相当于摄像期间Ts的长度相对于1帧期间Tf之比(Ts/Tf)。

考虑到这种情况，将对运动矢量的大小LM乘以小于1的调节参数ADJ而得的值估计为运动模糊的大小LB。如上所述，调节参数ADJ既可以根据各帧的实际摄像期间的长度Ts来确定，也可以凭借经验来确定，还可以由用户设定。

下面说明用于从滤波系数保存部33的表中读取出滤波系数的指针IND的计算方法。

例如，设为保存于滤波系数保存部33的滤波系数是对作为角度(单位为“度”)的代表值的从0度到165度的每隔15度的角度、以及作为大小的代表值的从1到21的奇数而定义的。

此时，对通过式(5)得到的LB进行四舍五入，如果四舍五入的结果是偶数，则加1后使其成为奇数(LB＝LB+1)，如果这样的处理的结果大于“21”，则将其限幅为“21”，将进行了这样的处理的结果作为运动模糊的大小的代表值LR输出。如果运动模糊的大小LB的值处于包含代表值LR的规定范围内，则通过进行上述处理将运动模糊的大小LB转换为代表值LR。

另一方面，关于角度A，如果利用式(3)求出的A小于0，则加上180度(A＝A+180)，以15度为单位进行四舍五入(尾数处理(R丸め))，因而对A2＝(A+7.5)/15去除掉小数点以下部分，如果其结果在12以上(A2≥12)，则设为A2＝0。将这样的处理的结果作为与运动模糊的角度代表值AR对应的值AR2输出。在AR与AR2之间存在如下关系。

AR＝15×AR2

如果运动模糊的角度A的值处于包含代表值AR的规定范围内，则通过进行上述处理，将运动模糊的角度A转换为与代表值AR对应的值AR2。

能够使用运动模糊的大小的代表值LR和与角度的代表值AR对应的值AR2，通过下式的计算设为用于从表中进行读取的指针IND。

IND＝12×((LR－1)/2－1)+AR2   (11)

图16示出基于式(11)根据AR2和LR求出指针IND的表的具体例子。虽然图16中没有示出，然而关于LR＝1的情况下的滤波系数CF(p，q)，在i＝0、j＝0时例如确定为CF(i，j)＝1，在除此以外的情况下确定为CF(i，j)＝0。

当由运动模糊估计部32输入了指针IND时，滤波系数保存部33将与所输入的指针IND对应的滤波系数CF(p，q)提供给低通滤波器36。滤波系数保存部33所保存的滤波系数可由用户自由设计。滤波系数只要能实现低通滤波即可，比较易于设计，这也是本发明的特征。

接着详细说明具备低通滤波器36的滤波部34。本实施方式的目的在于适当减轻由于被摄体的运动和/或相机的运动而产生运动模糊的区域的运动模糊，以使用下式所示的低通滤波的手法作为基础。

E(i，j)＝D2(i，j)+BST1(i，j)×(D2(i，j)－FL1(i，j)) (12)

对式(12)进行变形可得到式(9)、式(10)。如果基于式(12)的思路进行处理，则例如使用绿色信号(G)进行基于式(9)的计算，求出增益GAIN(i，j)，在校正运算部30中对相同像素的多个颜色信号使用相同的增益GAIN(i，j)进行式(10)的运算，从而具有能削减运算量的优点。然而使用式(12)的手法也存在如下缺点，因此进行如下处理。

基于式(12)的手法使用从滤波系数保存部33输出的滤波系数CF(p，q)，对输入到图像校正处理部6的视频信号D2进行低通滤波，并将滤波结果FL1(i，j)输出到增益计算部39。然而，基于式(12)的利用低通滤波的运动模糊校正处理在校正图像的较强的边缘部容易引起产生过冲的不良情况。

因此，向低通滤波器36的前级插入非线性处理部35，进行能够在较强的边缘部抑制过冲的非线性处理。例如，使用由操作信号处理部31输入的阈值TH1进行非线性处理，进行过冲的抑制。具体而言，如图17所示，通过阈值TH1对关注像素的像素值D2(i，j)与其周边区域内的像素的像素值D2(i－p，j－q)的差值DIF(i－p，j－q)＝D2(i，j)－D2(i－p，j－q)进行限幅。即，滤波部34以使得关注像素的像素值D2(i，j)与其周边区域内的像素的各像素值D2(i－p，j－q)之差DIF(i－p，j－q)的绝对值不会超过预先确定的阈值TH1的方式，对周边区域内的像素的各自的像素值D2(i－p，j－q)进行限幅处理，使用限幅处理后的像素值D2b(i－p，j－q)对周边区域内的像素进行低通滤波。由此，如果假设不进行抑制，则能够在差值DIF(i－p，j－q)较大且由增益计算部39计算出的增益GAIN(i，j)较大的图像的边缘部适当控制增益。

下面详细叙述校正强度调节部38的处理。

校正强度调节部38用于在运动模糊校正处理后抑制由于噪声放大效果而使得运动模糊校正图像的质量降低，该校正强度调节部38按照图像的特征、例如平坦度，使从操作信号处理部31输入的校正强度参数BST0减小或为零，并作为调节后的校正强度参数BST1输出到增益计算部39。

具体而言，输入视频信号D2，检测关注像素的周边区域内的像素的像素值(例如亮度值)的变化，根据该变化的大小确定调节后的校正强度参数BST1的值。作为表示上述像素值变化的指标，使用关注像素的像素值D2(i，j)与从平均值计算部37输出的平均值FL2(i，j)的差值的绝对值。而且，例如如果该绝对值小于由操作信号处理部31输入的阈值TH2，则判断为关注像素的周边区域内的像素值的变化较少，例如将调节后的校正强度参数BST1设为调节前的校正强度参数BST0的1/2，如果上述绝对值大于阈值TH2，则判断为像素值变化较大，而将调节前的校正强度参数BST0直接作为调节后的校正强度参数BST1。然后，将这样确定的调节后的校正强度参数BST1输出到增益计算部39。

以下进一步详细说明进行上述处理的意义。

用于减轻由于被摄体的运动和/或相机的运动而产生运动模糊的区域的运动模糊的处理会附带放大视频信号中的噪声的情况。尤其在像素值变化、例如亮度变化较少的平坦区域，即使产生了运动模糊，其影响在视觉方面也较小，校正处理较弱即可。假设在这种区域直接使用校正强度参数值BST0进行校正，则会较大程度地放大噪声，使得运动模糊校正结果的质量降低。因此，对平坦区域进行检测，在这种区域中进行使用较小的值取代校正强度参数BST0的适应性处理。此时，为了判定是否为平坦区域，如上所述，取关注像素的像素值D2(i，j)与其周边区域内的像素的像素值的平均FL2的差值，将该差值与阈值比较大小进行判定。

另外，基于这种理由，如上所述，使用由平均值计算部37计算出的在－P≤p≤P、－Q≤q≤Q的区域内的所有像素的像素值的简单平均值。

增益计算部39使用滤波部34的输出FL1(i，j)、从校正强度调节部38输出的调节后的校正强度参数BST1(i，j)、视频信号D2的关注像素的像素值D2(i，j)，根据上式(9)计算增益GAIN(i，j)，并将计算出的增益GAIN(i，j)提供给校正运算部30。

其中，在式(9)所示的运算中，基于除以关注像素的像素值D2(i，j)的需要，当D2(i，j)＝0时按D2(i，j)＝1进行计算。另外，当GAIN(i，j)＜0的情况下，限幅为GAIN(i，j)＝0。将通过以上计算得到的增益GAIN(i，j)输出到校正运算部30。

在校正运算部30中，将所提供的增益GAIN(i，j)与像素值D2(i，j)相乘，从而进行运动模糊校正。相乘结果作为经运动模糊校正后的像素值E(i，j)被输出，并被提供给图像选择部10。

高频成分检测部8和判定部9接收从运动矢量检测部5输出的运动矢量V，在各帧内进行运动矢量的检测错误是否较少、即运动矢量的检测结果的可靠性是否足够高的判定。该判定是基于以下的考虑的。

在关注像素(i，j)的运动矢量V(Vy(i，j)、Vx(i，j))与其周边像素的运动矢量V相比变化较大的情况下，该运动矢量是被误检测的运动矢量的可能性较高。并且，即使在局部存在运动矢量的变化较大的部位，波及到帧整体的情况也很少。因此，在帧整体范围内运动矢量的变化较多的情况下，判定为运动矢量的检测中错误较多，可靠性较低。

例如，在相机静止、且拍摄了在背景中快速运动的移动物体的情况下，对于存在于背景与移动物体的边界区域的像素的运动矢量，运动矢量为0的像素和在一定方向上取较大值的像素相邻地存在。但是，在边界区域以外，相邻的像素间的运动矢量的差异不大。即，认为对于大多数视频信号，相关性强的像素在一定区域中二维排列，而构成了有意义的二维信息。

因此，在1帧内产生了大量上述那样的运动矢量的变化的情况下，能够判定为运动矢量的检测中错误较多。

因此，由高频成分检测部8对关于各像素的运动矢量检测高频成分来捕捉上述那样的变化，并通过与阈值C1的比较，估计关于各像素的运动矢量是否是被误检测的运动矢量，在各帧内被估计为运动矢量是被误检测的像素数量多于阈值C2的情况下，由判定部9判断为关于该帧的运动矢量的检测的错误较多，可靠性较低。

即，在判定部9中计算从高频成分检测部8输出的高频成分检测结果H的1帧的合计T。即，对于各帧整体，求出被估计为运动矢量是被误检测的像素的数量。

另外，在视频的中心部配置重要的内容来进行拍摄的情况也较多，因此为了削减运算量，可以仅将视频的中心区域用于高频成分的检测和求出高频成分检测结果H的合计的运算。

最终通过阈值C2、与在各帧内估计为运动矢量是被误检测的像素数量的比较，得到了判定结果R，但在能够预先利用所输入的视频信号的性质的情况下，也可以使用预先设定的值作为阈值C2。

另外，在上述例子中，作为高频成分检测部8中的高频成分的检测方法，分别对垂直方向的运动矢量和水平方向的运动矢量计算二阶差分，并将各个差分的绝对值相加，但在能够预先利用所输入的视频信号的性质的情况下，可以应用使用了恰当的截止频率的高通滤波。

此外，在检测高频成分时，基于与用户从外部输入的阈值C1的比较，但在可明确设定截止频率的情况下，也可以使用预先设定的值作为阈值C1。

图像选择部10根据从判定部9输出的判定结果R，在选择控制信号R为“0”的情况下，选择从处理图像延迟部7输出的校正后的视频信号E1，作为最终输出视频信号F输出，在选择控制信号R为“1”的情况下，选择从输入图像延迟部4输出的视频信号D3，作为最终输出视频信号F输出。

如以上所说明的那样，在本实施方式中，能够根据视频信号、和相对于所述视频信号在时间上处于1帧以上之前或之后的视频信号，检测所述视频信号的运动矢量，使用检测出的运动矢量进行运动模糊校正处理，并且通过对检测出的运动矢量的高频成分进行检测，关于各像素进行运动矢量是否被误检测的估计，进而在各帧内根据被估计为运动矢量是被误检测的像素的数量，评价可靠性的程度，并通过根据评价的结果，选择校正处理后的视频信号和原视频信号中的任意一个进行显示，而对应于运动矢量检测的错误程度选择最佳的视频并进行显示。

即，在运动矢量的检测中错误较多的情况下，如果使用经基于运动矢量的校正处理后的视频，则会产生图像质量劣化，但在本实施方式中，在运动矢量的检测中错误较多的情况下，不使用校正处理后的视频而使用原视频，从而防止图像质量劣化，另一方面，在运动矢量的检测中错误较少的情况下，能够通过使用校正处理后的视频，显示通过针对运动模糊的校正而减轻了运动模糊的视频。

实施方式2.

图18示出本发明实施方式2的具有图像处理装置的图像显示装置的结构。图示的图像显示装置1具有图像处理装置2b和图像显示部3，图像处理装置2b具有与图1的图像处理装置2相同的输入图像延迟部4、运动矢量检测部5、高频成分检测部8、判定部9和图像选择部10，并且具有帧频转换部15、图像校正处理部16和图像合成部17。

实施方式2的图像处理装置2b接收所输入的视频信号D0，生成增高了帧频的视频信号，因此通过插值在输入视频信号的帧间生成新的帧(插值帧)的视频信号。

视频信号D0由表示构成图像的多个像素的像素值的信号的列构成，图像处理装置2b在输入视频信号的前后相接的帧间生成插值帧的视频信号，并选择视频信号K和视频信号I中的任意一个作为最终输出视频信号F输出，其中，视频信号K由如下的帧列构成，在该帧列中，将通过插值而生成的视频信号J0(由具有通过插值而生成的像素值的信号的列构成)延迟了1帧而得到的视频信号J1配置到将所输入的视频信号D0延迟了2帧而得到的视频信号D2之间，视频信号I是将所输入的视频信号D0延迟2帧，并对帧频进行了转换而得到的。

输入到图像处理装置2b的视频信号D0(图19的(a))被提供给输入图像延迟部4。输入图像延迟部4使用帧存储器，进行所输入的信号的帧延迟，生成3个彼此不同的帧的视频信号D1、D2、D3(图19的(b)、(c)、(d))。在图19的(a)～(l)中，标号T0、T1、T2、…表示输入视频信号的各帧期间。其中，视频信号D1相对于视频信号D0没有延迟，视频信号D2相对于视频信号D0有1帧的延迟，视频信号D3相对于视频信号D0有2帧的延迟。

视频信号D2和D1被输出到运动矢量检测部5和图像校正处理部16，视频信号D3被输出到帧频转换部15。

帧频转换部15输出将视频信号D3的帧频变为了2倍的视频信号I(图19的(i))。该视频信号I是将再现时间缩短为1/2，各两次地反复视频信号D3的各帧的信号。

如关于实施方式1说明的那样，运动矢量检测部5使用从输入图像延迟部4输出的2个不同的帧的视频信号D2、D1，检测视频信号D2所包含的运动矢量V(图19的(e))。检测出的运动矢量V被输出到图像校正处理部16和高频成分检测部8。

如关于实施方式1说明的那样，运动矢量V是在关注帧的块与后帧的块之间，与由式(2)表示的绝对差和为最小的块间的相对位置(km，lm)相对应的，在本实施方式中，与检测出的运动矢量V＝(Vy，Vx)＝(km，lm)一起，将该最小的绝对差和SAD(i+km，j+lm)作为与该运动矢量V对应的绝对差和mv＿sad(i，j)输出到图像校正处理部16。

图像校正处理部16将从运动矢量检测部5输出的运动矢量V以及绝对差和mv＿sad(i，j)作为输入，通过插值来生成被估计为在时间上存在于从输入图像延迟部4输出的各帧的视频信号D2与下一帧的视频信号D1之间的中间位置的1个帧，由此生成由所生成的插值帧的列构成的视频信号J0。图19的(f)中用标号F0h、F1h、F2h、…示出视频信号J0的各帧。所生成的视频信号J0被输出到图像合成部17。

此外，图像校正处理部16直接将所输入的视频信号D2作为视频信号G0(与D2相同内容的数据，在图19的(c)中示出)输出到图像合成部17。

图像合成部17使从图像校正处理部16输出的视频信号G0和J0分别延迟1帧而生成视频信号G1(与D3相同内容的数据，在图19的(d)中示出)、J1(图19的(g)的F0h、F1h、F2h、…)，并按照视频信号G1、J1的顺序交替配置，作为视频信号D0的帧频的2倍频率的视频信号K输出到图像选择部10(图19的(h)的F0、F0h、F1、F1h、F2、F2h、…)。

结合该情况，通过帧频转换部15视频信号D3被转换为了2倍帧频的视频信号I而被输入到图像选择部10。该视频信号I将再现时间缩短为1/2，各两次地反复视频信号D3的各帧(图19的(i)的F0、F0、F1、F1，F2、F2、…)。

高频成分检测部8输入从运动矢量检测部5输出的运动矢量V(图19的(e))，利用高通滤波器(高通型滤波器)提取关于各像素的高频成分，将提取出的高频成分的值与从外部输入的阈值C1进行比较，并将比较结果作为关于该像素的高频成分检测结果H输出。该高频成分检测结果H在高频成分的值小于阈值C1的情况下，取值“0”，在高频成分的值为阈值C1以上的情况下，取值“1”。

关于各像素的运动矢量V的高频成分的值越大，则该运动矢量V被误检测的可能性越高。在本实施方式中，在高频成分的值为阈值C1以上的情况下，将关于该像素的运动矢量V被估计为是被误检测的运动矢量而进行处理。

判定部9输入从高频成分检测部8输出的高频成分检测结果H，并在1帧范围内对取值“1”的高频成分检测结果H的数量进行计数。并且，将1帧中的、取值“1”的高频成分检测结果H的产生次数与从外部输入的阈值C2进行比较，并将比较结果作为选择控制信号R输出到图像选择部10。具体而言，在1帧中的、取值“1”的高频成分检测结果H的数量小于阈值C2的情况下，将选择控制信号R的值设为“0”，在该数量为阈值C2以上的情况下，将选择控制信号R的值设为“1”(图19的(j))。

图像选择部10在选择控制信号R为“0”的情况下，选择从图像合成部17输出的视频信号K(图19的(h))，并将其作为最终输出视频信号F输出(图19的(k))，在选择控制信号R为“1”的情况下，选择从帧频转换部15输出的视频信号I(图19的(i))，并将其作为最终输出视频信号F输出(图19的(l))。

关于各帧，取值“1”的高频成分检测结果H越多，能够估计为该帧中的运动矢量V的误检测较多的可能性越高，可靠性越低。在本实施方式中，在取值“1”的高频成分检测结果H的数量Nhf为阈值C2以上的情况下，关于该帧，运动矢量V的误检测较多，因此将运动矢量V的检测结果作为可靠性低的检测结果进行处理。即，在图像选择部10中，不选择作为使用运动矢量V进行的图像校正处理的结果而得到的视频信号K，而选择原视频信号(未经图像校正处理的视频信号)I并输出。

在各帧期间Tn(n为0、1、2、…中的任意一个)内，从运动矢量检测部5输出的运动矢量V是关于1帧延迟视频信号D2的各像素的运动矢量，因此运动矢量V的高频成分检测结果H的各帧范围内的合计结束、确定出选择控制信号R的值的时刻与该帧期间结束的时刻大体一致。根据各帧的视频信号D2的运动矢量V生成的选择控制信号R的值被用于图像选择部10在下一帧期间T(n+1)内的选择，其中，在下一帧期间T(n+1)内，与2帧延迟视频信号D3对应的帧频转换信号I、以及组合延迟了1帧的视频信号G1和对应的插值视频信号J1而形成的视频信号K被提供给图像选择部10。

例如，在与帧F0的视频信号D3对应的帧频转换信号I(F0、F0)、以及组合对应的视频信号G1(F0)和对应的插值视频信号J1(F0h)后的视频信号K(F0、F0h)被输入到图像选择部10的下一帧期间T2内，基于在帧期间T1中从输入图像延迟部4输出并输入到运动矢量检测部5的帧F0的视频信号D2的选择控制信号R(F0)被提供给图像选择部10，在图像选择部10中，根据该选择控制信号R(F0)进行帧期间T2内的、视频信号I(F0、F0)或视频信号K(F0、F0h)的选择。

图像显示部3进行基于从图像选择部10输出的视频信号F的图像显示。

此处，用户能够通过变更阈值C1，来调节高频成分检测部8中的判定的严格性(在高频成分的值为怎样的程度时，被估计为误检测)。此外，能够通过变更阈值C2，来调节判定部9中的判定的严格性(在各帧中的被估计为误检测的运动矢量的像素的数量为怎样的程度时，确定为关于该帧的运动矢量的检测结果的可靠性较低，从而不选择经图像校正处理后的视频信号)。

在实施方式2中使用的输入图像延迟部4是与图3的输入图像延迟部4相同的结构，但与图3的输入图像延迟部4不同，向图像校正处理部16输出相对于输入视频信号D0没有帧延迟的视频信号D1、和相对于视频信号D1延迟了1帧的视频信号D2。

这是为了在图像校正处理部16中，在2帧间通过插值生成视频信号J0。

图20示出图像合成部17的结构例。图20的图像合成部17与图12的处理图像延迟部7相同，但与图12的处理图像延迟部7的不同之处在于，使视频信号G0和J0分别延迟1帧，从而输出视频信号G1、J1，为此需要2帧的量的帧存储器。

视频信号J0是在图像校正处理部16中通过插值而生成的视频信号(插值帧的视频信号)。

对于视频信号G0，图像校正处理部16原样输出(直接输出)输入视频信号D2。

另外，在图像校正处理部16中还能够在2帧间对多个视频信号进行插值，而在该情况下，准备将要被插值的帧数+1帧的容量的存储器即可。

以下详细说明图像校正处理部16的处理。

如上所述，图像校正处理部16将从运动矢量检测部5输出的运动矢量V作为输入，在从输入图像延迟部4输出的关注帧的视频信号D2和后帧的视频信号D1之间通过插值生成视频信号J0，向图像校正处理部16输入来自输入图像延迟部4的视频信号D2、D1，并从运动矢量检测部5向图像校正处理部16输入关注帧的运动矢量V(Vy，Vx)以及绝对差和SAD。

在图像校正处理部16中，接收关注帧D2的运动矢量V(Vy，Vx)以及绝对差和SAD，而求出插值帧J0上的运动矢量(Vhy，Vhx)及对应的绝对差和SADh。

如果将关注帧D2的位置(i，j)的运动矢量V表示为垂直方向Vy(i，j)、水平方向Vx(i，j)，则能够按照如下方式求出插值帧J0的位置(i+si，j+sj)处的运动矢量Vhy、Vhx以及绝对差和SADh。

Vhy(i+si，j+sj)＝Vy(i，j)/2    (18a)

Vhx(i+si，j+sj)＝Vx(i，j)/2    (18b)

SADh(i+si，j+sj)＝mv＿sad(i，j)    (18c)

其中，

si＝round[Vy(i，j)/2]

sj＝round[Vx(i，j)/2]

(round[*]表示对*进行的四舍五入)。

即，为了生成位于关注帧的视频信号D2与后帧的视频信号D1中间的帧J0，而估计为在通过将关注帧D2的运动矢量V除以2并四舍五入计算出的位置(i+si，j+sj)处，存在由关注帧D2的运动矢量V除以2的值的运动矢量。另外，在位置(i+si，j+sj)指定了被定义为视频的范围以外的位置的情况下，不进行式(18a)、式(18b)、式(18c)的处理。

这里，由式(18a)、式(18b)和式(18c)计算出的插值帧的运动矢量Vhy、Vhx以及绝对差和SADh不一定能针对插值帧上的全部位置(i，j)都得到。因此，针对不能得到运动矢量Vhy、Vhx的像素位置，需要运动矢量值Vhy、Vhx及绝对差和SADh的修正或插值处理(以下简称作修正处理)。作为运动矢量Vhy、Vhx以及绝对差和SADh的修正处理，提出了各种算法，但这里记载代表性的处理。

运动矢量Vhy、Vhx的修正由如下处理构成，即关于插值帧J0的像素，在与已经针对其周围的规定范围、例如3×3的范围内的各像素位置求出的运动矢量对应的绝对差和中寻找最小值的处理；以及在判断为3×3的范围内不存在运动矢量的情况下重新设定运动矢量的处理。

这样的处理可以仅针对用式(18a)、式(18b)和式(18c)的计算求出了运动矢量Vhy、Vhx的像素和未求出运动矢量Vhy、Vhx的像素进行，也可以针对包含用式(18a)、式(18b)和式(18c)的计算求出了运动矢量Vhy、Vhx的像素的所有像素进行。

在与已经针对以插值帧上的位置(i，j)为中心的、其周围的3×3的范围的各像素位置求出的运动矢量对应的绝对差和SADh中找最小的差值的绝对值，并采用与该最小的差值的绝对值对应的运动矢量作为关于该各像素位置的运动矢量的修正值。即，将判断为绝对差和为最小的位置的运动矢量(Vhy(i+ci、j+cj)、Vhx(i+ci、j+cj))设为位置(i，j)的运动矢量的修正值Vcy(i，j)、Vcx(i，j)。该处理用下式表示。

Vcy(i，j)＝Vhy(i+ci，j+cj)

Vcx(i，j)＝Vhx(i+ci，j+cj)    (19)

此时，(ci，cj)作为下式得到。

【数式6】

$(\mathrm{ci},\mathrm{cj})=\underset{(\mathrm{cii},\mathrm{cjj})}{\arg \min }\left[\right\{\mathrm{SADh}(i+\mathrm{cii},j+\mathrm{cjj}),\mathrm{cii}=-1,...,1,\mathrm{cjj}=-1,...1\left\}\right]---\left(20\right)$

此外，如果关于3×3的范围内的任意一个像素，通过式(18a)、式(18b)的处理未求出运动矢量Vhy、Vhx，则将Vcy(i，j)＝Vcx(i，j)＝0设定为运动矢量的修正值。

通过以上过程求出了插值帧的运动矢量Vcy(i，j)、Vcx(i，j)，因此使用这些值并参照关注帧的视频信号D2和后帧的视频信号D1的值，求出插值帧J0。当分别设与插值帧的关注像素(i，j)对应的关注帧的视频信号D2和后帧的视频信号D1的位置为(bi，bj)、(ai，aj)时，插值帧J0的各像素的像素值J0(i，j)能作为下式求出。

J0(i，j)＝{D2(bi，bj)+D1(ai，aj)}/2   (21)

其中，

bi＝i－round[Vcy(i，j)]

bj＝j－round[Vcx(i，j)]

ai＝i+fix[Vcy(i，j)]

aj＝j+fix[Vcx(i，j)]。

其中，fix[*]表示*的向0方向的舍去。

如以上所说明的那样，按照每个像素检测所输入的2帧的视频信号D1和D2间的运动矢量，通过参照检测出的运动矢量在2个帧之间生成插值帧的视频信号J0，并将所生成的插值帧的视频信号J0与视频信号G0一起输出到图像合成部17。

如以上所说明的那样，在本实施方式中，能够根据视频信号、和相对于所述视频信号在时间上处于1帧以上之前或之后的视频信号，检测所述视频信号的运动矢量，使用检测出的运动矢量进行帧插值，并且通过对检测出的运动矢量的高频成分进行检测，关于各像素进行是否运动矢量是被误检测的估计，进而在各帧内，根据估计为运动矢量是被误检测的像素的数量评价可靠性的程度，并通过根据评价的结果，选择通过插值处理得到的视频信号、和仅提高了原视频信号的帧频的视频信号中的任意一个进行显示，对应于运动矢量检测的错误程度选择最佳的视频进行显示。

即，在运动矢量的检测中错误较多的情况下，如果使用由基于运动矢量的插值处理得到的视频则会产生图像质量劣化，但在本实施方式中，在运动矢量的检测中错误较多的情况下，不使用由插值处理得到的视频而使用原视频，从而防止图像质量劣化，另一方面，在运动矢量的检测中错误较少的情况下，能够通过使用由插值处理得到的视频，显示减少了不平滑(jerky)的运动的视频(流畅变化的视频)。

实施方式3.

图21示出本发明实施方式3的具有图像处理装置的图像显示装置的结构。图示的图像显示装置1具有图像处理装置2c和图像显示部3，图像处理装置2c具有与图1的图像处理装置2相同的输入图像延迟部4、运动矢量检测部5和高频成分检测部8，并且具有图像校正处理部6b、处理图像延迟部7b、判定部59和图像选择部60。图像校正处理部6b具有第1校正处理部51和第2校正处理部52。处理图像延迟部7b具有第1图像延迟部53和第2图像延迟部54。

输入图像延迟部4、运动矢量检测部5和高频成分检测部8是与图1所示的结构相同的结构。

实施方式3的图像处理装置2c与实施方式1同样，接收所输入的视频信号D0，而进行运动模糊校正处理。

视频信号D0由表示构成图像的多个像素的像素值的信号的列构成，图像处理装置2c依次将各帧的多个像素作为校正对象像素(关注像素)进行模糊处理，生成校正处理后的视频信号Ea0和Eb0(由具有经校正后的像素值的信号的列构成)，并从将该校正处理后的视频信号Ea0和Eb0分别延迟了1帧的视频信号Ea1和Ea1、和将输入视频信号D0延迟了2帧的视频信号D3中选择任意一个，作为最终输出视频信号F输出。

与关于实施方式1说明的同样，输入到图像处理装置2c的视频信号D0(图22的(b))被提供给输入图像延迟部4。输入图像延迟部4使用帧存储器，进行所输入的信号的帧延迟，从而生成3个彼此不同的帧的视频信号D1、D2、D3(图22的(d)、(e)、(f))。

视频信号D1和D2被输出到运动矢量检测部5，视频信号D2被输出到第1和第2校正处理部51、52，视频信号D3被输出到图像选择部60。

与实施方式1同样，运动矢量检测部5使用从输入图像延迟部4输出的2个不同的帧的视频信号D2、D1，检测视频信号D2所包含的运动矢量V(图22的(k))。检测出的运动矢量V被输出到第1和第2校正处理部51、52以及高频成分检测部8。

第1和第2校正处理部51、52分别与实施方式1的图像校正处理部6同样地进行动作而进行图像的校正。

但是，替代输入到图像校正处理部6的信号PR，而向第1校正处理部51输入信号PR1，向第2校正处理部52输入信号PR2。

第1校正处理部51将从运动矢量检测部5输出的运动矢量V作为输入，减轻从输入图像延迟部4输出的视频信号D2中由于被摄体的运动和/或相机的运动而产生劣化的视频的运动模糊，并将校正后的视频信号Ea0(图22的(g)的F0a、F1a、F2a、…)输出到第1图像延迟部53。

第2校正处理部52将从运动矢量检测部5输出的运动矢量V作为输入，减轻从输入图像延迟部4输出的视频信号D2中由于被摄体的运动和/或相机的运动而产生劣化的视频的运动模糊，并将校正后的视频信号Eb0(图22的(i)的F0b、F1b、F2b、…)输出到第2图像延迟部54。

第2校正处理部52与第1校正处理部51相比，校正的强度较小(即减轻视频的运动模糊的量更少)。

为了在第1校正处理部51和第2校正处理部52中改变校正的强度，由输入到第1校正处理部51的信号PR1表示的参数、和由输入到第2校正处理部52的信号PR2表示的参数采用不同的值即可。即，作为由信号PR1、PR2表示的参数BST0、TH2的部分或全部，可以采用相互不同的值。

参数BST0与系数β相乘而成为参数BST1，如式(9)所示，参数BST1越大，在校正运算部30中与视频信号D2相乘的增益GAIN越增大。因此，参数BST0越大，校正的强度越大。基于相同的理由，系数β越大，校正的强度越大。

阈值TH2用于图像的特征判别，在视频信号D2的关注像素的像素值D2(i，j)与其周边像素的像素值的平均值FL2(i，j)之差的绝对值小于阈值TH2的情况下，对参数BST0乘以小于1的系数β而求出调节后的参数BST1，在差的绝对值在阈值TH2以上的情况下，将参数BST0直接设为参数BST1，因此阈值TH2越大，参数BST1越大，校正的强度越增大。

并且在增大参数ADJ时，成为更大程度地评价运动模糊(式(5))，因此对运动模糊施加更强的校正。

第1图像延迟部53使从第1校正处理部51输出的校正后的视频信号Ea0延迟1帧并输出。将第1图像延迟部53的输出作为经校正且延迟后的视频信号Ea1(图22的(h)的F0a、F1a、F2a、…)提供给图像选择部60。

第2图像延迟部54使从第2校正处理部52输出的校正后的视频信号Eb0延迟1帧并输出。将第2图像延迟部54的输出作为经校正且延迟后的视频信号Eb1(图22的(j)的F0b、F1b、F2b、…)提供给图像选择部60。

与在实施方式1中说明的同样，高频成分检测部8被输入从运动矢量检测部5输出的运动矢量V(图22的(k))，利用高通滤波器(高通型滤波器)提取关于各像素的高频成分，将提取出的高频成分的值与从外部输入的阈值C1进行比较，并将比较结果作为关于各像素的高频成分检测结果输出。该高频成分检测结果H在高频成分的值小于阈值C1的情况下，取值“0”，在高频成分的值为阈值C1以上的情况下，取值“1”。

与在实施方式1中叙述的同样，阈值C1能够通过例如由用户从图像处理装置的外部使用未图示的操作键进行输入，而进行设定和变更。

判定部59输入从高频成分检测部8输出的高频成分检测结果H，并在1帧范围内对取值“1”的高频成分检测结果H的数量进行计数。并且，将计数结果Nhf(1帧中的、取值“1”的高频成分检测结果H的产生次数)与从外部输入的阈值C2A和C2B(C2B＞C2A)进行比较，并将比较结果作为选择控制信号R输出到图像选择部60。

具体而言，在计数结果Nhf小于阈值C2A的情况下，将选择控制信号R的值设为“0”，在计数结果Nhf为阈值C2A以上且小于阈值C2B的情况下，将选择控制信号R的值设为“1”，在计数结果Nhf为阈值C2B以上的情况下，将选择控制信号R的值设为“2”(图22的(l))。

即，判定部59对R的值的确定按照以下所示进行。

如果Nhf＜C2，则R＝0      (22a)

如果Nhf≥C2A且Nhf＜2B，则R＝1   (22b)

如果Nhf≥2B，则R＝2       (22c)

阈值C2A和C2B也能够通过例如由用户从图像处理装置的外部使用未图示的操作键进行输入，来进行设定和变更。

图像选择部60在选择控制信号R为“0”的情况下，选择从第1图像延迟部53输出的经校正后的视频信号Ea1(图22的(h))作为最终输出视频信号F输出，在选择控制信号R为“1”的情况下，选择从第2图像延迟部54输出的经校正后的视频信号Eb1(图22的(j))作为最终输出视频信号F输出，在选择控制信号R为“2”的情况下，选择从输入图像延迟部4输出的视频信号D3(图22的(f))作为最终输出视频信号F输出。

上述计数结果Nhf(关于各帧的取值“1”的高频成分检测结果H)越多，能够估计为该帧中的被误检测的运动矢量V较多的可能性越高，可靠性越低。在本实施方式中，在计数结果Nhf较大的情况下，选择未经图像校正处理的视频信号D3，计数结果Nhf越小，越选择经受了较强的图像校正处理的视频信号。即，在计数结果Nhf为阈值C2B以上的情况下，选择未经图像校正处理的视频信号D3，在计数结果Nhf小于阈值C2A的情况下，选择经校正处理后的视频信号(Ea1或Eb1)，但根据计数结果Nhf是否为阈值C2B以上，来进行经受较强的校正处理的视频信号Ea1、与经受较弱的校正处理的视频信号Eb1之间的选择。

与关于实施方式1叙述的同样，在各帧期间Tn(n为0、1、2、…中的任意一个)内，从运动矢量检测部5输出的运动矢量V是关于1帧延迟视频信号D2的各像素的运动矢量，运动矢量V的高频成分检测结果H在各帧范围内的合计结束、确定选择控制信号R的值的时刻与该帧期间结束的时刻大体一致。因此，将根据各帧的视频信号D2的运动矢量V生成的选择控制信号R的值用于图像选择部60在下一帧期间T(n+1)内的选择，其中，在下一帧期间T(n+1)内，2帧延迟视频信号D3和延迟了1帧的校正处理后的视频信号Ea1、Eb1被提供给图像选择部60。

图像显示部3进行基于从图像选择部60输出的视频信号F的图像显示。

此处，用户能够通过变更阈值C1，来调节高频成分检测部8中的判定的严格性(在高频成分的值为怎样的程度时，估计为误检测)。此外，能够通过变更阈值阈值C2A、2B，来调节判定部9中的判定的严格性(基于在各帧中估计为运动矢量是被误检测的像素的数量Nhf的、对关于该帧的运动矢量的检测结果可靠性的判定基准)。

另外，在图21的结构中，在输入图像延迟部4、运动矢量检测部5、第1校正处理部51以及第2校正处理部52中，能够通过仅对亮度信号(Y)进行处理，而减轻由于被摄体的运动和/或相机的运动而产生劣化的视频的运动模糊。然而，也可以不仅处理亮度信号(Y)，还单独处理红色信号(R)、蓝色信号(G)和绿色信号(B)。另外，还可以通过表示R、G、B之和的信号求出式(9)的增益GAIN(i，j)，在第1校正处理部51和第2校正处理部52的动作中，利用式(10)单独处理R、G、B。此外，还可以单独处理亮度信号(Y)和色差信号(Cb、Cr)。可以通过亮度信号(Y)求出增益GAIN(i，j)，并使用所求出的增益GAIN(i，j)分别针对亮度信号(Y)和色差信号(Cb、Cr)，通过式(10)的运算单独进行处理。即使是其他的颜色表现形式也能够进行同样的处理。

如以上所说明的那样，在本实施方式中，能够根据视频信号、和相对于所述视频信号在时间上处于1帧以上之前或之后的视频信号，检测所述视频信号的运动矢量，使用检测出的运动矢量进行运动模糊校正处理，并且通过对检测出的运动矢量的高频成分进行检测，关于各像素进行是否运动矢量是被误检测的估计，进而在各帧内，根据估计为运动矢量是被误检测的像素的数量评价可靠性的程度，并通过根据评价的结果，选择被较强地进行了校正处理的视频信号、被较弱地进行了校正处理的视频信号、以及原视频信号中的任意一个进行显示，对应于运动矢量检测的错误程度选择最佳的视频进行显示。

即，在运动矢量的检测中错误较多的情况下，如果使用经基于运动矢量的校正处理后的视频则产生图像质量劣化，但在本实施方式中，在运动矢量的检测中错误较多的情况下，不使用校正处理后的视频而使用原视频，从而防止图像质量劣化，另一方面，在运动矢量的检测中错误较少的情况下，通过使用经校正处理后的视频，显示利用针对运动模糊的校正而减轻了运动模糊的视频，在运动矢量的检测为中等程度的情况下，能够通过使用被较弱地进行了校正处理的视频，抑制图像质量劣化，并且还通过较弱的校正处理一定程度地得到运动模糊的减轻效果。

此外，在切换视频信号的情况下，也能够进行阶段性的切换，避免例如从未经校正处理的视频信号直接切换为经受了较强校正处理的视频信号的情况，能够通过在暂时切换为经受了较弱校正处理的视频信号后，再切换为经受了较强校正处理的视频信号，由此避免视频的质量突变。

实施方式4.

图23示出本发明实施方式4的具有图像处理装置的图像显示装置的结构。图示的图像显示装置1具有图像处理装置2d和图像显示部3，图像处理装置2d具有与图21的图像处理装置相同的输入图像延迟部4、运动矢量检测部5、高频成分检测部8、判定部59和图像选择部60，并且具有图像校正处理部16b、图像合成部17b和帧频转换部70。图像校正处理部16b具有第1校正处理部71和第2校正处理部72。图像合成部17b具有第1合成部73和第2合成部74。

与实施方式2同样，实施方式4的图像处理装置2d接收所输入的视频信号D0，而生成提高了帧频的视频信号，为此通过插值在输入视频信号的帧间生成1个或2个以上的帧(插值帧)。以下，以将帧频变为5倍的情况为例进行说明。

视频信号D0由表示构成图像的多个像素的像素值的信号的列构成，图像处理装置2d利用多个例如第1和第2插值方法在输入视频信号D0的前后相接的帧间分别生成1个或2个以上的插值帧，通过将包含所生成的插值帧的视频信号Ja0、Jb0分别与输入视频信号组合(以规定的顺序输出输入视频信号的帧和插值帧)，生成提高了帧频的多个视频信号Ka、Kb，并且通过将输入视频信号的各帧反复多次而生成提高了帧频的视频信号If，根据判定部59中的判定结果选择这些视频信号Ka、Kb、If中的任意一个并作为最终输出视频信号F输出。

输入到图像处理装置2d的视频信号D0(图24的(a))被提供给输入图像延迟部4。输入图像延迟部4使用帧存储器，进行所输入的信号的帧延迟，从而生成3个彼此不同的帧的视频信号D1、D2、D3(图24的(b)、(c)、(d))。在图24的(a)～(l)中，标号T0、T1、T2、…表示输入视频信号的各帧期间。其中，视频信号D1相对于视频信号D0没有延迟，视频信号D2相对于视频信号D0有1帧的延迟，视频信号D3相对于视频信号D0有2帧的延迟。

视频信号D2和D1被输出到运动矢量检测部5和第1和第2校正处理部71、72，视频信号D3被输出到帧频转换部70。

帧频转换部70输出将视频信号D3的帧频变为了5倍的视频信号If(图24的(k))。该视频信号If将再现时间缩短为1/5，各5次地反复视频信号D3的各帧，图25的(d)示出其详细情况。

如关于实施方式1说明的那样，运动矢量检测部5使用从输入图像延迟部4输出的2个不同的帧的视频信号D2、D1，检测视频信号D2所包含的运动矢量V(图24的(f))。检测出的运动矢量V被输出到第1和第2校正处理部71、72以及高频成分检测部8。

如关于实施方式1说明的那样，运动矢量V与在关注帧的块与后帧的块之间由式(2)表示的绝对差和为最小的块间的相对位置(km，lm)对应，在本实施方式中，与实施方式2同样，和检测出的运动矢量V＝(Vy，Vx)＝(km，lm)一起，将该最小的绝对差和SAD(i+km，j+lm)作为与该运动矢量V对应的绝对差和mv＿sad(i，j)输出到第1和第2校正处理部71、72。

第1校正处理部71将从运动矢量检测部5输出的运动矢量V以及绝对差和mv＿sad(i，j)作为输入，通过插值生成被估计为存在于从输入图像延迟部4输出的各帧的视频信号D2与下一帧的视频信号D1之间的、在时间上均等分开的位置(4个相位)的4个帧，由此生成由各相位的插值帧的列构成的4个视频信号。用标号Ja0集中表示通过插值生成的4个视频信号。图24的(g)中用标号F0ia～F0id、F1ia～F1id、F2ia～F2id、…表示这4个视频信号的各个帧。

所生成的视频信号Ja0被输出到第1合成部73。

此外，第1校正处理部71直接将所输入的视频信号D2作为视频信号G0(与D2相同内容的数据，在图24的(c)中示出为F0、F1、F2、…)输出到第1合成部73。

第2校正处理部72将从运动矢量检测部5输出的运动矢量V以及绝对差和mv＿sad(i，j)作为输入，通过插值生成被估计为在时间上存在于从输入图像延迟部4输出的各帧的视频信号D2与下一帧的视频信号D1之间的中间位置的1个帧，由此生成由所生成的插值帧的列构成的视频信号Jb0。图24的(i)中用标号F0h、F1h、F2h、…示出视频信号Jb0的各帧。所生成的视频信号Jb0被输出到第2合成部74。

此外，第2校正处理部72直接将所输入的视频信号D2作为视频信号G0(与D2相同内容的数据，在图24的(c)中示出为F0、F1、F2、…)输出到第2合成部74。

第1合成部73通过基于从第1校正处理部71输出的各帧的视频信号G0和通过插值生成的视频信号Ja0，并按照规定的时间顺序排列这些信号，生成帧频为5倍的视频信号Ka(图24的(h)、图25的(e))。

第2合成部74通过基于从第2校正处理部72输出的各帧的视频信号G0和通过插值生成的视频信号Jb0，并按照规定的时间顺序排列这些信号，生成帧频为5倍的视频信号Kb(图24的(j)、图25的(f))。

以下，参照图25的(d)、(e)、(f)说明帧频转换部70、第1和第2校正处理部71和72、以及第1和第2合成部73和74的处理。图25的(d)、(e)、(f)更详细示出图24的(k)、(h)、(j)所示的视频信号的各帧在时间上的位置关系。

在图示的例子中，输入视频信号D0的帧频为24fps、输出视频信号F的帧频为120fps，输入视频信号D0的各个帧的开始时刻在图25的(a)中用标号U、U+1、U+2示出，输出视频信号F的各个帧的开始时刻在图25的(c)中用标号u、u+1/5、u+2/5、…示出。图25的(b)与图24的(e)同样，示出使输入到合成部73、74的视频信号G0(图24的(c))延迟1帧期间、进而将再现时间缩短为了1/5的视频信号G1。

首先，说明帧频转换部70。

在图25的(d)所示的例子中，由帧频转换部70将原视频信号D3的各帧的再现时间缩短为1/5地反复5次并作为视频信号If输出。例如在帧期间T2内，反复5次输出原视频信号的帧F0，在下一帧期间T3内，反复5次输出帧F1。

接着说明第1校正处理部71和第1合成部73。

在图25的(e)所示的例子中，作为视频信号Ka，从第1合成部73在例如帧期间T2内，接着原视频信号G0的帧F0，依次输出4个插值帧F0ia、F0ib、F0ic、F0id，在下一帧期间T3内，接着原视频信号G0的帧F1依次输出4个插值帧F1ia、F1ib、F1ic、F1id。

各帧的再现时间(输出时间)为输入视频信号的1帧期间的1/5，插值帧F0ia、F0ib、F0ic、F0id在相对于原视频信号的帧F0延迟了1/5、2/5、3/5、4/5帧期间的定时被输出。

为了生成在这样的定时输出的插值帧，在第1校正处理部71中，如以下那样求出插值帧的像素的像素值。即，如上所述，第1校正处理部71通过插值在从输入图像延迟部4输出的关注帧的视频信号D2和后帧的视频信号D1之间的多个时间上的位置(相位)生成视频信号。针对第1校正处理部71，除了来自输入图像延迟部4的视频信号D2、D1以外，还从运动矢量检测部5输入关注帧的运动矢量V(Vy，Vx)以及绝对差和mv＿sad(i，j)。

以下，着眼于在关注帧与后帧之间生成的多个插值帧中的一个(用标号Jn表示)来进行说明。该插值帧处于和关注帧隔开关注帧与后帧的时间间隔的α倍的位置处。即，关注帧与插值帧的时间间隔相对于关注帧与后帧的时间间隔之比为α。如图40的(e)所示，在对输入视频信号的帧(例如F0)生成1/5帧期间后的插值帧(F0ia)的情况下，α＝1/5。同样，在生成2/5帧期间、3/5帧期间、4/5帧期间后的插值帧(F0ib、F0ic、F0id)的情况下，分别成为α＝2/5、α＝3/5、α＝4/5。

在第1校正处理部71中，接收关注帧D2的运动矢量V(Vy，Vx)以及绝对差和mv＿sad(i，j)，而求出插值帧Jn上的运动矢量(Vhy、Vhx)。

若将关注帧D2的位置(i，j)的运动矢量V的垂直方向分量表现为Vy(i，j)、水平方向分量表现为Vx(i，j)，则能够按照如下方式求出插值帧Jn的位置(i+si，j+sj)处的运动矢量Vhy、Vhx。

Vhy(i+si，j+sj)＝Vy(i，j)×α   (23a)

Vhx(i+si，j+sj)＝Vx(i，j)×α   (23b)

其中，

si＝round[Vy(i，j)×α]

sj＝round[Vx(i，j)×α]

(round[*]表示对*进行四舍五入)。

即，估计为在通过对关注帧D2的运动矢量V乘以α并进行四舍五入而计算出的位置(i+si，j+sj)处，在关注帧与插值帧之间，存在对关注帧D2的运动矢量V乘以α而得的值的运动矢量。另外，在位置(i+si，j+sj)指定了被定义为视频的范围以外的位置的情况下，不进行式(23a)、式(23b)、式(23c)的处理。

这里，由式(23a)、式(23b)和式(23c)计算出的插值帧的运动矢量Vhy、Vhx不一定能针对插值帧上的全部位置(i，j)都得到。因此，针对不能得到运动矢量Vhy、Vhx的像素位置，需要运动矢量值Vhy、Vhx的修正或者插值处理(以下简称作修正处理)。运动矢量Vhy、Vhx的修正处理可与关于实施方式2说明的同样进行。

分别用标号Vcy、Vcx表示通过修正运动矢量Vhy、Vhx而得到的值。

接着使用修正后的运动矢量Vcy(i，j)、Vcx(i，j)，参照关注帧的视频信号D2和后帧的视频信号D1的值，求出插值帧Jn。分别设与插值帧的关注像素(i，j)对应的关注帧的视频信号D2和后帧的视频信号D1的位置为(bi，bj)、(ai，aj)时，插值帧Jn的各像素的像素值Jn(i，j)能作为下式求出。

Jn(i，j)＝D2(bi，bj)×(1－α)+D1(ai，aj)×α   (24)

此处，

bi＝i－round[Vcy(i，j)]

bj＝j－round[Vcx(i，j)]

ai＝i+fix[Vcy(i，j)]

aj＝j+fix[Vcx(i，j)]。

其中，fix[*]表示*的向0方向的舍去。

接着说明第2校正处理部72和第2合成部74。

在图25的(f)所示的例子中，作为视频信号Kb，从第2合成部74例如在从帧期间T1的结束期到帧期间T2的起始期范围内，反复3次输出原视频信号G0的帧F0后，在帧期间T2内反复2次输出插值帧F0h，在从帧期间T2的结束期到帧期间T3的起始期范围内，反复3次输出原视频信号G0的帧F1后，在帧期间T3内反复2次输出插值帧F1h。

各帧的再现时间是输入视频信号的1帧期间的1/5，插值帧F0h在相对于被反复3次的原视频信号的帧F0中的第2个帧F0延迟了2/5、3/5帧期间的定时被输出。

插值帧的各像素的像素值是假定为插值帧处于前后相接的原视频信号的帧在时间上的中间位置而由第2校正处理部72求出的值。第2校正处理部72与实施方式2的图像校正处理部16求出插值帧的视频信号J0的方式同样地，求出插值帧的视频信号Jb0。

高频成分检测部8和判定部59的动作与实施方式3相同。

与实施方式3同样地，图像选择部60根据选择控制信号R的值，选择3个输入中的任意一个并输出。

即，图像选择部60在选择控制信号R为“0”的情况下，将从第1合成部73输出的、插值后的视频信号Ka(图24的(h))作为最终输出视频信号F输出，在选择控制信号R为“1”的情况下，将从第2合成部74输出的、插值后的视频信号Kb(图24的(j))作为最终输出视频信号F输出，在选择控制信号R为“2”的情况下，将从帧频转换部70输出的视频信号lf(图24的(k))作为最终输出视频信号F输出。

图像显示部3进行基于从图像选择部60输出的视频信号F的图像显示。

在进行这样的处理的结果是上述计数结果Nhf(1帧中的、取值“1”的高频成分检测结果H的产生次数)为阈值C2B以上时，即运动矢量V的检测中错误较多时，不使用通过插值处理得到的视频信号，而选择通过将输入视频信号反复而得到的视频信号(未经插值处理即校正处理的视频信号)If进行显示，在计数结果Nhf小于阈值C1时，即运动矢量V的检测中错误较少时，选择将通过精细的插值处理得到的(通过按照原帧周期的每1/5的周期进行各个插值运算而得到的)视频信号Ja0与输入视频信号组合后的视频信号、即经受了比较强的校正处理的视频信号Ka并进行显示，在计数结果Nhf为阈值C1以上且小于阈值C2时，即运动矢量V的检测错误为中等程度时，选择将通过粗插值处理得到的(假定为插值值位于原视频信号的前后相接的帧的中间来进行插值运算而得到的)视频信号Jb0与输入视频信号组合后的视频信号、即经受了比较弱的校正处理的视频信号Kb并进行显示。

即，在计数结果Nhf较多的情况(具体而言为阈值C2B以上的情况)下，选择未经插值处理、即校正处理的视频信号If，在计数结果Nhf不多的情况(小于阈值C2B的情况)下，选择经受了插值处理、即校正处理的视频信号(Ka或Kb)，但在计数结果Nhf比较少的情况下，选择经受了较精细的插值处理、即较强的校正处理的视频信号Ka，在计数结果Nhf比较多的情况下，选择经受了较粗的插值处理、即较弱的校正处理的视频信号Kb。

一般而言，计数结果越少，越选择经受了较精细的插值处理、即较强校正处理的视频信号。

与实施方式3同样，用户能够通过变更阈值C1，来调节高频成分检测部8中的判定的严格性(在高频成分的值为怎样的程度时，估计为错误检测)。此外，能够通过变更阈值阈值C2A、2B，来调节判定部9中的判定的严格性(基于在各帧中估计为运动矢量是被误检测的像素的数量Nhf的、对关于该帧的运动矢量的检测结果可靠性的判定基准)。

如以上所说明的那样，在本实施方式中，能够根据视频信号、和相对于所述视频信号在时间上处于1帧以上之前或之后的视频信号，检测所述视频信号的运动矢量，使用检测出的运动矢量生成插值帧，并且通过对检测出的运动矢量的高频成分进行检测，关于各像素进行运动矢量是否是被误检测的估计，进而在各帧内，根据估计为运动矢量是被误检测的像素的数量评价可靠性的程度，并通过根据评价的结果，选择通过较精细的插值处理得到的视频信号、通过较粗的插值处理得到的视频信号、和仅提高了原视频信号的帧频的视频信号中的任意一个进行显示，对应于运动矢量检测的错误程度选择最佳的视频进行显示。

即，在运动矢量的检测中错误较多的情况下，如果使用由基于运动矢量的插值处理得到的视频则产生图像质量劣化，但在本实施方式中，在运动矢量的检测中错误较多的情况下，不使用由插值处理得到的视频而使用原视频从而防止图像质量劣化，另一方面，在运动矢量的检测中错误较少的情况下，通过使用由插值处理得到的视频，显示减少了不平滑的运动的视频(流畅变化的视频)，在运动矢量的检测为中等程度的情况下，能够通过使用由较粗的插值处理得到的视频，抑制图像质量劣化，并且显示运动由于较粗的插值处理而略微变得流畅的视频。

此外，在切换视频信号的情况下，也能够进行阶段性的切换，避免例如从未使用通过插值处理得到的视频的视频信号直接切换为由较精细的插值处理得到的视频信号，能够通过在暂时切换为由较粗的插值处理得到的视频信号后，切换为由较精细的插值处理得到的视频信号，避免视频的质量突变。

在实施方式1至4中，将关于各像素的高频成分与阈值C1进行比较，并在各帧范围内对作为比较结果得到的高频成分检测结果H中的值为“1”的高频成分检测结果H进行了计数，但也可以在各帧范围内累计关于各像素的高频成分，并将累计值与阈值进行比较，如果累计值大于阈值，则判断为关于该帧运动矢量的检测中错误较多，可靠性较低。在该情况下，也可以仅将图像的特定部分、例如中央部分作为高频成分检测和高频成分累计的对象。

以上以图像处理装置和图像显示装置对本发明进行了说明，而通过这些装置执行的图像处理方法和图像显示方法也构成本发明的一部分。本发明还能作为执行上述图像处理装置或图像处理方法的步骤以及各步骤处理的程序成立，也能作为记录了该程序的计算机可读取的记录介质成立。

标号说明

1：图像显示装置；2：图像处理装置；3：图像显示部；4、14：输入图像延迟部；5：运动矢量检测部；6、6b：图像校正处理部；7、7b：处理图像延迟部；8：高频成分检测部；9：判定部；10：图像选择部；11：帧存储器；12：帧存储器控制部；15：帧频转换部；16、16b：图像校正处理部；17、17b：图像合成部；21：关注帧块切取部；22：后帧块切取部；23：运动矢量确定部；30：校正运算部；31：操作信号处理部；32：运动模糊估计部；33：滤波系数保存部；34：滤波部；35：非线性处理部；36：低通滤波器；37：平均值计算部；38：校正强度调节部；39：增益计算部；41：帧存储器；42：帧存储器控制部；51：第1校正处理部；52：第2校正处理部；53：第1图像延迟部；52：第2图像延迟部；70：帧频转换部；71：第1校正处理部；72：第2校正处理部；73：第1合成部；74：第2合成部。

Claims (20)

1.一种图像处理装置，其具有：

运动矢量检测部，其根据对输入视频信号进行帧延迟而得到的第1视频信号和相对于所述第1视频信号在时间上处于1帧以上之前或之后的视频信号，检测所述第1视频信号的运动矢量；

图像校正处理部，其使用由所述运动矢量检测部检测出的运动矢量，对所述第1视频信号进行图像校正处理；

高频成分检测部，其使用由所述运动矢量检测部检测出的运动矢量检测高频成分；

判定部，其根据由所述高频成分检测部检测出的高频成分，进行对各帧内的运动矢量的检测结果的可靠性的判定；以及

图像选择部，其根据所述判定部的判定结果，选择作为所述图像校正处理部进行图像校正处理的结果而生成的视频信号、和所述输入视频信号或对该输入视频信号进行帧延迟而得到的视频信号中的任意一个进行输出。

2.根据权利要求1所述的图像处理装置，其特征在于，

所述高频成分越多，所述判定部将所述运动矢量的检测结果的可靠性评价得越低。

3.根据权利要求1或2所述的图像处理装置，其特征在于，

所述高频成分检测部进行关于各像素的高频成分是否为第1阈值以上的判定，

所述判定部在各帧内由所述高频成分检测部判定为高频成分的值为所述第1阈值以上的像素的数量在第2阈值以上时，使所述选择部选择未经所述图像校正处理的视频信号作为该帧的视频信号。

4.根据权利要求3所述的图像处理装置，其特征在于，

所述第1阈值是从外部输入的。

5.根据权利要求3所述的图像处理装置，其特征在于，

所述第2阈值是从外部输入的。

6.根据权利要求1～5中的任意一项所述的图像处理装置，其特征在于，

所述高频成分检测部检测所述运动矢量的二阶差分值作为所述高频成分。

7.根据权利要求1所述的图像处理装置，其特征在于，

所述图像校正处理部具有：

第1校正处理部，其使用由所述运动矢量检测部检测出的运动矢量，对所述第1视频信号进行图像校正处理；以及

第2校正处理部，其使用由所述运动矢量检测部检测出的运动矢量，对所述第1视频信号进行校正强度不同于第1校正处理部的图像校正处理，

所述图像选择部根据所述判定部的判定结果，选择作为所述第1校正处理部进行图像校正处理的结果而生成的视频信号、作为所述第2校正处理部进行图像校正处理的结果而生成的视频信号、以及所述输入视频信号或对该输入视频信号进行帧延迟而得到的视频信号中的任意一个进行输出。

8.根据权利要求1～7中的任意一项所述的图像处理装置，其特征在于，

所述图像校正处理部使用由所述运动矢量检测部检测出的运动矢量，进行减轻所述第1视频信号的运动模糊的图像校正处理。

9.根据权利要求1～7中的任意一项所述的图像处理装置，其特征在于，

所述图像校正处理部进行在所述第1视频信号、与相对于该第1视频信号在时间上处于1帧之前的视频信号之间对视频信号进行插值的图像校正处理。

10.一种图像显示装置，其具有：

权利要求1～9中的任意一项所述的图像处理装置；以及

图像显示部，其显示由所述图像处理装置生成的图像。

11.一种图像处理方法，其具有：

运动矢量检测步骤，根据对输入视频信号进行帧延迟而得到的第1视频信号和相对于所述第1视频信号在时间上处于1帧以上之前或之后的视频信号，检测所述第1视频信号的运动矢量；

图像校正处理步骤，使用在所述运动矢量检测步骤中检测出的运动矢量，对所述第1视频信号进行图像校正处理；

高频成分检测步骤，使用在所述运动矢量检测步骤中检测出的运动矢量检测高频成分；

判定步骤，根据在所述高频成分检测步骤中检测出的高频成分，进行对各帧内的运动矢量的检测结果的可靠性的判定；以及

图像选择步骤，根据所述判定步骤的判定结果，选择作为在所述图像校正处理步骤中进行图像校正处理的结果而生成的视频信号、和所述输入视频信号或对该输入视频信号进行帧延迟而得到的视频信号中的任意一个进行输出。

12.根据权利要求11所述的图像处理方法，其特征在于，

所述高频成分越多，在所述判定步骤中，将所述运动矢量的检测结果的可靠性评价得越低。

13.根据权利要求11或12所述的图像处理方法，其特征在于，

在所述高频成分检测步骤中，进行关于各像素的高频成分是否为第1阈值以上的判定，

在所述判定步骤中，如果判定为在各帧内由所述高频成分检测步骤判定为高频成分的值为所述第1阈值以上的像素的数量在第2阈值以上，则使在所述选择步骤中选择未经所述图像校正处理的视频信号作为该帧的视频信号。

14.根据权利要求13所述的图像处理方法，其特征在于，

所述第1阈值是从在图像处理方法的实施中使用的装置外部输入的。

15.根据权利要求13所述的图像处理方法，其特征在于，

所述第2阈值是从在图像处理方法的实施中使用的装置外部输入的。

16.根据权利要求10～14中的任意一项所述的图像处理方法，其特征在于，

在所述高频成分检测步骤中，检测所述运动矢量的二阶差分值作为所述高频成分。

17.根据权利要求11所述的图像处理方法，其特征在于，

所述图像校正处理步骤具有：

第1校正处理步骤，使用在所述运动矢量检测步骤中检测出的运动矢量，对所述第1视频信号进行图像校正处理；以及

第2校正处理步骤，使用在所述运动矢量检测步骤中检测出的运动矢量，对所述第1视频信号进行校正强度不同于第1校正处理步骤的图像校正处理，

在所述图像选择步骤中，根据所述判定步骤的判定结果，选择作为在所述第1校正处理步骤中进行图像校正处理的结果而生成的视频信号、作为在所述第2校正处理步骤中进行图像校正处理的结果而生成的视频信号、以及所述输入视频信号或对该输入视频信号进行帧延迟而得到的视频信号中的任意一个进行输出。

18.根据权利要求11～17中的任意一项所述的图像处理方法，其特征在于，

在所述图像校正处理步骤中，使用在所述运动矢量检测步骤中检测出的运动矢量，进行减轻所述第1视频信号的运动模糊的图像校正处理。

19.根据权利要求11～17中的任意一项所述的图像处理方法，其特征在于，

在所述图像校正处理步骤中，进行在所述第1视频信号、与相对于该第1视频信号在时间上处于1帧之前的视频信号之间对视频信号进行插值的图像校正处理。

20.一种图像显示方法，其具有：

权利要求11～19中的任意一项所述的图像处理方法；以及

图像显示步骤，显示由所述图像处理方法生成的图像。