CN101536506A - 图像显示装置及方法、图像处理装置及方法 - Google Patents

Abstract

在具有帧率变换(FRC)部的图像显示装置中，防止特别是反射式字幕部分的画质劣化。FRC部(100)具有运动矢量检测部(101)和内插帧生成部(102)。运动矢量检测部(101)包括：使输入信号延迟一帧的帧延迟部(1)；选择用于矢量检测的初始位移矢量并输出的初始位移矢量选择部(2)；利用该初始位移矢量检测运动矢量的运动矢量计算部(3)；保存矢量检测结果的矢量存储器(4)；以及利用矢量存储器(4)提供的前一帧的矢量检测结果检测一个以上反射式字幕的存在区域和其移动速度的反射式字幕信息检测部(5)。通过将反射式字幕信息检测部(5)的检测结果反映于初始位移矢量选择部(2)和/或运动矢量计算部(3)的处理中，从而提高反射式字幕部分的矢量检测精度。

Description

图像显示装置及方法、图像处理装置及方法

技术领域

本发明涉及具有变换帧率或场率的功能的图像显示装置及方法、和图像处理装置及方法，特别涉及防止字幕(telop)部分的画质劣化的图像显示装置及采用该装置的图像显示方法、和图像处理装置及采用该装置的图像处理方法。

背景技术

在实现动态图像的用途方面以往主要使用阴极射线管(CRT：Cathode RayTube)，与阴极射线管相比，LCD(Liquid Crystal Display：液晶显示器)在显示动态图像时，存在观赏者感觉到动态部分的轮廓模糊、即所谓动态模糊的缺点。该动态模糊认为是由LCD的显示方式本身所引起的(例如，参照日本专利第3295137号说明书；“石黑秀一、栗田泰市郎《采用8倍速CRT的保持发光型显示器的动态画质的相关研究》，信学技报，社团法人电子信息通信学会，EID96-4(1996-06)，p.19-26”)。

在将电子束进行扫描、使荧光体发光从而进行显示的CRT中，各像素的发光虽然存在荧光体的少许残留光，但仍呈大致脉冲状。称之为脉冲型显示方式。另一方面，在LCD中，通过对液晶施加电场而蓄积的电荷直到下一次施加电场为止，以较高的比例加以保持。特别是在TFT方式的情况下，对构成像素的每一点设置TFT开关，通常还对各像素设置辅助电容，从而蓄积电荷的保持能力极高。因此，像素直到施加基于下一帧或场(以下以帧为代表)的图像信息的电场而改写为止都持续发光。称之为保持型显示方式。

在上述那样的保持型显示方式中，由于图像显示光的脉冲响应具有在时间上的宽度，因此时间频率特性变差，随之空间频率特性也下降，从而发生动态模糊。即，由于人的视线流畅地跟踪运动物体，所以若像保持型那样发光时间长，则通过时间积分效果图像的运动就变得不流畅，看起来不自然。

为了改善上述保持型显示方式的动态模糊，已知有通过在帧间内插图像来变换帧率(帧数)的技术。该技术被称为FRC(Frame Rate Converter：帧率变换)，在液晶显示装置等中已实用化。

以往，变换帧率的方法有仅多次重复读出同一帧、或采用帧间线性内插(线性插值)的帧内插等各种方法(例如，参照山内达郎《电视方式变换》，电视学会杂志，Vol.45，No.12，pp.1534-1543(1991))。然而，在采用线性插值的帧内插处理的情况下，随着帧率变换会发生动态的不自然(颤抖、抖动)，并且不能充分改善上述保持型显示方式引起的动态模糊的问题，不足以改善画质。

因此，为了消除上述颤抖的影响来改善动态画质，提出了利用运动矢量的运动补偿处理。根据该运动补偿处理，由于捕捉动态图像本身进行运动补偿，所以分辨率不会变低，也不会发生颤抖，可以获得极自然的动态图像。而且，由于内插图像信号是通过运动补偿形成的，所以能充分改善因上述保持型显示方式所引起的动态模糊的问题。

上述日本专利第3295437号说明书中揭示了一种技术，该技术是通过与运动相适应地生成内插帧，用于提高显示图像的帧频，改善导致动态模糊的空间频率特性降低。这是根据前后帧与运动相适应地形成内插到显示图像的帧间的至少一个内插图像信号，将形成的内插图像信号内插到帧间并依次进行显示。

图1是表示以往的液晶显示装置中的FRC驱动显示电路的简要结构的框图，图中，FRC驱动显示电路由以下构成：通过在输入图像信号的帧间内插实施了运动补偿处理的图像信号从而变换输入图像信号的帧数的FRC部100；具有液晶层和用于对该液晶层施加扫描信号及数据信号的电极的有源矩阵型液晶显示面板104；以及用于根据经FRC部100进行了帧率变换的图像信号驱动液晶显示面板104的扫描电极及栅极电极的电极驱动部103。

FRC部100包括：从输入图像信号检测出运动矢量信息的运动矢量检测部101；以及根据运动矢量检测部101获得的运动矢量信息生成内插帧的内插帧生成部102。

在上述结构中，运动矢量检测部101例如可以利用后述的块匹配法或梯度法等求出运动矢量信息，或者当输入图像信号中以某种形式包含运动矢量信息时，也可以利用该信息。例如，用MPEG方式进行压缩编码的图像数据中包含编码时算出的动态图像的运动矢量信息，就可以采用获取该运动矢量信息的结构。

图2是用于说明采用图1所示的以往的FRC驱动显示电路的帧率变换处理的图。FRC部100进行以下处理：通过使用从运动矢量检测部101输出的运动矢量信息进行运动补偿，从而生成帧间的内插帧(图中涂成灰色的图像)，将该生成的内插帧信号与输入帧信号一起依次输出，从而将输入图像信号的帧率从例如每秒60帧(60Hz)变换到每秒120帧(120Hz)。

图3是用于说明采用运动矢量检测部101及内插帧生成部102的内插帧生成处理的图。运动矢量检测部101利用梯度法等从图3所示的例如帧#1和帧#2检测出运动矢量105。即，运动矢量检测部101在帧#1和帧#2的1/60秒期间，通过测定向哪个方向运动多少求出运动矢量105。接着，内插帧生成部102利用求出的运动矢量105，在帧#1和帧#2之间分配内插矢量106。通过根据该内插矢量106使对象(这里是汽车)从帧#1的位置移动到1/120秒后的位置，从而生成内插帧107。

这样，通过利用运动矢量信息进行运动补偿帧内插处理，提高显示帧频，从而可以使LCD(保持型显示方式)的显示状态接近CRT(脉冲型显示方式)的显示状态，能够改善由显示动态图像时发生的动态模糊引起的画质劣化。

这里，在上述运动补偿帧内插处理中，为了进行运动补偿，运动矢量的检测不可缺少。作为该运动矢量的检测方法，分别提出了例如日本专利特开昭55-162683号公报所示的“电视图像的运动检测方法”或日本专利特开昭55-162684号公报所示的“图像运动矢量的渐近检测方法”等中记载的模式匹配法，还有日本专利特开昭60-158786号公报所示的“图像运动量检测方式”或日本专利特开昭62-206980号公报所示的“动态图像的运动推测中的初始位移方式”等中记载的反复梯度法。

特别是采用后者反复梯度法的运动矢量检测方式，与模式匹配法相比，能够以小型且高精度地检测运动矢量。即，采用反复梯度法的运动矢量检测方法，是将数字化电视信号的各个帧，细分为例如包含横向m个像素、纵向n行的m×n个像素的预先确定的预定大小的块，对每一块，分别根据该画面内的信号梯度及与对应画面间的信号差分值的物理对应等，反复实施梯度法计算，从而推测运动量。

但是，动态图像的帧间相关度很高，还具有时间轴方向的连续性。很多情况下，在某一帧中移动的像素或块，在紧接其后的下一帧或在它之前的前一帧中也以同样的运动量移动。例如，当拍摄球体从画面的右方转到左方的情况的动态图像时，球体的区域在任一帧中都以同样的运动量移动。即，很多情况下在连续的帧间运动矢量具有连续性。

由此可知，通过参照前一帧的运动矢量检测结果，能够更加容易、或更加正确地进行其下一帧的运动矢量检测。在上述日本专利特开昭62-206980号公报中，提出了这样一种方法：即，作为推测运动量时的初始值，从包含对应被检测块的块的周边多个块中已检测出的运动矢量的候补中，选择最适合该被检测块的运动矢量检测用的运动矢量作为初始位移矢量，从接近该被检测块的真实运动矢量的值开始进行梯度法计算，从而减少梯度法计算的计算次数，例如通过两次梯度法计算来检测出真实的运动矢量。

另外，在日本专利特开平06-217266号公报所示的“运动矢量检测电路”中，提出了这样一种方法：即，为了进一步提高运动矢量检测的精度，在距离至少一个场或一帧以上的图像信号的各块间检测运动的初始位移矢量。而且，在块匹配方法中，也考虑参照前一帧的运动矢量检测结果来改变搜索顺序等，从而有效地进行运动矢量检测。这样，在检测运动矢量时，通过利用已检测出的运动矢量，能够进行例如帧率变换的实时处理。

但是，对于电视节目或电影，图像信号中包含字幕、即所谓反射式字幕的情况不少。其中，也存在画面上字符在水平或垂直方向上滚动(移动)的反射式字幕。根据Fujine，et.al.，“Real-Life In-Home Viewing Conditions for FPDs and StatisticalCharacteristics of Broadcast Video”，Digest AM-FPD’06(藤根等，“平板显示器的现实在家观赏条件和广播视频的数据特性”，AM-FPD’06摘要)可知，一般电视节目中包含的被拍摄物体的运动速度主要分布在20度/秒以下，其中10度/秒以下的频率很高，与此不同的是，电视节目的反射式字幕的滚动速度平均为13.8度/秒，最大为35.9度/秒，10～20度/秒的反射式字幕出现频率很高。即，很多情况下滚动的反射式字幕的运动速度比电视节目中一般的被拍摄物体要快。

发明内容

通常，动态图像中，目标物运动越快，帧间的变化就越大，从而难以正确地推测运动矢量。即，在FRC中，对运动越快的目标物，就越难以正确地生成内插图像。如上所述，由于很多情况下电视节目中使用的反射式字幕的运动速度比一般的被拍摄物体要快，所以可以说反射式字幕是难以正确生成内插图像的目标物。

通常，用相机拍摄的被拍摄物体在其运动快时还包含由相机的蓄光时间所引起的模糊(相机模糊)。对于这种原来包含模糊的图像，由保持型显示方式所引起的动态模糊就不易明显。另外，在进行FRC时，即使运动矢量检测失败而使得内插图像出现破绽，该破绽也不易明显。但是相反地，由于反射式字幕是从后方与图像合成，所以即使其运动很快，也不包含相机模糊等。因此，因保持型显示方式所引起的动态模糊容易明显，FRC有效地发挥作用，另外当FRC的运动矢量检测失败，使得反射式字幕部分的内插图像出现破绽时，该破绽容易明显。

此外，由于观众要读取反射式字幕的内容，所以目光追随注视滚动的反射式字幕。因此，问题在于当FRC的运动矢量检测失败而使得反射式字幕部分出现内插图像的破绽时，对于观众来说，尤其是画质劣化很容易明显。

本发明是鉴于上述问题而完成的，其目的在于提供一种可以防止因运动补偿型的帧率变换(FRC)处理所引起的反射式字幕部分的画质劣化的图像显示装置及方法、和图像处理装置及方法。

本申请的第一项发明是图像显示装置，具有通过在输入图像信号的帧间或场间内插实施了运动补偿处理的图像信号、从而变换所述输入图像信号的帧数或场数并输出到显示面板的频率变换单元，该图像显示装置具有检测所述输入图像信号中包含的一个以上反射式字幕的特征量的检测单元，根据所述检测出的一个以上反射式字幕的特征量，控制所述频率变换单元中的所述运动补偿处理。

本申请的第二项发明是所述一个以上反射式字幕的特征量为在预定方向上移动的一个以上反射式字幕的区域。

本申请的第三项发明是所述检测单元将画面分割成多个区域，求出每一个区域的平均矢量的平均偏差，将对此乘上预定系数所得的值作为阈值，将每一个区域的平均矢量与整个画面的平均矢量间的距离大于所述阈值的区域作为反射式字幕的区域进行检测。

本申请的第四项发明是在所述检测出的反射式字幕的区域和除此以外的区域进行不同的运动补偿处理。

本申请的第五项发明是仅对所述检测出的一个以上反射式字幕的区域进行运动补偿处理，对除此以外的区域不进行运动补偿处理。

本申请的第六项发明是对所述检测出的一个以上反射式字幕的区域以外的区域，在所述输入图像信号的帧间或场间插入该帧或场的图像信号。

本申请的第七项发明是对所述检测出的一个以上反射式字幕的区域以外的区域，在所述输入图像信号的帧间或场间内插实施了线性插值处理的图像信号。

本申请的第八项发明是对所述检测出的一个以上反射式字幕的区域和除此以外的区域的边界部分进行滤波处理。

本申请的第九项发明是所述一个以上反射式字幕的特征量为在预定方向上移动的一个以上反射式字幕的移动速度/方向。

本申请的第十项发明是所述检测单元将画面分割成多个区域，求出每一个区域的平均矢量的平均偏差，将对此乘上预定系数所得的值作为阈值，将每一个区域的平均矢量与整个画面的平均矢量间的距离大于所述阈值的区域作为反射式字幕的区域进行检测，求出所述检测出的反射式字幕的区域中的矢量的平均矢量，将此作为反射式字幕的移动速度/方向进行检测。

本申请的第十一项发明是利用所述检测出的一个以上反射式字幕的移动速度/方向，进行所述运动补偿处理。

本申请的第十二项发明是所述一个以上反射式字幕的特征量为在预定方向上移动的一个以上反射式字幕的区域和移动速度/方向。

本申请的第十三项发明是所述检测单元将画面分割成多个区域，求出每一个区域的平均矢量的平均偏差，将对此乘上预定系数所得的值作为阈值，将每一个区域的平均矢量与整个画面的平均矢量间的距离大于所述阈值的区域作为反射式字幕的区域进行检测，求出所述检测出的反射式字幕的区域中的矢量的平均矢量，将此作为反射式字幕的移动速度/方向进行检测。

本申请的第十四项发明是对所述检测出的一个以上反射式字幕的区域，利用所述检测出的反射式字幕的移动速度/方向进行所述运动补偿处理。

本申请的第十五项发明是在所述检测出的一个以上反射式字幕的区域和除此以外的区域进行不同的运动补偿处理。

本申请的第十六项发明是仅对所述检测出的一个以上反射式字幕的区域进行运动补偿处理，对除此以外的区域不进行运动补偿处理。

本申请的第十七项发明是对所述检测出的一个以上反射式字幕的区域以外的区域，在所述输入图像信号的帧间或场间插入该帧或场的图像信号。

本申请的第十八项发明是对所述检测出的一个以上反射式字幕的区域以外的区域，在所述输入图像信号的帧间或场间内插实施了线性插值处理的图像信号。

本申请的第十九项发明是对所述检测出的一个以上反射式字幕的区域和除此以外的区域的边界部分进行滤波处理。

本申请的第二十项发明是图像显示装置，具有通过在输入图像信号的帧间或场间内插实施了运动补偿处理的图像信号、从而变换所述输入图像信号的帧数或场数并输出到显示面板的频率变换单元，所述频率变换单元具有将所述输入图像信号的帧或场分割成预先确定的预定大小的多个块、对每一块检测表示距离至少一帧或一场以上的输入图像信号间的运动大小及方向的运动矢量的运动矢量检测部，所述运动矢量检测部包括：将每一块检测出的运动矢量至少存储一帧或一场量的存储部；利用所述存储部存储的运动矢量、检测所述输入图像信号中包含的一个以上反射式字幕的特征量的反射式字幕信息检测部；利用所述反射式字幕信息检测部检测出的一个以上反射式字幕的特征量、从所述存储部存储的运动矢量中读出的候补矢量组中选择最适合被检测块的运动的值的运动矢量作为被检测块的初始位移矢量的初始位移矢量选择部；以及通过利用所述反射式字幕信息检测部检测出的反射式字幕的特征量、将所述初始位移矢量选择部选择的初始位移矢量作为起点进行预定的计算、从而求出并输出被检测块的运动矢量并且存储到所述存储部的运动矢量计算部。

本申请的第二十一项发明是所述初始位移矢量选择部在所述反射式字幕信息检测部检测出的所述一个以上反射式字幕的区域和除此以外的区域进行不同的处理。

本申请的第二十二项发明是所述初始位移矢量选择部在所述反射式字幕信息检测部检测出的所述一个以上反射式字幕的区域以外的区域中，优先选择接近整个画面的平均矢量的候补矢量。

本申请的第二十三项发明是所述初始位移矢量选择部在所述反射式字幕信息检测部检测出的所述一个以上反射式字幕的区域以外的区域中，优先选择接近0矢量的候补矢量。

本申请的第二十四项发明是所述初始位移矢量选择部将所述反射式字幕信息检测部检测出的所述一个以上反射式字幕的运动矢量添加到所述候补矢量进行处理。

本申请的第二十五项发明是所述初始位移矢量选择部对与所述反射式字幕信息检测部检测出的所述一个以上反射式字幕的区域对应的块，将所述反射式字幕信息检测部检测出的所述一个以上反射式字幕的运动矢量添加到所述候补矢量进行处理。

本申请的第二十六项发明是所述初始位移矢量选择部在所述反射式字幕信息检测部检测出的所述一个以上反射式字幕的区域中，进行加权，使得所述候补矢量中的所述一个以上反射式字幕的运动矢量容易被选择，从而进行初始位移矢量的选择处理。

本申请的第二十七项发明是所述运动矢量计算部对与所述反射式字幕信息检测部检测出的所述一个以上反射式字幕的区域对应的块，改变计算方法，以获得与所述反射式字幕信息检测部检测出的所述一个以上反射式字幕的运动矢量的方向相同方向的矢量。

本申请的第二十八项发明是图像显示方法，具有通过在输入图像信号的帧间或场间内插实施了运动补偿处理的图像信号、从而变换所述输入图像信号的帧数或场数的频率变换步骤，具有检测所述输入图像信号中包含的一个以上反射式字幕的特征量的检测步骤，根据所述检测出的一个以上反射式字幕的特征量，控制所述频率变换步骤中的所述运动补偿处理。

本申请的第二十九项发明是图像显示方法，具有通过在输入图像信号的帧间或场间内插实施了运动补偿处理的图像信号、从而变换所述输入图像信号的帧数或场数的频率变换步骤，所述频率变换步骤具有将所述输入图像信号的帧或场分割成预先确定的预定大小的多个块、对每一块检测表示距离至少一帧或一场以上的输入图像信号间的运动大小及方向的运动矢量的运动矢量检测步骤，所述运动矢量检测步骤包括：将每一块检测出的运动矢量至少存储一帧或一场量的存储步骤；利用所述存储的运动矢量、检测所述输入图像信号中包含的一个以上反射式字幕的特征量的反射式字幕信息检测步骤；利用所述检测出的一个以上反射式字幕的特征量、从所述存储步骤存储的运动矢量中读出的候补矢量组中选择最适合被检测块的运动的值的运动矢量作为被检测块的初始位移矢量的初始位移矢量选择步骤；以及通过利用所述检测出的反射式字幕的特征量、将所述初始位移矢量选择步骤选择的初始位移矢量作为起点进行预定的计算、从而求出并输出被检测块的运动矢量的运动矢量计算步骤。

本申请的第三十项发明是图像处理装置，具有通过在输入图像信号的帧间或场间内插实施了运动补偿处理的图像信号、从而变换所述输入图像信号的帧数或场数并输出的频率变换单元，具有检测所述输入图像信号中包含的一个以上反射式字幕的特征量的检测单元，根据所述检测出的一个以上反射式字幕的特征量，控制所述频率变换单元中的所述运动补偿处理。

本申请的第三十一项发明是图像处理装置，具有通过在输入图像信号的帧间或场间内插实施了运动补偿处理的图像信号、从而变换所述输入图像信号的帧数或场数并输出的频率变换单元，所述频率变换单元具有将所述输入图像信号的帧或场分割成预先确定的预定大小的多个块、对每一块检测表示距离至少一帧或一场以上的输入图像信号间的运动大小及方向的运动矢量的运动矢量检测部，所述运动矢量检测部包括：将每一块检测出的运动矢量至少存储一帧或一场量的存储部；利用所述存储部存储的运动矢量、检测所述输入图像信号中包含的一个以上反射式字幕的特征量的反射式字幕信息检测部；利用所述反射式字幕信息部检测出的一个以上反射式字幕的特征量、从所述存储部存储的运动矢量中读出的候选矢量组中选择最适合被检测块的运动的值的运动矢量作为被检测块的初始位移矢量的初始位移矢量选择部；以及通过利用所述反射式字幕信息检测部检测出的反射式字幕的特征量、将所述初始位移矢量选择部选择的初始位移矢量作为起点进行预定的计算、从而求出并输出被检测块的运动矢量并且存储到所述存储部的运动矢量计算部。

本申请的第三十二项发明是图像处理方法，具有通过在输入图像信号的帧间或场间内插实施了运动补偿处理的图像信号、从而变换所述输入图像信号的帧数或场数的频率变换步骤，具有检测所述输入图像信号中包含的一个以上反射式字幕的特征量的检测步骤，根据所述检测出的一个以上反射式字幕的特征量，控制所述频率变换步骤中的所述运动补偿处理。

本申请的第三十三项发明是图像处理方法，具有通过在输入图像信号的帧间或场间内插实施了运动补偿处理的图像信号、从而变换所述输入图像信号的帧数或场数的频率变换步骤，所述频率变换步骤具有将所述输入图像信号的帧或场分割成预先确定的预定大小的多个块、对每一块检测表示距离至少一帧或一场以上的输入图像信号间的运动大小及方向的运动矢量的运动矢量检测步骤，所述运动矢量检测步骤包括：将每一块检测出的运动矢量至少存储一帧或一场量的存储步骤；利用所述存储的运动矢量、检测所述输入图像信号中包含的一个以上反射式字幕的特征量的反射式字幕信息检测步骤；利用所述检测出的一个以上反射式字幕的特征量、从所述存储步骤存储的运动矢量中读出的候补矢量组中选择最适合被检测块的运动的值的运动矢量作为被检测块的初始位移矢量的初始位移矢量选择步骤；以及通过利用所述检测出的反射式字幕的特征量、将所述初始位移矢量选择步骤选择的初始位移矢量作为起点进行预定的计算、从而求出并输出被检测块的运动矢量的运动矢量计算步骤。

根据本发明，通过采用上述结构，能够更加正确地进行对画面中在预定方向上移动的反射式字幕部分的运动补偿处理，其结果，可以实现反射式字幕的存在区域的画质提高。

附图说明

图1是表示以往的液晶显示装置中的FRC驱动显示电路的简要结构的框图。

图2是用于说明采用图1所示的以往的FRC驱动显示电路的帧率变换处理的图。

图3是用于说明采用运动矢量检测部及内插帧生成部的内插帧生成处理的图。

图4是表示本发明一个实施方式的图像显示装置具备的帧率变换部中的运动矢量检测部的结构例的功能框图。

图5是表示图4中的初始位移矢量选择部的结构例的功能框图。

图6是表示图4中的初始位移矢量选择部的另一结构例的功能框图。

图7是表示图4中的初始位移矢量选择部的又一结构例的功能框图。

图8是用于说明采用两次反复梯度法的运动矢量V的计算方法的矢量图。

图9是用于具体说明在一帧前的前一帧和当前帧之间移动的图像的运动矢量V的示意图。

图10是表示将图像分解成多个块的情况的说明图。

图11是表示画面上在水平方向上移动的反射式字幕的说明图。

图12是表示将画面分解成多个带状区域的情况的说明图。

图13是表示将画面分解成包含反射式字幕的区域和除此以外的区域的情况的说明图。

图14是表示反射式字幕的区域的平均矢量、反射式字幕以外区域的平均矢量和整个画面的平均矢量的关系的说明图。

图15是表示反射式字幕的区域的平均矢量、反射式字幕以外区域的平均矢量和整个画面的平均矢量的关系的说明图。

图16是表示检测两个反射式字幕信息时的一个示例说明图。

图17是表示检测两个反射式字幕信息时的另一个示例说明图。

标号说明

1…帧延迟部，2…初始位移矢量选择部，2a…坐标变换部，2b…减法部，2c…绝对值累计部，2d…选择部，2e…反射式字幕矢量添加判定部，3…运动矢量计算部，4…矢量存储器，5…反射式字幕信息检测部，100…帧率变换(FRC)部，101…运动矢量检测部，102…内插帧生成部，103…电极驱动部，104…液晶显示面板

具体实施方式

下面，参照附图详细说明本发明的优选图像显示装置的实施方式，对于和上述已有例相同的部分添加相同标号，省略其说明。此外，本发明可以适用于场信号及内插场信号、帧信号及内插帧信号中的任一方，但由于两者(场和帧)有相似的关系，所以以帧信号及内插帧信号为代表例进行说明。

(1)整体结构及反射式字幕信息的利用方法

图4是表示本发明的图像显示装置具备的运动矢量检测部的一个示例的功能框图，用于详细说明图1所示的图像显示装置的FRC部100中包含的运动矢量检测部101的内部结构。本实施方式的运动矢量检测部101包括：帧延迟部1；初始位移矢量选择部2；运动矢量计算部3；矢量存储器4；以及反射式字幕信息检测部5。

本实施方式的运动矢量检测部101用于将对每一帧输入的输入图像信号分割成预先确定的预定大小、例如m像素×n行(m、n为整数)组成的多个块，对每个分割的块求出表示经帧延迟部1延迟的例如一帧前的输入图像信号中在对应块之间的运动方向及大小的运动矢量，包括：将已检测出并存储于矢量存储器4的运动矢量中选择的候补矢量组与反射式字幕信息检测部5获得的反射式字幕信息一起使用、选择最适合的运动矢量作为被检测块的初始位移矢量的初始位移矢量选择部2；以及将该初始位移矢量作为起点、利用上述反射式字幕信息通过例如两次梯度法计算正确地求出该被检测块的真实运动矢量的运动矢量计算部3。

特别是在本实施方式中，具有反射式字幕信息检测部5，将由此获得的反射式字幕信息用于在初始位移矢量选择部2或运动矢量计算部3进行的处理。在初始位移矢量选择部2中，在反射式字幕的存在区域和除此以外的区域进行不同的处理，或者考虑反射式字幕的移动速度/方向来选择初始位移矢量，或者将这两者组合进行处理。另外，在运动矢量计算部3中，在反射式字幕的存在区域进行考虑了反射式字幕的移动速度/方向的矢量计算。通过进行这种处理，尤其是在反射式字幕存在区域，可获得更加正确的检测矢量。

在上述反射式字幕信息检测部5中，作为输入图像信号中包含的反射式字幕的特征量(反射式字幕信息)，是检测例如表示画面中的哪一个运动检测块与反射式字幕对应的反射式字幕区域信息、和表示反射式字幕的移动速度/方向的反射式字幕矢量信息。当画面中存在多个反射式字幕时，也可以分别对其检测反射式字幕区域信息和反射式字幕矢量信息。关于该反射式字幕信息检测部5的详细情况将在后文中阐述。

另外，这里使用反复梯度法作为运动矢量计算部3的计算方法的例子进行说明，但并不限于该反复梯度法，也可以使用块匹配法等。

若进一步详细说明，则图4所示的运动矢量检测部101如上文所述，由初始位移矢量选择部2、运动矢量计算部3、矢量存储器4、和反射式字幕信息检测部5构成。分别对初始位移矢量选择部2和运动矢量计算部3，提供当前帧信号和通过帧延迟部1延迟了一帧的前一帧信号。

初始位移矢量选择部2是从前一帧的通过运动矢量计算求出的已检测运动矢量中选择最适合被检测块的运动的值、例如最接近被检测块的运动的值的运动矢量当作成为梯度法计算的起点的初始位移矢量的选择电路，从上述候补矢量组和反射式字幕矢量中选择合适的运动矢量。在初始位移矢量选择部2中，例如上述那样将前一帧信号分割成m像素×n行的块，利用当前帧信号和前一帧信号，作为对分割的每一块选择初始位移矢量的基准。

初始位移矢量选择部2例如图5所示，包括：坐标变换部2a；减法部2b；绝对值累计部2c；选择部2d；以及反射式字幕矢量添加判定部2e。在初始位移矢量选择部2中，输入与从矢量存储器4依次读出的被检测块对应的块的周边八个块的运动矢量即候补矢量组、从反射式字幕信息检测部5输出的一个以上反射式字幕矢量及反射式字幕区域信息、前一帧信号、和当前帧信号。

在反射式字幕矢量添加判定部2e中，输入一个以上反射式字幕矢量及反射式字幕区域信息，当正在处理的块与某一反射式字幕区域对应时，将该反射式字幕区域中的反射式字幕矢量输出到坐标变换部2a。另外，当正在处理的块与多个反射式字幕区域对应时，将该多个反射式字幕区域各自的反射式字幕矢量、即多个反射式字幕矢量输出到坐标变换部2a。

各候补矢量组的各运动矢量及反射式字幕矢量添加判定部2e输出的一个以上反射式字幕矢量成为初始位移矢量的候补。将该初始位移矢量的候补提供给各个坐标变换部2a，利用该运动矢量使帧延迟部1提供的前一帧信号的对象块发生位移，进行变换到当前帧的坐标变换，将该坐标变换的结果提供给各个减法部2b。

另外，在本实施方式中，候补矢量组将在被检测块的周围八个块检测出的前一帧的运动矢量，作为被检测块的初始位移矢量选择用的候补矢量组，但这些候补矢量组并不限定于仅这个例子，当然也可以采用由其它区域的已检测的运动矢量来决定的结构。

在各个减法部2b中，在经坐标变换部2a进行了坐标变换的前一帧信号、和输入的当前帧信号之间实施减法处理，算出每一个像素的差分，并将各差分结果提供给绝对值累计部2c。在各个绝对值累计部2c中，求出各个像素的差分的绝对值，按照块的像素数对绝对值化后的差分进行累计，将该累积结果作为候补矢量的评价值，分别输出到选择部2d。

按照上述步骤得到的累积结果称为DFD(Displaced Field Difference：移位区域差)。DED是表示计算出的矢量(这里是候补矢量)的正确程度的指标，DFD的值越小，则表示前一帧的块与当前帧的坐标变换后的块的匹配越好，对应的候补矢量更加适合。

然后，接受每一块各自的累积结果(DFD)的选择部2d将各块的累积结果(DFD)进行比较，检测出累积结果(DFD)为最小的候补矢量、即认为是最合适的候补矢量，选择该候补矢量作为初始位移矢量，并提供给运动矢量计算部3。这时，利用来自反射式字幕信息检测部5的反射式字幕区域信息，当被检测块与反射式字幕区域对应时，优先选择反射式字幕矢量进行处理。

更具体而言，例如当被检测块与反射式字幕区域对应时，进行加权，使得来自绝对值累计部2c的输出值中、对反射式字幕矢量的累积结果(DFD)变小。例如，可以利用以下方法：即，通过对反射式字幕矢量的累积结果乘上系数w(0<w<1)，使得对反射式字幕矢量的累积结果(DFD)的值变小。

此外，在上述实施方式中，说明了在初始位移矢量选择部2使用反射式字幕信息检测部5所检测出的反射式字幕区域信息和反射式字幕矢量信息的双方信息的方法，但也可以采用仅使用任一方信息的结构。利用图6说明例如仅使用反射式字幕区域信息的结构例。在该结构中，由于不输入反射式字幕矢量，所以除去了图5中的反射式字幕矢量添加判定部2e。在本例中，选择部2d对于绝对值累计部2c的输出，当正在处理的块是反射式字幕区域以外时，进行使整个画面的平均矢量或0矢量优先的加权，当正在处理的块是反射式字幕区域时，不进行上述那样的加权。通过进行这种处理，即使是反射式字幕区域中相对较快的矢量也容易选择。即，容易选择与运动快的反射式字幕对应的矢量。

另外，利用图7说明例如仅使用反射式字幕矢量信息的结构例。在该结构中，不输入反射式字幕区域信息。因此，也不需要图5中的反射式字幕矢量添加判定部2e，对所有的块将反射式字幕矢量添加到初始位移矢量的候补。在对存在反射式字幕的块的初始位移矢量候补中是否存在与反射式字幕矢量相同或相近的矢量，取决于前一帧的矢量检测情况，并不可靠。因而，通过另外将反射式字幕矢量提供作为候补，能够提高选择更加合适的初始位移矢量的可能性。

而且，当然也可以将上述那样的反射式字幕区域信息、反射式字幕矢量信息的一个以上的利用方法任意组合来使用。

运动矢量计算部3是这样一个计算电路：即，为了对每一块检测运动矢量，利用当前帧信号和前一帧信号，将初始位移矢量选择部2提供的初始位移矢量作为起点，通过梯度法计算，求出从前一帧信号向当前帧信号的真实运动矢量。此外，由于采用梯度法计算的运动矢量计算方法在上述各专利文献、非专利文献中作了详细说明，所以这里省略其说明，下面以反复梯度法为例，说明初始位移矢量如何在本实施方式中使用。

例如，梯度法计算将初始位移矢量V0(α，β)中使前一帧信号位移的坐标位置作为起点，按照下式(1)、(2)求出推测当前帧的运动量的运动位移量V1。

Vx＝∑(sign(Δx)·DFD(x，y))/∑|Δx|   ...式(1)

Vy＝∑(sign(Δy)·DFD(x，y))/∑|Δy|   ...式(2)

其中，在式(1)、(2)中，Vx是运动矢量V0和V1之差的x方向分量，Vy是运动矢量V0和V1之差的y方向分量。这里，∑表示对m像素×n行、例如8像素×8行的块区域内的所有坐标进行计算求和。另外，Δx表示关注坐标的图像亮度的x方向梯度(与x方向的相邻像素的差分值)，Δy表示关注坐标的图像亮度的y方向梯度(与y方向的相邻像素的差分值)，DFD(x，y)表示前一帧的坐标(x，y)和当前帧的坐标(x+α，y+β)的帧间差分值，是与上述相同的计算方法。另外，sign(Δx)、sign(Δy)分别是表示用+1、-1、0中的某一个表示的梯度方向的符号。

例如，在两次反复梯度法的情况下，如图8所示，设初始位移矢量为V0，求出第一次的位移量V1和第二次的位移量V2，通过下式(3)求出对它们进行矢量相加后得到的运动矢量V。

V＝V0+V1+V2                         ...式(3)

通过式(3)，如图9所示，存在于前一帧中坐标(m1，n1)的块的图像移动到当前帧中坐标(m1+α0，n1+β0)的坐标位置的块时，求出其运动量为矢量V。这里，图9是用于具体说明在一帧前的前一帧和当前帧之间移动的图像的运动矢量V的示意图。

通过这样，将图4中的运动矢量计算部3所求出的运动矢量V存储到矢量存储器4，用作为用于计算出从下一帧开始的运动矢量的初始位移矢量选择用的候补矢量。

如上所述，通过提取出整个画面的运动特征，利用根据整个画面的运动特征进行了补偿的初始位移矢量，能够防止初始位移矢量的误检测，例如可以通过两次左右较少的反复梯度法采用的计算次数，正确地计算出当前帧信号的每一块的真实运动矢量。

这里，向运动矢量计算部3输入来自反射式字幕信息检测部5的一个以上反射式字幕区域信息，当被检测块与反射式字幕区域对应时，也可以进行特别处理。例如，当反射式字幕矢量的方向为水平方向时，也可以仅对x值实施反复梯度法，将最终获得的运动矢量限定在水平方向的运动。或者，，当反射式字幕矢量的方向为垂直方向时，也可以仅对y值实施反复梯度法，将最终获得的运动矢量限定在垂直方向的运动。这是因为，通过按照反射式字幕矢量的方向进行计算，容易跟踪反射式字幕的运动。

另外，上述说明中，采用了利用一次至数次梯度法计算的反复梯度法，作为运动矢量计算部3中的运动矢量的计算方法，但并不限于此，也可以使用模式匹配法或其它计算方法。

矢量存储器4是包含对每一块存储已检测出的至少一帧量的运动矢量的RAM(Random Access Memory：随机存取存储器)等的存储部，采用以下结构：即，其输入端子与运动矢量计算部3的输出端子连接，对于与例如分割成8像素×8行的各块位置对应的地址，利用运动矢量计算部3依次更新在该块检测出的运动矢量并存储。

通过上述步骤，从运动矢量检测部101输出每一块的运动矢量检测结果。

然后，在内插帧生成部102中，利用每一块的运动矢量检测结果，生成内插图像。这时，可以在画面的整个区域中利用运动矢量生成内插图像，还可以在反射式字幕区域利用运动矢量生成内插图像，在其它区域不利用运动矢量生成内插图像，而是例如反复输出与前一帧或后一帧相同的图像。

即，也可以是，当未检测出反射式字幕时，不对整个画面进行运动补偿处理，当检测出反射式字幕时，仅对反射式字幕区域进行运动补偿处理，对除此以外的区域不进行运动补偿处理。

如前所述，通常用相机拍摄的被拍摄物体，包含在其运动快时由相机的蓄光时间引起的模糊(相机模糊)。原来存在的相机模糊越多，即使通过FRC降低了动态模糊，也难以知道其效果。但是相反地，由于反射式字幕是从后方与图像合成，所以即使其运动很快，也不包含相机模糊等，从而采用FRC改善动态模糊的效果很好。因此，即使仅在反射式字幕区域进行运动补偿处理，也可以获得大大改善视觉的效果，而且通过将内插图像生成处理仅限定在反射式字幕区域，可以减少用于生成内插图像的处理量。

另外，在这样仅对反射式字幕区域采用运动补偿进行内插图像生成的情况下，有时在反射式字幕区域和除此以外的区域的边界中有无运动补偿处理会清楚地出现在图像中并且十分醒目。为了减轻这种情况，希望通过对反射式字幕区域和除此以外区域的边界部分实施低通滤波等进行滤波处理，从而使运动补偿处理的强度连续地变化，抑制边界醒目的情况。

这里，对未实施运动补偿内插处理的反射式字幕区域以外的区域，如上所述，也可以不进行运动补偿内插处理，而是高速地连续输出同一帧的图像信号，即通过在输入图像信号的帧间插入该帧的图像信号来进行帧率变换，或者也可以内插通过线性插值处理从前后帧生成的图像，即通过在输入图像信号的帧间内插实施了线性插值处理的图像信号来进行帧率变换。另外，所谓线性插值处理，是指通过帧内插比α的线性插值，从前后帧的图像信号获得内插帧。

(2)反射式字幕信息检测方法的例子

如上所述，在反射式字幕信息检测部5中，利用矢量存储器4中存储的、通过前一帧的运动矢量计算求出的已检测运动矢量，检测反射式字幕信息。下面详细说明该反射式字幕信息检测部5的具体实现方法的一个例子。

可用于反射式字幕检测的信息，仅仅是矢量存储器4中存储的各运动检测块的运动矢量、和各运动检测块的结构信息。其中，由于反射式字幕的颜色存在多种，所以结构信息只能辅助地使用。因此，需要从各运动检测块的运动矢量信息，检测出反射式字幕区域信息和反射式字幕矢量信息。

另外，视频中存在反射式字幕以外的例如人物或汽车等多种运动的目标物。也存在由于相机的全景拍摄使得整个画面相对运动的情况。因此，难以单纯地判定例如运动快的区域就是反射式字幕区域，即难以根据运动矢量的绝对量判定是否是反射式字幕。

因此，在本实施方式中，利用整个画面的平均矢量和各运动检测块的运动矢量的差分量、即所谓运动矢量的平均偏差的统计信息。来检测反射式字幕区域和反射式字幕速度。

图10表示将图像分解成用于检测矢量的块的情况。整个图像的大小是宽Wa像素、高Ha像素。若以宽Wb像素、高Hb像素的运动检测块对该图像进行分割，则块数横为m块，纵为n块。通常，以整数的块数切割整个图像的像素数。即，Wa＝Wb×m，Ha＝Hb×n。

例如，对于高清晰分辨率(Wa＝1920像素、Ha＝1080像素)的图像，当块的大小为8×8像素时，m＝240，n＝135。将各运动检测块称为B(i，j)，设在各运动检测块检测出的运动矢量为(V_x(i，j)，V_y(i，j))。

这里，由于反射式字幕较多的是在水平方向上运动，所以在本实施方式中，将在水平方向上运动的反射式字幕作为检测对象。在水平方向上运动的反射式字幕如图11所示，在画面上位于横长的带状区域。因此，如图12所示，将画面分割成横长的带状区域L(1)～L(n)的n个区域，判定各个区域是否包含反射式字幕。

带状区域L(j)包括图10中的运动检测块B(1，j)～B(m，j)。若设L(j)中包含的运动检测块的运动矢量的平均矢量为(Vave_x(j)，Vave_y(j))，则：

$\mathrm{Vave}\_x\left(j\right)=\frac{1}{m}\underset{i=1}{\overset{m}{\mathrm{\&Sigma;}}}V\_x(i,j)$                   ...式(4)

$\mathrm{Vave}\_y\left(j\right)=\frac{1}{m}\underset{i=1}{\overset{m}{\mathrm{\&Sigma;}}}V\_y(i,j)$                   ...式(5)

另外，若设所有运动检测块的运动矢量的平均矢量(整体平均矢量)为(Vave_x，Vave_y)，则：

$\mathrm{Vave}\_x=\frac{1}{n}\underset{j=1}{\overset{n}{\mathrm{\&Sigma;}}}\mathrm{Vave}\_x\left(j\right)=\frac{1}{\mathrm{mn}}\underset{i=1}{\overset{m}{\mathrm{\&Sigma;}}}\underset{i=1}{\overset{n}{\mathrm{\&Sigma;}}}V\_x(i,j)$       ...式(6)

$\mathrm{Vave}\_y=\frac{1}{n}\underset{j=1}{\overset{n}{\mathrm{\&Sigma;}}}\mathrm{Vave}\_y\left(j\right)=\frac{1}{\mathrm{mn}}\underset{i=1}{\overset{m}{\mathrm{\&Sigma;}}}\underset{i=1}{\overset{n}{\mathrm{\&Sigma;}}}V\_y(i,j)$       ...式(7)

那么这里如图13所示，考虑将画面分割成包含反射式字幕的区域和除此以外的区域。将画面的高度取为1时的反射式字幕区域的高度为k。其中，假设反射式字幕区域未超过画面的一半。即假设：

0≤k<0.5                                ...式(8)

另外，反射式字幕以外的区域的高度为1-k。此外，当反射式字幕以外的区域被反射式字幕区域分割成两个以上时，将各区域的高度相加。

然后，设反射式字幕区域中包含的运动检测块的平均运动矢量为(Vt_x，Vt_y)，设反射式字幕以外的区域(在本申请的说明书中称为背景区域)中包含的运动检测块的平均运动矢量为(Vb_x，Vb_y)时，反射式字幕区域的平均矢量、反射式字幕以外的区域的平均矢量、以及整个画面的平均矢量之间成立以下关系：

Vave_x＝kVt_x+(1-k)Vb_x                 ...式(9)

Vave_y＝kVt_y+(1-k)Vb_y                 ...式(10)

实际上，并不限于反射式字幕区域内的所有块都具有与反射式字幕的移动速度相同的运动矢量。例如，将反射式字幕的字符中途切断的部分的块具有反射式字幕移动速度以外的运动矢量。然而，在本实施方式中，暂且假设反射式字幕区域内的块全都具有反射式字幕的移动速度，进行以下说明。该假设将在后文中阐述。

在本实施方式中，由于将在水平方向上运动的反射式字幕作为检测对象，所以下面对于各平均矢量也关注在水平方向上的值、即矢量的x值进行说明。

若将式(9)中的反射式字幕区域的平均矢量Vt_x、反射式字幕以外区域的平均矢量Vb_x、以及整体平均矢量Vave_x的关系进行图示，则如图14、图15所示。

图14是图示Vb_x<Vt_x的情况。Vave_x位于Vb_x和Vt_x之间，Vb_x和Vave_x之间的距离、与Vave_x和Vt_x之间的距离之比为k:1-k。该关系的成立与VaVe_x、Vb_x、Vt_x的值的大小或正负无关。另外，按照式(8)的条件，始终成立以下关系：

k<1-k                           ...式(11)

因而，Vb_x和Vave_x之间的距离始终小于Vave_x和Vt_x之间的距离。

图15是图示Vt_x<Vb_x的情况。Vave_x位于Vt_x和Vb_x之间，Vt_x和Vave_x之间的距离、与Vave_x和Vb_x之间的距离之比为1-k:k。该关系的成立与Vave_x、Vt_x、Vb_x的值的大小或正负无关。另外，按照式(8)的条件，式(11)始终成立。因而，与图14的情况相同，Vt_x和Vave_x之间的距离始终小于Vave_x和Vb_x之间的距离。

即，不管是Vb_x<Vt_x的情况，还是Vt_x<Vb_x的情况，Vb_x和Vave_x之间的距离始终小于Vave_x和Vt_x之间的距离。即，下式始终成立：

|Vb_x-Vave_x|<|Vt_x-Vave_x|     ...式(12)

因此，准备某一阈值T，确定为：

|Vb_x-Vave_x|<T<|Vt_x-Vave_x|   ...式(13)

利用该阈值T，对于图12中各带状区域Lj中包含的运动检测块的运动矢量的平均矢量x值Vave_x(j)，将Vave_x(j)和Vave_x的距离与阈值T进行比较，当大于T时，可以判定该带状区域Lj是很可能属于反射式字幕区域的区域。即，对于某一带状区域Lj，若下式成立：

T<|Vave_x(j)-Vave_x|            ...式(14)

则判定该带状区域为反射式字幕区域。

此处的问题是如何设定阈值T。下面说明其方法。

阈值T的设定条件如式(13)所示。从该式(13)可知，为了确定阈值T，需要|Vb_x-Vave_x|和|Vt_x-Vave_x|相关的信息，但是却无法直接求出Vt_x和Vb_x。这是因为，预先并不知道哪个区域是反射式字幕区域。

这里，|Vb_x-Vave_x|和|Vt_x-Vave_x|分别是整体平均矢量和背景区域的平均矢量的差分、以及整体平均矢量与反射式字幕区域的平均矢量的差分，其值与运动矢量的偏差情况有很深的关联。因此，利用作为数据偏差的一个尺度的平均偏差，来确定阈值T的值。

设各带状区域Lj的平均矢量Vave_x(j)的平均偏差为M时，则M可通过下式算出：

$M=\frac{1}{n}\underset{j=1}{\overset{n}{\mathrm{\&Sigma;}}}|\mathrm{Vave}\_x\left(j\right)-\mathrm{Vave}\_x|$               ...式(15)

将平均偏差M乘上常数α，则：

T＝αM                                  ...式(16)

然后按照以下所述求出适当的常数α。

首先，考虑Vb_x<Vt_x的情况。此时，若用Vt_x、Vb_x表示平均偏差M，则表示为：

M＝(Vt_x-Vave_x)k+(Vave_x-Vb_x)(1-k)   ...式(17)

将式(9)代入式(17)并加以整理，则获得：

M＝2k(1-k)(Vt_x-Vb_x)                  ...式(18)

根据式(13)和式(16)，则

|Vb_x-Vave_x|<αM<|Vt_x-Vave_x|         ...式(19)

另一方面，根据Vb_x<Vt_x的条件和式(9)，得到：

|Vb_x-Vave_x|＝|k(Vt_x-Vb_x)|＝k(Vt_x-Vb_x)   ...式(20)

|Vt_x-Vave_x|＝|(1-k)(Vt_x-Vb_x)|＝(1-k)(Vt_x-Vb_x)   ...式(21)

将式(18)、式(20)、式(21)代入式(19)并加以整理，则获得以下条件式：

为条件式。

根据式(22)，通过假设反射式字幕区域的高度为k，可以确定常数α的值。假设k＝0.2时，代入式(22)，则获得下述条件：

0.625<α<2.5                           ...式(23)

若将常数α设定在该范围内，则在存在k＝0.2左右的反射式字幕区域的情况下，就可以将其检测出来。

另外，假设k＝0.4时，同样地代入式(22)，则获得下述条件：

0.833<α<1.25                   ...式(24)

即可知，若想要与存在更宽的反射式字幕区域的情况相对应，则常数α的可设定范围变小。

如上所述，通过假设反射式字幕区域的高度k的值，可以导出常数α的可设定范围。只要分析实际的视频，求出反射式字幕区域的高度k的趋势，从而确定k，按照由此求出的常数α的可设定范围来确定常数α即可。

若确定了常数α，并根据式(15)求出平均偏差M，则可以从式(16)确定阈值T的值。这里，需要注意平均偏差M是从检测出的运动矢量计算出的。即，根据检测出的运动矢量的情况、即视频中的目标物的运动，阈值T的值在每一帧都发生改变。

若求出了阈值T的值，则按照式(14)，对各带状区域Lj的平均矢量的x值Vave_x(j)进行判定处理，就可以判定该带状区域是否是反射式字幕区域。

而且，若对各带状区域Lj进行判定，确定了哪一个带状区域是反射式字幕区域，就可以算出反射式字幕区域中包含的运动检测块的平均运动矢量(Vt_x，Vt_y)。这就是反射式字幕矢量。

这里，在上述说明中，对假设反射式字幕区域内的所有块都具有反射式字幕速度的情况进行了研究。实际上并不限于反射式字幕区域内的所有块都具有与反射式字幕的速度相同的运动矢量。反射式字幕区域中不包含反射式字幕的字符的块越多，例如反射式字幕的字符稀疏存在时，反射式字幕区域的平均矢量Vt_x比真实的反射式字幕矢量，越接近整体平均矢量Vave_x的值。另外同时，反射式字幕以外区域的平均矢量Vb_x也越接近整体平均矢量Vave_x的值。即，|Vt_x-Vave_x|和|Vb_x-Vave_x|的值都变小。

由此可知，若不将由式(13)或式(19)限定了设定范围的阈值T的值也设定得较小，即不将α的值设定得较小，则不能检测出反射式字幕区域。然而，若减小阈值T，则非反射式字幕的区域被误检测的可能性也增加。

另一方面，当反射式字幕区域中不包含反射式字幕的字符的块较少时，例如反射式字幕的字符紧密存在时，可以期待基本上按照上述讨论所述的动作。

这样，在实际应用时，需要确定将字符稀疏到哪种程度的反射式字幕作为检测对象、允许怎样程度的误检测，从而来确定常数α。

另外，在上述实施方式中，是假设反射式字幕在水平方向上运动从而检测反射式字幕，但在沿纵向或斜向运动的情况下，也能用同样的方法进行检测。在这种情况下，只要将带状区域的分割方法设定为与想要检测的方向一致即可。例如，在想要检测沿纵向移动的反射式字幕的情况下，只要将带状区域也设定为纵长的区域即可。

接下来，描述画面内存在多个反射式字幕时的反射式字幕信息检测方法。例如图16所示，将画面分割成上下两个反射式字幕检测区域1、2，在各个区域中执行上述的反射式字幕检测方法，从而可以检测出反射式字幕区域信息A及反射式字幕矢量信息Va、和反射式字幕区域信息B及反射式字幕矢量信息Vb这两个反射式字幕信息。

或者，例如图17所示，也可以并行地执行水平方向的反射式字幕检测处理和垂直方向的反射式字幕检测处理，从而检测出水平方向的反射式字幕区域信息C及反射式字幕矢量信息Vc、和垂直方向的反射式字幕区域信息D及反射式字幕矢量信息Vd这两个反射式字幕信息。这里，反射式字幕区域C和反射式字幕区域D的公共区域，相当于上述矢量检测单元的说明中、正在处理的块与多个反射式字幕区域对应的情况。

根据本实施方式，通过上述步骤，可以检测出一个以上反射式字幕信息。利用检测出的反射式字幕信息进行的处理已在上文中阐述。

此外，上述的反射式字幕信息检测单元是一个例子，即使是在采用其他方法检测反射式字幕信息的情况下，当然也能够适用于本发明的运动矢量检测方法及内插图像生成方法。

这里，需要注意的是，利用矢量存储器4中存储的各运动检测块的运动矢量作为向反射式字幕信息检测部5的输入。矢量存储器4中存储的各运动检测块的运动矢量是一帧前的运动矢量检测结果。即，反射式字幕信息检测部5的处理是利用一帧前的运动矢量检测结果进行的。由于反射式字幕通常在多帧内位于同一位置，所以即使像上述那样利用一帧前的运动矢量检测结果，也没有大的问题。

如上文详细说明的那样，在本实施方式的运动矢量检测方法中，检测反射式字幕区域和反射式字幕矢量作为反射式字幕的特征量，将其结果反映到初始位移矢量选择或运动矢量计算中来控制运动补偿处理，从而能够更加正确地进行反射式字幕区域的运动矢量检测，其结果可以力图改善反射式字幕区域的画质。

然而，有时在输入图像信号中，由于场景变换等使得连续帧间的相关被中途切断。在这种情况下，若参照矢量存储器4中存储的一帧前的运动矢量检测结果，则相反地会成为矢量误检测的原因。因此，以往提出了这样一种方法：即，当由于场景变换等使得连续帧间的相关被中途切断时，将其之前的帧中的运动矢量检测结果复位(例如，日本专利特开2000-333134号公报)。

然而，在存在场景变换的图像中重叠滚动的反射式字幕的输入图像信号的情况下，若进行上述那样的复位处理，则反射式字幕存在的区域的运动矢量也被复位，从而无法获得反射式字幕顺畅滚动的内插图像。因而，对于作为检测出是反射式字幕区域的区域，即使输入图像信号中发生场景变换时，也希望进行与其它区域不同的运动补偿处理，从而获得反射式字幕顺畅滚动的内插图像。

更具体地说，即使是发生场景变换的情况下，也不对反射式字幕区域进行上述的运动矢量检测结果的复位处理，而是继续进行矢量检测处理，从而能够获得在发生场景变换的情况下反射式字幕也顺畅滚动的内插图像，同时对于反射式字幕区域以外的区域，在发生场景变换的情况下进行上述复位处理，从而能够防止矢量的误检测，可以力图兼顾反射式字幕区域和除此以外的区域的画质。

本发明的图像显示装置不仅适用于使用液晶面板作为显示面板的液晶显示器，还能够适用于有机EL显示器、电泳显示器等具有保持型显示特性的所有图像显示装置。另外，作为输入图像信号，并不限于电视广播信号，当然也可以是从外部媒体重放的图像信号等各种图像信号。

另外，在上述说明中，是说明了涉及本发明的图像处理装置及方法的实施方式的一个例子，但根据这些说明，也可以容易地理解利用计算机将本图像处理方法作为程序执行的图像处理程序、以及将该图像处理程序记录到利用计算机可读取的记录介质的程序记录介质。

而且，在上述实施方式中，是说明了将本发明的图像处理装置设置于图像显示装置内并形成一体的方式，但本发明的图像处理装置并不限于此，例如也可以设置在各种记录介质重放装置等视频输出设备内。

Claims (33)

1.一种图像显示装置，具有通过在输入图像信号的帧间或场间内插实施了运动补偿处理的图像信号、从而变换所述输入图像信号的帧数或场数并输出到显示面板的频率变换单元，该图像显示装置的特征在于，

具有检测所述输入图像信号中包含的一个以上反射式字幕的特征量的检测单元，

根据所述检测出的一个以上反射式字幕的特征量，控制所述频率变换单元中的所述运动补偿处理。

2.如权利要求1所述的图像显示装置，其特征在于，

所述一个以上反射式字幕的特征量为在预定方向上移动的一个以上反射式字幕的区域。

3.如权利要求2所述的图像显示装置，其特征在于，

所述检测单元将画面分割成多个区域，求出每一个区域的平均矢量的平均偏差，将对此乘上预定系数所得的值作为阈值，将每一个区域的平均矢量与整个画面的平均矢量间的距离大于所述阈值的区域作为反射式字幕的区域进行检测。

4.如权利要求2或3所述的图像显示装置，其特征在于，

在所述检测出的反射式字幕的区域和除此以外的区域进行不同的运动补偿处理。

5.如权利要求2或3所述的图像显示装置，其特征在于，

仅对所述检测出的一个以上反射式字幕的区域进行运动补偿处理。

6.如权利要求5所述的图像显示装置，其特征在于，

对所述检测出的一个以上反射式字幕的区域以外的区域，在所述输入图像信号的帧间或场间插入该帧或场的图像信号。

7.如权利要求5所述的图像显示装置，其特征在于，

对所述检测出的一个以上反射式字幕的区域以外的区域，在所述输入图像信号的帧间或场间内插实施了线性插值处理的图像信号。

8.如权利要求6或7所述的图像显示装置，其特征在于，

对所述检测出的一个以上反射式字幕的区域和除此以外的区域的边界部分进行滤波处理。

9.如权利要求1所述的图像显示装置，其特征在于，

所述一个以上反射式字幕的特征量为在预定方向上移动的一个以上反射式字幕的移动速度/方向。

10.如权利要求9所述的图像显示装置，其特征在于，

所述检测单元将画面分割成多个区域，求出每一个区域的平均矢量的平均偏差，将对此乘上预定系数所得的值作为阈值，将每一个区域的平均矢量与整个画面的平均矢量间的距离大于所述阈值的区域作为反射式字幕的区域进行检测，

求出所述检测出的反射式字幕的区域中的矢量的平均矢量，将此作为反射式字幕的移动速度/方向进行检测。

11.如权利要求9或10所述的图像显示装置，其特征在于，

利用所述检测出的一个以上反射式字幕的移动速度/方向，进行所述运动补偿处理。

12.如权利要求1所述的图像显示装置，其特征在于，

所述一个以上反射式字幕的特征量为在预定方向上移动的一个以上反射式字幕的区域和移动速度/方向。

13.如权利要求12所述的图像显示装置，其特征在于，

所述检测单元将画面分割成多个区域，求出每一个区域的平均矢量的平均偏差，将对此乘上预定系数所得的值作为阈值，将每一个区域的平均矢量与整个画面的平均矢量间的距离大于所述阈值的区域作为反射式字幕的区域进行检测，

求出所述检测出的反射式字幕的区域中的矢量的平均矢量，将此作为反射式字幕的移动速度/方向进行检测。

14.如权利要求12或13所述的图像显示装置，其特征在于，

对所述检测出的一个以上反射式字幕的区域，利用所述检测出的反射式字幕的移动速度/方向进行所述运动补偿处理。

15.如权利要求12～14中的任一项所述的图像显示装置，其特征在于，

在所述检测出的一个以上反射式字幕的区域和除此以外的区域进行不同的运动补偿处理。

16.如权利要求12～14中的任一项所述的图像显示装置，其特征在于，

仅对所述检测出的一个以上反射式字幕的区域进行运动补偿处理。

17.如权利要求16所述的图像显示装置，其特征在于，

对所述检测出的一个以上反射式字幕的区域以外的区域，在所述输入图像信号的帧间或场间插入该帧或场的图像信号。

18.如权利要求16所述的图像显示装置，其特征在于，

对所述检测出的一个以上反射式字幕的区域以外的区域，在所述输入图像信号的帧间或场间内插实施了线性插值处理的图像信号。

19.如权利要求16～18中的任一项所述的图像显示装置，其特征在于，

对所述检测出的一个以上反射式字幕的区域和除此以外的区域的边界部分进行滤波处理。

20.一种图像显示装置，具有通过在输入图像信号的帧间或场间内插实施了运动补偿处理的图像信号、从而变换所述输入图像信号的帧数或场数并输出到显示面板的频率变换单元，该图像显示装置的特征在于，

所述频率变换单元具有将所述输入图像信号的帧或场分割成预先确定的预定大小的多个块、对每一块检测表示距离至少一帧或一场以上的输入图像信号间的运动大小及方向的运动矢量的运动矢量检测部，

所述运动矢量检测部包括：将每一块检测出的运动矢量至少存储一帧或一场量的存储部；

利用所述存储部存储的运动矢量、检测所述输入图像信号中包含的一个以上反射式字幕的特征量的反射式字幕信息检测部；

利用所述反射式字幕信息检测部检测出的一个以上反射式字幕的特征量、从所述存储部存储的运动矢量中读出的候补矢量组中选择最适合被检测块的运动的值的运动矢量作为被检测块的初始位移矢量的初始位移矢量选择部；以及

通过利用所述反射式字幕信息检测部检测出的反射式字幕的特征量、将所述初始位移矢量选择部选择的初始位移矢量作为起点进行预定的计算、从而求出并输出被检测块的运动矢量并且存储到所述存储部的运动矢量计算部。

21.如权利要求20所述的图像显示装置，其特征在于，

所述初始位移矢量选择部在所述反射式字幕信息检测部检测出的所述一个以上反射式字幕的区域和除此以外的区域进行不同的处理。

22.如权利要求21所述的图像显示装置，其特征在于，

所述初始位移矢量选择部在所述反射式字幕信息检测部检测出的所述一个以上反射式字幕的区域以外的区域中，优先选择接近整个画面的平均矢量的候补矢量。

23.如权利要求21所述的图像显示装置，其特征在于，

所述初始位移矢量选择部在所述反射式字幕信息检测部检测出的所述一个以上反射式字幕的区域以外的区域中，优先选择接近0矢量的候补矢量。

24.如权利要求20所述的图像显示装置，其特征在于，

所述初始位移矢量选择部将所述反射式字幕信息检测部检测出的所述一个以上反射式字幕的运动矢量添加到所述候补矢量进行处理。

25.如权利要求24所述的图像显示装置，其特征在于，

所述初始位移矢量选择部对与所述反射式字幕信息检测部检测出的所述一个以上反射式字幕的区域对应的块，将所述反射式字幕信息检测部检测出的所述一个以上反射式字幕的运动矢量添加到所述候补矢量进行处理。

26.如权利要求24或25所述的图像显示装置，其特征在于，

所述初始位移矢量选择部在所述反射式字幕信息检测部检测出的所述一个以上反射式字幕的区域中，进行加权，使得所述候补矢量中的所述一个以上反射式字幕的运动矢量容易被选择，从而进行初始位移矢量的选择处理。

27.如权利要求20所述的图像显示装置，其特征在于，

所述运动矢量计算部对与所述反射式字幕信息检测部检测出的所述一个以上反射式字幕的区域对应的块，改变计算方法，以获得与所述反射式字幕信息检测部检测出的所述一个以上反射式字幕的运动矢量的方向相同方向的矢量。

28.一种图像显示方法，具有通过在输入图像信号的帧间或场间内插实施了运动补偿处理的图像信号、从而变换所述输入图像信号的帧数或场数的频率变换步骤，该图像显示方法的特征在于，

具有检测所述输入图像信号中包含的一个以上反射式字幕的特征量的检测步骤，

根据所述检测出的一个以上反射式字幕的特征量，控制所述频率变换步骤中的所述运动补偿处理。

29.一种图像显示方法，具有通过在输入图像信号的帧间或场间内插实施了运动补偿处理的图像信号、从而变换所述输入图像信号的帧数或场数的频率变换步骤，该图像显示方法的特征在于，

所述频率变换步骤具有将所述输入图像信号的帧或场分割成预先确定的预定大小的多个块、对每一块检测表示距离至少一帧或一场以上的输入图像信号间的运动大小及方向的运动矢量的运动矢量检测步骤，

所述运动矢量检测步骤包括：将每一块检测出的运动矢量至少存储一帧或一场量的存储步骤；

利用所述存储的运动矢量、检测所述输入图像信号中包含的一个以上反射式字幕的特征量的反射式字幕信息检测步骤；

利用所述检测出的一个以上反射式字幕的特征量，、从所述存储步骤存储的运动矢量中读出的候补矢量组中选择最适合被检测块的运动的值的运动矢量作为被检测块的初始位移矢量的初始位移矢量选择步骤；以及

通过利用所述检测出的反射式字幕的特征量、将所述初始位移矢量选择步骤选择的初始位移矢量作为起点进行预定的计算、从而求出并输出被检测块的运动矢量的运动矢量计算步骤。

30.一种图像处理装置，具有通过在输入图像信号的帧间或场间内插实施了运动补偿处理的图像信号、从而变换所述输入图像信号的帧数或场数并输出的频率变换单元，该图像处理装置的特征在于，

具有检测所述输入图像信号中包含的一个以上反射式字幕的特征量的检测单元，

根据所述检测出的一个以上反射式字幕的特征量，控制所述频率变换单元中的所述运动补偿处理。

31.一种图像处理装置，具有通过在输入图像信号的帧间或场间内插实施了运动补偿处理的图像信号、从而变换所述输入图像信号的帧数或场数并输出的频率变换单元，该图像处理装置的特征在于，

所述频率变换单元具有将所述输入图像信号的帧或场分割成预先确定的预定大小的多个块、对每一块检测表示距离至少一帧或一场以上的输入图像信号间的运动大小及方向的运动矢量的运动矢量检测部，

所述运动矢量检测部包括：将每一块检测出的运动矢量至少存储一帧或一场量的存储部；

利用所述存储部存储的运动矢量、检测所述输入图像信号中包含的一个以上反射式字幕的特征量的反射式字幕信息检测部；

利用所述反射式字幕信息检测部检测出的一个以上反射式字幕的特征量、从所述存储部存储的运动矢量中读出的候补矢量组中选择最适合被检测块的运动的值的运动矢量作为被检测块的初始位移矢量的初始位移矢量选择部；以及

通过利用所述反射式字幕信息检测部检测出的反射式字幕的特征量、将所述初始位移矢量选择部选择的初始位移矢量作为起点进行预定的计算、从而求出并输出被检测块的运动矢量并且存储到所述存储部的运动矢量计算部。

32.一种图像处理方法，具有通过在输入图像信号的帧间或场间内插实施了运动补偿处理的图像信号、从而变换所述输入图像信号的帧数或场数的频率变换步骤，该图像处理方法的特征在于，

具有检测所述输入图像信号中包含的一个以上反射式字幕的特征量的检测步骤，

根据所述检测出的一个以上反射式字幕的特征量，控制所述频率变换步骤中的所述运动补偿处理。

33.一种图像处理方法，具有通过在输入图像信号的帧间或场间内插实施了运动补偿处理的图像信号、从而变换所述输入图像信号的帧数或场数的频率变换步骤，该图像处理方法的特征在于，

所述频率变换步骤具有将所述输入图像信号的帧或场分割成预先确定的预定大小的多个块、对每一块检测表示距离至少一帧或一场以上的输入图像信号间的运动大小及方向的运动矢量的运动矢量检测步骤，

所述运动矢量检测步骤包括：将每一块检测出的运动矢量至少存储一帧或一场量的存储步骤；

利用所述存储的运动矢量、检测所述输入图像信号中包含的一个以上反射式字幕的特征量的反射式字幕信息检测步骤；

利用所述检测出的一个以上反射式字幕的特征量、从所述存储步骤存储的运动矢量中读出的候补矢量组中选择最适合被检测块的运动的值的运动矢量作为被检测块的初始位移矢量的初始位移矢量选择步骤；以及

通过利用所述检测出的反射式字幕的特征量、将所述初始位移矢量选择步骤选择的初始位移矢量作为起点进行预定的计算、从而求出并输出被检测块的运动矢量的运动矢量计算步骤。

Images