CN1691130A - 图像处理设备、方法和程序 - Google Patents

图像处理设备、方法和程序 Download PDF

Info

Publication number
CN1691130A
CN1691130A CNA2005100741442A CN200510074144A CN1691130A CN 1691130 A CN1691130 A CN 1691130A CN A2005100741442 A CNA2005100741442 A CN A2005100741442A CN 200510074144 A CN200510074144 A CN 200510074144A CN 1691130 A CN1691130 A CN 1691130A
Authority
CN
China
Prior art keywords
motion vector
pixel
candidate
interested
interested pixel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CNA2005100741442A
Other languages
English (en)
Other versions
CN100440977C (zh
Inventor
五味信一郎
西亨
横山一树
浅野光康
绪形昌美
上田和彦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from JP2004124271A external-priority patent/JP4539152B2/ja
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN1691130A publication Critical patent/CN1691130A/zh
Application granted granted Critical
Publication of CN100440977C publication Critical patent/CN100440977C/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/144—Movement detection
    • H04N5/145—Movement estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/521—Processing of motion vectors for estimating the reliability of the determined motion vectors or motion vector field, e.g. for smoothing the motion vector field or for correcting motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Control Of Indicators Other Than Cathode Ray Tubes (AREA)

Abstract

直方图部分从由模板匹配部分提供的感兴趣像素上的候选运动向量和邻近感兴趣像素的像素上的候选运动向量之中将具有最高频率的候选运动向量确定为感兴趣像素上的运动向量，并将它提供给运动向量校正部分。运动向量校正部分根据由亮度梯度检测部分检测出的感兴趣像素周围的亮度梯度和由模板匹配部分所提供的表示是否应该执行校正的控制信号，来估计由直方图部分提供的运动向量的置信级。如果判定运动向量的置信级低则校正该运动向量。

Description

图像处理设备、方法和程序
技术领域
本发明涉及图像处理设备、方法和程序，具体来讲涉及一种能容易地检测匹配那些邻近像素的像素的运动向量的图像处理设备、方法和程序。
背景技术
阴极射线管(CRT)是典型的已知运动图像显示设备。目前，除CRT之外使用了越来越多的液晶显示器(LCD)设备，如日本未审专利申请公报2002-219811中所述的。
当CRT接收显示构成运动图像的多个帧的其中一帧的命令时，它利用内嵌的电子枪顺序扫描构成CRT屏幕的多条水平线(扫描线)以便在屏幕上形成指定帧(在下文中，充当显示命令的目标的帧称为目标显示帧)。
在这种情况下，像时间方向上的脉冲一样显示构成目标显示帧的每一个像素。换句话说，每个像素仅仅在其被扫描电子枪击中之时被激活。在下文中，总起来说把与CRT采用相同显示方法的显示设备称为脉冲显示设备。
相反，当LCD设备将要在屏幕上显示构成运动图像的帧的其中一帧(目标显示帧)时，从发出显示目标帧的命令时起直到发出显示后续帧的命令为止，它都维持构成屏幕的所有液晶区域的照明。
假定每个像素都对应于一个液晶区域。在这种情况下，帧显示命令使构成目标显示帧的每个像素的像素值将被传送给LCD设备。所述LCD设备向构成屏幕的相应的液晶区域(像素)施加代表指定像素值的电平的电压。其结果是，每个液晶区域都根据所施加的电压来输出光。简而言之，输出自液晶区域的光的能级(level)对应于施加到液晶区域上的电压的电平。
此后，至少直到发出显示后续帧的命令为止，连续地将指定电压电平施加于液晶区域，从而不断地输出光的相应能级。换句话说，液晶区域继续以指定的像素值来显示像素。
当由于发出显示后续帧的命令而需要改变一些像素的像素值时，将与改变后的像素值相对应的电平的电压施加到与相关像素相对应的液晶区域上(即，改变施加于相关液晶区域的电压电平)，由此液晶区域的输出电平(光的能级)也改变。
如上所述，LCD设备采用了不同于诸如CRT之类的脉冲显示设备所采用的显示方法，并且与脉冲显示设备相比具备几个优点，比如：小安装空间、低功耗和对于失真而言的高电阻。
然而，LCD设备有第一个问题，当显示运动图像时，它们要比脉冲显示设备更频繁地发生运动混乱(motion blurring)。
人们已经相信：这第一个问题的发生，即在LCD设备中运动混乱的发生是由于液晶的低响应速度造成的。更具体而言，人们已经相信：因为每个液晶区域的输出电平都需要很长时间到达指定的目标电平(例如，如果每个液晶区域都对应于一个像素的话，则它是与指定像素值相对应的电平)，因此LCD设备经受运动混乱。
为了克服这第一个问题，即为了防止在LCD设备中发生运动混乱，日本未审专利申请公报2002-219811描述了下列方法。根据日本未审专利申请公报2002-219811中所述的方法，将比目标电平更高的电平的电压施加到每个液晶区域(像素)上。在下文中，这个方法称为过激励法(overdrive method)。换句话说，过激励法采用了比常规方法所采用的目标电平更高的电平。在这种意义上讲，过激励法是一种用来校正目标电平的方法。
令人遗憾的是，这种过激励法无法阻止运动混乱的发生。因此，由于没有一种有效的方法可用来防止LCD设备中的运动混乱的发生，所以这第一个问题仍未解决。
鉴于这些情况，本发明的申请人已经研究了已知的过激励法不能克服第一个问题的原因，也就是无法防止LCD设备中的运动混乱发生的原因。根据这一研究的结果，本发明的申请人已经成功地发明出了一种能解决第一个问题的图像处理设备。本发明的申请人已提交了本发明(日本专利申请2003-270965)。
如上所述，其中一个导致LCD设备中的运动混乱的原因就是液晶(像素)的低响应速度，并且该过激励法将这种低响应速度考虑在内。
然而，LCD设备中运动混乱的发生不仅是由于液晶的低响应速度造成的，而且还是由于与人类视觉(LCD设备的观察者)相关联的特征造成的，这种特征称为″随动观看″。本发明的申请人已经发现已知的过激励法无法防止运动混乱，因为它没有考虑这种随动观看。术语″随动观看(follow-up seeing)″表明一种生体反应，其特征在于：人类会无意地用他们的眼睛跟随运动物体。它也称为″视网膜上的余象″。
换言之，本发明的申请人已经得出这样的结论：其中校正用来显示运动物体的所有像素(所有液晶区域的电压电平)的像素值的已知过激励法，也就是仅仅提高液晶区域输出电平的时间响应，无法消除因与人类视觉相关的随动观看这一特征而造成的运动混乱。
鉴于这个问题，如上所述，本发明的申请人已经发明出了一种用于执行图像处理的图像处理设备，所述图像处理不仅考虑了液晶的低响应而且也考虑了随动观看的特征。
更具体而言，如果在运动物体的边沿存在感兴趣像素，则由本发明的申请人发明的一种图像处理设备就根据感兴趣像素的运动向量(方向和数值)、从构成目标显示帧的像素(在下文中，称为感兴趣像素)之中，通过校正待处理的像素的像素值，来防止因随动观看而造成的运动混乱的发生。
然而，在这种情况下，就出现了第二个问题：如果感兴趣像素的运动向量不匹配邻近感兴趣像素的像素的运动向量(即，如果匹配周围的运动向量未被使用)，那么所得到的校正图像(目标显示帧)上的感兴趣像素的像素值(校正值)就不匹配其邻近像素的像素值(校正值)。换言之，可以将第二个问题重新陈述为：所得到的校正图像上的感兴趣像素与其邻近像素失配，这导致图像质量降低。
尽管已将第一个和第二问题描绘成与LCD设备有关，但是它们一般而言牵涉到任何具有下列特征的显示设备以及LCD设备。更详细来讲，出现第一个和第二个问题的显示设备的特征在于：它们具有多个这样的显示元素：从指定目标电平时起到输出电平到达目标电平需要一段预定的时间，而且每个显示元素都与构成帧或场的至少一些像素相关联。
具有这类特征的许多显示设备都采用这样一种显示方法，在所述方法中在指定了预定帧或场的显示之后将构成屏幕的至少一些显示元素的照明维持预定的一段时间(例如，维持一段时间直到指定了后续帧或场的显示)。在下文中，采用这种显示方法的显示设备，比如LCD设备，统称为持续型显示设备。此外，具有构成持续型显示设备的屏幕的显示元素(LCD设备的液晶)的显示器称为持续显示器。因此，可以把第一个问题和第二个问题视作为与持续型显示设备相关的问题。
发明内容
本发明是考虑到上述情况而提出的，并且意在用来容易地检测匹配那些邻近像素的像素的运动向量。
根据本发明的第一种图像处理设备，包括：候选者生成装置，用于从构成第一访问单元的像素之中将预定像素设置为感兴趣像素，并且将第一访问单元与第一访问单元前的第二访问单元进行比较，以便生成感兴趣像素上的候选运动向量；运动向量确定装置，用于从感兴趣像素上的候选运动向量和候选者生成装置所生成的邻近感兴趣像素的像素上的候选运动向量之中，将具有最高频率的候选运动向量确定为感兴趣像素上的运动向量；亮度改变计算装置，用于计算在感兴趣像素周围的亮度变化的程度；和校正装置，用于根据亮度改变计算装置和候选者生成装置进行处理的结果来估计运动向量确定装置所确定的运动向量的置信级，并且如果判定置信级低则校正该运动向量。
如果亮度改变计算装置所计算出的亮度变化的程度低于阈值，则校正装置就判定运动向量的置信级低，并且校正该运动向量。
所述候选者生成装置检测出第一访问单元上的第一个像素以作为第二访问单元上的第二个像素的对应像素，所述第二个像素被设置在与感兴趣像素的位置相对应的位置上，并且生成从感兴趣像素开始并在第一个像素上终止的向量作为感兴趣像素上的候选运动向量。
如果判定第一访问单元包括对于对应像素来讲的多个候选者或者作为对应像素的第一个像素的置信级低，则候选者生成装置就给校正装置提供表示校正该运动向量的命令的第一信息。此外，如果校正装置从候选者生成装置那里接收第一信息，则校正装置就判定运动向量的置信级低并且校正该运动向量。
如果感兴趣像素被包含在用于对应像素的多个候选者中，则候选者生成装置给校正装置提供表示感兴趣像素被包含在对于对应像素来讲的多个候选者中的第二信息；并且如果校正装置从候选者生成装置那里接收第二信息，则校正装置就可以判定运动向量的置信级低并且将该运动向量校正为0向量。
根据本发明的第一种图像处理方法，包括：候选者生成步骤，用于从构成第一访问单元的像素之中将预定像素设置为感兴趣像素，并且将第一访问单元与第一访问单元前的第二访问单元进行比较，以便生成感兴趣像素上的候选运动向量；运动向量确定步骤，用于从感兴趣像素上的候选运动向量和在候选者生成步骤中生成的邻近感兴趣像素的像素上的候选运动向量之中将具有最高频率的候选运动向量确定为感兴趣像素上的运动向量；亮度改变计算步骤，用于计算在感兴趣像素周围的亮度变化的程度；以及校正步骤，用于根据在亮度改变计算步骤和候选者生成步骤中进行处理的结果来估计运动向量确定步骤中确定的运动向量的置信级，并且如果判定置信级低则校正该运动向量。
根据本发明的第一种计算机可执行程序从构成第一访问单元的像素之中将预定像素设置为感兴趣像素并且将图像处理施加到该感兴趣像素。所述程序包括：候选者生成步骤，用于将第一访问单元与第一访问单元前的第二访问单元进行比较，以便生成感兴趣像素上的候选运动向量；运动向量确定步骤，用于从感兴趣像素上的候选运动向量和在候选者生成步骤中生成的邻近感兴趣像素的像素上的候选运动向量之中，将具有最高频率的候选运动向量确定为感兴趣像素上的运动向量；亮度改变计算步骤，用于计算在感兴趣像素周围的亮度变化的程度；校正步骤，用于根据在亮度改变计算步骤和候选者生成步骤中进行处理的结果来估计在运动向量确定步骤中确定的运动向量的置信级，并且如果判定置信级低则校正该运动向量。
根据第一种图像处理设备、第一种图像处理方法和第一种计算机可执行程序，从构成第一访问单元的像素之中将预定像素设置为感兴趣像素，并且将图像处理施加到感兴趣像素。更具体而言，将第一访问单元与第一访问单元前的第二访问单元相比较，以生成感兴趣像素上的候选运动向量。除感兴趣像素上的候选运动向量之外，还生成邻近感兴趣像素的像素上的候选运动向量。将这些候选运动向量之中具有最高频率的候选运动向量确定为感兴趣像素上的运动向量。根据在感兴趣像素周围的亮度变化的程度和生成运动向量的处理结果来估计所确定的运动向量的置信级。如果判定置信级为低的话，则校正该运动向量。
根据本发明的第二种图像处理设备，包括：候选者生成装置，用于从构成第一访问单元的像素之中将预定像素设置为感兴趣像素，并且将第一访问单元与第一访问单元前的第二访问单元进行比较，以便生成感兴趣像素上的候选运动向量；运动向量确定装置，用于从感兴趣像素上的候选运动向量和候选者生成装置所生成的邻近感兴趣像素的像素上的候选运动向量之中将具有最高频率的候选运动向量确定为感兴趣像素上的运动向量；校正装置，用于校正运动向量确定装置所确定的运动向量；和处理执行装置，用于利用校正装置所校正的运动向量来执行预定处理。所述校正装置根据处理执行装置进行的预定处理的特征来按第一种方法校正该运动向量。
所述图像处理设备可以进一步包括：亮度改变计算装置，用于计算在感兴趣像素周围的亮度变化的程度。所述校正装置根据亮度改变计算装置和候选者生成装置进行处理的结果来估计运动向量确定装置所确定的运动向量的置信级，并且如果判定运动向量的置信级低，则校正装置进一步按第二种方法来校正按第一种方法所校正的运动向量。
根据本发明的第二种图像处理方法是由信息处理设备来执行的。所述方法包括：候选者生成步骤，用于从构成第一访问单元的像素之中将预定像素设置为感兴趣像素，并且将第一访问单元与第一访问单元前的第二访问单元进行比较，以便生成感兴趣像素上的候选运动向量；运动向量确定步骤，用于从感兴趣像素上的候选运动向量和在候选者生成步骤中生成的邻近感兴趣像素的像素上的候选运动向量之中，将具有最高频率的候选运动向量确定为感兴趣像素上的运动向量；校正步骤，用于校正在运动向量确定步骤中确定的运动向量；以及处理控制步骤，用于控制信息处理设备利用在校正步骤中校正的运动向量来执行预定处理。在校正步骤中，根据在处理控制步骤中由图像处理设备进行的预定处理的特征来按第一校正方法校正该运动向量。
根据本发明的第二种计算机可执行程序控制处理执行设备，该处理执行设备用于将预定处理施加到构成运动图像的多个访问单元的其中预定的一个，其中所述预定处理使用预定访问单元上的每一个像素处的运动向量。所述程序包括：候选者生成步骤，用于从构成第一访问单元的像素之中将预定像素设置为感兴趣像素，并且将第一访问单元与第一访问单元前的第二访问单元进行比较，以便生成感兴趣像素上的候选运动向量；运动向量确定步骤，用于从感兴趣像素上的候选运动向量和在候选者生成步骤中生成的邻近感兴趣像素的像素上的候选运动向量之中，将具有最高频率的候选运动向量确定为感兴趣像素上的运动向量；校正步骤，用于校正在运动向量确定步骤中确定的运动向量；以及处理控制步骤，用于控制处理执行设备利用在校正步骤中校正的运动向量来执行预定处理。在校正步骤中，根据在处理控制步骤中由处理执行设备进行的预定处理的特征来按第一校正方法校正该运动向量。
根据第二种图像处理设备、第二种图像处理方法和第二种计算机可执行程序，将构成第一访问单元的像素之中的预定像素设置为感兴趣像素，并且将第一访问单元与第一访问单元前的第二访问单元进行比较，以生成感兴趣像素上的候选运动向量。将在感兴趣像素上的候选运动向量和邻近感兴趣像素的像素上的候选运动向量之中具有最高频率的候选运动向量确定为感兴趣像素上的运动向量。校正所确定的运动向量，并且利用校正后的运动向量来执行预定处理。在那时，根据预定处理的特征按照第一种方法来校正该运动向量。
如上所述，根据本发明，能够检测出感兴趣像素的运动向量以供进行防止在诸如LCD设备之类的持续型显示设备中发生运动混乱(具体来讲，因人类视觉的随动观看而造成的运动混乱)的图像处理。具体来讲，可以容易地检测出匹配那些邻近像素的运动向量的像素的运动向量。
附图说明
图1是描绘根据一个实施例的图像处理设备的示例性结构的框图；
图2是描绘图1中所示的图像处理设备的运动检测部分的详细示例性结构的框图；
图3是举例说明将由图2中的亮度梯度检测部分处理的像素的示例的图；
图4是示出图2中的运动检测部分的模板匹配部分的详细示例性结构的框图；
图5是举例说明将由图4中的模板匹配部分处理的像素的示例的图；
图6是示出目标显示帧上的邻居感兴趣像素的每一个像素的像素值和先前帧上的每个对应像素的像素值的示例的图；
图7是描绘图4中的SAD计算部分的计算结果的示例的图；
图8是举例说明由图4中的模板匹配部分用来进行处理的值的图；
图9是示出目标显示帧上的邻近感兴趣像素的每一个像素的像素值和先前帧上的每个对应像素的像素值的另一个示例(不同于图6中的示例)的图；
图10是描绘图4中的SAD计算部分的计算结果的另一个示例(不同于图7中的示例)的图；
图11是示出将由图2中的直方图部分处理的像素的图；
图12是描绘直方图的示例的图；
图13是示出图2中的运动检测部分的运动向量校正部分的详细示例性结构的框图；
图14是描绘将由图13中的运动检测部分的下游处理校正部分考虑的、用于校正处理的下游处理的示例的图；
图15是描绘图13中的运动检测部分的下游处理校正部分的、用于执行适合于图14中的下游处理的特征的校正的校正方法的示例的图；
图16是描绘图13中的运动检测部分的下游处理校正部分的校正方法的另一个示例的图；
图17是描绘用于举例说明图4中的模板匹配部分的另一个实施例的SAD的结果的图；
图18是示出图2中的运动检测部分的运动向量校正部分的详细结构的另一个示例的框图；
图19是示出图2中的运动检测部分的运动向量校正部分的详细结构的又一个示例的框图；
图20是举例说明由图1中的图像处理设备进行的图像处理的流程图；
图21是举例说明图20中的运动向量计算处理的流程图；
图22是描绘根据另一个实施例的图像处理设备的示例性结构(不同于图1中的示例)的框图；和
图23是描绘根据又一个实施例的图像处理设备的示例性结构(不同于图1和22中的那些示例性结构)的框图。
具体实施方式
在描述根据本发明的实施例之前，将给出权利要求中所描述的主题的元件与下面以实施例形式描述的组件之间的关系。以实施例的形式描述的一些示例可以隐含地对应于权利要求中所述的元件。换言之，如下所述的一些示例可以不必具有权利要求中所述的明确的对应元件。相反，明确与权利要求中的元件相对应的如下所述的一些示例可以对应于除那些明确对应的元件以外的其它元件。
并非如下所述的所有示例都能作为发明在权利要求中反映出来。换言之，如下所述的一些示例可以建议不包含在权利要求中的发明，例如以分案申请的形式提交的发明或通过修改所增加的发明。
根据本发明，提供了一种第一图像处理设备。所述第一种图像处理设备(例如，图1中的图像处理设备1的运动检测部分14，图2中所示的运动检测部分14的详细示例性结构)包括：候选者生成装置(例如，图2中的模板匹配部分34)，用于从构成第一访问单元的像素之中将预定像素设置为感兴趣像素并且将第一访问单元与第一访问单元前的第二访问单元进行比较以便生成感兴趣像素上的候选运动向量；运动向量确定装置(例如，图2中的直方图部分35)，用于从感兴趣像素上的候选运动向量和由候选者生成装置生成的邻近感兴趣像素的像素上的候选运动向量(例如，图11中区域95中的像素的值)之中将具有最高频率(例如，在图12中所示的直方图中具有最高频率的″+4″)的候选运动向量判定为感兴趣像素上的运动向量；亮度改变计算装置(例如，图2中的亮度梯度检测部分33)，用于计算在感兴趣像素周围的亮度变化的程度(例如，稍后描述的亮度梯度，更具体而言就是稍后描述的等式(2)中的″slope″)；和校正装置(例如，图2中的运动向量校正部分36：图13中的运动向量校正部分36A或图19中的运动向量校正部分36C)，用于根据亮度改变计算装置和候选者生成装置处理的结果来估计运动向量确定装置所判定的运动向量的置信级，并且如果判定置信级低(例如，如果下列两种条件的其中之一被满足，即：要求建立下面示出的不等式(9)的第三个条件和要求图2中的模板匹配部分34所提供的控制信号″flag为″1″的第四个条件)，则校正该运动向量。
如果亮度改变计算装置所计算出的亮度改变的程度低于阈值(例如，满足要求建立下面示出的不等式(9)的第三个条件)，所述校正装置可以判定运动向量的置信级低并且校正该运动向量。
候选者生成装置可以检测出第一访问单元上的第一个像素(例如，图5中的搜索范围i-6到i+6内的任何像素)以作为第二访问单元上的第二个像素的对应像素(例如，图5中的像素71)，所述第二个像素被设置在与感兴趣像素(例如，图5中的感兴趣像素51)的位置相对应的位置(例如，图5中的位置i)上，并且生成从感兴趣像素开始并在第一个像素上终止的向量(例如″+6″，如果图5中的比较区域73-(+6)中的中心像素，即位置i+6上的像素被检测为第一个像素)以作为感兴趣像素上的候选运动向量。
如果判定第一访问单元包括用于对应像素的多个候选者(例如，如果搜索位置i+5上的像素和搜索位置i-1上的像素都是如图9所示的候选对应像素，更具体而言，如果满足要求建立下面示出的从不等式(5)到不等式(7)所有不等式的第一条件；参照图10，对照不等式(5)到不等式(7)的参数)或者作为对应像素的第一个像素的置信级低(例如，如果满足要求建立下面示出的不等式(8)的第二个条件；参照图10，对照不等式(8)的min1)，那么所述候选者生成装置可以给校正装置提供表示用于校正该运动向量的命令的第一信息(如稍后描述的那样，控制信号″flag″等于″1″)。此外，如果校正装置从候选者生成装置中接收第一信息(如果满足要求图2中的模板匹配部分34所提供的控制信号″flag″为″1″的第四个条件)，所述校正装置可以判定运动向量的置信级低并且校正该运动向量。
如果感兴趣像素被包含在对应像素的多个候选者中(例如，如图17所示，如果与第二最小的SAD(即最小值min2)相对应的搜索位置pos2是感兴趣像素的位置i)，候选者生成装置可以给校正装置提供表示感兴趣像素被包含在对应像素的多个候选者中的第二信息，并且如果校正装置从候选者生成装置中接收第二信息(如果满足稍后所述的第五个条件)，那么所述校正装置可以判定运动向量的置信级低并且将该运动向量校正为0向量。
根据本发明，提供了一种第一图像处理方法。所述第一图像处理方法(例如，图2中的运动检测部分14所进行的图像处理方法)包括：候选者生成步骤(例如，图21中的步骤S22中的处理)，用于从构成第一访问单元的像素之中将预定像素设置为感兴趣像素，并且将第一访问单元和第一访问单元前的第二访问单元进行比较，以便生成感兴趣像素上的候选运动向量；运动向量确定步骤(例如，图21中的步骤S24中的处理)，用于从感兴趣像素上的候选运动向量和在候选者生成步骤中生成的中邻近感兴趣像素的像素上的候选运动向量之中将具有最高频率的候选运动向量确定为感兴趣像素上的运动向量；亮度改变计算步骤(例如，图21中的步骤S21中的处理)，用于计算在感兴趣像素周围的亮度变化的程度；以及校正步骤(例如，图21中的步骤26-28中的处理)，用于根据亮度改变计算步骤和候选者生成步骤中的处理结果(例如，图21中的步骤21和23中的处理结果)来估计在运动向量确定步骤中确定的运动向量的置信级，并且如果判定置信级低则校正该运动向量。
根据本发明，提供了第一计算机可执行程序。所述第一程序从构成第一访问单元的像素之中将预定像素设置为感兴趣像素并且令计算机(例如，图23中的CPU 201)向感兴趣像素施加图像处理。所述程序包括：候选者生成步骤(例如，图21中的步骤S22中的处理)，用于将第一访问单元与第一访问单元前的第二访问单元进行比较，以便生成感兴趣像素上的候选运动向量；运动向量确定步骤(例如，图21中的步骤S24中的处理)，用于从感兴趣像素上的候选运动向量和在候选者生成步骤中生成的邻近感兴趣像素的像素上的候选运动向量之中将具有最高频率的候选运动向量确定为感兴趣像素上的运动向量；亮度改变计算步骤(例如，图21中的步骤S21中的处理)，用于计算在感兴趣像素周围的亮度变化的程度；以及校正步骤(例如，图21中的步骤26-28中的处理)，用于根据亮度改变计算步骤和候选者生成步骤中的处理结果(例如，图21中的步骤21和23中的处理结果)来估计在运动向量确定步骤中确定的运动向量的置信级，并且如果判定置信级低则校正该运动向量。
根据本发明，提供了一种第二图像处理设备。所述第二图像处理设备(例如，图1中的图像处理设备1的运动检测部分14和图像处理部分12，图2中所示的运动检测部分14的详细示例性结构)包括：候选者生成装置(例如，图2中的模板匹配部分34)，用于从构成第一访问单元的像素之中将预定像素设置为感兴趣像素，并且将第一访问单元与第一访问单元前的第二访问单元进行比较，以便生成感兴趣像素上的候选运动向量；运动向量确定装置(例如，图2中的直方图部分35)，用于从感兴趣像素上的候选运动向量和选者生成装置所生成的邻近候感兴趣像素的像素上的候选运动向量之中，将具有最高频率候选运动向量确定为感兴趣像素上的运动向量；校正装置(例如，图2中的运动向量校正部分36：图13中的运动向量校正部分36A或图18中的运动向量校正部分36B)，用于校正运动向量确定装置所确定的运动向量；和处理执行装置(例如，图1中的图像处理部分12的校正部分22)，用于利用校正装置所校正的运动向量来执行预定处理。所述校正装置根据处理执行装置所进行的预定处理的特征、按第一种方法(例如，图15或16中所示的方法)校正该运动向量(例如，利用图13或18中的下游处理校正部分101)。
所述图像处理设备可以进一步包括亮度改变计算装置(例如，图2中的亮度梯度检测部分33)，用于计算在感兴趣像素周围的亮度变化的程度。所述校正装置可以根据亮度改变计算装置和候选者生成装置的处理结果来估计运动向量确定装置(例如，利用图13中的置信级估计部分103)所确定的运动向量的置信级，并且如果判定运动向量的置信级低的话，那么所述校正装置就可以按第二种方法(例如，在下面示出的等式(10)中定义的方法)来进一步校正(例如，利用图13中的置信级校正部分104)按第一种方法所校正的运动向量。
根据本发明，提供了一种第二图像处理方法。所述第二图像处理方法是通过信息处理设备(例如，图1中的图像处理设备1)来执行的。所述方法包括：候选者生成步骤(例如，图21中的步骤S22中的处理)，用于从构成第一访问单元的像素之中将预定像素设置为感兴趣像素，并且将第一访问单元与第一访问单元前的第二访问单元进行比较，以便生成感兴趣像素上的候选运动向量；运动向量确定步骤(例如，图21中的步骤S24中的处理)，用于从感兴趣像素上的候选运动向量和在候选者生成步骤中生成的邻近感兴趣像素的像素上的候选运动向量之中，将具有最高频率的候选运动向量确定为感兴趣像素上的运动向量；校正步骤(例如，图21中的步骤25至28中的处理)，用于校正在运动向量确定步骤中确定的运动向量；以及处理控制步骤(例如，在图20中的步骤S3的运动向量计算之后的在步骤S7中的处理)，用于控制信息处理设备利用在校正步骤中校正的运动向量来执行预定处理。在校正步骤中，根据在处理控制步骤中由图像处理设备进行的预定处理的特征、按校正方法来校正该运动向量(例如，图21中的处理步骤S25)。
根据本发明，提供了第二计算机可执行程序。所述第二程序是通过用于控制处理执行设备(例如，图1中的图像处理设备1)的计算机(例如，图23中CPU 201)执行的，所述处理执行设备用于将预定处理施加于构成运动图像的多个访问单元的其中预定的一个，其中所述预定处理在预定访问单元上使用每一个像素上的运动向量。所述程序包括：候选者生成步骤(例如，图21中的步骤S22中的处理)，用于从构成第一访问单元的像素之中将预定像素设置为感兴趣像素，并且将第一访问单元与第一访问单元前的第二访问单元进行比较，以便生成感兴趣像素上的候选运动向量；运动向量确定步骤(例如，图21中的步骤S24中的处理)，用于从感兴趣像素上的候选运动向量和在候选者生成步骤中生成的邻近感兴趣像素的像素上的候选运动向量之中，将具有最高频率的候选运动向量确定为感兴趣像素上的运动向量；校正步骤(例如，图21中的步骤25至28中的处理)，用于校正在运动向量确定步骤中确定的运动向量；以及处理控制步骤(例如，在图20中的步骤S3中的运动向量计算之后的在步骤S7中的处理)，用于控制处理执行设备利用在校正步骤中所校正的运动向量来执行预定的处理。在校正步骤中，根据在处理控制步骤中由处理执行设备进行的预定处理的特征、按校正方法来校正该运动向量(例如，图21中的处理步骤S25)。
现在，将参照附图来描述应用本发明的图像处理设备。
图1描绘了应用本发明的图像处理设备1的示例性结构。
参照图1，所述图像处理设备1控制持续型显示设备2上的运动图像的显示，所述持续型显示设备例如可以是LCD设备。更具体而言，所述图像处理设备1发出依次显示构成运动图像的多个帧的每一帧的命令。其结果是，如上所述，持续型显示设备2令每一个显示元素(在图中未示出)在显示已经指定的第一帧后的预定时间内显示构成第一帧的多个像素的对应像素并且保持(持续)至少一些显示元素的显示。简而言之，至少一些显示元素被持续显示了预定的一段时间。
尽管为了简化说明，根据如上所述的这个实施例图像处理设备1以帧为单位处理(显示)运动图像，但是也可以以场为单位来处理或显示运动图像。换言之，所述图像处理设备1能够在访问单元中执行图像处理，其中将所述访问单元定义为用于图像处理的单元，在目前的技术规范中，比如是帧和场。在下面的说明中，将图像处理设备1所采用的访问单元拟定为帧。
此外，还假定持续型显示设备2令每一个显示元素都在从指定第一帧的显示起到指定后续的第二帧的显示止的预定时间内显示构成第一帧的多个像素的对应像素，并且保持(持续)至少一些显示元素的显示(持续显示所述显示元素)。
更详细地说，所述图像处理设备1依次地接收构成运动图像的多个帧的图像数据。换言之，所述图像处理设备1接收目标显示帧的图像数据(例如，构成目标显示帧的所有像素的像素值)。更具体而言，将目标显示帧的图像数据输入到图像处理部分11、图像处理部分12、参考图像存储部分13和运动检测部分14。
所述图像处理部分11将预定的图像处理施加到目标显示帧的图像数据，每次一个像素，并将已处理的图像数据输出到切换部分15。更具体而言，所述图像处理部分11将预定的图像处理施加到构成目标显示帧的多个像素的每一个以便校正这些像素的像素值并且以预定顺序将校正后的像素值依次输出到切换部分15。
图像处理部分11所执行的图像处理不限于特定的处理。在图1的示例中，所述图像处理部分11接收两个信息项：从稍后将描述的参考图像存储部分13中输出的参考图像的图像数据(目标显示帧前的帧，在下文中刚好也称为先前帧)，以及稍后也将描述的运动检测部分14所提供的检测结果(构成目标显示帧的每个像素的运动向量)。然后，所述图像处理部分11可以执行任何下列图像处理：其中使用两个信息项的图像处理、其中使用两个信息项中之一的图像处理、和其中不使用两个信息项中任何一个的图像处理。更具体而言，例如所述图像处理部分11能够根据基于预定规则的表(在图中未示出)来校正构成目标显示帧的象素的像素值。
此外，所述图像处理部分11对图像处理设备1而言不是必不可少的组件，故而能够省略它。如果是这种情况的话，那么就将目标显示帧的图像数据输入到图像处理部分12、参考图像存储部分13、运动检测部分14和切换部分15的输入端(切换部分15的两个输入端中连接于图像处理设备11的那个输入端)。
从构成目标显示帧的图像数据(像素的像素值)之中，所述图像处理部分12能够执行与运动物体相对应的像素(例如，这样的像素，所述像素被运动检测部分14检测出的运动向量具有等于或大于阈值的数值)的像素值的校正(包括0校正)，并且将校正后的像素值输出到切换部分15。
所述图像处理部分12能够校正目标显示帧上与在任何空间方向上运动的物体相对应的像素的像素值。在下文中，为了简化说明起见，将位于目标显示帧左上角的像素定义为参考像素。根据这一定义，本发明假定由图像处理部分12来处理在水平方向上向参考像素右侧(在下文中，称为空间方向X)运动的物体或在与空间方向X相反的方向上运动的物体。因此，尽管根据本发明的运动检测部分14所检测出的感兴趣像素的运动向量的方向不限于目标帧上的特定空间方向，但是下文假定运动检测部分14检测那些它们的运动向量方向与空间方向X相同或与之方向相反的感兴趣像素，以使说明书更易理解。
所述图像处理部分12包括阶跃边沿检测部分21和校正部分22。
所述阶跃边沿检测部分21根据运动检测部分14所提供的检测结果(运动向量)，从目标显示帧的图像数据之中检测出与运动物体的边沿部分相对应的像素，并向校正部分22提供检测出的像素。
更具体而言，所述阶跃边沿检测部分21(比方说，将阶跃边沿作为目标而捕获)将目标显示帧的图像数据分解成在空间方向X上排列的阶跃边沿的图像数据项，检测出与每个阶跃边沿中的边沿部分相对应的像素，并向校正部分22提供检测出的像素。
在此，阶跃边沿是成一排连续排列的不同的两组像素的集合：一组像素具有第一像素值并且在预定方向(在这个示例中，空间方向X)上被排列，而另一组像素具有不同于第一像素值的第二像素值并且在相同的方向上被排列。
所述阶跃边沿检测部分21计算感兴趣像素的像素值与在预定方向(在这个示例中，空间方向X或反方向)上邻近感兴趣像素的像素的像素值之间的差。然后，如果计算结果(差值)例如不是0的话，那么阶跃边沿检测部分21就将所述感兴趣像素确定为与阶跃边沿的边沿部分相对应的像素。
由于在此主要目的是要抑制运动混乱，因而它仅仅足以检测运动着的阶跃边沿的边沿部分。
为此，如果运动检测部分14所提供的感兴趣像素的运动向量的数值例如等于阈值或更大的话，那么阶跃边沿检测部分21就判定包括作为一个组成部分的感兴趣像素的阶跃边沿正在移动并且执行处理。更具体而言，所述阶跃边沿检测部分21计算感兴趣像素的像素值与其邻近像素的像素值之间的差值(在下文中，刚好称为差值)，并将该差值和感兴趣像素的像素值作为检测结果提供给校正部分22。
相反，如果运动检测部分14所提供的感兴趣像素的运动向量的数值例如小于阈值，那么阶跃边沿检测部分21就判定包括作为一个组成部分的感兴趣像素的阶跃边沿没有正在移动并且取消处理。
如果运动检测部分14所提供的感兴趣像素的运动向量的数值例如等于阈值或更大(即，包括作为一个组成部分的感兴趣像素的阶跃边沿正在空间方向X上或在相反方向上移动)，那么校正部分22就执行阶跃边沿检测部分21所提供的感兴趣像素的像素值的校正(包括0校正)。在此时，所述校正部分22根据运动检测部分14所提供的感兴趣像素的运动向量(移动方向和阶跃边沿的运动量)和阶跃边沿检测部分21所提供的差值(阶跃边沿的高度)来校正感兴趣像素的像素值。
更具体地说，例如，如果所提供的差值不是0并且所提供的运动向量的数值等于阈值或更大，那么校正部分22就判定感兴趣像素是与移动着的阶跃边沿的边沿部分相对应的像素，并且根据所提供的差值和运动向量来校正感兴趣像素的像素值。
相反，例如，如果所提供的差值是0并且所提供的运动向量的数值等于阈值或更大，那么校正部分22就判定感兴趣像素是移动着的阶跃边沿的其中一个组成部分，但不是与边沿部分相对应的像素(即，感兴趣像素是除与边沿部分相对应的像素以外的像素)，并且执行感兴趣像素的0校正，也就是说不校正感兴趣像素。
此外，例如，如果所提供的运动向量的数值小于阈值，那么正如在阶跃边沿检测部分21中那样，校正部分22判定包括作为一个组成部分的感兴趣像素的阶跃边沿没有正在移动，并且由此取消处理(取消包括0校正在内的校正处理)。
所述校正部分22能够采用任何像素值的校正方法，只要根据运动检测部分14所检测出的感兴趣像素的运动向量来校正与移动着的阶跃边沿的边沿部分相对应的感兴趣像素的像素值即可。更具体而言，所述校正部分22例如能够采用下列校正方法。
所述校正部分22计算如下所示的等式(1)的右手侧以获得左手侧的校正值R，并且通过将计算出的校正值R加到感兴趣像素的像素值上来校正感兴趣像素的像素值。
R = Er × e - T V × τ 1 - e - T V × τ . . . ( 1 )
在等式(1)中，Er表示阶跃边沿检测部分21所提供的差值，而V表示运动检测部分14所提供的运动向量的数值。等式(1)假定持续型显示设备2的所有显示元素的时间响应(例如，如果持续型显示设备2是LCD设备的话，则是指所有液晶区域)是具有确定的时间常数的一阶滞后元素，这在等式(1)中用τ来表示。此外，等式(1)中的T表示显示目标显示帧的时间(从指定目标显示帧的显示起到指定后续帧的显示止的时间周期)。在下文中，时间T称为帧时间T。在LCD设备中，帧时间T典型情况下为16.6毫秒。
所述参考图像存储部分13存储目标显示帧的图像数据作为后续帧的参考图像的图像数据。
更具体而言，如果将新帧的图像数据作为目标显示帧的图像数据加以输入，那么运动检测部分14(和上述图像处理部分11)就获取存储在参考图像存储部分13中的先前帧(作为恰好处于当前处理之前的目标显示帧的帧)的图像数据，以供用作对于当前目标显示帧来讲的参考图像的图像数据。然后，所述运动检测部分14将目标显示帧的图像数据与参考图像的图像数据进行比较，以检测目标显示帧上的感兴趣像素的运动向量，并且将它提供给图像处理部分11、图像处理部分12(阶跃边沿检测部分21和校正部分22)和切换部分15。
实际上，所述运动检测部分14能够检测平行于空间方向X和空间方向Y的二维平面上任何方向的运动向量。简而言之，运动向量的方向可以是这个二维平面上的任何方向。然而，在这个示例中，如上所述，假定仅仅检测在空间方向X上或在相反方向上移动的阶跃边沿，由此运动检测部分14仅仅检测那些其运动向量具有与空间方向X相同的方向或与之相反方向的感兴趣像素，以使说明书更易理解。
更具体而言，例如如果从一帧到后续帧阶跃边沿在空间方向X上移动N(N是任何正整数)个像素，那么运动检测部分14就将″+N″检测为阶跃边沿的运动向量(感兴趣像素上的运动向量，所述感兴趣像素是阶跃边沿的一个组成部分)。在另一方面，如果从一帧到后续帧阶跃边沿在与空间方向X相反的方向上移动N个像素，那么运动检测部分14就将″-N″检测为阶跃边沿的运动向量。在这个示例中，如上所述，如果阶跃边沿在空间方向X上移动则就用″+″来表示运动向量的方向，而如果阶跃边沿在与空间方向X相反的方向上移动则就用″-″来表示运动向量的方向。
所述切换部分15根据运动检测部分14所提供的检测结果(运动向量)来转换输入。
更具体而言，如果运动检测部分14所提供的感兴趣像素的运动向量的数值小于阈值(如果感兴趣像素不是移动着的阶跃边沿中所包含的像素)，那么切换部分15就将输入切换到图像处理部分11并将图像处理部分11所提供的感兴趣像素的数据(像素值)提供给显示控制部分16。
相反如果运动检测部分14所提供的感兴趣像素的运动向量的数值等于阈值或更大(如果感兴趣像素是移动着的阶跃边沿中所包含的像素)，那么切换部分15就将输入切换到图像处理部分12的校正部分22，并将校正部分22所提供的感兴趣像素的数据(像素值)提供给显示控制部分16。
所述显示控制部分16将构成目标显示帧的每个像素的数据(像素值)，也就是由切换部分15依次提供的像素的数据(像素值)，转换成预定信号格式(表示持续型显示设备2中的相应显示元素的目标电平的信号)，然后将它输出到持续型显示设备2。简而言之，所述显示控制部分16执行处理以发出在持续型显示设备2上显示目标显示帧的命令。
如上所述，根据这个实施例的图像处理设备1，根据运动检测部分14所检测出的运动向量来校正感兴趣像素的像素值。在此，应当指出的是，这个运动向量匹配邻近感兴趣像素的其它像素的运动向量。换言之，为了容易地检测匹配那些邻近像素的像素的运动向量，也就是为了解决上述第二个问题，根据这个实施例的运动检测部分14具有如图2所示的结构。现在，将参照图2描述根据这个实施例的运动检测部分14的细节。
参照图2，根据这个实施例的运动检测部分14包括：低通滤波器(在下文中，称为LPF)31、LPF 32、亮度梯度检测部分33、模板匹配部分34、直方图部分35、运动向量校正部分36和LPF 37。
经由LPF 31将输入图像(图像数据)，即目标显示帧的图像数据，提供给亮度梯度检测部分33和模板匹配部分34。
所述亮度梯度检测部分33检测目标显示帧上感兴趣像素的位置上的亮度梯度。
将术语″亮度梯度″定义为下列值。假定函数f(x)接收预定方向上的坐标值(例如，在这个示例中，是空间方向X上的坐标值x)以作为一个参数并输出输入坐标x的亮度(像素值)，将像素在位置i(i是空间方向X上的坐标值)上的亮度梯度定义为函数f(x)在位置i上的一阶导数的绝对值。简言之，将位置i上的亮度梯度定义为|f′(x)|。
函数f(x)本身的生成和函数f(x)的一阶导数的计算需要亮度梯度检测部分33执行计算集中处理。因此，例如，将下面所示的等式(2)中的值″slope″定义为亮度梯度。简言之，所述亮度梯度检测部分33计算等式(2)的右手侧以获得亮度梯度″slope″。其结果是，所述亮度梯度检测部分33能够容易地(以轻负载)计算目标显示帧上的感兴趣像素(例如，图3中所示的像素51)的位置上的亮度梯度″slope″。
slope＝max(|Yi-Yi-1|，|Yi-Yi+1|)        ...(2)
在等式(2)中，Yi表示位于位置i上的感兴趣像素51的亮度(像素值)，如图3所示。Yi-1表示在感兴趣像素51左侧的像素52(所述像素52位于在与空间方向X相反方向上邻近感兴趣像素51的位置i-1处)的亮度(像素值)。Yi+1表示在感兴趣像素51右边的像素53(所述像素53位于在空间方向X上邻近感兴趣像素51的位置i+1处)的亮度(像素值)。此外，max(A，B，...，N)表示输出输入参数值A到N的最大值的函数。这个函数max()能够接收任何数目的参数(N可以是任何数。)
所述亮度梯度检测部分33计算在感兴趣像素51的亮度Yi与左侧的像素52的亮度Yi-1之间的绝对差(absolute difference)A以及在感兴趣像素51的亮度Yi与右侧的像素53的亮度Yi+1之间的绝对差B。然后，所述亮度梯度检测部分33向运动向量校正部分36提供绝对差A或B，即无论哪一个更大(最大值)，以作为在感兴趣像素51的位置上的亮度梯度″slope″。
如上所述，还经由LPF 31将目标显示帧的图像数据提供给模板匹配部分34。在此时，模板匹配部分34进一步经由LPF 32接收存储在参考图像存储部分13中的先前帧(先前的目标显示帧)的图像数据以作为对于目标显示帧来讲的参考图像的图像数据。
然后，所述模板匹配部分34从先前的目标显示帧中提取包含至少与感兴趣像素的位置相对应的位置的预定区域(在下文中，称为窗口)，当前目标显示帧上确定与所提取的窗口匹配的区域，根据匹配结果来确定感兴趣像素的候选运动向量″pvec″，并且最终将它提供给直方图部分35。
此外，所述模板匹配部分34生成运动向量校正部分36所使用的控制信号″flag″，并将它提供给运动向量校正部分36。稍后将描述控制信号″flag″的细节。
现在，将参照图4到10描述这个模板匹配部分34的细节。
图4示出了根据这个实施例的模板匹配部分34的详细示例性结构。
参照图4，根据这个实施例的模板匹配部分34包括：SAD(绝对差的总和)计算部分61、SAD最小值检测部分62和SAD最小值估计部分63。
参照图5，所述SAD计算部分61从先前帧中提取例如由在空间方向X上排列成一排的预定数目的像素(在图5的示例中，是五个像素)组成的窗口72，以便窗口72具有中心象素71，所述中心像素71置于与目标显示帧上的感兴趣像素51的位置i相对应的位置i上(表示上面描述的空间方向X上的坐标值)。
此外，所述SAD计算部分61从目标显示帧中提取下列区域(称为比较区域，与窗口不同)。更具体而言，提取由在空间方向X上排列成一排的预定数目的像素(与窗口72的像素数目相同，在图5的示例中是五个像素)组成的比较区域73-n，以便比较区域73-n具有中心象素，所述中心像素位于位置i+n(在下文中，称为搜索位置i+n)上，所述位置i+n是在空间方向X上或在相反方向上离开感兴趣像素51的位置i的n(n是预定范围内的整数，并且在图5的示例中是从″-6″到″+6″的整数)个像素的位置。尽管在图5的示例中仅仅示出了与搜索位置i-6相对应的比较区域73-(-6)和与搜索位置i+6相对应的比较区域73-(+6)，但是按预定顺序连续地提取总共13个比较区域73-n，包括比较73-(-6)和比较区域73-(+6)。
所述SAD计算部分61利用预定的估计函数来计算窗口72与13个比较区域73-n(比较区域73-(-6)到比较区域73-(+6))中的每一个之间的相关性，并且将计算结果提供给SAD最小值检测部分62。
SAD计算部分61所使用的估计函数不限于特定的函数。所述SAD计算部分61能够使用诸如归一化相关函数和SSD(平方差的总和)函数之类的函数。在下面的说明中，假定SAD计算部分61使用SAD。
简言之，所述SAD计算部分61计算下面所示的等式(3)的右手侧以获得窗口72与比较区域73-n中的每一个之间的相关值SAD(j)(j是i+n，并且在图5的示例中是搜索范围i-6到i+6内的任意整数)，并且将所获得的相关值提供给SAD最小值检测部分62。
SAD ( j ) = Σ k = 1 5 | C k j - P k j | . . . ( 3 )
如图5所示，等式(3)中的Ck j表示从在搜索位置j(j＝i+n)处的比较区域73-n左侧起第k个像素的亮度(像素值)。类似地，等式(3)中的Pk j表示从在位置i上具有中心像素71的窗口72的左侧起第k个像素的亮度(像素值)。
更具体而言，如图6所示，假定在目标显示帧上的空间方向X上的亮度(像素值)的变化是用曲线81来描绘的，而在先前帧上的空间方向X上的亮度(像素值)的变化是用曲线82来描绘的。在图6中，纵轴表示亮度(像素值)，而横轴表示像素位置。此外，如上所述，像素位置i表示感兴趣像素51的位置。
图7示出了SAD计算部分61的计算结果，也就是相关值SAD(j(＝i+n))。在图7中，纵轴表示相关值SAD(j)，而横轴表示搜索位置。更具体而言，图7表示由具有图6中的曲线82所示的像素值(亮度)的五个像素组成的窗口72与由具有图6中的曲线81所示的像素值(亮度)的五个像素组成的比较区域73-n中的每一个之间的搜索位置i+n上的SAD(i+n(＝j))。
现在返回图4，相关值SAD(j)越小，相关性越高；所述SAD最小值检测部分62从SAD计算部分61所提供的相关值SAD(j(＝i+n))之中检测出最小值″min″，并且将与最小值″min″相对应的搜索位置″pos″(在图7的示例中，pos＝i+3)提供给SAD最小值估计部分63和直方图部分35。
最小值″min″对应于在连接相关值SAD(j)的曲线的最小点(z，SAD(z))上的相关值SAD(z)(这里，z是从i-6到i+6范围中的一个整数)。更具体而言，在图7的示例中，最小值″min″是在最小点(i+3，SAD(i+3))上的相关值SAD(i+3)(＝约40)。在下文中，最小值″min″也称为最小值″min″。
SAD计算部分61和SAD最小值检测部分62进行的上述处理可以概述如下。所述SAD计算部分61检测位于与感兴趣像素51的位置相对应的先前帧上的位置i处的像素71，并提取至少包含像素71的窗口72。然后，所述SAD计算部分61沿包含目标显示帧上的感兴趣像素51的水平线(平行于空间方向X的线)连续地移动窗口72。在此时，所述SAD计算部分61使用预定的估计函数(在这个示例中，是SAD)来计算在窗口72的每个移动位置(搜索位置)i+n处的窗口72与重叠窗口72(比较区域)的区域73-n之间的符合度(相关性)。然后，所述SAD最小值检测部分62把具有最高符合度(相关性)(即，最小值″min″)的比较区域73-n中的中心像素设置为窗口72的中心像素71(即，对应于感兴趣像素51的像素71)的对应像素。更具体而言，从构成目标显示帧的像素之中，将排列在与最小值″min″相对应的搜索位置″pos″上的像素设置为窗口72的中心像素71的对应像素。
SAD计算部分61和SAD最小值检测部分62所执行的技术例如称为窗口匹配法、基于区域的匹配法或模板匹配法。对应像素也称作对应点。
严格来说，向直方图部分35提供候选运动向量″pvec″，它是从感兴趣像素51的位置i处开始并且终止于搜索位置pos(＝i+n)的向量n(n表示移动量和相对于窗口72的参考位置i的移动方向)。在这个示例中，如上所述，数值n的绝对值表示向量(候选运动向量″pvec″)的数值，而数值n的符号表示向量(候选运动向量″pvec″)的方向。更详细来讲，如果数值n是正的，那么候选运动向量″pvec″的方向就是空间方向X，也就是相对于图5中的感兴趣像素51的向右的方向。反之，如果数值n是负的，那么候选运动向量″pvec″的方向就是与空间方向X相反的方向，也就是相对于图5中的感兴趣像素51的向左的方向。更具体而言，在图7的示例中，将″+3″作为感兴趣像素51的候选运动向量″pvec″提供给直方图部分35。
更准确地说，正如稍后描述的那样，所述直方图部分35生成感兴趣像素51和邻近像素51的像素的候选运动向量″pvec″的直方图，并且根据这个直方图来确定感兴趣像素51的运动向量″vec″。为此，所述SAD计算部分61和SAD最小值检测部分62利用与上面描述的方式一样的方式不仅获得感兴趣像素51的候选运动向量″pvec″，而且还获得构成由在方向X上排列成一排的预定数目的像素组成的区域的每个像素的候选运动向量″pvec″，在所述区域中中心像素是感兴趣像素51(例如，稍后将要描述的图11中所示的区域95)，并且将它们提供给直方图部分35。
如图8所示，假定在目标显示帧上的空间方向X上的亮度(像素值)的变化是用曲线91来描绘的，而在先前帧上的空间方向X上的亮度(像素值)的变化是用曲线92来描绘的。在图8中，纵轴表示亮度(像素值)，而横轴表示像素位置。此外，如上所述，像素位置i表示感兴趣像素51的位置。
图9示出了SAD计算部分61的计算结果，也就是相关值SAD(j(＝i+n))。在图9中，纵轴表示相关值SAD(j)，而横轴表示搜索位置。更具体而言，图9表示在由具有图8中的曲线92所示的像素值(亮度)的五个像素组成的窗口72与由具有图8中的曲线91所示的像素值(亮度)的五个像素组成的比较区域73-n中的每一个之间的搜索位置i+n上的SAD(i+n(＝j))。
在图9中，连接相关值SAD(j)的曲线具有两个最小点：点(i-1，SAD(i-1))和点(i+5，SAD(i+5))。简而言之，两个最小点都存在于图9的示例之中。如果如上所述存在多个最小点，那么所述SAD计算部分61就采用与多个最小点相对应的相关值SAD(j)中的最小值，也就是所有相关值SAD(j)的最小值，作为最小值″min″。更具体而言，在图9的示例中，采用最小点(i+5，SAD(i+5))上的相关值SAD(i+5)(＝约27)以作为最小值″min″。
因此，位于比较区域73-5(在图中未示出)的中心处的像素，也就是目标显示帧上的位置i+5处的像素，被设置为窗口72的中心像素71的对应像素(对应点)。简言之，将″+5″作为感兴趣像素51的候选运动向量″pvec″提供给直方图部分35。
然而，如图9所示，由于最小值″min″之间的差，也就是最小点(i+5，SAD(i+5))上的相关值SAD(i+5)(＝约27)与最小点(i-1，SAD(i-1))上的相关值SAD(i-1)(＝约30)之间的差很小，因此说窗口72的中心像素71的对应像素(对应点)是处于位置i+5上的像素并不总是准确地。换句话说，窗口72中的中心像素71的对应像素(对应点)可能是处于位直i-1上的像素。
如果如上所述存在两个或多个窗口72中的中心像素71的可能的(候选)对应像素(对应点)(也就是，如果用如图9所示的曲线的形式表示的SAD(j)的两个或多个最小点上的相关值SAD(j)之间的差小)，那么所确定的对应像素(在底部与最小点相对应的像素)的置信级，也就是提供给直方图部分35的感兴趣像素51的候选运动向量″pvec″的置信级就低。
另外，只要所确定的对应像素的相关值SAD(j)(＝最小值″min″)不是足够小的话，那么即使只有一个窗口72的中心像素71的可能的(候选者)对应像素(对应点)(即，如图7所示，如果用曲线的形式表示的SAD(j)只有一个最小点，或者如果尽管在图中未示出，但是用曲线的形式表示的SAD(j)具有两个或多个最小点并且最小相关值SAD(j)(＝最小值″min″)与其它相关值SAD(j)中的每一个之间的差大)，则对应像素的置信级就低，也就是提供给直方图部分35的感兴趣像素51的候选运动向量″pvec″的置信级就低。
为了估计这样的最小值″min"，也就是作为最小值″min″上的像素的对应像素的置信级(提供给直方图部分35的感兴趣像素51的候选运动向量″pvec″的置信级)，根据这个实施例的模板匹配部分34具有如图4所示的结构。更具体而言，如图4所示，根据这个实施例的模板匹配部分34除上述SAD计算部分61和SAD最小值检测部分62之外还包括SAD最小值估计部分63。
所述SAD最小值估计部分63估计作为对应像素的最小值″min″上的像素的置信级(提供给直方图部分35的感兴趣像素51的候选运动向量″pvec″的置信级)。如果SAD最小值估计部分63判定置信级为低，则它就向运动向量校正部分36提供例如″1″以作为上面所述的控制信号″flag″。正如稍后描述的那样，在这种情况下，所述运动向量校正部分36校正感兴趣像素51的运动向量vec。
相反，如果SAD最小值估计部分63判定上述置信级为高的话，则它向运动向量校正部分36提供例如″0″以作为上述控制信号″flag″。正如稍后描述的那样，在这种情况下，所述运动向量校正部分36取消(不执行)感兴趣像素51的运动向量vec的校正。
更具体而言，根据这个实施例，利用SAD最小值检测部分62来计算或检测例如SAD最小值估计部分63需要用以执行上述估计的值，并且将它提供给SAD最小值估计部分36。
更具体而言，根据这个实施例，SAD最小值检测部分62所检测出的值不仅包括上述最小值″min″，也就是相关值SAD(j)的最小值″min″(在下文中，为了区别于如下将要描述的值min2，称为最小值″min1″)，而且如图10所示还包括与最小值″min1″相对应的搜索位置pos1、与最小值″min1″相对应的第二最小相关值SAD(j)(即，所有相关值SAD(j)的第二最小值，这在下文中称为最小值″min2″)、以及与最小值″min2″相对应的搜索位置pos2。
此外，根据这个实施例，SAD最小值检测部分62所计算出的值包括在搜索范围内(在图5的示例中，是从搜索位置i-6到i+6内)的相关值SAD(j)平均值SADave与最小值″min1″之间的差值″eval1″(从平均值SADave到最小值″min1″之间的深度″eval1″)；还包括平均值SADave与最小值″min2″之间的差值″eval2″(从平均值SADave到最小值″min2″的深度″eval2″)。
在这种情况下(即，如果搜索范围是从i-6到i+6的搜索位置)，根据下面所示的等式(4)来计算平均值SADave。
SA D ave = 1 2 × 6 + 1 Σ j = i - 6 i + 6 SAD ( j ) . . . ( 4 )
现在返回图4，如果从SAD最小值检测部分62向SAD最小值估计部分63提供这些值(最小值min1、搜索位置pos1、深度eval1、最小值min2、搜索位置pos2和深度eval2)，那么就判断是否满足下面的第一条件或第二条件。
第一条件是要满足下面所示的所有不等式(5)到(7)。
eval1＞eval_thresh            ...(5)
eval2＞eval_thresh            ...(6)
|pos1-pos2|＞pos_thresh       ...(7)
在不等式(5)和(6)中，eval_thresh表示预定阈值，这是预设的。同样，不等式(7)中的pos_thresh表示预定阈值，这也是预设的。
如图9所示，正如从从不等式(5)到(7)明显看出的是，如果存在两个或多个最小点并且这些最小点的每一对上的相关值S(j)之间的差小的话则满足第一条件。换句话说，如果窗口存在72中的中心像素71的两个或多个候选对应像素(对应点)，进一步讲如果无法从候选者(在图9的示例中，搜索位置i+5和搜索位置i-1上的像素都是候选对应像素)中找到可信的对应像素的话，则满足第一条件。
在另一方面，第二条件是要满足下面所示的不等式(8)。
min1＞min_thresh            ...(8)
在不等式(8)中，min_thresh表示预定阈值，这是预设值。
正如从不等式(8)明显看出的那样，如果最小值″min1″不是足够小的话，则满足第二条件。换句话说，如果没有确信地建立窗口72与最小值″min1″的比较区域73-n的关联性，则满足第二条件。
因此，如果判定满足第一和第二条件的至少其中之一，则SAD最小值估计部分63就判断在最小值″min1″上的像素，也就是对应像素的置信级(提供给直方图部分35的感兴趣像素51的候选运动向量″pvec″的置信级)为低，并向运动向量校正部分36输出″1″以作为控制信号″flag″。
相反，如果判定既不满足第一条件也不满足第二条件，则SAD最小值估计部分63就判断在最小值″min1″上的像素，也就是对应象素的置信级(提供给直方图部分35的感兴趣像素51的候选运动向量″pvec″的置信级)为高，并向运动向量校正部分36输出″0″以作为控制信号″flag″。
现在返回图2，向所述直方图部分35提供模板匹配部分34对由包含目标显示帧上的感兴趣像素51在内的多个像素组成的区域进行匹配的结果。简言之，将构成所述区域的多个像素中的每一个的候选运动向量″pvec″提供给直方图部分35。所述直方图部分35生成多个已提供的候选运动向量pvec的直方图，通过参照直方图来以最高频率检测候选运动向量″pvec″，并且向运动向量校正部分36提供检测出的候选运动向量″pvec″以作为感兴趣像素51的运动向量vec。
为其生成直方图的区域不限于特定的区域，只要该包含感兴趣像素51即可。换句话说，不限定构成所述区域的像素的数目或该区域中的感兴趣像素51的位置。在这个示例中，假定为其生成直方图的区域是由在空间方向X上排列成一排的17个像素组成的区域，其中感兴趣像素51是所排列的像素的中心像素。换言之，所述区域是由位于中心处的感兴趣像素51、在感兴趣像素51的左侧(在与空间方向X相反的方向上)的8个像素和在感兴趣像素51的右侧(在空间方向X上)的8个像素组成的。
更具体而言，假定模板匹配部分34输出构成图11中所示的区域95的每个像素的向量候选者pvec。在图11的区域95中，17个分段中的每一个都代表一个像素。17个分段的中心那个代表感兴趣像素51。此外，每个像素(小的分段)中所示的数值表示相应像素的候选运动向量″pvec″的示例。应当注意的是，省略正号″+″。
在这种情况下，所述直方图部分35生成如图12所示的直方图。在图12的示例中，由于具有最高频率(＝7)的候选运动向量″pvec″是″+4″，因此直方图部分35判定感兴趣像素51的运动向量vec是″+4″，并且将它提供给图2中的运动向量校正部分36。
所述运动向量校正部分36适当地校正直方图部分35所提供的感兴趣像素51的运动向量vec，以便根据下游处理(例如，在这个示例中，图1中的图像处理部分12所进行的上述处理)、亮度梯度检测部分33和模板匹配部分34进行处理的结果(例如，在这个示例中，上述亮度梯度″slope″和控制信号″flag″)、或下游处理和亮度梯度检测部分33和模板匹配部分34进行处理的结果的组合，来使感兴趣像素51的运动向量vec匹配邻近感兴趣像素51的其它像素的运动向量。
经由LPF 37向外输出运动向量校正部分36所校正的感兴趣像素51的运动向量vec。
现在，将参照图13到19来描述这个运动向量校正部分36的细节。
图13示出了根据这个实施例的运动向量校正部分36的详细示例性结构。
多种的运动向量校正部分36都是可能的，比如在图18和19中所示出的那些。当图13、18和19中所示的运动向量校正部分36需要彼此加以区分时，分别将它们称为运动向量校正部分36A、运动向量校正部分36B和运动向量校正部分36C。在另一方面，将运动向量校正部分36A、运动向量校正部分36B和运动向量校正部分36C统称为运动向量校正部分36。
参照图13，所述运动向量校正部分36A包括下游处理校正部分101、切换部分102、置信级估计部分103和置信级校正部分104。
所述下游处理校正部分101根据下游处理例如图1中所示的上述图像处理部分12所进行的处理的特征，来校正感兴趣像素51的运动向量vec。
在下文中，如果需要彼此加以区分的话，分别把稍后将要描述的校正前的运动向量vec，下游处理校正部分101所校正的运动向量vec和置信级校正部分104所校正的运动向量vec称为运动向量vec、运动向量vec′和运动向量vec″。相反，如果并非必须在运动向量vec、运动向量vec′和运动向量vec″之间加以区分的话，那么将它们都称为运动向量rec。
所述下游处理校正部分101输出所校正的运动向量vec′，然后将其提供给切换部分102。
下游处理校正部分101所采用的校正方法不限于特定的方法。作为替代，下游处理校正部分101能够采用适合于下游处理的特征的校正方法。
现在将要介绍适合于图1的校正部分22进行处理的校正方法，所述处理是下游处理操作的其中一种。
如上所述，所述校正部分22执行由图1中的阶跃边沿检测部分21所提供的感兴趣像素51的像素值的校正(包括0校正)。更具体而言，所述校正部分22根据运动检测部分14所提供的感兴趣像素51的运动向量vec(严格来说是所校正的运动向量vec′或运动向量vec″)来校正感兴趣像素51的像素值。
从运动检测部分14的部分下游的视点来看，例如，图像处理部分12，区分运动向量vec、运动向量vec′和运动向量vec″并不是必需的。因此，在下文中，在从运动检测部分14的部分下游的视点来看的说明中，即对运动检测部分14的处理下游的说明中，使用了″运动向量vec″这种表达。
假定校正部分22不使用作为基于上述等式(1)的计算结果的校正值R，而是依赖于图14中所示的关系来判断感兴趣像素51的像素值的校正量(值)。
图14是描绘用于在校正部分22中判断感兴趣像素51的像素值的校正量的方法的一个示例的图。这种方法不同于基于上面描述的等式(1)的方法。
根据在图14中描绘的校正方法(校正部分22进行的处理)的示例，像素值的校正量线性地增加直到运动向量vec的数值(绝对值)到达作为搜索范围的界限的6(″-6″或″+6″)为止，然而超过搜索范围的界限像素值的校正量降至0(即，取消校正)。
因此，如果从运动检测部分14中输出感兴趣像素51及其具有约6的数值的运动向量vec的邻近像素，那么就利用大的校正量来校正一些输出像素，而根本不校正其它的像素。
更具体而言，假定从运动检测部分14中输出具有运动向量vec″+6″的感兴趣像素51，并且也从运动检测部分14中输出具有运动向量vec″+7″的邻近像素。
在这种情况下，仅仅以最大的校正量来校正感兴趣像素51的像素值，而不校正邻近的像素。这导致在所得到的校正图像(目标显示帧)上感兴趣像素51的像素值(校正值)与邻近像素的像素值(未校正的值)失配。简言之，产生了上述的第二问题。
换言之，校正感兴趣像素51的运动向量vec″+6″以便与邻近像素的运动向量vec″+7″失配。也就是说，将感兴趣像素51的运动向量vec″+6″校正为不匹配其邻近像素的运动向量。
为了避免运动检测部分14输出不匹配邻近像素的运动向量的运动向量vec，也就是说为了在校正部分22中避免像素值的校正量在运动向量vec的搜索范围的界限上突然改变，图13中的下游处理校正部分101能够根据例如图15中所示的关系来将运动向量vec校正成运动向量vec′。
图15示出了用于在下游处理校正部分101中校正感兴趣像素51的运动向量vec的方法的一个示例。
根据图15中的校正方法，根据关系式vec′＝vec来对校正以前的运动向量vec的数值(绝对值)，即直方图部分35所提供的运动向量vec进行校正，直到它到达3(″-3″或″+3″)为止(即，不执行校正)，从3到6(″-6″或″+6″)，根据关系式vec′＝-vec+6或-vec-6来校正运动向量vec，并且超出6这点以外，根据关系式vec′＝0来校正运动向量vec。
如果下游处理校正部分101根据图15中所示的关系来输出运动向量vec′，那么运动向量vec′的数值(绝对值)不超过3。简言之，不输出具有约为6的数值的运动向量vec。其结果是，如上所述，能够防止像素值的校正量上的突变。简言之，能够解决已知的第二个问题。
如果图13中的下游处理校正部分101根据图15中所示的关系来执行校正，可以存储定义图15中所示的关系的表以便通过参照该表来校正运动向量vec。作为选择，所述下游处理校正部分101可以存储定义上述关系式的函数，即分别依据规则vec′＝vec(-3≤vec≤3)、vec′＝-vec-6(-6≤vec＜-3)、vec′＝-vec+6(3＜vec≤6)或vec′＝0(vec＜-6，6＜vec)定义的函数，以便将运动向量vec输入到相应的函数，然后所述函数输出校正后的运动向量vec′。
如上所述，图15中所示的方法仅是用于在下游处理校正部分101中校正感兴趣像素51的运动向量vec的各种不同方法当中的一个示例，作为适合于如下情形的示例，即：如图14所示，表示图1中的校正部分22进行的处理(下游处理)的特征。
重要的是，下游处理校正部分101所采用的校正方法不限于特定的一种，只要适合于下游处理的特性即可。由此，可以根据下游处理的特性来改变校正方法。
假定相关的下游处理(未示出)的特征在于：从由运动检测部分14输出的感兴趣像素51的运动向量vec之中将所述相关的下游处理施加到具有中间级(intermediate level)(例如3)的数值(绝对值)的运动向量vec，以便增强具有中间级(intermediate level)的数值的运动向量vec的影响。
在这种情况下，所述下游处理校正部分101能够根据例如图16中所示的关系将运动向量vec校正成运动向量vec′。
图16示出了用于在下游处理校正部分101中校正感兴趣像素51的运动向量vec的方法的另一示例(不同于图15中所示的示例)。
根据图16中的校正方法，根据关系式vec′＝2vec来对校正前的运动向量vec即直方图部分35所提供的运动向量的数值(绝对值)进行校正，直到它到达3(″-3″或″+3″)为止，从3到6(″-6″或″+6″)、根据关系式vec′＝-2vec+12或-2vec-12来校正运动向量vec，并且超出6这点以外，根据关系式vec′＝0来校正运动向量vec。
如果下游处理校正部分101根据图16中所示的关系执行校正，可以存储定义图16中所示的关系的表以便通过参照该表来校正运动向量vec。作为选择，所述下游处理校正部分101可以存储定义上述关系式的函数，即分别依据规则vec′＝2vec(-3≤vec≤3)、vec′＝-2vec-12(-6≤vec＜-3)、vec′＝-2vec+12(3＜vec≤6)或vec′＝0(vec＜-6，6＜vec)定义的函数，以便将运动向量vec输入到相应的函数，然后所述函数输出校正后的运动向量vec′。
此外，如果可能或确实存在两个或多个下游处理操作，则下游处理校正部分101能够根据需要改变其校正方法以便校正运动向量vec。更具体而言，如果存在Q(Q是1或更大的整数)种下游处理操作的话，那么下游处理校正部分101能够根据Q种校正方法中的每一种来校正感兴趣像素51的其中一个运动向量vec，并分别输出Q个所得到的运动向量vec′。
现在返回图13，由下游处理校正部分101按照这种方式将直方图部分35所输出的感兴趣像素51的运动向量vec校正成运动向量vec′，并然后将运动向量vec′提供给切换部分102。
所述切换部分102根据置信级估计部分103的控制将输出目的地切换到外部LPF 37和置信级校正部分104的其中之一。
所述置信级估计部分103根据亮度梯度检测部分33所提供的亮度梯度″slope″和模板匹配部分34所提供的控制信号″flag″来估计直方图部分35所提供的感兴趣像素51的运动向量vec的置信级。
如果置信级估计部分103判定感兴趣像素51的运动向量vec的置信级为低，则它就把切换部分102的输出目的地切换到置信级校正部分104。
因此，如果置信级估计部分103估计感兴趣像素51的运动向量vec的置信级为低的话，则把由下游处理校正部分101所校正和输出的运动向量vec′提供给置信级校正部分104。此后，正如稍后要描述的那样，置信级校正部分104进一步将由下游处理校正部分101所校正的运动向量vec′校正成运动向量vec″，所述运动向量vec″继而经由LPF 37从运动检测部分14那里向外(图1中的图像处理部分11、图像处理部分12和切换部分15)加以提供。
相反，如果置信级估计部分103估计感兴趣像素51的运动向量vec的置信级为高，则它将切换部分102的输出目的地切换到外部的LPF 37。
因此，如果置信级估计部分103估计感兴趣像素51的运动向量vec的置信级为高，则不把由下游处理校正部分101所校正和输出的运动向量vec′提供给置信级校正部分104而是经由LPF 37从运动检测部分14那里向外加以提供。
更详细来讲，例如，如果满足要求建立下面所示的不等式(9)第三个条件和满足要求控制信号″flag″为″1″第四个条件的至少其中之一，那么置信级估计部分103估计由直方图部分35所提供的感兴趣像素51的运动向量vec的置信级低，将切换部分102的输出目的地切换到置信级校正部分104。
相反，如果不满足第三个和第四个条件两者中的任何一个，那么运动向量校正部分36估计由直方图部分35所提供的感兴趣像素51的运动向量vec的置信级高，将切换部分102的输出目的地切换到外部的LPF 37。
slope＜slope_thresh            ...(9)
在不等式(9)中，slope_thresh是预定阈值，这是一个预设值。
正如从不等式(9)明显看出的那样，如果感兴趣像素51上的亮度梯度小，即如果感兴趣像素51不对应于特征部分，比如像如上所述的阶跃边沿的边沿部分，那么就满足第三个条件。
此外，如上所述，如果控制信号″flag″是″1″，所述控制信号能够被称为表示关于模板匹配部分34中的感兴趣像素51的运动向量vec的置信级的估计结果的信号，也就是，如果模板匹配部分34估计感兴趣像素51的运动向量vec的置信级为低的话，那么就满足第四个条件。
如果将切换部分102的输出目的地切换到置信级校正部分104，那么置信级校正部分104就根据预定的方法来进一步校正由下游处理校正部分101所输出的运动向量vec′，即运动向量vec′，它是作为由下游处理校正部分101校正的由直方图部分35输入的运动向量vec的结果加以输出的，然后从运动检测部分14经由LPF 37向外(图1中的图像处理部分11、图像处理部分12和切换部分15)输出所得到的运动向量vec″。
置信级校正部分104所采用的校正方法不限于特定的方法。
在这个示例中，上述描述的图像处理部分12使用感兴趣像素51的运动向量vec。简言之，所述图像处理部分12根据感兴趣像素51的运动向量vec的方向和数值来校正感兴趣像素51的像素值(以便增强图像)。在这种情况下，如果使用具有低置信级的感兴趣像素51的运动向量vec，则就会发生感兴趣像素51的像素值被过度校正的这类问题。
为了克服这个问题，例如置信级校正部分104能够根据下面所示的等式(10)的右手侧来将校正施加到作为下游处理校正部分101校正的感兴趣像素51的运动向量vec的结果而获得的运动向量vec′，并经由LPF 37从运动检测部分14那里向外输出校正结果，即与等式(10)的左手侧相对应的值vec″，以作为感兴趣像素51的最终的(校正后的)运动向量。
vec″＝α×vec′            ...(10)
在等式(10)中，α是校正系数。这个校正系数α能够被设置成0到1范围内的任何值。
所述置信级估计部分103能够使用除上述第三个条件和第四个条件以外的条件来估计由直方图部分35所提供的感兴趣像素51的运动向量vec的置信级。
更具体而言，例如如果与仅次于最小值″min1″的最小相关值SAD(j)(即，最小值″min2″)相对应的搜索位置pos2是如图17所示的感兴趣像素51的位置i，那么在很多情况下，窗口72中的中心像素71的对应像素(对应点)不是处于与最小值″min1″相对应的搜索位置pos1上的像素，而是处于位置i(搜索位置pos2)上的感兴趣像素51。
因此，可以添加例如要求与最小值″min2″相对应的搜索位置pos2是感兴趣像素51的位置i的第五个条件，以便如果满足第五个条件的话，则图13中的置信级估计部分103就估计直方图部分35所提供的感兴趣像素51运动向量vec的置信级为低，由此将切换部分102的输出目的地切换到置信级校正部分104。这使置信级校正部分104进一步校正作为下游处理校正部分101校正的运动向量vec的结果而获得的运动向量vec′。
尽管未示出，但是如果满足第五个条件，则置信级估计部分103就通知置信级校正部分104满足该第五个条件，以便置信级校正部分104把窗口72的中心像素71的对应像素(对应点)视作为位置i(搜索位置pos2)上的感兴趣像素51，也就是，解释说明在感兴趣像素51的位置i上没有运动，并且将下游处理校正部分101所校正的感兴趣像素51的运动向量vec′改变为″0″。换言之，所述置信级校正部分104将上述等式(10)中的校正系数a设置为0以便校正下游处理校正部分101所校正的感兴趣像素51的运动向量vec′。更具体而言，如果满足第五个条件，则置信级校正部分104就把下游处理校正部分101所校正的感兴趣像素51的运动向量vec′校正成0向量。
然而，在这种情况下，所述模板匹配部分34(图4中的SAD最小值估计部分63)需要给置信级估计部分103提供这个搜索位置pos2以及控制信号″flag″。
作为选择，如果满足第五个条件，则所述SAD最小值估计部分63就总是可以输出″1″作为控制信号″flag″。
为了解释说明图2中的运动向量校正部分36的可能变形，已经描述了图13中的运动向量校正部分36A的示例性结构。
图2中的运动向量校正部分36例如可以以图18中所示的运动向量校正部分36B或图19中所示的运动向量校正部分36C的形式加以实现。
图18中的运动向量校正部分36B包括下游处理校正部分101。这个101下游处理校正部分101具有同图13中的运动向量校正部分36A中的对应部分的功能和结构基本上相同的功能和结构。图18中的运动向量校正部分36B不对直方图部分35所输入的运动向量vec施加图13的置信级校正部分104所执行的校正处理；它仅仅执行下游处理校正部分101所进行的校正处理。
在另一方面，除了运动向量校正部分36C不包括运动向量校正部分36A中所包含的下游处理校正部分101之外，图19中的运动向量校正部分36C具有与图13中的运动向量校正部分36A相同的结构。因此，图19中的运动向量校正部分36C不对直方图部分35所输入的运动向量vec施加图13中的下游处理校正部分所执行的校正处理；它仅仅执行置信级校正部分104所进行的校正处理(只有当置信级估计部分判定运动向量vec的置信级为低时)。
已经参照图2到19描述了图2中的运动检测部分14的示例性结构。现在将略述运动检测部分14的操作。
根据这个实施例的运动检测部分14从构成目标显示帧的像素之中将预定像素设置为感兴趣像素。所述运动检测部分14生成感兴趣像素上的运动向量，根据该运动向量的置信级和下游处理的特征来校正运动向量，并向外(图1中的图像处理部分11、图像处理部分12和切换部分15)输出该运动向量。
更详细地，所述模板匹配部分34将目标显示帧(图像数据)与先前的帧(图像数据)进行比较，以生成感兴趣像素上的候选运动向量″pvec″并将它提供给直方图部分35。
换言之，所述模板匹配部分34检测出目标显示帧上的第一个像素(第一个像素例如是在图5中的搜索范围i-6到i+6内的像素之中的一个像素)以作为第二个像素的对应像素，所述第二个像素被排列在与感兴趣像素的位置相对应的先前帧上的位置处(如果如图5所示那样设置起感兴趣像素的作用的像素51，则第二个像素例如是处于位置i上的像素71)。然后，所述模板匹配部分34生成从感兴趣像素开始并终止于第一个像素处的向量以作为感兴趣像素上的候选运动向量″pvec″，(例如，如图5所示，如果将像素51设置为感兴趣像素，并且比较区域73-(+6)的中心像素，即处于位置i+6上的像素，被检测为第一个像素，则候选运动向量″pvec″是″+6″)并且将该候选运动向量提供给直方图部分35。
此外，如果判定目标显示帧包含两个或多个候选对应像素(例如，如图9所示，如果搜索位置i-1上的像素和搜索位置i+5上的像素都是候选对应像素，更具体而言，例如如果满足要求建立上面示出的从不等式(5)到不等式(7)所有不等式的第一个条件)或者如果判定作为对应像素的第二个像素的置信级为低(例如，如果满足要求建立上面示出的不等式(8)的第二个条件)，则所述模板匹配部分34向运动向量校正部分36提供表示用于校正运动向量的命令的第一信息(在这个示例中，即为″1″的控制信号″flag″)。
所述直方图部分35从由模板匹配部分34生成的感兴趣像素和其邻近像素上的候选运动向量″pvec″(例如，候选运动向量是图11中的区域95中的像素(分段)上的值)之中将具有最高频率(例如，在图12中所示的直方图中具有最高频率的″+4″)的候选运动向量确定为感兴趣像素上的运动向量vec，并将该运动向量vec输出到运动向量校正部分36。
所述亮度梯度检测部分33计算在感兴趣像素周围的亮度变化的程度(例如，上面描述的亮度梯度，更具体而言，上面示出的等式(2)的值″slope″)，并且将其提供给运动向量校正部分36。
所述运动向量校正部分36能够根据下游部分(例如图1中的校正部分22)所进行的处理的特征来校正由直方图部分35所提供的运动向量vec，并照现在的样子或在进一步应用下列校正处理之后，向外(图1中的图像处理部分11、图像处理部分12和切换部分15)输出所获得的运动向量vec′。
更具体而言，所述运动向量校正部分36能够根据来自于亮度梯度检测部分33的处理结果(在这个示例中，亮度梯度″slope″)和来自于模板匹配部分34的处理结果(在这个示例中，控制信号″flag″)来估计由直方图部分35所提供的运动向量vec的置信级。此后，如果运动向量校正部分36估计运动向量vec的置信级为低，更具体而言例如如果满足要求建立上面示出的不等式(9)的第三个条件和满足要求图2中的模板匹配部分34所提供的控制信号″flag″为″1″的第四个条件的至少其中之一，那么运动向量校正部分36就能够进一步根据下游处理来校正已校正的运动向量vec′，并且向外(图1中的图像处理部分11、图像处理部分12和切换部分15)输出所获得的运动向量vec″。
作为选择，所述运动向量校正部分36能够根据来自于亮度梯度检测部分33的处理结果和来自于模板匹配部分34的处理结果来估计直方图部分35所提供的运动向量vec的置信级，而不必根据下游处理执行校正处理，并且如果运动向量校正部分36估计运动向量vec的置信级是低，则运动向量校正部分36就能够校正由直方图部分35所提供的运动向量vec，并向外(图1中的图像处理部分11、图像处理部分12和切换部分15)将其输出。
照此，根据这个实施例的运动检测部分14能够输出匹配那些邻近像素的像素的运动向量vec(严格来说，所校正的运动向量vec′或运动向量vec″)。其结果是，例如图1中的图像处理部分12能够准确地防止在持续型显示设备2中发生运动混乱(特别是，因随动观看而造成的运动混乱)，同时也防止了失配邻近像素。
现在，将参照图20中的流程图描述根据这个实施例的图像处理设备1(图1中所示)所进行的图像处理。
首先，在步骤S1中，所述图像处理设备1输入目标显示帧的图像数据。更详细地说，将目标显示帧的图像数据输入到图像处理部分11、图像处理部分12、参考图像存储部分13和运动检测部分14。
在步骤S2中，所述图像处理设备1(图像处理部分11、图像处理部分12、和运动检测部分14，等等)从构成目标显示帧的像素之中设置感兴趣像素。
在步骤S3中，所述运动检测部分14将目标显示帧的图像数据与存储在参考图像存储部分13中的参考图像(先前的帧)的图像数据进行比较，以计算感兴趣像素的运动向量vec，根据需要校正运动向量vec，并将它提供给图像处理部分11、图像处理部分12和切换部分15。
在下文中，由运动检测部分14所进行的上述处理(在步骤S3中的处理)称为″运动向量计算处理″。稍后将参照图21中的流程图描述″运动向量计算处理″的细节。
在步骤S4中，所述图像处理设备1(图像处理部分11、图像处理部分12、切换部分15，等等)判断感兴趣像素的运动向量vec的数值是否等于阈值或大于阈值。
严格来说，在步骤S4到S7中的处理使用了作为″运动向量计算处理″的结果而输出的感兴趣像素的校正后的运动向量vec′或运动向量vec″，所述″运动向量计算处理″是在步骤S3中由运动检测部分14进行的处理。由于对于步骤S4到S7中的处理的说明而言不必彼此区分开运动向量vec′和运动向量vec″，因而运动向量v′和v″都是指运动向量vec。
如果在步骤S4中判定运动向量vec的数值低于阈值(运动向量vec的数值不等于或不高于阈值)，即如果感兴趣像素没有运动，那么切换部分15就将其输入切换到图像处理部分11。其结果是，在步骤S5中，所述图像处理部分11对感兴趣像素施加预定的图像处理以便校正感兴趣像素的像素值，并且经由切换部分15将校正后的像素值提供给显示控制部分16。
相反，如果在步骤S4中判定运动向量vec的数值等于阈值或大于阈值，即如果感兴趣像素正在运动，那么切换部分15就将其输入切换到图像处理部分12(校正部分22)。
在此时，在步骤S6中，所述阶跃边沿检测部分21计算感兴趣像素的像素值与在预定方向(在这个示例中，是空间方向X或与之相反的方向，无论根据运动检测部分24所提供的运动向量vec的方向(正方向或负方向)确定是哪一个方向)上邻近于感兴趣像素的像素的像素值之间的差值。然后，所述阶跃边沿检测部分21把计算出的差值和感兴趣像素的像素值提供给校正部分22。
在步骤S7中，所述校正部分22根据运动检测部分14所提供的感兴趣像素的运动向量和阶跃边沿检测部分21所提供的差值来校正阶跃边沿检测部分21所提供的感兴趣像素的像素值，并且经由切换部分15将校正后的像素值提供给显示控制部分16。
在步骤S8中，所述显示控制部分16向持续型显示设备2输出由图像处理部分11或图像处理部分12(根据需要，通过将像素值转换成与持续型显示设备2相对应的信号)经由切换部分15所提供的感兴趣像素的像素值。换言之，所述显示控制部分16向持续型显示设备2输出感兴趣像素的像素值以作为与持续型显示设备2的显示元素之中的感兴趣像素相对应的显示元素的目标电平。
在步骤S9中，所述图像处理设备1判断所有像素的像素值是否都已被输出。
如果在步骤S9中判定一些像素的像素值尚未被输出，那么所述流程就返回到步骤S2以重复后续的处理。更具体而言，将构成目标显示帧的像素之中的其中一个未处理的像素设置为感兴趣像素，并且校正新的感兴趣像素的像素值(包括0校正)并将其输出到持续型显示设备2。
重复上述处理直到把构成目标显示帧的所有像素的像素值传递到持续型显示设备2为止。如果在步骤S9中判定所有像素的像素值都已被输出，那么所述流程就前进至步骤S10。
在此时，所述持续型显示设备2向构成屏幕的显示元素(例如，液晶)施加与所提供的像素值(目标电平)相对应的电平的电压，并且维持电压的电平直到指定后续帧的显示为止(直到提供构成后续帧的所有像素的像素值为止)。简言之，每个显示元素都显示并持续相应的像素。
在步骤S10中，所述图像处理设备1判断构成运动图像的所有帧是否都已被处理。
如果在步骤S10中判定一些帧尚未被处理，那么所述流程就返回到步骤S1，在其中将后续帧的图像数据作为目标显示帧的图像数据加以输入并且重复相同的处理。
最后，如果构成运动图像的帧之中构成最后一帧的所有像素的像素值都被校正(包括0校正)并被输出到持续型显示设备2，那么在步骤S10中就判定所有帧都已被处理，并且图像处理设备1进行的图像处理结束。
尽管在图20的示例中，所述图像处理设备1分别地将构成目标显示帧的像素的像素值(校正后的像素值)输出到持续型显示设备2，但是所述图像处理设备1也可以全部同时输出构成目标显示帧的所有像素的校正后的像素值(作为目标显示帧的图像信号)。
现在，将参照图21中的流程图来描述图2中的运动检测部分14所进行的″运动向量计算处理″(图20的步骤S3中的处理)。
首先在步骤S21中，所述亮度梯度检测部分33检测感兴趣像素周围的亮度梯度″slope″并且将它提供给运动向量校正部分36。
在步骤S22中，所述模板匹配部分34计算包括感兴趣像素在内的每一个像素(例如，构成图11中的区域95的像素)处的候选运动向量″pvec″，并将它们提供给直方图部分35。
此外，在步骤S23中，所述模板匹配部分34生成表示感兴趣像素的运动向量vec是否应该得到校正的控制信号″flag″，并将它提供给运动向量校正部分36。
在步骤S24中，所述直方图部分35生成包括感兴趣像素在内的像素的候选运动向量″pvec″的直方图(例如，图12中的直方图)，将具有最高频率的候选运动向量″pvec″确定为感兴趣像素的运动向量vec，并且将它提供给运动向量校正部分36。
在步骤S25中，图13中的运动向量校正部分36A的下游处理校正部分101按照第一种校正方法来校正感兴趣像素的运动向量vec，并将所得到的运动向量vec′提供给切换部分102。
如果图2中的运动向量校正部分36是以图19中的运动向量校正部分36C的形式实现的，那么就省略步骤S25中的处理。
在另一方面，如果图2中的运动向量校正部分36是以图18中的运动向量校正部分36B的形式实现的，那么就执行步骤S25中的处理，并且省略稍后将要描述的步骤S26到S28中的处理。
如上所述，取决于图2中的运动向量校正部分36的结构，″运动向量计算处理″的操作略微不同。换言之，图21是举例说明当图2中的运动向量校正部分36是以图13中的运动向量校正部分36A的形式实现时，″运动向量计算处理″的一个示例的流程图。
当步骤S25中的上述处理完成时，所述流程前进至步骤S26。
在步骤S26中，图13中的置信级估计部分103根据经步骤S23中的处理、由模板匹配部分34生成的控制信号″flag″和经步骤S21中的处理、由亮度梯度检测部分33检测出的亮度梯度″slope″来估计运动向量vec的置信级。
在步骤S27中，所述置信级估计部分103根据在步骤S26中的处理结果来判断运动向量vec的置信级是否低。
如果置信级估计部分103在步骤S27中判定运动向量vec的置信级为高(不低)，则它就将切换部分102的输出目的地切换到外部的LPF 37，并且所述流程前进至步骤S29。
在步骤S29中，所述切换部分102从运动检测部分14那里经由LPF 37向外(图1中的图像处理设备11、图像处理设备12和切换部分15)，输出经过在步骤S25的处理由下游处理校正部分101按照第一校正方法校正后的运动向量vec′。
相反，如果置信级估计部分103在步骤S27中判定运动向量vec的置信级低，则它就将切换部分102的输出目的地切换到置信级校正部分104，并且所述流程前进至步骤S28。
在这种情况下，将经过在步骤S25中的处理由下游处理校正部分101按照第一种校正方法校正后的运动向量vec′提供给置信级校正部分104。在步骤S28中，所述置信级校正部分104进一步按照第二种校正方法来校正感兴趣像素的运动向量vec′(由下游处理校正部分101校正后的)，并且在步骤S29中经由LPF 37从运动检测部分14那里向外输出校正后的运动向量vec″。
如果照此经过步骤S29中的处理输出校正后的感兴趣像素的运动向量vec′或运动向量vec″，那么″运动向量计算处理″就结束。
应用本发明的图像处理设备不限于图1中所示的结构，并且能够根据各种实施例加以实现。
应用本发明的图像处理设备能够以例如图22中所示的结构的形式加以实现。图22举例说明了根据另一个实施例的图像处理设备的示例性结构。图22中与图1中的那些组件相同的组件都用相同的标号来表示。
根据这个实施例的图像处理设备151基本上与图1中的图像处理设备1具有相同的结构和功能。所述图像处理设备151包括从图像处理部分11到显示控制部分16的那些部分，这基本上都与图1中的相同。
在图1中的图像处理设备1中，将来自于运动检测部分14的检测结果(运动向量vec)提供给阶跃边沿检测部分21。然而，在图22中的图像处理设备151中，不把来自于运动检测部分14的检测结果提供给阶跃边沿检测部分21，而是把来自于阶跃边沿检测部分21的检测结果提供给运动检测部分14和图像处理部分11。
由于上述结构的关系，所述图像处理设备151按照如下所述那样进行操作。
在图像处理设备151中，所述阶跃检测部分21从构成预定帧的像素之中检测出与阶跃边沿相对应的像素，并且将检测结果提供给运动检测14和图像处理部分11，以及校正部分22。
其结果是，所述运动检测部分14能够将其处理施加到阶跃边沿检测部分21所检测出的像素(与阶跃边沿相对应的像素)。换句话说，所述运动检测部分14检测阶跃边沿检测部分21所检测出的阶跃边沿是否正在运动。
此外，在阶跃边沿检测部分21所检测出的像素(与阶跃边沿相对应的像素)之中，图像处理部分11不将其处理施加到由运动检测部分发现其运动着的像素。更具体而言，所述图像处理部分11不将其处理施加到与运动着的阶跃边沿相对应的像素，而将其处理施加到除那些与运动着的阶跃边沿相对应的像素以外的像素。
如上所述，在图22中的图像处理设备151中，让每个像素都经历图像处理部分11或者图像处理部分12进行的图像处理。换言之，让一帧仅仅经历一次图像处理操作。此外，仅仅将运动检测部分14所进行的处理施加到与阶跃边沿相对应的像素。因此，能够降低图像处理设备151所进行处理的总量。
上述处理序列不仅能够利用硬件来执行而且也能够利用软件来执行。
如果使用软件来执行上述处理序列，那么就能够利用例如如图23所示的个人计算机来实现图1中的图像处理设备1和图22中的图像处理设备151。
在图23中，CPU(中央处理单元)201根据存储在ROM(只读存储器)202的程序或从存储单元208加载到RAM(随机存取存储器)203中的程序来执行各种处理。所述RAM 203还存储CPU 201所需的数据以便执行各种处理。
所述CPU 201、ROM 202和RAM 203都经由总线204互连。输入/输出接口205也连接于总线204。
输入单元206包括例如键盘和鼠标；输出单元207包括例如LCD；存储单元208包括例如硬盘；以及通信单元209包括例如连接于输入/输出接口205的调制解调器和终端适配器。所述通信单元209经由包括因特网在内的网络来执行与其它信息处理设备(未示出)通信。
在这种情况下，输出单元207本身可以是持续型显示设备，或者可以根据需要将外部持续型显示设备2(在图1中)连接到与输入/输出接口205相连的连接部分(未示出)。
根据需要，将驱动器210连接于输入/输出接口205。将包括例如磁盘、光盘、磁光盘或半导体存储器的可拆卸介质211安装到驱动器210上以便从驱动器210中读取计算机程序和在存储单元208中存储计算机程序。
如果处理的序列是利用软件实现的，那么就将构成该软件的程序从网络或记录介质安装到内建于专用硬件中的计算机或者例如安装到需要安装程序以执行相应功能的通用个人计算机。
如图23所示，如果这类程序是从用户的计算机独立提供的话，那么包含程序的记录介质可以是可拆卸介质211，比如封装(package)介质，包括磁盘(包括软磁盘)；光盘(包括光盘只读存储器，即CD-ROM，和数字通用盘，即DVD)；磁光盘(包括迷你盘，即MD)；或半导体存储器。如果在用户的计算机上预先安装记录介质上的程序的话，则所述记录介质可以是ROM 202或存储单元208中的硬盘。
在本发明中，可以或可以不必根据所描述的步骤的顺序按时间依次来执行记录在记录介质上的程序的步骤。此外，这些步骤可以并行或相互独立的执行。
尽管在上面描述的实施例中构成帧的其中一个预定的像素对应于构成的持续型显示设备2的屏幕的其中一个显示元素(对于LCD设备而言是液晶)，但是一个像素可以对应于多个显示元素。换句话说，多个显示元素可以显示一个像素。
此外，尽管在上面描述的实施例中图像处理设备生成平行于空间方向X的运动向量，但是图像处理设备也能够通过与上述一系列处理基本上相同的处理来生成平行于空间方向Y的运动向量或在平行于空间方向X和空间方向Y的二维平面上的任意方向上的运动向量。

Claims (12)

1、一种图像处理设备，包括：
候选者生成装置，用于从构成第一访问单元的像素之中将预定像素设置为感兴趣像素并且将第一访问单元与第一访问单元前的第二访问单元进行比较以便生成感兴趣像素上的候选运动向量；
运动向量确定装置，用于从感兴趣像素上的候选运动向量和候选者生成装置所生成的邻近感兴趣像素的像素上的候选运动向量之中将具有最高频率的候选运动向量确定为感兴趣像素上的运动向量；
亮度改变计算装置，用于计算在感兴趣像素周围的亮度变化的程度；和
校正装置，用于根据亮度改变计算装置和候选者生成装置进行处理的结果来估计运动向量确定装置所确定的运动向量的置信级，并且如果判定置信级低则校正该运动向量。
2、根据权利要求1所述的图像处理设备，其中，如果亮度改变计算装置所计算出的亮度变化的程度低于阈值，则校正装置就判定运动向量的置信级低并且校正该运动向量。
3、根据权利要求1所述的图像处理设备，其中，候选者生成装置检测出第一访问单元上的第一个像素以作为第二访问单元上的第二个像素的对应像素，所述第二像个素被设置在与感兴趣像素的位置相对应的位置上，并且生成从感兴趣像素开始并在第一个像素上终止的向量以作为感兴趣像素上的候选运动向量。
4、根据权利要求3所述的图像处理设备，其中，如果判定第一访问单元包括对于对应像素来讲的多个候选者或者作为对应像素的第一个像素的置信级低，则候选者生成装置就给校正装置提供表示用于校正该运动向量的命令的第一信息；并且
如果校正装置从候选者生成装置那里接收第一信息，则校正装置就判定运动向量的置信级低并且校正该运动向量。
5、根据权利要求4所述的图像处理设备，其中，如果感兴趣像素被包含在对于对应像素来讲的多个候选者中，则候选者生成装置给校正装置提供表示感兴趣像素被包含在对于对应像素来讲的多个候选者中的第二信息；并且
如果校正装置从候选者生成装置那里接收第二信息，则校正装置就判定运动向量的置信级低并且将运动向量校正为0向量。
6、一种图像处理方法，包括：
候选者生成步骤，用于从构成第一访问单元的像素之中将预定像素设置为感兴趣像素并且将第一访问单元与第一访问单元前的第二访问单元进行比较以便生成感兴趣像素上的候选运动向量；
运动向量确定步骤，用于从感兴趣像素上的候选运动向量和在候选者生成步骤中生成的邻近感兴趣像素的像素上的候选运动向量之中将具有最高频率的候选运动向量确定为感兴趣像素上的运动向量；
亮度改变计算步骤，用于计算在感兴趣像素周围的亮度变化的程度；以及
校正步骤，用于根据在亮度改变计算步骤和候选者生成步骤中进行处理的结果来估计运动向量确定步骤中确定的运动向量的置信级，并且如果判定置信级低则校正该运动向量。
7、一种计算机可执行程序，用于从构成第一访问单元的像素之中将预定像素设置为感兴趣像素并且将图像处理施加到感兴趣像素，所述程序包括：
候选者生成步骤，用于将第一访问单元与第一访问单元前的第二访问单元进行比较以便生成感兴趣像素上的候选运动向量；
运动向量确定步骤，用于从感兴趣像素上的候选运动向量和在候选者生成步骤中生成的邻近感兴趣像素的像素上的候选运动向量之中将具有最高频率的候选运动向量确定为感兴趣像素上的运动向量；
亮度改变计算步骤，用于计算在感兴趣像素周围的亮度变化的程度；
校正步骤，用于根据在亮度改变计算步骤和候选者生成步骤中进行处理的结果来估计在运动向量确定步骤中确定的运动向量的置信级，并且如果判定置信级低则校正该运动向量。
8、一种图像处理设备，包括：
候选者生成装置，用于从构成第一访问单元的像素之中将预定像素设置为感兴趣像素并且将第一访问单元与第一访问单元前的第二访问单元进行比较以便生成感兴趣像素上的候选运动向量；
运动向量确定装置，用于从感兴趣像素上的候选运动向量和候选者生成装置所生成的邻近感兴趣像素的像素上的候选运动向量之中将具有最高频率的候选运动向量确定为感兴趣像素上的运动向量；
校正装置，用于校正运动向量确定装置所确定的运动向量；和
处理执行装置，用于利用校正装置所校正的运动向量来执行预定处理，
其中校正装置根据处理执行装置进行的预定处理的特征来按第一种方法校正该运动向量。
9、根据权利要求8所述的图像处理设备，还包括：
亮度改变计算装置，用于计算在感兴趣像素周围的亮度变化的程度，
其中校正装置根据亮度改变计算装置和候选者生成装置进行处理的结果来估计运动向量确定装置所确定的运动向量的置信级，并且如果判定运动向量的置信级低则进一步按第二种方法来校正按第一种方法所校正的运动向量。
10、一种由信息处理设备执行的图像处理方法，所述方法包括：
候选者生成步骤，用于从构成第一访问单元的像素之中将预定像素设置为感兴趣像素并且将第一访问单元与第一访问单元前的第二访问单元进行比较以便生成感兴趣像素上的候选运动向量；
运动向量确定步骤，用于从感兴趣像素上的候选运动向量和在候选者生成步骤中生成的邻近感兴趣像素的像素上的候选运动向量之中将具有最高频率的候选运动向量确定为感兴趣像素上的运动向量；
校正步骤，用于校正在运动向量确定步骤中确定的运动向量；以及
处理控制步骤，用于控制信息处理设备利用在校正步骤中校正的运动向量来执行预定处理，
其中，在校正步骤中，根据在处理控制步骤中由图像处理设备进行的预定处理的特征来按校正方法校正该运动向量。
11、一种计算机可执行程序，用于控制处理执行设备以供将预定处理施加到构成运动图像的多个访问单元的其中预定的一个，其中所述预定处理使用预定访问单元上的每一个像素上的运动向量，所述程序包括：
候选者生成步骤，用于从构成第一访问单元的像素之中将预定像素设置为感兴趣像素并且将第一访问单元与第一访问单元前的第二访问单元进行比较以便生成感兴趣像素上的候选运动向量；
运动向量确定步骤，用于从感兴趣像素上的候选运动向量和在候选者生成步骤中生成的邻近感兴趣像素的像素上的候选运动向量之中将具有最高频率的候选运动向量确定为感兴趣像素上的运动向量；
校正步骤，用于校正在运动向量确定步骤中确定的运动向量；以及
处理控制步骤，用于控制处理执行设备利用在校正步骤中校正的运动向量来执行预定处理，
其中，在校正步骤中，根据在处理控制步骤中由处理执行设备进行的预定处理的特征来按校正方法校正该运动向量。
12、一种图像处理设备，包括：
候选者生成单元，用于从构成第一访问单元的像素之中将预定像素设置为感兴趣像素并且将第一访问单元与第一访问单元前的第二访问单元进行比较以便生成感兴趣像素上的候选运动向量；
运动向量确定单元，用于从感兴趣像素上的候选运动向量和候选者生成单元所生成的邻近感兴趣像素的像素上的候选运动向量之中将具有最高频率的候选运动向量确定为感兴趣像素上的运动向量；
亮度改变计算单元，用于计算在感兴趣像素周围的亮度变化的程度；和
校正单元，用于根据亮度改变计算单元和候选者生成单元进行处理的结果来估计运动向量确定单元所确定的运动向量的置信级，并且如果判定置信级低则校正该运动向量。
CNB2005100741442A 2004-04-20 2005-02-25 图像处理设备和方法 Expired - Fee Related CN100440977C (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP124271/04 2004-04-20
JP2004124271A JP4539152B2 (ja) 2003-11-07 2004-04-20 画像処理装置および方法、並びにプログラム

Publications (2)

Publication Number Publication Date
CN1691130A true CN1691130A (zh) 2005-11-02
CN100440977C CN100440977C (zh) 2008-12-03

Family

ID=34940478

Family Applications (1)

Application Number Title Priority Date Filing Date
CNB2005100741442A Expired - Fee Related CN100440977C (zh) 2004-04-20 2005-02-25 图像处理设备和方法

Country Status (4)

Country Link
US (1) US20050232356A1 (zh)
EP (1) EP1589763A2 (zh)
KR (1) KR101098723B1 (zh)
CN (1) CN100440977C (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101543043B (zh) * 2007-02-20 2011-05-18 索尼株式会社 图像显示装置、视频信号处理器和视频信号处理方法
CN102236789A (zh) * 2010-04-26 2011-11-09 富士通株式会社 对表格图像进行校正的方法以及装置
CN101610415B (zh) * 2008-06-17 2012-11-14 索尼株式会社 图像处理设备和图像处理方法
WO2017035833A1 (en) * 2015-09-06 2017-03-09 Mediatek Inc. Neighboring-derived prediction offset (npo)
CN111201795A (zh) * 2017-10-09 2020-05-26 华为技术有限公司 存储访问窗口和用于运动矢量修正的填充
CN113362781A (zh) * 2021-06-23 2021-09-07 合肥维信诺科技有限公司 显示面板的亮度补偿方法及亮度补偿系统

Families Citing this family (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4817000B2 (ja) * 2003-07-04 2011-11-16 ソニー株式会社 画像処理装置および方法、並びにプログラム
JP4775052B2 (ja) 2006-03-17 2011-09-21 ソニー株式会社 画像処理装置および方法、並びにプログラム
KR100769196B1 (ko) * 2006-03-20 2007-10-23 엘지.필립스 엘시디 주식회사 액정표시장치의 구동장치 및 구동방법
JP4872508B2 (ja) * 2006-07-28 2012-02-08 ソニー株式会社 画像処理装置および画像処理方法、並びにプログラム
WO2008056923A1 (en) * 2006-11-07 2008-05-15 Samsung Electronics Co, . Ltd. Method and apparatus for encoding and decoding based on intra prediction
DE102007027642A1 (de) * 2007-06-15 2008-12-18 Micronas Gmbh Verfahren zur Bearbeitung einer Bildfolge mit aufeinanderfolgenden Videobildern zur Verbesserung der räumlichen Auflösung
JP4882948B2 (ja) * 2007-10-04 2012-02-22 ソニー株式会社 画像処理装置および方法、並びにプログラム
TWI372377B (en) * 2007-11-21 2012-09-11 Mstar Semiconductor Inc Method and apparatus for eliminating image blur by pixel-based processing
US20090153743A1 (en) * 2007-12-18 2009-06-18 Sony Corporation Image processing device, image display system, image processing method and program therefor
US20090201427A1 (en) * 2008-02-12 2009-08-13 Brian Heng Method and system for pixel adaptive weighted median filtering for block motion vector decomposition
WO2009102013A1 (ja) * 2008-02-14 2009-08-20 Nec Corporation 移動ベクトル検出装置
CN101939778A (zh) * 2008-03-07 2011-01-05 夏普株式会社 液晶显示装置、及液晶显示装置和驱动方法
JP5259628B2 (ja) * 2008-05-21 2013-08-07 パナソニック株式会社 映像信号表示装置、映像信号表示方法、プログラムおよび集積回路
WO2009150696A1 (ja) * 2008-06-10 2009-12-17 富士通株式会社 画像補正装置および画像補正方法
JP4623200B2 (ja) * 2008-10-27 2011-02-02 ソニー株式会社 画像処理装置、画像処理方法およびプログラム
JP4623199B2 (ja) 2008-10-27 2011-02-02 ソニー株式会社 画像処理装置、画像処理方法およびプログラム
JP5201038B2 (ja) * 2009-03-18 2013-06-05 株式会社Ｊｖｃケンウッド 映像信号処理方法及び映像信号処理装置
JP5141633B2 (ja) * 2009-04-24 2013-02-13 ソニー株式会社 画像処理方法及びそれを用いた画像情報符号化装置
CN102907094A (zh) * 2010-05-20 2013-01-30 星河通信株式会社 适用利用选择性参考影像的运动补偿方法的视频压缩编码装置及解码装置和用于运动补偿的选择性参考影像决定方法
CN102907099A (zh) * 2010-05-20 2013-01-30 星河通信株式会社 适用利用选择性运动检索区域的运动补偿方法的视频压缩编码装置及解码装置和用于运动补偿的选择性运动检索区域的决定方法
US8670073B2 (en) * 2010-08-02 2014-03-11 Broadcom Corporation Method and system for video noise filtering
US9392235B2 (en) 2011-11-18 2016-07-12 Google Technology Holdings LLC Explicit way for signaling a collocated reference picture for video coding
BR112014012038A2 (pt) 2011-11-18 2017-05-30 Motorola Mobility Llc armazenamento eficiente de informação de movimento para codificação de vídeo de alta eficiência
BR112014012006A2 (pt) * 2011-11-18 2017-05-30 Motorola Mobility Llc uma forma explícita para sinalizar uma imagem colocalizada para codificação de vídeo de alta eficiência (hevc)
US9467694B2 (en) 2011-11-21 2016-10-11 Google Technology Holdings LLC Implicit determination and combined implicit and explicit determination of collocated picture for temporal prediction
WO2013093731A1 (en) * 2011-12-23 2013-06-27 Koninklijke Philips Electronics N.V. A motion detection method for a video processing system
US9728145B2 (en) 2012-01-27 2017-08-08 Google Technology Holdings LLC Method of enhancing moving graphical elements
WO2013154674A1 (en) 2012-04-11 2013-10-17 Motorola Mobility Llc Evaluation of signaling of collocated reference picture for temporal prediction
US9210425B2 (en) 2012-04-11 2015-12-08 Google Technology Holdings LLC Signaling of temporal motion vector predictor (MVP) flag for temporal prediction
US9319681B2 (en) 2012-07-18 2016-04-19 Google Technology Holdings LLC Signaling of temporal motion vector predictor (MVP) enable flag
US9500526B2 (en) * 2013-02-01 2016-11-22 Dicon Fiberoptics Inc. High-throughput and high resolution method for measuring the color uniformity of a light spot
US8917354B2 (en) * 2013-09-30 2014-12-23 Amlogic Co., Ltd. Motion detection in video fields
US11259046B2 (en) * 2017-02-15 2022-02-22 Apple Inc. Processing of equirectangular object data to compensate for distortion by spherical projections
US11915446B2 (en) * 2018-10-24 2024-02-27 Siemens Healthineers Ag Generating a medical result image
CN114598849B (zh) * 2022-05-06 2022-07-15 青岛亨通建设有限公司 一种基于物联网的建筑施工安全监控系统

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2231225B (en) * 1989-04-27 1993-10-20 Sony Corp Motion dependent video signal processing
JP3418799B2 (ja) * 1994-02-21 2003-06-23 富士通株式会社 動きベクトル補正制御方式
JPH08163573A (ja) * 1994-12-09 1996-06-21 Matsushita Electric Ind Co Ltd 動きベクトル検出装置、およびこの装置を用いた順次走査変換装置
US6542547B1 (en) * 1995-05-30 2003-04-01 Texas Instruments Incorporated Efficient heuristic based motion estimation method for video compression
FR2742901B1 (fr) * 1995-12-22 1998-02-13 Thomson Multimedia Sa Procede de correction d'estimation de mouvement dans des images a structures periodiques
KR100234264B1 (ko) * 1997-04-15 1999-12-15 윤종용 타겟윈도우 이동을 통한 블록 매칭방법
US6442203B1 (en) * 1999-11-05 2002-08-27 Demografx System and method for motion compensation and frame rate conversion
KR100323758B1 (ko) 2000-04-19 2002-02-19 서평원 영상 단말기의 영상신호 송신 방법 및 장치
ATE320143T1 (de) 2001-11-07 2006-03-15 Koninkl Philips Electronics Nv Vorrichtung und verfahren zum erkennen von verdeckung
JP2003224854A (ja) 2002-01-29 2003-08-08 Hitachi Ltd 動きベクトル検出装置及び画像処理装置並びにコンピュータ・ソフトウエア
JP4817000B2 (ja) * 2003-07-04 2011-11-16 ソニー株式会社 画像処理装置および方法、並びにプログラム

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101543043B (zh) * 2007-02-20 2011-05-18 索尼株式会社 图像显示装置、视频信号处理器和视频信号处理方法
CN101610415B (zh) * 2008-06-17 2012-11-14 索尼株式会社 图像处理设备和图像处理方法
CN102236789A (zh) * 2010-04-26 2011-11-09 富士通株式会社 对表格图像进行校正的方法以及装置
CN102236789B (zh) * 2010-04-26 2017-06-13 富士通株式会社 对表格图像进行校正的方法以及装置
WO2017035833A1 (en) * 2015-09-06 2017-03-09 Mediatek Inc. Neighboring-derived prediction offset (npo)
CN111201795A (zh) * 2017-10-09 2020-05-26 华为技术有限公司 存储访问窗口和用于运动矢量修正的填充
US11153595B2 (en) 2017-10-09 2021-10-19 Huawei Technologies Co., Ltd. Memory access window and padding for motion vector refinement
CN113362781A (zh) * 2021-06-23 2021-09-07 合肥维信诺科技有限公司 显示面板的亮度补偿方法及亮度补偿系统

Also Published As

Publication number Publication date
KR101098723B1 (ko) 2011-12-23
EP1589763A2 (en) 2005-10-26
CN100440977C (zh) 2008-12-03
US20050232356A1 (en) 2005-10-20
KR20060043190A (ko) 2006-05-15

Similar Documents

Publication Publication Date Title
CN1691130A (zh) 图像处理设备、方法和程序
CN100345439C (zh) 视频处理装置、视频处理方法和计算机程序
CN1138422C (zh) 逐行扫描帧的内插方法
CN1156152C (zh) 照明闪烁检测、补偿装置和交流电源频率检测装置及其方法
CN1269081C (zh) 图象角度检测装置及具备该装置的扫描线内插装置
CN1039472C (zh) 检测字幕及无画面区等图像特征区域位置的装置
CN1678056A (zh) 图像处理装置与方法、记录介质以及程序
CN1190963C (zh) 数据处理装置和方法,学习装置和方法
CN1957557A (zh) 信号检测装置、信号检测电路、信号检测方法、程序
CN1926863A (zh) 多通路视频编码
CN1846232A (zh) 使用加权信息的对象姿态估计和匹配系统
CN101038672A (zh) 一种图像跟踪方法及系统
CN1677475A (zh) 液晶显示器件及其驱动方法
CN1171462C (zh) 固体彩色摄像装置
CN1726529A (zh) 用于处理图像信号的设备和方法、用于执行该方法的程序、以及用于记录该程序的计算机可读介质
CN1441944A (zh) 图象处理方法及图象处理装置
CN1119028C (zh) 在具有周期性结构的帧中校正和估算运动的方法
CN1647524A (zh) 图像变换装置和图像变换方法
CN1817047A (zh) 用于处理具有排列的不同色彩分量的图像的图像处理装置,图像处理程序,电子照相机,以及图像处理方法
CN101038674A (zh) 一种图像跟踪方法及系统
CN1764928A (zh) 多等级单色图像显示方法,多等级单色图像显示设备,计算机,单色显示设备,再转换适配器,和视频卡
CN1667998A (zh) 数据检测器和多通道数据检测器
CN1574915A (zh) 图像缺陷校正设备及方法
CN1224256C (zh) 信息信号处理装置和方法、图像信号处理装置和方法及图像显示装置
CN1545683A (zh) 数据转换装置、数据转换方法、学习装置、学习方法、程序和记录介质

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
C17 Cessation of patent right
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20081203

Termination date: 20140225