CN100407232C - 图象数据处理方法及装置 - Google Patents

图象数据处理方法及装置 Download PDF

Info

Publication number
CN100407232C
CN100407232C CN031545289A CN03154528A CN100407232C CN 100407232 C CN100407232 C CN 100407232C CN 031545289 A CN031545289 A CN 031545289A CN 03154528 A CN03154528 A CN 03154528A CN 100407232 C CN100407232 C CN 100407232C
Authority
CN
China
Prior art keywords
pixel
motion
constituent element
estimated values
value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN031545289A
Other languages
English (en)
Other versions
CN1479253A (zh
Inventor
近藤哲二郎
白木寿一
奥村明弘
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from JP2002274058A external-priority patent/JP3941644B2/ja
Priority claimed from JP2002274059A external-priority patent/JP3903890B2/ja
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN1479253A publication Critical patent/CN1479253A/zh
Application granted granted Critical
Publication of CN100407232C publication Critical patent/CN100407232C/zh
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/20—Processor architectures; Processor configuration, e.g. pipelining
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/521—Processing of motion vectors for estimating the reliability of the determined motion vectors or motion vector field, e.g. for smoothing the motion vector field or for correcting motion vectors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/223—Analysis of motion using block-matching
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/43—Hardware specially adapted for motion estimation or compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/573—Motion compensation with multiple frame prediction using two or more reference frames in a given prediction direction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/28—Indexing scheme for image data processing or generation, in general involving image processing hardware

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

一种图象处理器件、计算机程序产品和图象处理方法，该图象处理器件和图象处理方法用较小的计算量来计算运动矢量。帧存储器储存第一和第二图象数据，存储器包括多个组元和控制单元。每个组元包括：用于储存第一图象数据的第一象素的第一象素值的象素；用于储存第二图象数据的第二象素的第二象素值的象素；用于储存第一差值的最小象素差值存储单元；用于储存相位信息的运动矢量存储单元；比较更新单元，用于对储存在最小象素差值存储单元中的第一差值与在第一象素和第二象素之间的第二差值进行比较，根据比较结果而用第二差值更新第一差值，并且根据所述更新而输出更新信息；以及，根据更新信息而更新相位信息的更新单元。

Description

图象数据处理方法及装置
相关专利申请的相互参考
本专利申请包含与以下共同未决的美国专利申请相关的主题，此专利申请的序列号：_____，  于_____提交，题为“SEMICONDUCTOR DEVICE，IMAGE DATA PROCESSINGAPPARATUS AND METHOD”，代理摘要号238875US，由SonyCorporation共同拥有，具有同一发明人Tetsujiro Kondo，此专利申请基于2002年12月9日在日本提交的日本优先权文档JP2002-356530，此专利申请的全部内容在此引作参考。本专利申请还包含与2002年8月15日在JPO提交的日本优先权文档JP2002-274059和2002年8月15日在JPO提交的JP2002-274058相关的主题，它们每个的全部内容在此引作参考。
技术领域
本发明涉及例如基于图象数据而产生运动矢量的图象处理器件、计算机程序产品和图象处理方法。
背景技术
通常，块匹配是一种已知的用于检测图象的帧与帧之间运动矢量的方法。图1为说明常规图象处理器件的视图，而图2为说明图1所示常规图象处理器件的操作的流程图。
参照图1和2，“块匹配”是获得运动矢量的过程，它表示在图象中在某个时间点T-1的某个运动块在下一时间点T所移动到的位置。
例如，图象处理器件1s(图1)包括帧存储器3s-T、帧存储器3s-T-1、搜索区域存储器ms、基准块存储器mr、相位块存储器mp、计算单元pc、评估表存储器mv和最小值搜索单元ps。
图象处理器件1s在时间点T设置搜索区域，以便对在与每个相位(位置)有关的搜索区域内的块中的象素和在时间点T-1时的基准块之间的匹配，并且最佳匹配的相位划线作为此块在时间点T时的位置。这里，块在两个帧之间的偏移量就被定义为运动矢量。
参照图2，流程图描述图象处理器件1s的操作。从帧存储器T和帧存储器T-1读出搜索区域的图象数据和基准块br的图象数据，其中，连续输入的图象按时间储存(ST1、ST2)。这些图象数据组储存在搜索区域存储器ms和基准块存储器mr中(ST3)。
其次，对于每个相位，从搜索区域存储器ms读出与基准块br具有相同形状和相同尺寸的块。此块被定义为相位块bp。随后，此相位在后述评估表记录结束的时间点更新，并且在此时间点在此相位读出相位块bp(ST4)。读出的相位块bp例如储存在图1所示的相位块存储器mp中。
图3(具有两个部分-图3a和图3b)为用于描述以下特定过程实例的视图，此过程实例从如何用相移执行相位块操作的读出开始，直到在评估表存储器mr中记录为止。图3(a)是说明在相移之前的状态的视图，而图3(b)说明在相移之后的状态。
参照图3，描述直到且包括，在评估表存储器中记录为止的操作。假设基准块的尺寸为3×3象素，而搜索区域的尺寸为5×5象素。这里，在相位1的点读出的相位块bp在相位2偏移到沿水平方向错1个象素的位置。例如，因更新而发生的相位偏移量是1个象素。接着，由计算单元pc计算在基准块br和相位块bp之间每对对应象素的差值的绝对值，对所计算的全部差值的绝对值获得差值的绝对值之和S。
S = Σ s , p = 1 9 | k s - k p | - - - ( 1 )
例如，使用在基准块br中的象素值ks和在相位块bp中的对应象素值kp，通过表达式(1)计算差值的绝对值之和S。
接着，差值的绝对值之和S储存在评估表中(ST6)。具体地，差值的绝对值之和S储存在如图1所示的评估表存储器mv中。评估表储存与所读出相位块对应的每个相位的差值绝对值之和。
通常，在图象处理器件1s中，在相位从移位1偏移到移位2时，数据在评估表中的储存位置根据偏移量而偏移，如图3所示。
在对所有的搜索区域完成从读出相位块bp直到结束评估表记录为止的处理时(ST7)，最小值搜索单元ps在评估表中搜索最小值(ST8)。
另一方面，在判断评估表在步骤ST7中没有储存所有相位的数据时，流程返回到步骤ST3中的处理。
因而，图象处理器件1s在搜索区域内搜索其值与基准块br最接近的块。
如上所述，评估表储存与所读出相位块对应的每个相位的差值绝对值之和S。相应地，通过在评估表内搜索最小值，可以在搜索区域内找到与基准块br对应的块的相位。与此相位有关的信息输出为运动矢量。
发明内容
本发明的目的是用常规的器件、方法和计算机程序产品来解决以上明确的和其它的缺陷。
已考虑到上述问题而进行本发明。本发明的目的是提供可用较小的计算量来计算运动矢量的图象处理器件和图象处理方法。
对于上述的常规图象处理器件有以下三个问题，并且本发明配置成解决这些问题。
1.程序必需临时性地储存相位块和评估表的值，从而需要设置在电路中储存数据的存储器，导致电路布局复杂。进而，例如，如果在帧内的许多位置上计算运动矢量，就必须顺序地搜索每个位置的运动矢量，导致浪费时间。
2.在全部值储存在评估表中时开始搜索最小值的程序。相应地，必需以两种方式更新相位：读出每个相位块；以及搜索最小值。
3.在此情况下，所述输出为运动矢量，所以例如，当读出基于运动矢量所提取的象素时，就需要基于运动矢量提取象素的另一程序。
为了用常规器件和方法解决以上明确的和其它的缺陷，根据本发明的第一方面，提供了一种用于处理图象数据的设备，包括：第一象素信息存储部分，配置为保存表示图象块的第一象素的数据；第二象素信息存储部分，配置为保存表示另一图象块的搜索区域的第二象素的数据；估计存储部分，配置为保存代表第一象素和第二象素之间的运动估计值的数据；运动矢量信息存储部分，配置为保存代表第一象素和第二象素之间的运动矢量的数据；估计值计算机构，配置为计算运动估计值；比较机构，配置为比较由所述估计值计算机构计算的运动估计值和存储的估计值，并根据比较结果用所述计算的运动估计值更新所述存储的估计值；以及运动矢量更新机构，配置为在所述比较机构的比较结果表示用所述计算的运动估计值更新所述存储的估计值时更新存储在运动矢量信息存储部分中的运动矢量。
根据本发明的第二方面，提供了一种用于处理图象数据的设备，包括：具有以下部分的数据存储单元，所述部分包括：用于保存象素运动信息的第一存储部分，用于保存运动估计值的第二存储部分，运动估计值表示象素之间的帧-帧运动，用于保存第一象素信息的第三存储部分，以及用于保存第二象素信息的第四存储部分；估计值计算机构，配置为计算运动估计值；比较机构，配置为比较由所述估计值计算机构计算的运动估计值与存储在所述第二存储部分中的运动估计值；以及配置为改变与由所述比较机构确定为已运动的象素有关的象素值的机构，其中，包括第一象素的第一帧与包括第二象素的第二帧不同。
根据本发明的第三方面，提供一种有助于运动矢量估计的图象数据处理方法，包括以下步骤：在存储器组元的第一象素部分中储存第一象素信息，所述存储器组元的第一象素部分被配置为保存表示图象块的第一象素的数据；在存储器组元的第二象素部分中储存第二象素信息，所述存储器组元的第二象素部分被配置为保存表示另一图象块的搜索区域的第二象素的数据；在存储器组元的估计部分中储存估计信息，所述存储器组元的估计部分被配置为保存表示第一象素和第二象素之间的运动估计值的数据；在存储器组元的运动矢量部分中储存运动矢量信息，所述存储器组元的运动矢量部分被配置为保存表示第一象素和第二象素之间的运动矢量的数据；计算运动估计值；比较在计算步骤中计算的运动估计值和存储的估计值，并根据比较结果用计算步骤计算的运动估计值更新存储在所述估计部分中的运动估计值；以及当所述比较步骤的比较结果表示用计算步骤计算的运动估计值更新存储在所述估计部分中的所述运动估计值时，更新存储在运动矢量信息存储部分中的运动矢量信息。
根据本发明的第四方面，提供一种有助于运动矢量估计的图象数据处理方法，包括以下步骤：在第一存储部分中储存象素运动信息；在第二存储部分中储存运动估计值，运动估计值表示象素之间的帧-帧运动，在第三存储部分中储存第一象素信息，在第四存储部分中储存第二象素信息，其中，包括第一象素的第一帧与包括第二象素的第二帧不同，用估计值计算机构计算运动估计值，比较由所述估计值计算机构计算的运动估计值与储存在所述第二存储部分中的运动估计值，以及改变与由所述比较步骤中确定为已运动的象素有关的象素值。
根据本发明的第五方面，提供一种有助于运动矢量估计的图象数据处理装置，包括：用于计算运动矢量的装置；用于存储表示图象块的第一象素的第一象素信息数据的装置；用于存储表示另一图象块的搜索区域的第二象素的第二象素信息数据的装置；用于存储代表第一象素和第二象素之间的运动估计值的估计值数据的装置；用于存储代表第一象素和第二象素之间的运动矢量的运动矢量信息数据的装置；用于计算所述运动估计值的装置；用于比较计算的运动估计值和存储的估计值并根据比较结果用计算的运动估计值更新存储的估计值的装置；以及用于当所述比较步骤的比较结果表示用计算的运动估计值更新所述存储的估计值时，更新存储的运动矢量信息。
附图说明
通过在以下结合附图进行详细描述，将会更好地理解本发明及其许多附属优点，在附图中：
图1为说明常规图象处理器件的视图。
图2为说明图1所示常规图象处理器件的操作的流程图。
图3(包括图3a和图3b)为用于描述以下操作的特定实例的视图，此操作从用相移读出相位块开始，直到在评估表存储器中储存的步骤为止。
图4为说明根据本发明的第一实施例的图象处理器件的功能框图。
图5(a)为说明根据第一实施例的图象处理器件的存储器的视图，而图5(b)为说明在图5(a)所示图象处理器件的存储器内的组元的功能框图。
图6(包括图6(a)和图6(b))示出用于描述由图4所示图象处理器件执行的用于象素匹配的相位更新以及读出搜索区域tp的视图。图6(a)为说明在搜索区域内的相位的视图。图6(b)为说明相位和搜索区域tp之间关系的视图。
图7为描述图1所示图象处理器件1的操作的流程图。
图8为说明根据本发明的第二实施例的图象处理器件的功能框图。
图9(a)为说明图8所示图象处理器件1a的存储器的视图。图9(b)为说明图8所示存储结构的特定实例的视图。图9(c)为说明图8所示图象处理器件1a的用于储存运动矢量的存储结构的视图。
图10(包括图10(a)和图10(b))示出用于描述图8所示图象处理器件的操作的视图，并具体地，描述用于执行相位更新和读出搜索区域tp的操作。图10(a)为说明在搜索区域sp内的相位的视图。图10(b)为说明相位和搜索区域tp之间关系的视图。
图11为描述图8所示图象处理器件1a的操作的流程图。
图12为说明从图8所示图象处理器件的帧的基准区域tr提取的块的视图。
图13为用于描述根据本发明第三实施例的图象处理器件提取对应象素的概念视图。
图14为根据本发明第三实施例的图象处理器件的功能框图。
图15(a)为说明图14所示图象处理器件1b的存储器2b的视图。图15(b)为说明用于储存对应象素的存储器的视图。图15(c)为说明图15(a)所示存储器2b的组元20b的功能框图。
图16(a)为说明帧T+2的搜索区域spT+2(9×9)和搜索区域tpT+2的相位的视图。图16(b)为说明帧T+1的搜索区域spT+1(7×7)和搜索区域tpT+1的相位的视图。图16(c)为说明帧T-1的搜索区域spT-1(7×7)和搜索区域tpT-1的相位的视图。图16(d)为说明帧T-2的搜索区域spT-2(9×9)和搜索区域tpT-2的相位的视图。图16(e)为描述由图14所示图象处理器件1b对搜索区域tp所执行的更新相位和读出处理的视图。
图17为描述图14所示图象处理器件的操作的流程图。
图18为说明本发明第四实施例的图象处理器件的功能框图。
图19为说明图18所示图象处理器件1c的噪声相加单元的第一特定实例的功能框图。
图20为说明图18所示图象处理器件1c的噪声相加单元的第二特定实例的功能框图。
图21为说明图18所示图象处理器件1c的噪声相加单元的第三特定实例的功能框图。
图22是描述在图18所示图象处理器件1c的类码产生单元中产生类码(检测噪声分量)的原理的视图。
图23为描述由图18所示图象处理器件1c执行的从用于等级分类适配处理的存储器中读出基准区域tr的程序的视图。图23(a)为说明在偏移之前状态的视图。图23(b)为说明在偏移之后状态的视图。
图24为说明根据本发明第五实施例的图象处理器件的功能框图。
图25为说明根据本发明的第六实施例的图象处理器件的功能框图。
图26(a)为图25所示图象处理器件的存储器的配置图，图26(b)为说明图26(a)所示存储器中用于储存预测象素的组元的视图，而图26(c)则是说明图26(a)所示存储器的组元的功能框图。
图27是描述根据本发明第七实施例的图象处理器件的操作的概念图。
图28是描述由根据本发明第七实施例的图象处理器件所执行的平面匹配的操作的概念图。
图29为说明根据本发明的第七实施例的图象处理器件的功能框图。
图30(a)为说明图29所示图象处理器件的存储器的示意图。图30(b)是图30(a)的局部放大视图。图30(c)为说明图30(b)所示存储器的组元的功能框图。
图31为描述图29所示图象处理器件的平面分离单元的操作的视图。
图32为说明图象处理器件1f的平面分离单元的特定实例的功能框图。
图33为说明由图32所示图象处理器件1f的平面分离单元的直方图计算单元所产生的直方图的特定实例的视图。
图34为用于描述图32所示图象处理器件的平面分离单元的消除单元的操作的直方图的特定实例。
图35描述在由图32所示图象处理器件的波谷合并单元执行合并之前的直方图波谷。
图36描述在由图32所示图象处理器件的波谷合并单元执行合并之后的直方图波谷。
图37为描述图32所示图象处理器件的平面分离单元的操作的流程图。
图38为描述图29所示图象处理器件的操作的流程图。
图39为说明根据本发明的第八实施例的图象处理器件的功能框图。
图40为说明根据本发明的第九实施例的图象处理器件的功能框图。
图41为描述图40所示图象处理器件的运动矢量纠正单元的操作的视图。
具体实施方式
第一实施例
根据本实施例的图象处理器件1检测在具有多个帧的运动图象的帧与帧之间的运动矢量。检测运动矢量的一个方面是象素匹配，如下所述。
象素匹配
图4为说明根据本发明的图象处理器件的第一实施例的功能框图。图5(a)为说明根据第一实施例的图象处理器件的存储结构或数据结构的视图。图5(b)为说明在图5(a)所示图象处理器件的存储器内的组元的功能框图。
如图4所示，根据本实施例的图象处理器件1包括：存储器2、多个帧存储器3(示作3-T和3-T-1)、读出单元4、和控制单元100。存储器2基于帧存储器3的预定数据如象素的象素值以及相位(也称作相位信息)，如后所述，而产生并储存运动矢量。帧存储器3-T储存在时间点T输入的图象数据(也简称为图象)。帧存储器3-T-1储存在时间点T-1输入的图象数据。进而，在预定的时间段之后，储存在帧存储器3-T中的图象数据储存在帧存储器3-T-1中，并且帧存储器3-T储存下一图象数据。
读出单元4对于每一组元20(图5(a))而读出储存在存储器2中的运动矢量。控制单元100根据计算机执行的处理而控制存储器2、帧存储器3和读出单元4。例如，控制单元100控制帧存储器3储存图象。例如，控制单元100控制帧存储器3向存储器2输出在预定搜索区域sp和基准区域内的象素以及搜索区域sp中的搜索区域tp和基准区域tr的相位。
现在对各个部件进行更详细的描述。根据本实施例的图象处理器件1的存储器2例如具有多个栅形组元20，如图5(a)所示。为了简化，假设在存储器2中设置3×3组元(象素)20-1至20-9。组元20每一个都互相连接。
现在描述在同一时间对每个组元(象素)20执行匹配的情况。如图5(b)所示，组元20具有多个象素21如象素21-1和21-2、最小象素差值存储单元22、运动矢量存储单元23、减法器24、绝对值产生单元25、比较更新单元26和更新单元27。
具体地，例如，组元20不仅记忆(也称作“储存”)一个象素，而且储存两个象素的象素值。进而，存储结构还计算两个象素差值的绝对值，并储存所获得的差值绝对值。  “匹配数据”是与预定匹配处理有关的数据，如象素值、差值绝对值、表示预定计算结果的数据、等等。
象素21具有多个象素21，如象素21-1和21-2。在帧存储器3-T中的搜索区域sp内的象素的象素值例如输入到象素21-1。例如，在帧存储器3-T-1中的基准区域tr内的象素的象素值输入到象素2 1-2。最小象素差值存储单元22储存差值绝对值。对于最小象素差值存储单元22，由比较更新单元26执行对所储存差值绝对值的更新。运动矢量存储单元23储存后述的运动矢量。对于运动矢量存储单元23，由更新单元27执行运动矢量的更新。减法器24向绝对值产生单元25输出在储存在象素21-1中的象素值与储存在象素21-2中的象素值之间的差值。
绝对值产生单元25基于从减法器24输出的象素21-1的象素值与象素21-2的象素值之间的差值，向比较更新单元26输出差值的绝对值(以下称作“差值绝对值”)。比较更新单元26对从绝对值产生单元25输出的差值绝对值和储存在最小象素差值存储单元22中的差值绝对值进行比较。
对于所述比较的结果，在从绝对值产生单元25输出的差值绝对值更小的情况下，比较更新单元26把更小值储存到最小象素差值存储单元22中，从而更新差值绝对值。在根据上述比较结果而更新储存在最小象素差值存储单元22中的差值绝对值时，比较更新单元26向更新单元27输出表示已经更新差值绝对值的更新信息。接着，更新单元27基于从比较更新单元26输出的更新信息以及相位信息而更新储存在运动矢量存储单元23中的运动矢量。具体地，在比较更新单元26输出表示已经更新差值绝对值的更新信息的情况下，更新单元27控制运动矢量存储单元23，把此时与搜索区域tp和基准区域tr有关的相位信息(相位)储存为运动矢量，从而更新运动矢量。如上所述，存储器2储存除象素值之外的信息，如运动矢量和差值绝对值，作为附加信息。
减法器24、绝对值产生单元25、比较更新单元26和更新单元27都是通过寄宿在存储器芯片上的电路而实施的。此电路是可编程的程序逻辑、固定电路或其任意组合。
图6示出用于描述与图4所示图象处理器件的象素匹配有关的相位更新和读出搜索区域tp的视图。图6(a)为说明在搜索区域内的相位的视图。图6(b)说明相位和搜索区域tp之间的关系。所述相位(相位信息)例如为在搜索区域sp和搜索区域tp的中心之间的偏移。例如，相位按图6(a)所示定义。具体地，如图6(a)所示，在搜索区域sp(5×5)的中心与搜索区域tp(3×3)的中心匹配的情况下，相位为(0，0)。在搜索区域sp(5×5)的中心从搜索区域tp(3×3)的中心向着图中右侧偏移一个象素的情况下，相位为(1，0)。对于除上述实例之外的相位，搜索区域sp的中心从搜索区域tp中心的偏移以相同的方式定义成相位坐标。
图6(b)为说明相位更新和读出搜索区域tp的视图。例如，控制单元100按以下顺序更新相位(-1，-1)、(0，-1)、(1，-1)、(-1，0)、(0，0)、(1，0)、(-1，1)、(0，1)、(1，1)，根据更新的相位而读出搜索区域tp内的象素，并把象素输出到存储器2中的相应组元20。如后所述，在差值绝对值为最小值时的相位被视为真实运动矢量。
注意，对于控制单元100，象素读出的顺序和相位更新的顺序并不局限于此排列。应该读出所有的象素，并且读出顺序不受上述排列限制。这里，在图5中，包括在每个组元中的象素21-1在搜索区域tp内储存一个象素。
图7为描述图1所示图象处理器件1的操作的流程图。参照图7，结合图象处理器件1的操作，具体地，结合用于产生运动矢量的操作，进行描述。例如，控制单元100在存储器2的相应组元20内储存帧存储器3-T-1的任意3×3基准区域tr的每个象素(ST11)。具体地，如图4所示，基准区域tr的一个象素储存在每个组元20的象素2 1-2中。控制单元100在更新(偏移)搜索区域sp内相位的同时，读出帧存储器3-T中搜索区域tp(3×3)内的象素(ST12)，并且，在存储器2的相应组元20中储存每个象素(ST13)。具体地，如图4所示，控制单元100在每个组元20的象素21-1中储存对应象素。例如，如图6所示，对于控制单元100，搜索区域tp的相位更新和在搜索区域tp内的象素读出总共执行9次，同时，在(-1，-1)和(1，1)之间的范围内移动相位一个象素，并且，在执行9次所述处理之后，结束处理。
在储存在象素21-1和象素21-2中的象素之间差值的绝对值由每个组元20的减法器24和绝对值产生单元25计算。所得到的值被定义为差值绝对值“a”(ST14)。比较更新单元26比较差值绝对值“a”和储存在存储器2内组元20的最小象素差值存储单元22中的差值绝对值(如，以下称作“差值绝对值b”)(ST15)。对于步骤ST15中的比较结果，在差值绝对值“a”更小的情况下，比较更新单元26把差值绝对值“a”储存到最小象素差值存储单元22中，由此更新差值的绝对值(ST16，ST17)。相反，在差值绝对值“a”更大的情况下，比较更新单元26不执行更新(ST16)，流程前进到用于更新下一搜索区域tp的相位并读出搜索区域tp内的象素的处理。
注意，在初始阶段中，组元20的最小象素差值存储单元22不储存差值绝对值。在此情况下，最小象素差值存储单元22无条件地储存初始的差值绝对值。
在步骤S17中，只在差值绝对值被更新的情况下，比较更新单元26才通过更新单元27输出表示差值绝对值已被更新的更新信息。
在比较更新单元26向更新单元27输出表示差值绝对值已被更新的更新信息的情况下，更新单元27使运动矢量存储单元23储存搜索区域tp在此时间点的相位，由此更新运动矢量(ST18)。
在所有相位的更新结束时(ST19)，对于每个组元20，最小象素差值存储单元21-2储存在搜索区域sp的象素之间的差值绝对值的最小值，并且，其中最小值已被更新的相位(运动矢量)储存在运动矢量存储单元23中。另一方面，在步骤ST19中，在所有相位的更新还未结束时，流程返回到步骤S12中的处理。
基于象素20之间差值的绝对值而获得每个运动矢量，其中，运动矢量表示在基准区域tr内的每个象素20在时间T移动到搜索区域sp内的什么位置。最后，读出单元4从相应的组元20读出每个运动矢量，并输出运动矢量。
如上所述，设置多个用于储存图象数据的帧存储器3、基于帧存储器3的数据而产生并储存运动矢量的存储器2、用于从存储器读出每个组元的运动矢量的读出单元4、以及用于控制这些单元的控制单元100。进而，可在存储器2上设置多个栅形组元20。
组元20包括：用于储存不同帧存储器的预定象素的象素值的象素21-1-1和21-1-2；用于输出象素21-1-1和象素21-1-2之间差值的减法器24；用于输出来自减法器24的差值的绝对值(差值绝对值)的绝对值产生单元25；用于储存差值绝对值的最小象素差值存储单元22；比较更新单元26，此单元比较所获得的差值绝对值与储存在最小象素差值存储单元22中的差值绝对值，根据比较结果而更新储存在最小象素差值存储单元22中的差值绝对值，并输出表示已执行更新的更新信息；以及更新单元27，该单元使运动矢量存储单元23把此时的相位坐标储存为运动矢量，以便在从比较更新单元26输出表示已执行更新的更新信息的情况下，更新运动矢量，从而能用相对小的计算量并以及时的方式来计算运动矢量。
进一步地，可同时执行以下两个相位更新程序：计算评估表；以及在搜索区域sp内搜索所有相位的最小值。
进而，对于本实施例，只更新差值绝对值的最小值，并相应地，例如，不需要在另一存储器上产生用于搜索最小值的评估表，从而使存储器的尺寸减小。
注意，虽然已结合3×3尺寸的存储器2描述根据本发明的图象处理器件1，但存储器的尺寸不限制于此实例。例如，在所设置的存储器2具有用于一个帧的所有象素的组元20时，可在相位更新结束时，同时获得一个帧的所有象素的运动矢量。
第二实施例
根据本实施例的图象处理器件1检测在具有多个帧的运动图象的帧与帧之间的运动矢量。检测运动矢量的一个方面是块匹配，如下所述。
块匹配
图8为说明根据本发明的第二实施例的图象处理器件1a的功能框图。
图9(a)为说明图8所示图象处理器件1a的存储结构的视图。图9(b)为说明图8所示存储结构的特定实例的视图。图9(c)为说明图8所示图象处理器件1 a的用于储存运动矢量的存储结构的视图。
如图8所示，根据本实施例的图象处理器件1a包括：存储器2a；多个帧存储器3a，如3a-T、T-1；读出单元4；以及，控制单元100a。对于根据本发明的第一实施例的图象处理器件1，例如，通过使用3×3组元的3×3块匹配而获得某个感兴趣象素的运动矢量。
对于第二实施例的图象处理器件1a，同时获得相邻的3×3象素的运动矢量。存储器2a不仅储存一个象素，而且以与根据第一实施例的图象处理器件1的存储器2相同的方式储存两个象素，并且计算它们之间差值的绝对值。进而，存储器2a储存所获得的差值绝对值。
现在描述其中应用象素匹配的块匹配的具体实例。
在图象处理器件1a与根据第一实施例的图象处理器件1之间的主要差别是存储结构上的差别。相应地，现在只描述所述差别。
如图a所示，例如，根据本实施例的图象处理器件1a的存储器2a具有多个栅形组元20a。
为了简化，在存储器2a中设置5×5组元20a-1至20a-25。如图所示，组元20每一个都互相连接。
现在描述同时对每个组元20执行匹配的情形。这里，在不指定组元20a-1至20a-25的情况下，所述组元简称为组元(象素)20a。现在描述把搜索区域sp看作是从(-1，-1)到(1，1)且增量为一个象素的相位。
如图9(a)所示，存储器2a可把储存在靠近感兴趣组元(如组元20a-5)的8个组元(如组元20a-1至20a-4和组元20a-6至20a-9)中的差值绝对值通过组元之间的连线而传送到感兴趣组元。每个组元20a具有接收9个差值绝对值的机构和用于相加差值绝对值的机构。因而，感兴趣组元20a获得差值绝对值之和，并且储存所得到的和。注意，每个组元20a对所得到的差值绝对值之和与先前储存的差值绝对值之和进行比较，并且在所得到的值更小的情况下，更新储存的值。在更新差值绝对值之和的情况下，还用与获得的差值绝对值之和对应的运动矢量更新储存的运动矢量。
以下详细描述。如图9(c)所示，组元20a包括多个象素21a如象素21a-1和21a-2、象素差值存储单元22a-1、差值之和存储单元22a-2、运动矢量存储单元23、减法器24、绝对值产生单元25a、比较更新单元26a、更新单元27a、以及相加单元28。在组元20a与根据第一实施例的组元20之间的区别包括象素差值存储单元22a-1、差值之和存储单元22a-2、绝对值产生单元25a、比较更新单元26a以及相加单元28。
象素差值存储单元22a-1储存从绝对值产生单元25a输出的象素21a-1和象素21a-2之间的差值绝对值。象素差值存储单元22a-1向相加单元28输出所储存的差值绝对值。差值之和存储单元22a-2储存差值绝对值之和。如后所述，在预定的条件下，由比较更新单元26a更新差值绝对值之和。绝对值产生单元25a把从减法器24输出的象素21a-1和象素21a-2的象素值之间差值的绝对值(也称作差值绝对值)输出给象素差值存储单元22a-1。
比较更新单元26a比较从相加单元28输出的差值绝对值之和A与储存在差值之和存储单元22a-2中的差值绝对值之和(也称作差值绝对值之和B)，并且，在差值绝对值之和A根据比较而表现出更小的情况下，差值绝对值之和A就储存在差值之和存储单元22a-2中，由此更新差值的绝对值之和。
在比较更新单元26a执行上述更新的情况下，比较更新单元26a向更新单元27输出表示已经执行更新的更新信息。在差值绝对值之和A根据比较而表现出更大的情况下，比较更新单元26a不更新储存在差值之和存储单元22a-2中的差值绝对值之和B。相加单元28相加已从靠近该象素的8个组元20a(也称作8个相邻组元20a)输出的每个差值绝对值和从象素差值存储单元22a-1输出的差值绝对值，以便产生差值绝对值之和A，并输出给比较更新单元26a。
图10示出用于描述图8所示图象处理器件的操作的视图，并具体地，描述用于执行相位更新和读出搜索区域tp的操作。图10(a)为说明在搜索区域tp内的相位的视图。图10(b)为说明相位和搜索区域tp之间关系的视图。
如图10(a)所示，例如，相位表示在搜索区域sp的中心与搜索区域tp的中心之间的偏移。例如，可以说按图10(a)所示地定义相位的坐标。
具体地，如图10(a)所示，在搜索区域sp(7×7)的中心与搜索区域tp(5×5)的中心匹配的情况下，相位为(0，0)。例如，在搜索区域tp(5×5)的中心从搜索区域sp(7×7)的中心向着图中右侧偏移一个象素的情况下，相位为(1，0)。对于除上述实例之外的相位，搜索区域tp的中心从搜索区域sp的偏移以相同的方式定义成相位坐标。
例如，控制单元100a按以下顺序更新相位(-1，-1)、(0，-1)、(1，-1)、(-1，0)、(0，0)、(1，0)、(-1，1)、(0，1)、(1，1)，根据更新的相位而读出搜索区域tp内的象素，并把象素输出到存储器2a中的相应组元20a，如图10(b)所示。注意，控制单元100a的读出顺序并不局限于此排列。应该读出所有的象素，并且读出顺序不受上述排列限制。
图11为描述图8所示图象处理器件1a的操作的流程图。结合图11描述图象处理器件1a的操作，具体地，描述用于检测运动矢量的操作。在此情况下，在图9中，感兴趣组元被看作是实际储存运动矢量的组元20a之一。这里，感兴趣组元不是存储器2a结尾处的组元。例如，控制单元100a在存储器2a的相应组元20a内储存帧存储器3a-T-1的任意5×5基准区域tr的每个象素(ST21)。这里，在图8中，基准区域tr内的一个象素储存在每个组元20a的象素2 1-2中。
控制单元100a在搜索区域sp内更新相位的同时读出所述区域(ST22)，该区域内的每个象素储存在存储器2a内的相应组元20a内(ST23)。5×5区域称作“搜索区域tp”。这里，在图8中，搜索区域tp内的每个象素储存在相应组元20a所包括的象素21a-1中。例如，在图10所示的在(-1，-1)和(1，1)之间范围内的相位上，对更新搜索区域tp的相位和读出搜索区域tp内的象素执行9次，并且，在执行9次所述处理之后，结束处理。
接着，对于储存在象素21a-1中的值和储存在象素21a-2中的值，在每个组元20a内计算差值绝对值“a”(ST24)。此结果储存在每个组元20a内的象素差值存储单元22a-1中。随后，对于每个感兴趣组元，相加单元28从靠近感兴趣组元的8个组元20a读出差值绝对值“a”，并相加8个差值绝对值“a”和储存在象素差值存储单元22a-1中的差值绝对值“a”，以便获得差值绝对值之和A(ST25)。
其次，对于每个感兴趣组元，比较更新单元26a比较先前储存在差值之和存储单元22a-2中的差值绝对值之和(差值绝对值之和B)与从相加单元28输出的差值绝对值之和A(ST26，ST27)，并且，在差值绝对值之和A更小的情况下，储存在差值之和存储单元22a-2中的值从差值绝对值之和B更新为差值绝对值之和A(ST28)。
另一方面，在步骤ST27中，在差值绝对值之和A更大的情况下，比较更新单元26a不进行更新。对于控制单元100a，流程前进到更新下一相位，并读出搜索区域tp。流程返回到步骤ST22。注意，在初始阶段中，感兴趣组元不储存差值绝对值之和。在此情况下，就无条件地储存最初的差值绝对值之和。
在步骤ST29中，只在对感兴趣组元更新差值绝对值之和的情况下，比较更新单元26a用与真实运动矢量相应的相位更新先前储存在感兴趣组元的运动矢量存储单元23中的运动矢量。因而，在相位更新结束时(ST30)，感兴趣组元20a的9个象素每一个都储存在搜索区域sp内的象素之间差值的绝对值之和的最小值、以及相应的运动矢量。另一方面，在步骤ST30中，在判断所有相位的更新还未结束时，流程返回到步骤S22中的处理。
图12说明从储存在图8所示图象处理器件的帧存储器内的基准区域tr提取的块。
基于3×3块之间差值的绝对值之和，获得相应的运动矢量，其中，运动矢量表示从图12所示基准区域tr提取出的9个块3×3在下一时间点T将移动到搜索区域sp内的什么位置。最后，读出单元4从每个感兴趣组元读出这些运动矢量，并输出运动矢量。
如上所述，图象处理器件1a可基于差值之和而同时产生3×3象素的运动矢量，其中，差值绝对值之和储存在感兴趣组元和与之相邻的组元(3×3组元)中。
对于本实施例，虽然已经描述了用3×3块尺寸实现块匹配的存储器，以及在从(-1，-1)之间(1，1)增量为一个象素的范围内的搜索区域sp，但本发明不局限于此种配置。例如，可作出修改，其中，使用组元20a之间的连线，组元的每个象素连接到外围5×5组元20a，从而能执行更大块尺寸5×5的匹配。
虽然在存储器2a内组元总数为5×5的情况下进行描述，但例如在对存储器2a设置用于一个帧的全部象素的组元的情况下，可在相位更新之后同时获得全部象素的运动矢量。
进而，存储器2a由更大数量的组元20a组成，每个组元20a具有检测运动矢量的功能，从而能一次获得多个相邻象素的运动矢量。
第三实施例
对应象素检测
对于根据上述第二实施例的图象处理器件1a的象素匹配，在存储器2a内储存运动矢量，作为块匹配的最终结果。
根据第三实施例的图象处理器件1b直接储存和输出感兴趣帧、以及前面和后面帧的“对应象素”。
在这，对应象素指包括某个感兴趣象素的多个象素，其中，甚至在运动图象中的情况下，通过用运动矢量纠正，感兴趣象素可与前面和后面帧的象素相对应。储存的对应象素可用于后述的等级分类适配处理。
图13为用于描述根据本发明第三实施例的图象处理器件提取对应象素的概念视图。水平轴表示X轴，垂直轴表示Y轴，而斜交轴表示时轴。对于本实施例，假设这样一种情况：提取5个对应象素到存储器中，所述对应象素涉及感兴趣象素、以及在感兴趣帧之前两个帧到感兴趣帧之后两个帧之间的帧范围内与感兴趣象素对应的象素。
为了简化，现在结合3×3象素块以及在从(-1，-1)到(1，1)且增量为一个象素的范围内的搜索区域sp进行描述，以便检测对应象素。进一步地，加上限制条件：在感兴趣帧之前两个帧到感兴趣帧之后两个帧之间范围内，对应象素的速度是恒定的。而且，在对应象素例如位于帧T-1的(-1，-1)位置(图13中的象素7)上时，帧T-2的对应象素总是位于(-2，-2)(图13中的象素9)，帧T+1的对应象素总是位于(1，1)(图13中的象素19)，而帧T+2的对应象素总是位于(2，2)(图13中的象素41)。注意，感兴趣象素的位置取作(0，0)(图13中的象素5)。
根据本实施例的图象处理器件1b计算与感兴趣帧T的感兴趣象素对中的3×3块以及除感兴趣帧之外的其它帧的每个3×3块的差值绝对值，并且产生运动矢量，从而，所得到的差值绝对值之和最小。
对于差值绝对值之和最小的相位，作为图13所示3×3块中心的每个象素储存在图象处理器件1b内的存储器2b中，并输出，作为对应象素。
图14为说明根据本发明的第三实施例的图象处理器件的功能框图。如图14所示，根据本实施例的图象处理器件1b包括：存储器2b；多个帧存储器3b，如帧存储器3b-T-2、3b-T-1、3b-T、3b-T+1和3b-T+2；读出单元4；以及，控制单元100b。在图象处理器件1 b与根据第二实施例的图象处理器件1a之间的主要差别是存储结构上的差别。
进而，由于图象处理器件1b具有5个帧存储器3b-T-2、3b-T-1、3b-T、3b-T+1和3b-T+2，因此控制单元的操作不同。现在只描述所述差别。
例如，控制单元100b控制帧存储器3b-T+2储存输入的图象，并在预定时刻把此图象输出给帧存储器3b-T+1。控制单元100b控制帧存储器3b-T+1储存从帧存储器3b-T+2输出的图象，并在预定时刻把此图象输出给帧存储器3b-T。控制单元100b控制帧存储器3b-T储存从帧存储器3b-T+1输出的图象，并在预定时刻把此图象输出给帧存储器3b-T-1。控制单元100b控制帧存储器3b-T-1储存从帧存储器3b-T输出的图象，并在预定时刻把此图象输出给帧存储器3b-T-2。控制单元100b控制帧存储器3b-T-2储存从帧存储器3b-T-1输出的图象。控制单元100b向存储器2b输出帧存储器3b-T的预定基准区域(5×5)内象素的象素值。控制单元100b向存储器2b输出预定搜索区域spT-2(9×9)内的搜索区域tpT-2(5×5)内的象素和帧存储器3b-T-2的对应相位信息。控制单元100b向存储器2b输出预定搜索区域spT-1(7×7)内的搜索区域tpT-1(5×5)内的象素和帧存储器3b-T-1的对应相位信息。控制单元100b向存储器2b输出预定搜索区域spT+1(7×7)内的搜索区域tpT+1(5×5)内的象素和帧存储器3b-T+1的对应相位信息。控制单元100b向存储器2b输出预定搜索区域spT+2(9×9)内的搜索区域tpT+2(5×5)内的象素和帧存储器3b-T+2的对应相位信息。
在读出上述搜索区域tp(5×5)内的象素的情况下，例如，控制单元100b设置帧存储器3b-T-2、3b-T-1、3b-T、3b-T+1和3b-T+2的搜索区域tp内的象素，以便为图14所示的线性。
图15(a)为说明图14所示图象处理器件1b的存储器2b的视图。图15(b)为说明用于储存对应象素的存储器的视图。图15(c)为说明图15(a)所示存储器2b的组元20b的功能框图。
例如，如图1 5所示，根据本实施例的图象处理器件1b的存储器2b具有5×5组元20b-1至20b-25，并且组元20b每一个都互相连接。
虽然在3×3块匹配情况下，为获得某个感兴趣象素的对应象素，3×3组元就足够，但对于根据本实施例的图象处理器件1b，同时获得相邻3×3象素的运动矢量，如图14(b)所示。
例如，如图15(a)所示，存储器2b具有多个组元20b，如栅形的组元20b-1至20b-25。组元20b包括多个象素21b，如象素21b-T、21b-T+2、21b-T+1、21b-T-1和21b-T-2；差值绝对值之和A存储单元22b-1；差值绝对值之和B存储单元22b-2；多个减法器24b，如减法器24b-1至24b-4；多个绝对值产生单元25b，如绝对值产生单元25b-1至25b-4；加法器250；比较更新单元26b；更新单元27b；相加单元28；以及多个对应象素210b，如对应象素210b-T、210b-T+2、210b-T+1、210b-T-1和210b-T-2。
象素21b-T储存帧T的感兴趣的象素(也称作“感兴趣象素”)的象素值。象素21b-T+2、21b-T+1、21b-T-1和21b-T-2每一个都储存以下象素的四个象素值：如图13所示，所述象素位于包括感兴趣象素的直线上，所述感兴趣的象素是在除感兴趣帧以外的感兴趣帧之前两个帧的帧和感兴趣帧之后两个帧的帧之间的范围内的帧上时空中。
差值绝对值之和A存储单元22b-1储存从感兴趣象素和已储存的四个象素每一个获得的差值绝对值之和(也称作“差值绝对值之和A”)。差值绝对值之和B存储单元22b-2储存在靠近感兴趣组元的八个组元(也称作八个相邻组元)中储存的差值绝对值之和A的总和(也称作“差值绝对值之和B”)。
减法器24b-1对从象素3b-T-2输出的象素值和从象素3b-T输出的象素值执行减法，并且输出给绝对值产生单元25b-1。减法器24b-2对从象素3b-T-1输出的象素值和从象素3b-T输出的象素值执行减法，并且输出给绝对值产生单元25b-2。减法器24b-3对从象素3b-T+1输出的象素值和从象素3b-T输出的象素值执行减法，并且输出给绝对值产生单元25b-3。减法器24b-4对从象素3b-T+2输出的象素值和从象素3b-T输出的象素值执行减法，并且输出给绝对值产生单元25b-4。
绝对值产生单元25b-1把从减法器24b-1输出的差值的绝对值(差值绝对值)输出给相加单元250。绝对值产生单元25b-2把从减法器24b-2输出的差值绝对值输出给相加单元250。绝对值产生单元25b-3把从减法器24b-3输出的差值绝对值输出给相加单元250。绝对值产生单元25b-4把从减法器24b-4输出的差值绝对值输出给相加单元250。
加法器250把从绝对值产生单元25b-1至25b-4输出的差值绝对值进行相加，并输出给差值绝对值之和A存储单元22b-1。
比较更新单元26b比较从相加单元28输出的差值绝对值之和B与储存在差值绝对值之和B存储单元22b-2中的差值绝对值之和B，并且在比较结果是从相加单元28输出的差值绝对值之和B更小的情况下，作为更小值的差值绝对值之和B储存在差值绝对值之和B存储单元22b-2中，由此执行更新。在比较更新单元26b执行上述更新操作的情况下，比较更新单元26b向更新单元27b输出表示储存在差值绝对值之和B存储单元22b-2中的差值绝对值之和B已被更新的更新信息。
在比较更新单元26b输出表示差值绝对值之和B已被更新的更新信息的情况下，更新单元27b控制对应象素210-T-2、210-T-1、210-T+1和2 10-T+2储存从象素21b-T-2、21b-T-1、21b-T、21b-T+1和21b-T+2输出的象素值，从而执行更新。
相加单元28对从差值绝对值之和A存储单元22b-1输出的差值绝对值之和A与从相邻8个组元20b输出的差值绝对值之和A进行相加，并输出给比较更新单元26b。
如上所述，组元20b对感兴趣象素21b-T以及其它四个已储存的每个象素(象素21b-T+2、21b-T+1、21b-T-1和21b-T-2)计算差值绝对值。进而，组元20b可执行用于获得这些差值绝对值的计算。
对于由根据本实施例的图象处理器件1b所执行的块匹配，如图15(a)所示，在靠近感兴趣组元(如，图15(a)中的组元20b-5)的八个组元(图15(a)中的组元20b-1至20b-4以及20b-6至20b-9)中储存的差值绝对值之和A可以通过组元之间的连线而传送给感兴趣组元20b-5。
每个组元20b具有接收这9个差值绝对值之和A的部件和用于相加所有接收到的值的部件。相应地，感兴趣组元可获得差值绝对值之和A的总和(差值绝对值之和B)，并储存所得到的值。
注意，组元20b比较所得到的差值绝对值之和B与先前储存的差值绝对值之和，并且在所获得值更小的情况下，更新存储值。
在更新差值绝对值之和的情况下，用此时储存的5个象素(储存在象素21b-T、21b-T+2、21b-T+1、21b-T-1和21b-T-2中的象素)更新事先储存在对应象素210b-T、210b-T+2、210b-T+1、210b-T-1和210b-T-2中的所有象素。
图16(a)为说明在帧T+2上搜索区域spT+2(9×9)和搜索区域tpT+2的相位的视图。图16(b)为说明在帧T+1上搜索区域spT+1(7×7)和搜索区域tpT+1的相位的视图。图16(c)为说明在帧T-1上搜索区域spT-1(7×7)和搜索区域tpT-1的相位的视图。图16(d)为说明在帧T-2上搜索区域spT-2(9×9)和搜索区域tpT-2的相位的视图。图16(e)为描述图14所示图象处理器件1b更新相位并读出搜索区域tp的处理的视图。
控制单元100b设置图16(a)-图16(d)所示相位的坐标。水平轴表示x轴，而垂直轴表示y轴。例如，如图16(e)所示，用搜索区域tpT+1的相位作为标准，控制单元100b按以下次序用(-1，-1)、(0，-1)、(1，-1)、(-1，0)、(0，0)、(1，0)、(-1，1)、(0，1)和(1，1)顺序地更新相位，并且根据相位的更新而更新每个帧的搜索区域sp内的搜索区域tp。在此情况下，根据每个相位，运动矢量为(-1，-1)、(0，-1)、(1，-1)、(-1，0)、(0，0)、(1，0)、(-1，1)、(0，1)和(1，1)。进而，控制单元100b控制每个组元20b在象素21b-T+2中储存搜索区域tpT+2的一个象素，控制每个组元20b在象素21b-T+1中储存搜索区域tpT+1的一个象素，控制每个组元20b在象素21b-T-1中储存搜索区域tpT-1的一个象素，并控制每个组元20b在象素21b-T-2中储存搜索区域tpT-2的一个象素。
图17为描述图14所示图象处理器件的操作的流程图。在此情况下，在图15(a)中，感兴趣组元被定义为实际储存对应象素的象素之一。感兴趣组元不是存储器结尾处的组元。首先，在假设储存包含感兴趣象素的帧的帧存储器T的存储器2b内的组元20b中储存任意5×5基准区域tr的每个象素。这里，在图15(c)中，每个组元20b的象素20b-T储存基准区域tr内的一个象素(ST101)。
接着，如图14所示，从在时间上位于感兴趣帧之前或之后的帧存储器3b-T+2、3b-T+1、3b-T-1和3b-T-2读出5×5区域，同时，更新搜索区域sp内的相位，并且，在此区域内的每个象素储存在存储器2b内的对应组元20b中(ST102)。
所述5×5区域也称作“搜索区域tp”。注意，如上所述，例如，从每个帧存储器读出的搜索区域tp的相位总是位于图13所示时空中的直线上。相应地，不对每个帧执行相位更新，而是在更新一个作为标准的帧时，  自动地决定其它相位。
例如，取搜索区域tpT+1的相位作为标准，在搜索区域tpT+1的空间相位是(1，1)的情况下，从帧存储器T+2读出的搜索区域tpT+2的空间相位是(2，2)，从帧存储器T-1读出的搜索区域tpT-1的空间相位是(-1，-1)，并且，从帧存储器T-2读出的搜索区域tpT-2的空间相位是(-2，-2)。
例如，如图16所示，以搜索区域tpT+1的相位作为在(-1，-1)到(1，1)之间范围内的标准，控制单元100b执行9次搜索区域tp的相位更新和搜索区域tp内的象素读出，并且，在执行9次所述处理之后，结束处理。
每个组元20b的象素21b-T-1储存搜索区域tpT-1的一个象素(ST103)。包括在每个组元20b中的象素21b-T-2储存搜索区域tpT-2的一个象素(ST104)。包括在每个组元20b中的象素21b-T+1储存搜索区域tpT+1的一个象素(ST105)。包括在每个组元20b中的象素21b-T+2储存搜索区域tpT+2的一个象素(ST106)。上述步骤ST103-ST106的顺序并不局限于此顺序。
接着，在每个组元20b内的减法器24b-2和绝对值产生单元25b-2对储存在象素21b-T中的值和储存在象素21b-T-1中的值计算差值绝对值a(ST107)。以相同的方式，在每个组元20b内的减法器24b-1和绝对值产生单元25b-1对储存在象素21b-T中的值和储存在象素21b-T-2中的值计算差值绝对值b(ST108)。以相同的方式，在每个组元20b内的减法器24b-3和绝对值产生单元25b-3对储存在象素21b-T中的值和储存在象素21b-T+1中的值计算差值绝对值c(ST109)。以相同的方式，在每个组元20b内的减法器24b-4和绝对值产生单元25b-4对储存在象素21b-T中的值和储存在象素21b-T+2中的值计算差值绝对值d(ST110)。上述步骤ST107-ST110的顺序并不局限于此顺序。
随后，加法器250通过相加差值绝对值a、b、c和d而产生差值绝对值之和A，并且储存在差值绝对值之和A存储单元22b-1中(ST111)。接着，感兴趣组元20b-5读出储存在靠近感兴趣组元的8个组元中的差值绝对值之和A，其中，所述组元是用线连接的，如，靠近组元20b-5的8个组元20b-1至20b-9，组元20b-5例如作为如图15所示的感兴趣组元。
例如，对于感兴趣组元20b-5，相加单元28b把这些值与从加法器250输出的差值绝对值之和A相加，得到差值绝对值之和B(ST112)，并且输出给比较更新单元26b。接着，对于每个感兴趣组元20b，比较更新单元26b比较所得到的差值绝对值之和B与先前储存在差值绝对值之和B存储单元22b-2中的差值绝对值之和(差值绝对值之和C)(ST113)，并且，在差值绝对值之和B更小的情况下，储存的值从差值绝对值之和C更新为差值绝对值之和B(ST114、ST115)。相反，在差值绝对值之和B更大的情况下，不执行更新，并且，流程前进到下一相位的更新和读出搜索区域tp。流程返回到步骤ST102。
在初始阶段中，感兴趣组元20b不储存差值绝对值之和C。在此情况下，无条件地储存差值绝对值之和B。接着，对于感兴趣组元20b的更新单元27b，只有在储存在差值绝对值之和B存储单元22b-2中的差值绝对值之和被更新的情况下，储存在象素21b-T、21b-T+2、21b-T+1、21b-T-1和21b-T-2中的象素值分别储存到对应象素210b-T、210b-T+2、210b-T+1、210b-T-1和210b-T-2中。也就是说，感兴趣组元的对应象素用真实的对应象素更新(ST116)。
因而，在更新结束时，9个感兴趣组元20b每一个都储存搜索区域sp的差值绝对值之和B的最小值、以及在储存最小值时被更新的对应象素(ST117)。另一方面，如果判断在步骤ST117中所有象素的更新没有结束，流程就返回到步骤ST102中的处理。
如图12所示，基于在3×3块之间的差值绝对值之和，通过计算获得以下值，所述值表示从基准区域tr提取的9个3×3块在时间点T移动到搜索区域sp内的什么位置。在此状态下，虽然从此方面考虑，本实施例的块匹配与根据第二实施例的图象处理器件1a的块匹配相同，但是对于根据第三实施例的图象处理器件1b，此时在所述块中心的象素直接储存并输出作为感兴趣象素的对应象素。
进而，对于本实施例，不通过使用两个帧的计算来执行块匹配，而是通过使用5个帧的计算来执行，假设在所述帧内的速度是恒定的，因而，即使图象包含噪声，也提高对应象素的检测精确度，而且，所述计算适合使用后述等级分类适配处理的噪声消除。
最后，例如，读出单元4读出在每个感兴趣组元的5个帧上的对应象素，并且输出。例如，所述输出结果用于后述的等级分类适配处理。
本发明不局限于上述布置。例如，  虽然在本实施例中已经描述：存储器执行提取和输出块尺寸为3×3的对应象素以及在从(-1，-1)到(1，1)且增量为一个象素的范围内的块相位，但是，本发明并不受此布置的限制。
例如，可进行修改，其中，每个感兴趣组元用线连接到外围5×5组元，从而可用大于本实施例的5×5块来执行处理。进而，虽然已经描述这样一种情况：在存储器2b内组元总数为5×5，但例如，如果对存储器2a设置用于一个帧的全部象素的组元，就可在相位更新之后同时获得全部象素的对应象素。
第四实施例
使用对应象素检测的等级分类适配处理
图18为说明根据本发明的第四实施例的图象处理器件1 c的功能框图。根据第四实施例的图象处理器件1c通过使用根据第三实施例的图象处理器件1b的存储器2b的等级分类适配处理来执行噪声消除。
等级分类适配处理是这样一种过程，其中，通过降低原始图象的分辨率而从高分辨率原始图象(也称作“导师图象”)形成低分辨率图象(也称作“学生图象”)；以统计的方式用导师图象和学生图象来执行学习；并且在输入图象为低分辨率图象的情况下，使用所述学习的数据把输入图象转换为高分辨率图象。
虽然在日本专利申请H10-304058中详细描述等级分类适配处理及其噪声消除，其全部内容在此引作参考，但根据第四实施例的图象处理器件1c具体地使用存储器来执行上述处理。虽然是假设输入图象例如具有SD(标准)格式的这样一种情况，但对于具有其它格式的图象也可执行相同的处理。
学习
如图18所示，根据第四实施例的图象处理器件1c包括：存储器2b；多个帧存储器3b，如帧存储器3b-T+2、3b-T+1、3b-T、3b-T-1和3b-T-2；读出单元4c；噪声相加单元5；类码产生单元6；标准方程相加单元7；系数存储单元(RAM)8；以及，控制单元100c。在图象处理器件1c与根据第三实施例的图象处理器件1b之间的主要差别在于：图象处理器件1c进一步包括噪声相加单元5、类码产生单元6；标准方程相加单元7和系数存储单元(RAM)8。以下只描述所述差别。
噪声相加单元5把噪声分量加到输入图象中。例如，噪声相加单元5用计算机模拟而产生随机噪声，以便加到输入图象中。
图19为说明图18所示图象处理器件1c的噪声相加单元的第一特定实例的功能框图。如图19所示，根据第一特定实例的噪声相加单元5-1包括：RF调制器51、衰减器52、以及RF解调器53。在噪声相加单元5-1中，RF调制器51对输入图象如SD图象执行RF调制处理；衰减器52执行衰减处理；并且RF解调器53执行RF解调处理，从而把噪声增加到图象上。图20为说明图18所示图象处理器件1c的噪声相加单元的第二特定实例的功能框图。
如图20所示，根据第二特定实例的噪声相加单元5-2包括：RF调制器51、衰减器52、RF解调器53、减法器54、以及加法器55。
在噪声相加单元5-2中，RF调制器51对具有均匀背景(具有相同级别)的图象执行RF调制处理；衰减器52执行衰减处理；并且RF解调器53执行RF解调处理；减法器54对经历前述处理的图象和具有均匀背景的原始图象执行相减处理，以便只把噪声分量输出给加法器55；加法器55则把噪声分量加到输入图象(SD图象)上，并输出图象。
图21为说明图18所示图象处理器件1c的噪声相加单元的第三特定实例的功能框图。如图21所示，根据第三特定实例的噪声相加单元5-3包括：RF调制器51、衰减器52、RF解调器53、减法器54、加法器55、以及帧加法器56。
通过噪声相加单元5-3，RF调制器51对具有均匀背景(具有相同级别)的图象执行RF调制处理；衰减器52执行衰减处理；并且RF解调器53执行RF解调处理；帧加法器56和减法器54获得在经历噪声消除的图象和原始图象之间的差别，以提取噪声分量；加法器55则把噪声分量加到输入图象(SD图象)上，从而输出图象。
读出单元4c读出每个组元的对应象素，并输出给类码产生单元6和标准方程相加单元7。类码产生单元6基于从读出单元4c输出的每个组元的对应象素的值而检测噪声分量，产生类码，并输出给标准方程相加单元7。
图22是描述在图18所示图象处理器件1c的类码产生单元中产生类码(检测噪声分量)的原理的视图。例如，如图22所示，类码产生单元6检测从存储器2b顺序输出的对应象素的噪声分量，并把噪声分量转换为类码，由此产生类码。由存储器2b提取的一组对应象素在从T-2到T+2的时间内的5个帧上基本表现为相同的象素，并相应地，虽然在高速运动图象的情况下可观察到诸如模糊的变质，但该组对应象素基本上不随时间变化。
相应地，在观察到输出的对应象素的值发生变化的情况下，该变化可视为噪声。相应地，噪声中的变化转换为类码，从而能根据后述的噪声变化来执行预测计算。
类码产生单元6获得五个对应象素中的最大值b和最小值a，并产生与最大值b和最小值a对应的代码，例如具体为平均码，其中，对于每个对应象素，在对应象素的级别大于(最小值a+最大值b)/2的情况下，所述代码的位设置为1，相反，在对应象素的级别更小的情况下，所述代码的位设置为0。例如，在图22所示情况下，平均码为“10100”。
进而，类码产生单元6获得在对应象素内的动态范围(最大值b-最小值a)，并把所述值转换为二进制数据，从而产生动态范围码。例如，在动态范围为18的情况下，动态范围码为“10010”。类码产生单元6综合平均码和动态范围码，从而产生类码。例如，在上述情况下，平均码“10100”和动态范围码“10010”综合为类码“1010010010”。这里，平均码表示噪声随时间的变化，而动态范围码表示噪声级的幅度。
图象处理器件1c根据所述代码对对应象素进行分类，从而能执行对噪声中变化和图象级别的适当调整。具体地，标准方程相加单元7基于从读出单元4c输出的对应象素和导师图象的象素，对从类码产生单元6输出的每个类码产生标准方程，并对每个类码产生预测系数。具体地，标准方程相加单元7使用对应象素如XT+2、XT+1、XT、XT-1和XT-2以及导师图象中在与帧存储器T的对应象素XT相同的位置上的象素，而产生如表达式(2)所示的标准方程y，其中，导师图象未经历噪声相加。
y＝aT+2×XT+2+aT+1×XT+1+aT×XT+aT-1×XT-1+aT-2×XT-2    (2)
这里，aT+2、aT+1、aT、aT-1和aT-2是将要估计的预测系数。
标准方程相加单元7通过把用于每个类码的对应象素和导师图象的象素代入表达式(2)而产生标准议程，并且在获得所需数量的标准方程时，用最小平方估计来估计预测系数。
标准方程相加单元7确定每个类码的预测系数，并把得到的系数输出给系数存储单元(RAM)8。系数存储单元(RAM)8储存从标准方程相加单元7输出的每个类码的预测系数。
控制单元100c从储存在帧存储器T-2、T-1、T、T+1和T+2中的图象读出基准区域tr，并且在存储器2c中储存基准区域tr。进而，控制单元100c在另一帧存储器上设置与读出的基准区域tr对应的搜索区域sp，而且，读出搜索区域tp并储存在存储器2c中，同时更新相位。
控制单元100c如以光栅扫描的次序而顺序地读出基准区域tr，同时，以适当的方式在帧存储器T内偏移相位，从而，存储器2c可输出帧存储器内所有象素的对应象素。
图23为描述图18所示图象处理器件1c从用于等级分类适配处理的存储器中读出基准区域tr的原理的视图。图23(a)为说明在相位偏移之前状态的视图。图23(b)为说明在相位偏移之后状态的视图。
例如，在存储器2b的尺寸为5×5的情况下，控制单元100c提取基准区域tr，同时，以3×3象素的增量偏移相位，如图23(a)和图23(b)所示，并且相应地，对帧存储器T内的全部象素位置获得对应象素。相应地，对帧存储器T的全部象素进行处理。在此情况下，存储器2c获得相位互不相同的9个对应象素，以便读出一个基准区域tr，并顺序地输出9个对应象素。
以下简单描述具有上述配置的图象处理器件的操作，只描述差别之处。
噪声相加单元5把噪声分量加到输入图象中。经历噪声相加的输入图象顺序地储存到帧存储器T-2、T-1、T、T+1和T+2中。控制单元100c从每个帧存储器读出预定搜索区域sp内的搜索区域tp的象素的象素值以及的相位信息，并输出给存储器2b。读出单元4c从存储器2b中读出每个组元20b的对应象素，并输出给类码产生单元6和标准方程相加单元7。
类码产生单元6基于从读出单元4c输出的每个组元的对应象素的值而检测噪声分量，用上述图22所示的预定处理产生类码，并输出给标准方程相加单元7。标准方程相加单元7基于从读出单元4c输出的对应象素和导师图象的象素，而用上述预定处理对每个类码产生标准方程，对每个类码产生预测系数，并且预测系数储存在系数存储单元(RAM)8中。
如上所述，根据本实施例的图象处理器件1c包括：用于把噪声分量加到输入图象上的噪声相加单元5；帧存储器3b-T-2、3b-T-1、3b-T、3b-T+1和3b-T+2；存储器2b；用于读出存储器2b中每个组元的对应象素的读出单元4c；基于对应象素而产生类码的类码产生单元6；基于类码以及对应象素和输入象素而产生标准方程并产生预测系数的标准方程相加单元7；用于储存预测系数的系数存储单元(RAM)8；以及，用于执行预定处理的控制单元100c，因而，预定的输入图象经历噪声相加，能够基于输入图象和经历噪声相加的图象，产生类码，从而能执行学习。
例如，根据第五实施例的图象处理器件使用与学习结果有关的信息，而从经历噪声相加的图象产生高分辨率原始图象。
第五实施例
预测
图24为说明根据本发明的第五实施例的图象处理器件的功能框图。根据本实施例的图象处理器件1d例如用在描述根据第四实施例的图象处理器件1c时描述的类码来估计输入图象的噪声分量，并产生高分辨率原始图象。
如图24所示，图象处理器件1d包括：存储器2d；多个帧存储器3b，如帧存储器3b-T+2、3b-T+1、3b-T、3b-T-1和3b-T-2；读出单元4c；类码产生单元6；系数存储单元8d；估计计算单元9；以及，控制单元100d。在根据本实施例的图象处理器件1d与根据第四实施例的图象处理器件1c之间的主要差别在于：根据本实施例的图象处理器件1d进一步包括系数存储单元8d和估计计算单元9
在执行噪声预测处理的情况下，图象处理器件1d的控制单元100d在帧存储器3b-T+2至3b-T-2中储存输入图象的5个帧(在当前帧之前两个帧到当前帧之后两个帧的范围内的帧，包括当前帧)。控制单元100d从储存在每个帧存储器3b-T中的图象读出基准区域tr，并把基准区域tr储存在存储器2d中。控制单元100d在其它帧存储器3b-T-2、3b-T-1、3b-T+1和3b-T+2上设置与读出的基准区域tr对应的搜索区域sp，读出搜索区域tp，同时更新相位，并把搜索区域tp储存在存储器2d中。例如，控制单元100d以诸如光栅扫描的次序而顺序地读出基准区域tr，同时，在帧存储器T内以预定次序偏移相位，并且存储器2d最终输出帧存储器内所有象素的对应象素。
例如，在存储器3d的尺寸为5×5的情况下，控制单元100d提取基准区域tr，同时，以3×3象素的增量偏移相位，如图23(a)和图23(b)所示，对帧存储器T内的全部象素位置获得对应象素。相应地，对帧存储器T的全部象素进行处理。在此情况下，存储器2d获得相位互不相同的9个对应象素，以便读出一个基准区域tr，并顺序地输出这9个对应象素。类码产生单元6基于象素的噪声分量，而对已从存储器2d顺序输出的每组对应象素产生类码。
在根据第四实施例的图象处理器件1c的情况下，系数存储单元(ROM)8d储存每个类码的预测系数，所述类码在学习时将要储存到系数存储单元8中。系数存储单元8d基于所储存的从类码产生单元6输出的类码，而输出预测系数。估计计算单元9基于从系数存储单元8d输出的预测系数和对应象素，而估计预测值，并输出预测值。具体地，例如，估计计算单元9基于从系数存储单元8d输出的预测系数aT+2、aT+1、aT、aT-1和aT-2以及对应象素XT+2、XT+1、XT、XT-1和XT-2，而用上述表达式(2)计算预测值y，并输出所得到的预测值y。预测值y是已消除噪声分量的象素值。
以下简单描述具有上述配置的图象处理器件的操作，只描述差别之处。控制单元100d把经过噪声相加的输入图象储存在帧存储器T-2、T-1、T、T+1和T+2中。通过控制单元100d，从每个帧存储器读出预定搜索区域sp内的搜索区域tp的象素的象素值以及相位信息，并输出给存储器2d。通过读出单元4c，从存储器2d中读出每个组元20d的对应象素，并输出给类码产生单元6和估计计算单元9。
在类码产生单元6中，基于从读出单元4c输出的每个组元的对应象素的值而检测噪声分量，用上述图23所示的预定处理产生类码，并且，类码输出给估计计算单元9。在估计计算单元9中，基于从系数存储单元(ROM)8d输出的预测系数和对应象素而执行上述预定的处理，估计并输出预测值。
如上所述，根据本实施例的图象处理器件1d包括：帧存储器3b-T-2、3b-T-1、3b-T、3b-T+1和3b-T+2；存储器2d；用于读出存储器2d内每个组元的对应象素的读出单元4c；根据对应象素产生类码的类码产生单元6；用于储存与类码相应的系数的系数存储单元(ROM)8d；基于从系数存储单元(ROM)8d输出的预测系数和对应象素而产生预测值的估计计算单元9；以及，用于执行预定控制的控制单元100d，因而，相对于储存在帧存储器T中的具有噪声的输入图象，图象处理器件1d能以一个象素的增量输出经过噪声消除的象素。
进而，采用上述配置，可直接搜索和输出等级分类适配处理所需要的象素等。相应地，例如可以简化以下程序：在检测运动矢量之后，用所述运动矢量执行相位纠正以便提取出所需的象素。
第六实施例
图25为说明根据本发明的第六实施例的图象处理器件的功能框图。图26(a)为图25所示图象处理器件的存储器的配置图，图26(b)为说明图26(a)所示存储器中用于储存预测象素的组元的视图，而图26(c)则是说明图26(a)所示存储器的组元的功能框图。如图25所示，根据本实施例的图象处理器件1 e包括：存储器2e；多个帧存储器3b，如帧存储器3b-T-2、3b-T-1、3b-T、3b-T+1和3b-T+2；系数存储单元(ROM)8e；以及控制单元100e。
在图象处理器件1e中，存储器2e的每个组元20e具有用于等级分类适配处理的功能元件，此元件包括在第五实施例的图象处理器件1d中。以下只描述差别之处。例如，如图26(a)所示，存储器2e具有5×5组元20e-1至20e-25，并且组元20e每一个都用连线互相连接。
如图26(c)所示，组元20e包括：多个象素21b，如象素21b-T、21b-T+2、21b-T+1、21b-T-1和21b-T-2；差值绝对值之和A存储单元22b-1；差值绝对值之和B存储单元22b-2；多个减法器24b，如减法器24b-1至24b-4；多个绝对值产生单元25b，如绝对值产生单元25b-1至25b-4；加法器250；比较更新单元26e；类码产生单元6e；估计计算单元9e；以及相加单元28。
类码产生单元6e基于从比较更新单元26e输出的表示差值绝对值之和已被更新的更新信息、以及从象素21b-T、21b-T+2、21b-T+1、21b-T-1和21b-T-2输出的象素值，产生类码，并输出给系数存储单元(ROM)8e。具体地，在从比较更新单元26e输入表示差值绝对值之和已被更新的更新信息时，类码产生单元6e基于从象素21b-T、21b-T+2、21b-T+1、21b-T-1和21b-T-2输出的象素值而产生类码，并输出给系数存储单元(ROM)8e。
估计计算单元9e基于从系数存储单元(ROM)8e输出的预测系数以及从象素21b-T、21b-T+2、21b-T+1、21b-T-1和21b-T-2输出的象素，而估计预测值，并输出该预测值。
对于具有上述配置的图象处理器件1e的操作，只描述差别之处。在执行噪声预测处理的情况下，控制单元100e在帧存储器3b-T+2至3b-T-2中储存输入图象的5个帧(在当前帧之前两个帧到当前帧之后两个帧的范围内的帧，包括当前帧)。
控制单元100e从储存在每个帧存储器3b-T中的图象读出基准区域tr，并把基准区域tr储存在存储器2e中。控制单元100e在其它帧存储器3b-T-2、3b-T-1、3b-T、3b-T+1和3b-T+2上设置与读出的基准区域tr对应的搜索区域sp，读出搜索区域tp，并把搜索区域tp储存在存储器2e中，同时更新相位。
通过控制单元100e，以诸如光栅扫描的次序而顺序地读出基准区域tr，同时，在帧存储器T内以预定次序偏移相位，从而，存储器2e最终输出帧存储器内的所有象素的对应象素。
对于在存储器2e内的组元20e，在从比较更新单元26e输入表示差值绝对值之和已被更新的更新信息时，类码产生单元6e基于从象素21b-T、21b-T+2、21b-T+1、21b-T-1和21b-T-2输出的象素值而产生类码，并把类码输出给系数存储单元(ROM)8e。
系数存储单元(ROM)8e根据从类码产生单元6e输出的类码，而把储存的系数输出给估计计算单元9e。估计计算单元9e基于从系数存储单元(ROM)8e输出的预测系数以及从象素21b-T、21 b-T+2、21b-T+1、21 b-T-1和21b-T-2输出的象素，而估计预测值，并输出该预测值。
例如，估计计算单元9e基于从系数存储单元(ROM)8e输出的预测系数以及对应象素而执行上述预定的处理，估计预测值，并输出给帧存储器等。
如上所述，对于根据本实施例的图象处理器件1e，每个组元20e进一步包括类码产生单元6e以及估计计算单元9e，因而，具有用于等级分类适配处理的功能元件。具体地，对于每次更新差值绝对值之和，通过使用储存在象素T、T+1、T+2、T-1和T-2中的象素的等级分类适配处理而执行噪声消除，并输出预测值。对于另一帧存储器等，在每次输出象素时更新象素值，从而最终获得经过噪声消除的图象。
注意，本发明不局限于本实施例，而是可以作出许多任意的和适当的修改。例如，可作出其中合并根据第四实施例的图象处理器件1c和根据第五实施例的图象处理器件1d的配置。因而，通过学习噪声分量而产生类码，并基于所产生的类码而估计噪声分量，从而能产生高分辨率图象。
第七实施例
平面匹配
图27是描述根据本发明的第七实施例的图象处理器件的操作的概念图。
例如，在如图27(a)所示的输入图象中有随时间运动的对象ob1和ob2并且在该图象上设置具有预定尺寸的基准块的情况下，有这样的问题：基准块可包含如图27(b)所示的多个对象。
对于块匹配，获得运动矢量，作为整个块的运动，并相应地，在试图获得感兴趣象素在基准块内的运动的情况下，另一对象(对象ob2)的运动矢量被误认为感兴趣象素(对象ob1)的运动，或者，获得在两个对象中间的运动。
在根据本实施例的图象处理器件中，执行后述的平面匹配，从而，即使在基准块包含多个对象时也能产生准确的运动矢量。
图28是描述由根据本发明的第七实施例的图象处理器件所执行的平面匹配的操作的概念图。参照图28，描述由图象处理器件所执行的平面匹配的操作。
对于平面匹配，例如，在图28(a)示出对象ob1和ob2的情况下，在图28(b)所示的图象上设置基准块，从图28(c)所示的基准块提取与感兴趣象素相同的对象的象素，并且基于提取的象素执行匹配。为了平面匹配而从图象提取每个相同对象的象素的处理称作“平面分离”。
图29为说明根据本发明的第七实施例的图象处理器件的功能框图。如图29所示，根据本实施例的图象处理器件1f包括：存储器2f；多个帧存储器3f，例如，帧存储器3f-T和3f-T-1；读出单元4f；控制单元100f以及平面分离单元110。以下只描述本实施例与前述实施例的差别之处。
可以说，例如，在输入图象尺寸为w×h的情况下，存储器2f的尺寸为(w-2)×(h-2)，该尺寸几乎整个屏幕上的象素数量相同，如图29所示。例如，图象处理器件1f事先对帧存储器3f-T-1上的整个屏幕执行平面分离处理，以便搜索运动矢量，并且执行以下处理：在存储器2f内的所有组元中储存与每个象素有关的平面信息。帧存储器3f-T储存在时间点T时的帧。帧存储器3f-T是具有例如搜索区域sp(w×h)的尺寸的帧存储器，例如通过控制单元100f读出在预定的搜索区域tp(w-2)×(h-2)内的象素，并且，所读出的象素输出给存储器2f。
帧存储器3f-T-1储存在时间点T-1时的帧。帧存储器3f-T-1是其尺寸例如为(w×h)的帧存储器，例如通过控制单元100f读出在预定的基准区域tr(w-2)×(h-2)内的象素，并且，所读出的象素输出给存储器2f。读出单元4f读出储存在存储器2f的每个组元中的运动矢量，并输出该运动矢量。平面分离单元110基于储存在帧存储器3f-T-1中的图象数据而执行后述的平面分离处理，并从处理的结果中输出平面信息给存储器2f。控制单元100f执行后述的预定处理。
以下详细描述每个部件。
存储结构
图30(a)为说明图29所示图象处理器件的存储器的示意图。图30(b)为说明图30(a)一部分的放大视图。图30(c)为说明图30(b)所示存储器的组元的功能框图。存储器2f具有如图30(a)和图30(b)所示的多个组元20f。如图30(c)所示，组元20f包括象素20-1、象素20-2、象素差值存储单元22f-1、差值之和存储单元22f-2、运动矢量存储单元23、减法器24、绝对值产生单元25、比较更新单元26f、更新单元27、相加单元28f、平面信息存储单元29以及开关30。
例如，存储器2f通过图15所示的象素20f之间的连线，向感兴趣组元(图15中的象素20f-5)输出储存在靠近感兴趣组元的8个组元(图15中的组元20f-1至20f-4、以及20f-6至20f-9)中的差值绝对值。
注意，通过每个组元20f的开关30来判断是否执行输出。进而，存储器2f不仅储存一个组元，而且还储存两个象素，并且，以与根据第一实施例的存储器2a相同的方式计算两个象素之间差值的绝对值。进一步地，存储器2f储存该差值的绝对值，作为计算结果。而且，存储器2f可储存与在本实施例中储存的象素相应的平面信息，存储器2f与根据第二实施例的图象处理器件中的不同。
以下只描述每个部件的差别之处。
象素差值存储单元22f-1向相加单元28f输出所储存的差值绝对值。差值之和存储单元22f-2基于从相加单元28f输出的数据以及储存在差值之和存储单元22f-2中的差值绝对值之和，而向差值之和存储单元22a-2输出更新的数据。相加单元28f把从开关30输出的数据和储存在象素差值存储单元22f-1中的差值绝对值之和进行相加，并且输出给比较更新单元26f。比较更新单元26f比较从相加单元28f输出的差值绝对值之和A与储存在差值绝对值之和存储单元22a-2中的差值绝对值之和(称作差值绝对值之和B)。并且，在比较的结果是差值绝对值之和A更小的情况下，在差值之和存储单元22f-2中储存差值绝对值之和A，由此更新差值绝对值之和。
在比较更新单元26f执行上述更新的情况下，比较更新单元26向更新单元27输出表示已执行更新的更新信息。在比较的结果是差值绝对值之和A更大的情况下，比较更新单元26f不对储存在差值之和存储单元22a-2中的差值绝对值之和B执行更新。
更新单元27基于从比较更新单元26f输出的更新信息和相位信息，而更新储存在运动矢量存储单元23中的运动矢量。具体地，在比较更新单元26f输出表示差值绝对值已被更新的更新信息的情况下，更新单元27使运动矢量存储单元23把此时的相位储存为运动矢量，从而更新该运动矢量。
相加单元28f把从象素差值存储单元22a-1输出的差值绝对值“a”和从开关30输出的靠近所述象素的8个组元20a(也称作8个相邻组元)的差值绝对值“a”进行相加，以便产生差值绝对值之和A，并输出给比较更新单元26f。平面信息存储单元29储存后述的平面信息。
开关30执行平面信息匹配的判断，并用作向相加单元28f输出每个组元20f的差值绝对值a的门。例如，开关30根据与感兴趣组元20f有关的平面信息以及与靠近感兴趣组元的8个组元20f有关的平面信息，而向相加单元28f输出该差值绝对值。具体地，开关30对储存在感兴趣组元20f的平面信息存储单元29中的平面信息与储存在靠近感兴趣组元的其它八个组元20f每一个的平面信息存储单元29中的平面信息进行比较，并且在匹配的情况下，储存在象素差值存储单元22f-1中的差值绝对值输出给相加单元28f，相反，在不匹配的情况下，储存在靠近感兴趣组元的8个组元20f中的差值绝对值不输出给相加单元28f。
在每个组元201的和被更新的情况下，先前储存的值被更新为此时的运动矢量。
平面分离和平面信息
图31为描述由图29所示图象处理器件的平面分离单元所执行的处理的视图。在输入图象如背景或对象等中的每个部件被称作“平面”。进而，图象被分离成平面的处理称作“平面分离”。
例如，如图31所示，平面分离单元110向每个经过平面分离的平面分配预定的值(标签)，如向平面1分配LEVEL 1。表示图象的每个象素属于哪个平面的信息称作“平面信息”。
以下描述平面分离方法的特定实例。
图32为说明图象处理器件1f的平面分离单元的特定实例的功能框图。例如，平面分离单元110使用以下事实而把输入图象分离为预定的平面，所述事实为：在图象中，相同对象或背景等中的亮度和颜色一般是相同的级别。例如，如图32所示，平面分离单元110包括：直方图计算单元111；峰值检测单元112；波谷检测单元113；消除单元114；波谷合并单元115；以及标记单元116。直方图计算单元111根据输入图象而对每个级别(亮度或颜色)产生直方图，并储存该直方图。
图33为说明由图32所示图象处理器件1f的平面分离单元的直方图计算单元111所产生的直方图的特定实例的视图。水平轴表示级别，而垂直轴表示直方图(频率)。
例如，如图33所示，直方图计算单元111根据输入图象而产生直方图。直方图计算单元111向峰值检测单元112输出所产生的直方图(频率分布)。峰值检测单元112基于输入的直方图而检测表现直方图中最大频率(峰值)的级别，并输出给波谷检测单元113。
例如，峰值检测单元112基于从直方图计算单元111输出的直方图，或基于从消除单元114输出的直方图，而检测表现直方图内最高频率(峰值)的级别，并把该峰值输出波谷检测单元113。
例如，波谷检测单元113基于直方图峰值而确定包括峰值的对象的频率。例如，波谷检测单元113基于从峰值检测单元112输出的表现最大频率(峰值)的级别，而检测在直方图峰值两侧的两个波谷位置。
具体地，波谷检测单元113在以峰值作为标准的预定范围内，如在峰值点和(峰值+a点)之间的范围内，确定频率最小的点，作为右侧波谷，并且，波谷检测单元113在以峰值作为标准的预定范围内，如在(峰值-a点)和峰值点之间的范围内，确定频率最小的点，作为左侧波谷。
例如，消除单元114消除包括预定峰值的对象的频率。例如，消除单元114从直方图消除与在以直方图峰值作为标准的左右两个波谷之间范围内的级别对应的频率，并输出给峰值检测单元112。
图34为用于描述图32所示图象处理器件的平面分离单元的消除单元的操作的直方图的特定实例。例如，消除单元114从直方图消除与在以预定峰值作为中心的左右两个波谷之间范围内的级别对应的频率，并输出给峰值检测单元112。在判断与直方图中所有级别对应的频率都变为0的情况下，消除单元114向波谷合并单元115输出与所述波谷对应的发生频率。
波谷合并单元115基于从消除单元114输出的每个波谷的频率，而合并级别彼此相近的波谷，并输出给预定的标记单元116。具体地，对于每个波谷，波谷合并单元115合并级别彼此相近的波谷。更具体地，其级别在以首先检测的波谷位置为标准的预定范围内，如在(首先检测的波谷点-b)和(首先检测的波谷点+b)之间的范围内的其它波谷被合并成首先检测的波谷，从而消除其它波谷。
图35描述在由图32所示图象处理器件的波谷合并单元所执行的合并处理之前的直方图波谷。图36描述经过由图32所示图象处理器件的波谷合并单元所执行的合并处理的直方图波谷。具体地，例如，波谷合并单元115基于图35所示的从消除单元114输出的每个波谷的频率，而合并级别彼此相近的波谷，如图36所示。
标记单元116根据输入图象和从波谷合并单元115输出的图象，向经过平面分离的每个平面分配预定值(标签)。具体地，标记单元116把输入图象中其级别在相同对波谷之间范围内的象素看作是包含在相同平面内，从而向所述象素分配相同标签。更具体地，对于每个象素，标记单元116判断级别(亮度或颜色)属于哪个波谷间范围，并且，对于在相同波谷间范围内的象素分配相同的标签。
图37为描述图32所示图象处理器件的平面分离单元的操作的流程图。在步骤ST201中，直方图计算单元111对每个级别值(亮度或颜色)产生直方图，并储存该直方图。进而，直方图计算单元111向峰值检测单元112输出所产生的直方图。在步骤ST202中，峰值检测单元112基于输入的直方图而检测表现直方图中最大频率(峰值)的级别，并输出给波谷检测单元113。具体地，峰值检测单元112基于从直方图计算单元111输出的直方图或从消除单元114输出的直方图，而检测表现直方图中最大频率(峰值)的级别，并输出给波谷检测单元113。
在步骤ST203中，波谷检测单元113检测峰值两侧的波谷。具体地，波谷检测单元113在以峰值作为标准的峰值位置和(峰值位置+a)之间范围内确定频率最小的点，作为右波谷。以相同的方式，波谷检测单元113在以峰值作为标准的峰值位置和(峰值位置-a)之间范围内确定频率最小的点，作为左波谷。
例如，波谷检测单元113基于直方图的峰值，确定与包括峰值的对象的频率。例如，波谷检测单元113基于从峰值检测单元112输出的表现最大频率(峰值)的级别，而检测在直方图峰值两侧级别的两个波谷点。具体地，波谷检测单元113在以峰值作为标准的预定范围内，如在峰值位置和(峰值位置+a)之间范围内，确定频率最小的点，作为右波谷；并且，在以峰值作为标准的预定范围内，如在峰值位置和(峰值位置-a)之间范围内，确定频率最小的点，作为左波谷
在步骤ST205中，消除单元114从直方图消除与左右两个波谷之间级别对应的频率。进而，消除单元114判断在直方图中是否与所有级别对应的频率都变为0，并且，在判断频率不是0的情况下，流程返回到步骤ST202中的处理。另一方面，对于在步骤ST205中消除单元114所执行的判断，在与直方图中所有级别对应的频率都变为0的情况下，与波谷对应的频率输出给波谷合并单元115。
在步骤ST206中，波谷合并单元115基于从消除单元114输出的每个波谷的频率，而合并级别彼此相近的波谷，并输出给预定的标记单元116。具体地，对于每个波谷，波谷合并单元115合并级别彼此相近的波谷。更具体地，例如，波谷合并单元115把级别在以首先检测的波谷作为标准的预定范围内，如在(首先检测的峰值位置-b)和(首先检测的峰值位置+b)之间的范围内，的其它波谷合并成首先检测的峰值，从而消除其它波谷。
在步骤ST207中，标记单元116根据输入图象和从波谷合并单元115输出的图象，向经过平面分离的每个平面分配预定值(标签)。
具体地，标记单元116把级别在相同对波谷之间范围内的象素看作属于相同的平面，从而向所述象素分配相同的标签。更具体地，对于每个象素，标记单元116判断级别(亮度或颜色)属于哪个波谷间范围，并且，对于在相同对波谷间范围内的象素分配相同的标签。因而，与一系列平面分离有关的操作结束。
图38为描述图29所示图象处理器件的操作的流程图。结合图38描述图象处理器件1f主要在器件20f周围的操作。为了简化，对于执行平面匹配的存储器，结合3×3象素块和在从(-1，-1)到(1，1)且增量为一个象素的范围内的搜索区域sp进行描述。
这里，感兴趣组元假设为图30(b)中的实际储存运动矢量的一个组元。在存储器2f的结尾处的组元不是感兴趣组元。为了简化描述，假设图象的尺寸为w×h。平面分离单元110基于储存在帧存储器3f-T-1中的图象而执行上述预定的平面分离处理，并输出对存储器2f内每个组元20f的处理结果中的平面信息。
每个组元20f储存从平面分离单元110输出的平面信息。具体地，一个象素的平面信息储存在每个组元20f的平面信息存储单元29中(ST301)。
如图29所示，储存在帧存储器3f-T-1中的(w-2)×(h-2)基准区域tr的每个象素储存在存储器2f内的每个组元20f中。具体地，如图30(c)所示，每个组元的象素20-2储存基准区域tr的一个象素。
接着，读出(w-2)×(h-2)区域，同时更新搜索区域sp内的相位，并且(w-2)×(h-2)区域内的每个象素储存在存储器内的每个组元中(ST302)。(w-2)×(h-2)区域称作“搜索区域tp”。如图30(c)所示，每个组元20f的象素20-1储存搜索区域tp的此象素。
以与上述块匹配大致相同的方式，用在(-1，-1)和(1，1)之间范围内的相位对相位更新和读出搜索区域tp执行9次，在执行9次处理之后，处理结束，其中，在这只有搜索区域tp的象素数量与块匹配的不同。
在每个组元20中，减法器24产生在储存在象素20-1中的值与储存在象素20-2中的值之间的差值，绝对值产生单元25对从减法器24输出的差值产生绝对值，并且，象素差值存储单元22f-1储存差值绝对值a(ST305)。
接着，每个感兴趣组元从靠近感兴趣组元的8个组元读出平面信息。具体地，开关30判断储存在感兴趣组元20f的平面信息存储单元29中的平面信息是否与储存在靠近感兴趣组元的其它8个组元20f的平面信息存储单元29中的每个平面信息匹配。通过开关30，对于已判断其平面信息与感兴趣组元的相匹配的组元20f，读出储存在该组元20f的象素差值存储单元22f-1中的差值绝对值a并进行相加。相加单元28f对从开关30输出的差值绝对值a进行相加，由此获得差值绝对值之和A(ST306)。
随后，对于每个感兴趣组元，比较更新单元26f比较先前储存的差值绝对值之和(差值绝对值之和B)与差值绝对值之和A(ST307)，并且，在差值绝对值之和A更小的情况下，储存在差值之和存储单元22f-2中的值从差值绝对值之和B更新为差值绝对值之和A(ST309)。相反，在差值绝对值之和A更大的情况下，比较更新单元26f不执行更新，流程前进到更新下一相位和读出搜索区域tp。注意，在初始阶段中，感兴趣组元储存差值绝对值之和。在此情况下，感兴趣组元不加限制地储存最初的差值绝对值之和。
接着，只有在感兴趣组元的差值绝对值之和被更新的情况下，才用此时的相位来更新先前储存在感兴趣组元中的运动矢量，作为真实运动矢量(ST310)。因而，在相位更新结束时，9个感兴趣组元每一个都储存搜索区域sp内象素之间的差值绝对值之和的最小值以及对应的运动矢量。读出单元4f从每个感兴趣组元读出这些运动矢量，并输出这些运动矢量。
如上所述，根据本实施例的图象处理器件包括：根据输入图象而对每个级别(亮度或颜色)产生直方图(频率分布)的直方图计算单元111；基于直方图而检测表现直方图内最大频率(峰值)的级别的峰值检测单元112；例如基于直方图峰值而确定与包含峰值的对象相应的频率的波谷检测单元113；消除与包含预定峰值的对象相应的频率的消除单元114；基于与消除单元114输出的每个波谷对应的频率而合并级别彼此相近的波谷的波谷合并单元115；平面分离单元110，此单元具有：根据输入图象和从波谷合并单元115输入的图象而向经过平面分离的每个平面分配预定值(标签)的标记单元116；用于储存每个组元20f的平面信息的平面信息存储单元29；以及开关30，开关30用于判断平面信息匹配以便从每个组元20f向相加单元28f输出差值绝对值“a”，从而即使在基准块例如包括多个对象的情况下也产生准确的运动矢量。
第八实施例
图39为根据本发明的第八实施例的图象处理器件的功能框图。如图39所示，根据本实施例的图象处理器件1g包括：存储器2g；多个帧存储器3g，如帧存储器3g-T和3g-T-1；读出单元4g；控制单元100g；平面分离单元110g；以及平面信息缓冲器120。
图象处理器件1g与根据第七实施例的图象处理器件1f之间的差别在于：图象处理器件1g包括：存储器2g；多个帧存储器3g，如帧存储器3g-T和3g-T-1；读出单元4g；控制单元100g；平面分离单元110g；以及平面信息缓冲器120。以下只描述这些差别。
存储器2g具有预定数量的组元20f，如5×5组元20f。平面分离单元110g基于基准区域tr内的象素，对储存在帧存储器3g-T-1中的图象数据的基准区域tr，例如对尺寸为5×5的每个基准区域tr，执行平面分离处理，并把处理结果的平面信息输出给平面信息缓冲器120。
注意，平面分离单元110g不局限于上述配置。可作这样的配置：平面分离单元110g基于储存在帧存储器3g-T-1中的图象数据，对储存在帧存储器3g-T-1中的图象执行平面分离处理，并把处理结果的平面信息输出给平面信息缓冲器120。
平面信息缓冲器120例如储存从平面分离单元110g输出的具有全屏尺寸的象素。可作这样的配置：例如，平面信息缓冲器120在预定位置(地址)中储存从平面分离单元110g输出的用于每个5×5基准区域tr的平面信息。平面信息缓冲器120把在预定位置(地址)上的平面信息输出给存储器2g，并使存储器2g的对应组元20f的平面信息存储单元29储存所述平面信息。
例如，控制单元100g根据上述处理而执行预定的处理。进而，控制单元100g控制帧存储器3g、存储器2g等，并根据上述处理，对预定数据执行写处理、读出处理等。对于具有上述配置的图象处理器件的操作，只描述差别之处。
平面分离单元110g基于基准区域tr内的象素，对储存在帧存储器3g-T-1中的图象数据的基准区域tr，例如对尺寸为5×5的每个基准区域tr，执行平面分离处理，并把处理结果的平面信息输出给平面信息缓冲器120，而且，平面信息缓冲器120在预定位置(地址)中储存平面信息。
在上述处理之后，以与上述第七实施例相同的方式，在存储器2g中，象素21-1储存基准区域tr的象素，而21-2储存搜索区域tp的象素。减法器24产生在储存在象素21-1中的象素与储存在象素21-2中的搜索区域tp的象素之间的差值，绝对值产生单元25产生差值绝对值，作为所述差值的绝对值，并且，象素差值存储单元22-1储存差值绝对值。
开关30比较储存在平面信息存储单元29中的平面信息与储存在靠近感兴趣组元的组元20的平面信息存储单元29中的平面信息，并且在匹配的情况下，储存在靠近感兴趣组元的组元20的象素差值存储单元22f-1中的差值绝对值输出给感兴趣象素的相加单元28f。
相加单元28f对从开关30输出的差值绝对值以及储存在象素差值存储单元22f-1中的差值绝对值进行相加，并输出给比较更新单元。
比较更新单元26f比较储存在差值之和存储单元22f-2中的差值之和与从相加单元28f输出的差值之和，并且，在从相加单元28f输出的差值之和更小的情况下，更小的差值之和就输出给差值之和存储单元22f-2。差值之和存储单元22f-2储存该差值之和，由此更新。
进而，在比较更新单元26f更新储存在差值之和存储单元22f-2中的差值之和的情况下，比较更新单元26f向更新单元27输出表示已执行更新的更新信息。
对于更新单元27，在比较更新单元26f输出表示已执行更新的更新信息的情况下，与搜索区域tp和基准区域tr有关的相位信息储存在运动矢量存储单元23中。具有整个搜索区域sp内全部相位的搜索区域tp与基准区域tr进行比较，同时更新搜索区域sp内的搜索区域tp的相位，由此产生运动矢量。
如上所述，对于根据本实施例的图象处理器件1g，与根据第七实施例的图象处理器件1f相比，图象处理器件1g包括基于储存在帧存储器3g-T-1中的图象数据而执行平面分离并产生平面信息的平面分离单元110g、以及用于储存平面信息的平面信息存储单元29，而且，预定的搜索区域sp和基准区域tr中的图象输入到存储器2g中，存储器2g包括具有预定尺寸如5×5尺寸的组元20f，并且，只有在与感兴趣象素有关的平面信息匹配与靠近感兴趣组元的组元20f的情况下，才更新储存在差值之和存储单元22f-2中的差值之和，并且，只有在更新差值之和的情况下，才更新运动矢量，从而即使在基准区域tr内有多个对象的情况下也产生准确的运动矢量。
进一步地，图象处理器件1g进一步包括平面信息缓冲器120，因而，在其中储存具有全屏尺寸的平面信息，从而能有效地执行预定的处理。
第九实施例
使用平面信息纠正运动矢量
在用于块匹配的块尺寸或用于平面匹配的平面面积较小的情况下，如果输入图象包含噪声，对于每个象素，在运动矢量检测中就更有可能发生错误。对于根据第九实施例的图象处理器件1h，使用储存在图象处理器件1h的存储器2h中的平面信息，即使在上述情况下也产生准确的运动矢量。
图40为说明根据本发明的第九实施例的图象处理器件的功能框图。图象处理器件1h使用平面匹配和运动矢量检测的结果以及用于储存该平面信息的存储器，来执行运动矢量的检测。
如图40所示，图象处理器件1h包括：存储器2f；多个帧存储器3f，如帧存储器3f-T和3f-T-1；读出单元4h；控制单元100h；平面分离单元110h；以及运动矢量纠正单元130。图象处理器件1h的存储器2f具有与根据第七实施例的图象处理器件1f的存储器2f相同的结构。图象处理器件1h还执行与根据第七实施例的图象处理器件1f大致相同的处理，如在存储器2f中储存平面信息和运动矢量的处理以及平面匹配处理。
图41为描述图40所示图象处理器件的运动矢量纠正单元的操作的视图。
以与根据上述第七实施例的图象处理器件1f相同的方式，图象处理器件1h在存储器2f中的运动矢量检测结束时，输出与某个感兴趣象素有关的运动矢量，如图41所示。现在详细描述。
运动矢量纠正单元130只从其区域与感兴趣组元对中的组元读出运动矢量，并且获得与读出的运动矢量相应的发生频率，而且，具有最高频率的运动矢量被确定为感兴趣组元的运动矢量，其中，所述组元具有与感兴趣组元相同的平面信息，所述区域例如为在存储器内的5×5栅形区域。
具体地，对于从读出单元4h输出的与感兴趣组元对中的区域，如在存储器内的5×5栅形区域，运动矢量纠正单元130只从其平面信息与储存在感兴趣组元的平面信息存储单元29中的平面信息相同的组元读出储存在运动矢量存储单元23中的运动矢量，获得与读出的运动矢量相应的频率，而且，把具有最高频率的运动矢量确定为感兴趣组元的运动矢量。
简要描述上述配置的操作。对于与感兴趣组元对中的区域，如在存储器内的5×5栅形区域，读出单元4h只从其平面信息与储存在感兴趣组元的平面信息存储单元29中的平面信息相同的组元读出储存在运动矢量存储单元23中的运动矢量。
运动矢量纠正单元130获得与读出的运动矢量相应的频率，而且，把具有最高频率的运动矢量确定为感兴趣组元的运动矢量。如上所述，假设在感兴趣象素周围属于相同平面的象素以大致相同的速度运动，即使在普通匹配导致感兴趣象素的运动矢量出错的情况下，运动矢量纠正单元130也可根据感兴趣象素具有运动矢量的概率较大来计算运动矢量，从而通过在它们之间置换来提高运动矢量的精确度。
进而，设置存储器2f以储存每个象素的平面信息，因而，即使在多个对象的边界周围部分也能获得准确的运动矢量，其中，通常，在所述边界周围部分内在获得运动矢量时容易发生检测错误。进一步地，对在感兴趣象素周围区域内的每个平面获得具有高发生频率的运动矢量，并用该运动矢量执行纠正，因而，即使在例如因噪声而容易发生运动矢量检测错误的情况下，也可获得准确的运动矢量。
显然，根据以上论述，有可能对本发明作出许多修改和变更。从而应该理解，只要在后附权利要求的范围内，本发明就可在本文具体描述之外实践本发明。

Claims (43)

1.一种用于处理图象数据的设备，包括：
第一象素信息存储部分，配置为保存表示图象块的第一象素的数据；
第二象素信息存储部分，配置为保存表示另一图象块的搜索区域的第二象素的数据；
估计存储部分，配置为保存代表第一象素和第二象素之间的运动估计值的数据；
运动矢量信息存储部分，配置为保存代表第一象素和第二象素之间的运动矢量的数据；
估计值计算机构，配置为计算运动估计值；
比较机构，配置为比较由所述估计值计算机构计算的运动估计值和存储的估计值，并根据比较结果用所述计算的运动估计值更新所述存储的估计值；以及
运动矢量更新机构，配置为在所述比较机构的比较结果表示用所述计算的运动估计值更新所述存储的估计值时更新存储在运动矢量信息存储部分中的运动矢量。
2.如权利要求1所述的设备，其中：
在所述计算的运动估计值的绝对值小于所述存储的估计值时，用所述计算的运动估计值取代所述存储的估计值。
3.如权利要求1所述的设备，其中：
运动估计值是第一象素和第二象素之间的差值的绝对值。
4.如权利要求1所述的设备，其中：
运动估计值是相位块和基准块中多个象素的差值的绝对值的总和。
5.如权利要求1所述的设备，其中：
所述存储的估计值是最小的估计值。
6.如权利要求1所述的设备，其中：
估计值计算机构包括：
第一计算机构，配置为计算第一象素信息和第二象素信息之间的差值的绝对值，
第二计算机构，配置为计算第一象素信息和第三象素信息之间的差值的绝对值，所述第三象素信息存储在第三象素信息存储部分中，以及
求和机构，配置为对由第一和第二计算机构产生的差值绝对值与选择的其它组元的差值绝对值进行相加，其中，
估计值是多个象素的差值的绝对值之和。
7.如权利要求1所述的设备，进一步包括：
平面信息存储部分，配置为保存与对象有关的平面信息。
8.如权利要求7所述的设备，其中：
从平面信息计算运动估计值。
9.如权利要求8所述的设备，其中：
估计值计算机构被配置为根据预定公式计算运动估计值，
比较机构被配置为比较由所述估计值计算机构计算的运动估计值与储存在所述存储器中的运动估计值，以及
所述设备进一步包括：被配置为改变与由所述比较机构确定为已运动的象素有关的象素值的机构。
10.如权利要求9所述的设备，其中：
估计值计算机构包括：
第一计算部分，配置为计算第一象素值和第二象素值之间的差值的绝对值，其中，所述第一象素和所述第二象素包括在第一存储器组元中，
选择机构，配置为根据平面信息来选择另一存储器组元，以及
求和部分，配置为对第一存储器组元的差值绝对值与所述选择机构选择的另一存储器组元的差值绝对值进行相加，并且
其中，运动估计值是多个存储器组元的差值的绝对值之和。
11.一种用于处理图象数据的设备，包括：
具有以下部分的数据存储单元，所述部分包括：
用于保存象素运动信息的第一存储部分，
用于保存运动估计值的第二存储部分，运动估计值表示象
素之间的帧-帧运动，
用于保存第一象素信息的第三存储部分，以及
用于保存第二象素信息的第四存储部分；
估计值计算机构，配置为计算运动估计值；
比较机构，配置为比较由所述估计值计算机构计算的运动估计值与存储在所述第二存储部分中的运动估计值；以及
配置为改变与由所述比较机构确定为已运动的象素有关的象素值的机构，
其中，包括第一象素的第一帧与包括第二象素的第二帧不同。
12.如权利要求11所述的设备，其中：
根据所述比较结果用所述计算的运动估计值更新所述存储的估计值，以使得储存在所述第二存储部分中的运动估计值是最小的运动估计值。
13.如权利要求12所述的设备，进一步包括：
配置为保存第三象素信息的第五存储部分，其中，
第三帧包括第三象素信息，所述第三帧与所述第一帧和所述第二帧不同。
14.如权利要求11所述的设备，进一步包括：
噪声相加机构，配置为把噪声分量增加到输入图象上，所述输入图象包括所述第一象素信息。
15.如权利要求14所述的设备，进一步包括：
读出单元，配置为输出不同帧的各个组元的对应象素，所述不同的帧按时间相互分离；
类码产生单元，配置为接收所述对应象素和检测所述输入图象的所述噪声分量，并提供类码输出；以及
标准方程相加单元，配置为接收所述输入图象、来自所述读出单元的所述对应象素以及所述类码输出，并确定由所述类码产生单元输出的所述类码的系数，而且向系数存储器件输出所述系数。
16.如权利要求15所述的设备，进一步包括：
控制单元，配置为控制从所述不同帧的基准区域中读出图象数据的顺序。
17.如权利要求11所述的设备，进一步包括：
读出单元，配置为输出不同帧的各个组元的对应象素，所述不同的帧按时间相互分离；
类码产生单元，配置为接收所述对应象素并提供用于确定所述类码的预测系数的类码输出；以及
估计计算单元，配置为从所述预测系数和不同帧的各个组元的象素来估计预测值。
18.如权利要求17所述的设备，进一步包括：
类码产生单元，配置为接收所述对应象素并提供用于确定所述类码的预测系数的类码输出；以及
估计计算单元，配置为从所述预测系数和不同帧的各个组元的象素来估计预测值。
19.如权利要求17所述的设备，其中：
估计计算单元包括：
第一计算机构，配置为计算第一象素信息和第二象素信息之间的差值的绝对值，
第二计算机构，配置为计算第一象素信息和第三象素信息之间的差值的绝对值，
选择机构，配置为根据平面信息来选择其它象素信息，以及
求和机构，配置为对第一和第二计算机构产生的差值绝对值与选择机构选择的其它组元的差值绝对值进行相加，并且其中，
估计值是多个组元的差值的绝对值之和。
20.如权利要求19所述的设备，进一步包括：
运动矢量纠正单元，配置为基于读出运动矢量的频率而纠正运动矢量。
21.如权利要求20所述的设备，其中：
所述运动矢量纠正单元被配置为通过选择具有最高频率的运动矢量而确定将要用于表现象素运动的运动矢量。
22.一种有助于运动矢量估计的图象数据处理方法，包括以下步骤：
在存储器组元的第一象素部分中储存第一象素信息，所述存储器组元的第一象素部分被配置为保存表示图象块的第一象素的数据；
在存储器组元的第二象素部分中储存第二象素信息，所述存储器组元的第二象素部分被配置为保存表示另一图象块的搜索区域的第二象素的数据；
在存储器组元的估计部分中储存估计信息，所述存储器组元的估计部分被配置为保存表示第一象素和第二象素之间的运动估计值的数据；
在存储器组元的运动矢量部分中储存运动矢量信息，所述存储器组元的运动矢量部分被配置为保存表示第一象素和第二象素之间的运动矢量的数据；
计算运动估计值；
比较在计算步骤中计算的运动估计值和存储的估计值，并根据比较结果用计算步骤计算的运动估计值更新存储在所述估计部分中的运动估计值；以及
当所述比较步骤的比较结果表示用计算步骤计算的运动估计值更新存储在所述估计部分中的所述运动估计值时，更新存储在运动矢量信息存储部分中的运动矢量信息。
23.如权利要求22所述的方法，其中，运动估计值是第一和第二象素之间的差值，并且所述方法进一步包括：
在所述估计部分中的所述运动估计值的绝对值小于另一差值时，用所述运动估计值取代所述另一差值。
24.如权利要求22所述的方法，进一步包括：
通过获得第一象素和第二象素之间的差值的绝对值而确定运动估计值。
25.如权利要求22所述的方法，其中：
通过获得多个象素的差值之和的绝对值总和而确定运动估计值。
26.如权利要求22所述的方法，其中：
根据所述比较结果用所述计算的运动估计值更新所述存储的运动估计值，以使得在所述估计部分中储存的运动估计值是最小的估计值。
27.如权利要求22所述的方法，其中：
计算步骤包括：
计算第一象素信息和第二象素信息之间的差值的绝对值，
计算第一象素信息和另一第二象素信息之间的差值的绝对值，以及
对由计算步骤产生的差值绝对值与选择的其它组元的差值绝对值进行相加，其中，
估计值是多个象素的差值的绝对值之和。
28.如权利要求22所述的方法，进一步包括：
在存储器的平面信息部分中储存与对象有关的平面信息。
29.如权利要求28所述的方法，进一步包括：
从平面信息计算运动估计值。
30.如权利要求29所述的方法，进一步包括：
根据预定公式计算运动估计值；
比较所计算的运动估计值与储存在所述存储器中的运动估计值；以及
改变与在所述比较步骤中确定为已运动的象素有关的象素值。
31.如权利要求30所述的方法，其中：
计算运动估计值的步骤包括：
计算第一象素和第二象素之间的差值的绝对值，
根据平面信息来选择另一存储器组元，以及
对由所述计算步骤生成的差值绝对值与在所述选择步骤中选择的另一存储器组元的差值绝对值进行相加，并且
其中，运动估计值是多个存储器组元的差值的绝对值之和。
32.一种有助于运动矢量估计的图象数据处理方法，包括以下步骤：
在第一存储部分中储存象素运动信息；
在第二存储部分中储存运动估计值，运动估计值表示象素之间的帧-帧运动，
在第三存储部分中储存第一象素信息，
在第四存储部分中储存第二象素信息，其中，包括第一象素的第一帧与包括第二象素的第二帧不同，
用估计值计算机构计算运动估计值，
比较由所述估计值计算机构计算的运动估计值与储存在所述第二存储部分中的运动估计值，以及
改变与由所述比较步骤中确定为已运动的象素有关的象素值。
33.如权利要求32所述的方法，其中：
根据所述比较步骤的比较结果用所述计算的运动估计值更新所述存储的运动估计值，使得储存在所述第二存储部分中的运动估计值是最小的运动估计值。
34.如权利要求33所述的方法，进一步包括：
在第五存储部分中储存第三象素信息，其中，
第三帧包括第三象素信息，所述第三帧与所述第一帧和所述第二帧不同。
35.如权利要求32所述的方法，进一步包括：
把噪声分量增加到输入图象上，所述输入图象包括所述第一象素信息。
36.如权利要求35所述的方法，进一步包括：
读出不同帧的各个组元的对应象素，所述不同的帧按时间相互分离；
在类码产生单元上接收所述对应象素，检测所述噪声分量，并提供类码输出；以及
确定所述类码的系数，并向系数存储器件输出所述系数。
37.如权利要求36所述的方法，进一步包括：
控制从所述不同帧的基准区域中读出图象数据的顺序。
38.如权利要求32所述的方法，进一步包括：
输出不同帧的各个组元的对应象素，所述不同的帧按时间相互分离；
在类码产生单元上接收所述对应象素，并提供用于确定所述类码的预测系数的类码输出；以及
从所述预测系数和不同帧的各个组元的象素来估计预测值。
39.如权利要求38所述的方法，进一步包括：
在类码产生单元上接收所述对应象素，并提供用于确定所述类码的预测系数的类码输出；以及
从所述预测系数和不同帧的各个组元的象素来估计预测值。
40.如权利要求39所述的方法，其中：
估计步骤包括：
计算第一象素信息和第二象素信息之间的差值的绝对值，
计算第一象素信息和第三象素信息之间的差值的绝对值，
根据平面信息来选择其它象素信息，以及
对计算步骤产生的差值绝对值与在选择步骤中选择的其它象素信息的差值绝对值进行相加，并且其中，
估计值是多个组元的差值的绝对值之和。
41.如权利要求40所述的方法，进一步包括：
用运动矢量纠正单元基于读出运动矢量的频率而纠正运动矢量。
42.如权利要求41所述的方法，进一步包括：
通过选择具有最高频率的运动矢量而确定将要用于表现象素运动的运动矢量。
43.一种有助于运动矢量估计的图象数据处理装置，包括：
用于计算运动矢量的装置；
用于存储表示图象块的第一象素的第一象素信息数据的装置；
用于存储表示另一图象块的搜索区域的第二象素的第二象素信息数据的装置；
用于存储代表第一象素和第二象素之间的运动估计值的估计值数据的装置；
用于存储代表第一象素和第二象素之间的运动矢量的运动矢量信息数据的装置；
用于计算所述运动估计值的装置；
用于比较计算的运动估计值和存储的估计值并根据比较结果用计算的运动估计值更新存储的估计值的装置；以及
用于当所述比较步骤的比较结果表示用计算的运动估计值更新所述存储的估计值时，更新存储的运动矢量信息。
CN031545289A 2002-08-15 2003-08-15 图象数据处理方法及装置 Expired - Fee Related CN100407232C (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2002274058A JP3941644B2 (ja) 2002-08-15 2002-08-15 画像処理装置および画像処理方法
JP274059/2002 2002-08-15
JP2002274059A JP3903890B2 (ja) 2002-08-15 2002-08-15 画像処理装置および画像処理方法
JP274058/2002 2002-08-15

Publications (2)

Publication Number Publication Date
CN1479253A CN1479253A (zh) 2004-03-03
CN100407232C true CN100407232C (zh) 2008-07-30

Family

ID=31497720

Family Applications (1)

Application Number Title Priority Date Filing Date
CN031545289A Expired - Fee Related CN100407232C (zh) 2002-08-15 2003-08-15 图象数据处理方法及装置

Country Status (5)

Country Link
US (1) US7522748B2 (zh)
EP (1) EP1394744A3 (zh)
KR (1) KR101014637B1 (zh)
CN (1) CN100407232C (zh)
TW (1) TWI260509B (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7548658B1 (en) * 2003-09-24 2009-06-16 Cognitech, Inc. Lossless video data compressor with very high data rate
TWI253024B (en) * 2004-07-20 2006-04-11 Realtek Semiconductor Corp Method and apparatus for block matching
US20060262210A1 (en) * 2005-05-19 2006-11-23 Micron Technology, Inc. Method and apparatus for column-wise suppression of noise in an imager
JP4351658B2 (ja) 2005-07-21 2009-10-28 マイクロン テクノロジー， インク． メモリ容量低減化方法、メモリ容量低減化雑音低減化回路及びメモリ容量低減化装置
GB2431787B (en) * 2005-10-31 2009-07-01 Hewlett Packard Development Co A method of tracking an object in a video stream
US8504546B2 (en) * 2006-11-29 2013-08-06 D&S Consultants, Inc. Method and system for searching multimedia content
KR100876245B1 (ko) * 2007-04-05 2008-12-26 삼성모바일디스플레이주식회사 유기 전계 발광 표시 장치 및 영상 보정 방법
JP4813517B2 (ja) * 2008-05-29 2011-11-09 オリンパス株式会社 画像処理装置、画像処理プログラム、画像処理方法、および電子機器
ATE547775T1 (de) * 2009-08-21 2012-03-15 Ericsson Telefon Ab L M Verfahren und vorrichtung zur schätzung von interframe-bewegungsfeldern
WO2015072997A1 (en) * 2013-11-14 2015-05-21 Empire Technology Development, Llc Reduction of glare in augmented reality

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5327232A (en) * 1992-06-09 1994-07-05 Daewoo Electronics Co., Ltd. Method and apparatus for detecting motion vectors
CN1132894A (zh) * 1994-12-02 1996-10-09 索尼株式会社 能抑制等离子体显示槽的冲击电流的等离子体驱动电路
US6144699A (en) * 1995-12-29 2000-11-07 Thomson Multimedia S.A. Device for estimating motion by block matching
US6330282B1 (en) * 1997-07-18 2001-12-11 Nec Corporation Block matching arithmetic device and recording medium readable program-recorded machine

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3031152B2 (ja) 1993-12-24 2000-04-10 日本電気株式会社 動き予測プロセッサ及び動き予測装置
JPH0865685A (ja) * 1994-08-23 1996-03-08 Nec Corp 動きベクトル検出回路
JP3120664B2 (ja) 1994-10-19 2000-12-25 松下電器産業株式会社 画像符号化装置、画像復号化装置
US6317819B1 (en) * 1996-01-11 2001-11-13 Steven G. Morton Digital signal processor containing scalar processor and a plurality of vector processors operating from a single instruction
KR970009665A (ko) * 1996-10-28 1997-03-27 윤정환 클립이 부착된 헤어 제품 용기
JP3631868B2 (ja) 1996-12-20 2005-03-23 株式会社東芝 動きベクトル検出装置および方法
KR100269426B1 (ko) * 1997-05-31 2000-10-16 전주범 개선된프레임메모리를갖는움직임보상장치
JPH1155676A (ja) 1997-08-07 1999-02-26 Hitachi Ltd 同期型メモリを用いた動画像データ符号化装置
EP0957367A1 (en) * 1998-04-14 1999-11-17 THOMSON multimedia Method for estimating the noise level in a video sequence
US6483874B1 (en) * 1999-01-27 2002-11-19 General Instrument Corporation Efficient motion estimation for an arbitrarily-shaped object
JP4344968B2 (ja) * 1999-10-28 2009-10-14 ソニー株式会社 画像処理装置および画像処理方法、並びにデータ処理装置およびデータ処理方法
US6856701B2 (en) * 2001-09-14 2005-02-15 Nokia Corporation Method and system for context-based adaptive binary arithmetic coding

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5327232A (en) * 1992-06-09 1994-07-05 Daewoo Electronics Co., Ltd. Method and apparatus for detecting motion vectors
CN1132894A (zh) * 1994-12-02 1996-10-09 索尼株式会社 能抑制等离子体显示槽的冲击电流的等离子体驱动电路
US6144699A (en) * 1995-12-29 2000-11-07 Thomson Multimedia S.A. Device for estimating motion by block matching
US6330282B1 (en) * 1997-07-18 2001-12-11 Nec Corporation Block matching arithmetic device and recording medium readable program-recorded machine

Also Published As

Publication number Publication date
US20040105598A1 (en) 2004-06-03
CN1479253A (zh) 2004-03-03
EP1394744A3 (en) 2007-07-18
US7522748B2 (en) 2009-04-21
KR101014637B1 (ko) 2011-02-16
KR20040016420A (ko) 2004-02-21
EP1394744A2 (en) 2004-03-03
TWI260509B (en) 2006-08-21
TW200416555A (en) 2004-09-01

Similar Documents

Publication Publication Date Title
CN100407232C (zh) 图象数据处理方法及装置
US3983320A (en) Raster display histogram equalization
US5063524A (en) Method for estimating the motion of at least one target in a sequence of images and device to implement this method
JPH1098730A (ja) 動きベクトル検出方法及び動きベクトル検出装置
EP0483861A2 (en) Signal processing circuit
CN101120594B (zh) 全局运动估计
KR20080095787A (ko) 유사 화상 판정 장치 및 유사 화상 판정 방법
JPH0568155B2 (zh)
CN114283350A (zh) 视觉模型训练和视频处理方法、装置、设备及存储介质
Lyu et al. Video object detection with a convolutional regression tracker
CN114220061A (zh) 一种基于深度学习的多目标跟踪方法
de Lima et al. Parallel hashing-based matching for real-time aerial image mosaicing
KR20040047963A (ko) 움직임 예측 유닛 및 방법 및 이러한 움직임 예측 유닛을구비하는 이미지 처리 장치
CN100399831C (zh) 运动矢量检测设备和检测运动矢量的方法
US4736440A (en) Process for the processing of digitized signals representing an original image
CN111164604A (zh) 信息处理装置
US5859672A (en) Image motion detection device
CN100588253C (zh) 跟踪快速移动的小物体的运动矢量场求精法
JP3903890B2 (ja) 画像処理装置および画像処理方法
CN115439726B (zh) 一种图像检测方法、装置、设备及存储介质
JPH0724071B2 (ja) 画像列における動き推定方法及び装置
US10448043B2 (en) Motion estimation method and motion estimator for estimating motion vector of block of current frame
US6625301B2 (en) Image processing apparatus, image processing method and transmission medium
Arapis et al. Bridging depth estimation and completion for mobile robots reliable 3d perception
Sirisha et al. Object detection using deep learning centernet model with multi-head external attention mechanism

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20080730

Termination date: 20150815

EXPY Termination of patent right or utility model