CN1106114C - 用于在局部区域跟踪图象的跟踪装置 - Google Patents

Abstract

一种局部区域图象跟踪装置，它通过将要跟踪处理的检索图象数据与任意局部区域相关的参考图象数据比较来连续跟踪由检索图象数据表达的检索图象内的任意局部区域，包括，一个图象数据总线，用于传送来自图象拾取装置的输入图象数据，多个相关性跟踪处理器，并联到图象数据总线，针对一个检索图象分别可以独立地执行跟踪处理，对于一个或多个检索图象的处理由所述多个相关性处理器分布地处理。

Description

用于在局部区域跟踪图象的跟踪装置

本发明涉及一种跟踪装置，更具体地说，涉及一种通过连续跟踪由电视摄像机拾取的图象内的运动图象跟踪图象的跟踪装置。

在局部区域内跟踪图象的跟踪装置是通过连续跟踪拾取的图象中的移动目标来跟踪图象的(以下简称为局部区域图象跟踪装置)，这种装置可以用于各种系统中。利用无需使用加速传感器或可视运动矢量的非接触型运动测量系统，自动监测系统，识别人类手势，表达或视线的系统，制作电影或转播体育比赛时控制摄像机的系统，，控制机器人或自控车辆的系统或从卫星跟踪移动目标的系统。

图1为一个系统框图，显示了常规的局部区域跟踪装置的例子的一部分。在图1中，局部区域跟踪装置包括一个图象拾取装置501，模数转换器(A/D)502，检索图象存储器503，参考图象存储器504，相关运算单元505，地址发生器506，相关值峰值位置检测器507。

由图象拾取装置501拾取的模拟图象数据由A/D转换器502转换成数字图象，然后存储在检索图象存储器503。参考图象存储器504预先存储固定的与要跟踪的预定目标相关的参考图象数据。相关运算单元505执行相关运算，得出指示检索图象存储器503中的图象数据和参考图象存储器504中参考图象数据之间的相关性的相关值。相关值峰值位置检测器507检测该相关值峰值位置，即，在拾取的图象中具有最高的相关性的位置。该峰值位置被送回到地址发生器506，地址发生器506产生一个对应于该峰值位置的存储器地址，并将该存储器地址送到检索图象存储器503和参考图象存储器504。于是，在峰值位置检测器507总能得到相关值的峰值，根据该峰值位置，可以以实时的方式跟踪在拾取的图象中的目标。但是，在传统的局部区域图象跟踪装置中存在下面的问题。

首先，当来自图象拾取装置501的图象数据通过A/D转换器502被写进检索图象存储器503时，无法从检索图象存储器503中读出数据并在相关性运算单元505中执行相关性运算。因此，产生的问题是针对每个拾取的图象，无法对每个帧进行跟踪处理。结果，在相关性运算单元505中的相关性运算是针对图象数据的每个其它一帧进行的，这样，只能对每个其它一帧进行跟踪处理。换句话说，在传统的局部区域图象跟踪装置中，不能够以高速进行跟踪处理。

其次，由于相对于图象拾取装置501只提供有一个相关性运算单元505，在同一时刻跟踪目标的个数由于相关性运算单元的处理能力而受到限制。另一方面，由于新的图象数据以每一帧的单位不断地从图象拾取单元501传送过来，相关性运算单元必须在一帧的时间内完成相关性处理。但是，当在同时需要处理的目标数目较大时，在一帧的时间内完成每个目标的相关性运算是不可能的。根据相关性运算单元505的处理能力，只可能在同一时刻跟踪一个目标。结果，传统的局部区域图象跟踪装置不能以高速执行跟踪处理。

第三，由于参考图象存储器504预先存储了与要跟踪的预定目标相关的固定参考图象数据，产生的问题是在跟踪处理过程中，参考图象存储器504的内容不能在任意的时间进行刷新。

因此，本发明的主要目的就是提供一种局部区域图象跟踪装置，其中上面所述的问题都得以消除。

本发明的另一个目的就是提供一种局部区域图象跟踪装置，它通过将要跟踪处理的检索图象数据和与任意局部区域相关的参考图象数据比较来连续跟踪由检索图象数据表达的检索图象内的任意局部区域，其中该检索图像数据来自于由图像拾取装置拾取的输入图象数据，该局部区域图象跟踪装置包括：一个图象数据总线，用于传送来自图象拾取装置的输入图象数据；多个相关性跟踪处理器，并联到图象数据总线，所述相关性跟踪处理器彼此独立地操作，并针对至少一个检索图象执行跟踪处理；对于一个或多个检索图象的处理由所述多个相关性处理器分布地处理；每个所述相关性跟踪处理器包括：至少三个图象存储器，选择器装置，用于选择地转换图象存储器到存储输入图象数据的输入图象存储器，一个检索图象存储器，用于存储检索图象数据，一个参考图象存储器，用于存储参考图象数据。

本发明的另一个目的就是提供一种局部区域图象跟踪装置，它通过将要跟踪处理的检索图象数据与任意局部区域相关的参考图象数据比较来连续跟踪由检索图象数据表达的检索图象内的任意局部区域，包括，至少三个图象存储器，选择器装置，用于选择地转换图象存储器到存储输入图象数据的输入图象存储器，一个检索图象存储器，用于存储检索图象数据，一个参考图象存储器，存储参考图象数据，相关性运算装置，通过执行相关性运算处理，运算指示存储在参考图象存储器中的参考图象数据和存储在检索图象存储器中的检索图象数据之间的相关性的相关值，峰值位置检测装置，用于得到来自相关性运算装置的相关值的峰值位置，图象存储器管理装置，用于根据从峰值位置检测装置得到的峰值位置控制选择器装置并相继地在图象存储器中存储参考图象的历史，以便根据存储在检索图象存储器内的相关值的峰值位置的历史，刷新参考图象数据。根据本发明的局部区域图象跟踪装置，可以改善跟踪处理的可靠性。

本发明的第四个目的是提供一种局部区域图象跟踪装置，它通过将要跟踪处理的检索图象数据与任意局部区域相关的参考图象数据比较来连续跟踪由检索图象数据表达的检索图象内的任意局部区域，包括，存储器装置，用于存储至少检索图象数据和参考图象数据，参考图象数据产生装置，用于自动从输入图象数据中自动产生参考图象数据，地址产生装置，用于产生用于从存储器装置中读取检索图象数据和参考图象数据的地址，相关性运算装置，用于通过执行相关性运算处理，运算指示存储在参考图象存储器中的参考图象数据和存储在检索图象存储器中的检索图象数据之间的相关性的相关值，控制装置，用于输出运动指令，通过运动装置移动图象拾取装置，用于根据从峰值位置检测装置得到的峰值位置跟踪任意的局部区域。根据本发明的局部区域图象跟踪装置，可以自动检测由拾取装置拾取的输入图象内的运动目标。

本发明的另一个目的是提供一种局部区域图象跟踪装置，它通过将要跟踪处理的检索图象数据与任意局部区域相关的参考图象数据比较来连续跟踪由检索图象数据表达的检索图象内的任意局部区域，包括，存储器装置，用于存储至少检索图象数据和参考图象数据，参考图象数据产生装置，用于自动从输入图象数据中自动产生与多个局部区域相关的参考图象数据，标号装置，用于对多个局部区域标号，以便识别该多个局部区域，地址产生装置，用于产生用于从存储器装置中读取检索图象数据和参考图象数据的地址，相关性运算装置，用于对多个标号的局部区域的每个执行相关性运算处理，运算指示存储在参考图象存储器中的参考图象数据和存储在检索图象存储器中的检索图象数据之间的相关性的相关值，控制装置，用于根据从峰值位置检测装置得到的峰值位置跟踪多个标号的局部区域。根据本发明的局部区域图象跟踪装置，即使只用一个固定的图象拾取装置，也可以满意地跟踪和拾取多个运动目标。

本发明的其它目的和进一步的特征通过下面结合附图的详细的描述，将会更为明晰。

图1为系统框图，显示了传统局部区域图象跟踪装置的一部分；

图2为系统框图，显示了根据本发明的局部区域图象跟踪装置的第一实施例的一般结构；

图3为一个时序图，显示了象素时钟和图象数据之间的关系；

图4为一个系统框图，显示了第一实施例的相关性跟踪处理器的结构；

图5显示了一个8象素×8象素参考图象；

图6显示了一个16象素×16象素检索图象；

图7显示了在检索区域内具有与参考图象相同尺寸的部分区域图象；

图8显示了参考图象；

图9显示了检索图象；

图10显示了对图8中的参考图象和图9中的检索图象的相关性运算结果；

图11为一个系统框图，显示了根据本发明的局部区域图象跟踪装置的第2实施例的相关性跟踪处理器的结构；

图12为一个系统框图，显示了存储器选择器的实例；

图13为一个视图，解释了送到只读存储器的5位地址信号；

图14为一个视图，显示了送到只读存储器的5位地址信号值和从只读存储器中读出的选择数据值之间的关系；

图15为一个系统框图，显示了一个检索图象地址产生器的实例；

图16为一个系统框图，显示了一个参考图象地址产生器的实例；

图17为一视图，解释了第二实施例中图象存储器的转换；

图18为一个系统框图，显示了本发明的第三实施例的相关性跟踪处理器的结构；

图19为一个系统框图，显示了图18中的存储器选择器的实例；

图20为一视图，解释了送到图19所示的只读存储器的一个(3n+1)一位地址信号；

图21为一视图，显示了送到图19所示的只读存储器的一个(3n+1)一位地址信号的值和从只读存储器读出的选择数据的值之间的关系；

图22为一视图，解释了第三实施例中图象存储器的转换；

图23为一个系统框图，显示了本发明的局部区域图象跟踪装置的第四实施例的相关性处理器的结构；

图24为一个系统框图，显示了本发明的局部区域图象跟踪装置的第五实施例的一般结构；

图25为一个系统框图，显示了第五实施例的相关性跟踪处理器的结构；

图26为一个系统框图，显示了一个存储器选择器的实例，及一个控制计算机接口的一部分；

图27为一个时序图，显示了帧同步信号和刷新指令标志的关系；

图28为一个系统框图，显示了本发明的局部区域图象跟踪装置第六实施例的相关性跟踪处理器的结构；

图29为一个系统框图，显示了参考图象地址产生器，检索图象地址产生器和控制计算机接口的一部分；

图30为一个系统框图，显示了本发明的局部区域图象跟踪装置的第七实施例的相关性跟踪处理器的结构；

图31为一个系统框图，显示了图30中所示的控制计算机接口的第一实施例的一部分；

图32为一个视图，用于解释256个相关值向图30所示的双端存储器内存；

图33为一个系统框图，显示了图10所示的控制计算机接口的第二实施例的一部分；

图34为一视图，解释了256个相关值向一个清零的双端存储器的存储；

图35为一视图，解释了在图34所示的状态之后，256个相关值向一个清零的双端存储器的存储；

图36为一系统框图，显示了图30所示的控制计算机接口的第三实施例的一部分；

图37为一个系统框图，显示了根据本发明的局部区域图象跟踪装置的第八实施例的一部分连同一个控制计算机结构；

图38为一个系统框图，显示了根据本发明的局部区域图象跟踪装置的第九实施例的一部分连同一个控制计算机结构；

图39为一个视图，解释了根据本发明的局部区域图象跟踪装置的第十实施例的工作过程；

图40A，40B和40C分别显示了第十实施例的操作过程；

图41A，41B和41C分别显示了第十实施例的操作过程；

图42A，42B和42C分别显示了第十实施例的操作过程；

图43为一个系统框图，显示了根据本发明的局部区域图象跟踪装置的第十一实施例的一部分；

图44为一个系统框图，显示了一个可行的局部区域图象跟踪装置；

图45为一个系统框图，显示了根据本发明的局部区域图象跟踪装置的第十二实施例的一部分；

图46为一个流程图，解释了当中央处理单元构成图象存储器管理器时中央处理单元的操作；

图47为一个视图，解释了图象存储器数字的排列；

图48为一个视图，解释了图象存储器数字的排列的初始状态；

图49为一视图，解释了一个存储器表；

图50为一个系统框图，显示了根据本发明的局部区域图象跟踪装置的第十三实施例的结构；

图51为一个流程图，解释了当中央处理单元构成图象存储器管理器时中央处理单元的操作；

图52为一个系统框图，显示了根据本发明的局部区域图象跟踪装置的第十四实施例的结构；

图53为一个流程图，解释了当中央处理单元构成图象存储器管理器时中央处理单元的操作；

图54为一个系统框图，显示了根据本发明的局部区域图象跟踪装置的第十五实施例的结构；

图55A，55B，55C和55D分别为解释第五实施例操作的视图；

图56为一个流程图，用于解释第五实施例的操作图57为一个视图，解释了摄像机座的控制；

图58为一个系统框图，显示了根据本发明的局部区域图象跟踪装置的第十六实施例的结构；

图59为解释实施例16的操作的流程图；

图60为解释实施例16的操作的流程图；

图61为解释根据本发明的局部区域图象跟踪装置的实施例17的操作的流程图；

图62为一个系统框图，显示了根据本发明的局部区域图象跟踪装置的第十八实施例的结构；

图63为解释实施例18的操作的流程图；

图64为一个系统框图，显示了根据本发明的局部区域图象跟踪装置的第十九实施例的结构；

图65为解释实施例19的操作的流程图；

图66为解释根据本发明的局部区域图象跟踪装置的实施例20的操作的流程图；

图67A和67B分别为解释当跟踪多个进入的目标标号过程的视图；

图68为解释标号过程的流程图；

图69为解释根据本发明的局部区域图象跟踪装置的实施例21的操作的流程图；

图70为解释根据本发明的局部区域图象跟踪装置的实施例22的操作的流程图；

图71为解释根据本发明的局部区域图象跟踪装置的实施例23的操作的流程图；

图72为解释根据本发明的局部区域图象跟踪装置的实施例24的操作的流程图。

首先参照图2-图10描述本发明的局部区域图象跟踪装置的第一实施例。

图2显示了第一实施例的一般结构。在图2中，所述局部区域图象跟踪装置包括一个图象拾取装置1，例如一个摄像机，一个包含A/D转换器的图象输入单元2，多个相关性跟踪处理器4-1到4-M，通过图象数据总线3与图象输入单元2相连。换句话说，多个相关性跟踪处理器4-1到4-M通过图象数据总线3与图象输入单元并联。相关性跟踪处理器4-1到4-M分别具有相同的结构。

由图象拾取装置1拾取的图象数据在图象输入单元2中被转换成数字图象数据，并通过图象数据总线3的帧同步信号线，象素时钟信号线和图象数据信号线被送到每个相关性跟踪处理器4-1到4-M。在象素时钟信号线上传送的象素时钟和在图象数据信号线上传送的图象数据具有图3所示的时序关系。相关性跟踪处理器4-1至4-M的每个响应于象素时钟的上升沿锁存每个象素时钟并将象素数据存储在相应的图象存储器中。

通过有选择地操作并联的相关性跟踪处理器4-1至4-M的任一个，可以以高速进行跟踪处理。每个相关性跟踪处理器4-1至4-M有选择地转换和使用图象存储器，使得向图象存储器的写入过程和读出过程，以及执行相关性运算可以以并行方式进行，从而，可以对图象数据的每一帧执行跟踪处理。

图4为一个系统框图，显示了该实施例的相关性跟踪处理器4的结构。其中，相关性跟踪处理器4包括一个图象输入控制器5，连接于图象数据总线3，一个检索图象存储器6，一个参考图象存储器7，和一个相关运算单元8。图象输入控制器5，检索图象存储器6，参考图象存储器7，相关运算单元8都提供于一个单一的结构上。

与由图象拾取装置1拾取装图象相关的模拟图象数据被在图象输入单元2中转换成数字图象数据，并通过相关性跟踪处理器4的图象输入控制器5被相继地存储到检索图象存储器6中。参考图象存储器7预先存储与要跟踪的目标相关的参考图象数据。相关性运算单元8执行相关性运算，以便得出指示检索图象存储器6内的图象数据和参考图象存储器7内的参考图象数据之间的相关性的相关值。于是由相关值峰值位置检测器(未示出)检测出该相关值的峰值位置，即在被拾取的图象中具有最高相关性的位置。因此，在相关值峰值位置检测器中总能够检测出相关值的峰值位置，根据该峰值位置，可以在拾取的图象中以实时的方式跟踪预定的目标。

相关性运算单元8针对检索图象存储器6中的图象数据和参考图象存储器7中的参考图象数据执行下述操作。为了方便起见，假定参考图象如图5所示由8×8象素构成，该参考图象的象素值用Xi，j表示。在该例中，如图6所示，检索图象是由16×16象素构成的，相关性运算单元8利用与图7所示的检索图象内的参考图象相同尺寸的局部区域图象执行下面公式的操作。在下面的公式中，Yi，j表示检索图象内的象素值，Dm，n表示一个相关值，通过数字值m＝0...，7，n＝o，...，7指示两个图象的相近程度。 $D_{m,n}=\underset{i=0}{\overset{7}{\mathrm{\Σ}}}\underset{j=0}{\overset{7}{\mathrm{\Σ}}}|X_{i,j}-Y_{i+m,j+n}|$

在上述的公式中，两个图象越接近，Dm，n值越小。

图8显示了实际参考图象的例子，图9显示了实际检索图象的例子。图10显示了对图8显示的实际参考图象和图9显示的实际检索图象执行相关性运算的结果。在该例中，当m＝5，n＝4时，Dm，n具有一个最小值，指示在该位置的局部区域图象最接近参考图象。

执行相关性运算可以发现最接近参考图象的图象位置。因此，通过对运动图象的每一帧执行这种相关性运算，就可以跟踪图象内的运动的目标。

如果上述公式描述的的相关性运算处理由相关性运算单元8执行到这样一种程度，即在32×32象素的检索图象内对256局部区域的16×16象素构成的参考图象进行相关性运算，以得到相关值的话，已经研制了用于相关性运算单元的大规模集成电路(LSI)，包括相关值峰值位置检测器在内，用于检测相关值的峰值位置。在这种LSI中，用于上述相关性运算的运算时间仅为500微秒或更少。例如，可以采用S.G.S Thomson生产的STI3220 LSI作为相关性运算单元8。因此，在此实施例中，将参考图象的尺寸设置为16×16象素，即可以实现高速局部区域图象跟踪装置，在一帧的时间内，执行50-70次相关性运算。

此外，即使要跟踪目标数目很大，对于每个目标的相关性运算也可以分散到多个相关性跟踪处理器4-1至4-M，并以并行的方式由他们执行处理。因此，不管要跟踪的目标的个数如何，都可以以高速执行跟踪处理。

下面参照图11-图17描述本发明的局部区域图象跟踪装置的第二实施例。在该实施例中，也采用了图2所示的第一实施例的基本结构。

图11为一个系统框图，显示了第二实施例的相关性跟踪处理器4的结构。在图11中，相关性跟踪处理器4包括选择器11，17和18，图象存储器12-1，12-2，12-3，地址选择器15和16，存储器选择器19，参考图象地址产生器20，检索图象地址产生器21，相关性运算单元22，峰值位置检测器23，其连接如图所示。在该实施例中，3个图象存储器12-1到12-3被有选择地用于在每一帧中实现跟踪处理，检索图象以每一帧的输入，和参考图象的以任意帧的间隔的刷新。

选择器从图象数据总线3的图象数据信号线接收8比特输入图象数据。选择器11根据一个来自存储器选择器19的2比特输入存储器选择信号提供8比特输入图象数据到3个图象存储器12-1至12-3中选择的一个。

图12为一个系统框图，显示了存储器选择器19的实例。在图12中，存储器选择器19包括一个常数只读存储器ROM31，一个比较器32，一个帧计数器33，一个锁存电路34，一个反相器35，一个触发器36，和一个ROM37，其连接如图所示。

常数只读存储器31预先存储指示参考图象转换间隔的常数。另一方面，从图象数据总线3的帧同步信号线得到的帧同步信号经过反相器35被送到帧计数器33和触发器36的时钟输入端。相应地，帧计数器33对来自反相器35的反相的帧同步信号计数，并将计数值提供给比较器32。比较器32将从常数ROM31读出的常数与从帧计数器33输出的计数值进行比较，当比较的常数值和计数值相匹配时，输出一个转换脉中。该转换脉冲开始参考图象存储器的转换。该转换脉冲被提供到参考图象地址产生器20，如图11所示，同时也送到锁存电路34和触发器36的清零端。

触发器36的A/Q输出(反相Q输出)被送到其数据输入端D，触发器36的Q输出端被送到ROM37，作为ROM37的地址信号比特的1比特输出。余下的ROM的地址信号的4比特由锁存电路34提供。ROM37预先存储与图象存储器12-1至12-3的选择相关的选择数据。从ROM37读出的由5比特地址信号规定的选择数据被输出，作为2比特检索图象存储器选择信号和2比特参考图象存储器选择信号。输入图象存储器选择信号决定图象存储器12-1至12-3中的哪一个被作为输入图象存储器，用于存储输入图象数据。同样，检索图象存储器选择信号决定图象存储器12-1至12-3中的哪一个被作为检索图象存储器，用于存储检索图象数据。参考图象存储器选择信号决定图象存储器12-1至12-3中的哪一个被作为参考图象存储器，用于存储参考图象数据。

所述2比特输入图象存储器选择信号和2比特检索图象存储器选择信号被提供到ROM37作为经过锁存电路34的余下的4位地址信号。此外，2比特输入图象存储器选择信号被送到选择器11，2比特检索图象存储器选择信号被送到地址选择器15和选择器18，2比特参考图象存储器选择信号被送到地址选择器16和选择器17。

图13为一视图，显示了提供到ROM37的5比特位地址。如图13所示，该地址信号由比特A0到A4构成。比特A0对应于来自触发器36的信号。比特A1和A2对应于经过锁存电路34得到的2比特检索图象存储器选择信号。比特A3和A4对应于经过锁存电路34得到的2比特输入图象存储器选择信号。根据比特A0是‘0’或‘1’，图象存储器12-1至12-3被转换，以便有选择地交替输入图象数据到作为参考图象存储器的图象存储器之外的两个图象存储器。

图14显示了提供到ROM37的5比特地址信号值(ROM地址)，根据ROM地址从ROM37读出的选择数据，即2比特输入图象存储器选择信号，2比特检索图象存储器选择信号和2比特参考图象存储器选择信号的关系。例如，当ROM地址值为“2”，输入图象存储器选择信号值为“2”，检索图象存储器选择信号值为“0”，参考图象存储器选择信号值为“1”。在该例中，图象存储器12-1当图象存储器选择信号值为“1”时被选择，当图象存储器选择信号值为“2”时，图象存储器12-3被选择。相应地，当存储器地址值为“2”时，图象存储器12-3被选择为输入图象存储器，图象存储器12-1被选为检索图象存储器，图象存储器12-2被选为参考图象存储器。换句话说，图22所示的选择器11根据输入图象存储器选择信号值为“0”，“1”，或“2”有选择地提供图象数据到图象存储器12-1，12-2或12-3。。当然，图14并未示出所有的关系，为了方便起见只是示出了一部分关系。

图11所示的地址选择器15，根据来自存储器选择器19的检索图象存储器选择信号，提供从一个从检索图象地址产生器21产生的18比特的检索图象地址到图象存储器12-1至12-3其中之一的以被选为检索图象存储器的那个存储器。此外，地址选择器16，根据来自存储器选择器19的参考图象存储器选择信号，提供从一个从参考图象地址产生器20产生的18比特的检索图象地址到图象存储器12-1至12-3其中之一的以被选为参考图象存储器的那个存储器。

从图象存储器12-1至12-3读出的图象数据被送到选择器17和18的每一个。如上所述，选择器17接收来自存储器选择器19的检索图象存储器选择信号，选择器18接收来自存储器选择器19的参考图象存储器选择信号。于是，在从图象存储器12-1至12-3读出的图象数据中，选择器17和18只选择检索图象数据和参考图象数据并将这些数据送到相关性运算单元22。通过执行与实施例1相似的相关性运算，相关性运算单元22得出相关值。该值从相关性运算单元22被送到峰值位置检测器23。由于峰值位置检测器23输出一个指示峰值位置的18比特峰值地址，根据该峰值位置，可以以实时的方式，在拾取的图象中跟踪预定的目标。从峰值位置检测器23输出的18比特峰值位置地址被送到参考图象地址产生器20和检索图象地址产生器21。

图15为一个系统框图，显示了检索图象地址产生器21的实例。在图15中，检索图象地址产生器21包括常数ROM41，43，47和49，加法器42，46，48和52，X地址计数器44，比较器45和51，Y地址计数器50，其连接如图所示。

常数ROM41预先存储了一个9比特X地址最小值(偏移值)。加法器42加上一个9比特x地址最小值(从常数ROM41读出)和从峰值位置检测器23输出的18比特峰值位置地址以外的图象数据的X地址相关的9比特，如图11所示，将该加上9比特的值送到加法器46。X地址计数器44对从图象数据总线3的象素时钟信号线得到的象素时钟信号进行计数，将9比特计数值送到加法器46和比较器45。象素时钟信号是根据形成图象数据的每个象素(图象元)而产生的。

另一方面，常数ROM43预先存储一个9比特X尺寸数据。X-尺寸数据指示X方向检索图象的尺寸(幅度)。比较器45比较从常数ROM45读出的X尺寸数据和从X地址计数器44输出的计数值，如果二者相互匹配，则输出一个匹配信号。该匹配信号被送到X地址计数器44的一个清零端对其清零，并且也送到Y地址计数器50。

Y地址计数器50对匹配信号计数并将一个9比特计数值送到加法器52和比较器51。常数ROM47预先存储一个9比特Y地址最小值(偏移值)。加法器48加上一个9比特Y地址最小值(从常数ROM47读出)和从峰值位置检测器23输出的18比特峰值位置地址以外的图象数据的Y地址相关的9比特，如图11所示，将该加上9比特的值送到加法器52。常数ROM49预先存储一个9比特Y尺寸数据。Y尺寸数据指示Y方向检索图象的尺寸(幅度)。比较器51比较从常数ROM49读出的Y尺寸数据和从Y地址计数器50输出的计数值，如果二者相互匹配，则输出一个匹配信号。该匹配信号被送到Y地址计数器50的一个清零端对其清零。

于是，从加法器46中得到检索图象地址的9比特的低地址，从加法器52中得到检索图象地址的9比特高地址。从加法器46和52中，得到具有18比特的检索图象地址，并送到图11所示的地址选择器15。

图16为一个系统框图，显示了参考图象地址产生器20的实例。在图16中，参考图象地址产生器20包括一个锁存电路55，常数ROM56，58，62和64，选择器57和63，X地址计数器59，比较器60和66，Y地址计数器65，和加法器61和67，其连接如图所示。

如图11所示，锁存电路55接收来自存储器选择器19的转换脉冲，该锁存电路55的输出被送到选择器57和63。常数ROM56预先存储一个9比特X地址最小值，常数ROM62预先存储一个9比特Y地址最小值。除了从图11所示的峰值位置检测器23输出的18比特峰值位置，与图象数据的X地址相关的9比特被送到选择器57。此外，除了从峰值位置检测器23输出的18比特峰值位置，与图象数据的Y地址相关的9比特被送到选择器63。选择器57根据锁存电路55的输出有选择地提供从常数ROM56读出的X地址最小值和峰值位置内的X地址之中的一个。选择器63根据锁存电路55的输出有选择地提供从常数ROM62读出的Y地址最小值和峰值位置内的Y地址之中的一个。

X地址计数器59对从图象数据总线3的象素时钟信号线得到的象素时钟信号计数，并将9比特的计数值送到加法器61和比较器60。常数ROM58预先存储一个9比特X尺寸数据。X-尺寸数据指示X方向参考图象的尺寸(幅度)。比较器60比较从常数ROM58读出的X尺寸数据和从X地址计数器59输出的计数值，如果二者相互匹配，则输出一个匹配信号。该匹配信号被送到X地址计数器59的一个清零端对其清零，并且也送到Y地址计数器65。

Y地址计数器65对匹配信号计数并将一个9比特计数值送到加法器67和比较器66。常数ROM64预先存储一个9比特Y尺寸。Y尺寸数据指示Y方向参考图象的尺寸(幅度)。比较器66比较从常数ROM64读出的Y尺寸数据和从Y地址计数器65输出的计数值，如果二者相互匹配，则输出一个匹配信号。该匹配信号被送到Y地址计数器65的一个清零端对其清零。

因此，从加法器61中得到参考图象地址的9比特的低地址，从加法器67中得到参考图象地址的9比特高地址。从加法器61和67中，得到具有18比特的参考图象地址，并送到图11所示的地址选择器16。

于是，当针对该实施例中的输入图象，确定参考图象并执行跟踪处理时，除了被选择作为参考图象存储器的一个图象存储器被选为检索图象存储器，剩下的一个图象存储器被选为输入图象存储器。相关性运算单元22中的相关性运算使用最新的输入图象作为检索图象，其输入被完成。此外，通过使用在当前帧用作检索图象存储器的图象存储器在下一个后续帧中作为参考图象存储器，可以刷新参考图象。在参考图象被刷新后的一帧中，在前一帧中作为输入图象存储器的图象存储器被作为检索图象存储器，在前一帧中作为参考图象存储器的图象存储器被用作输入图象存储器。结果，3个图象存储器12-1至12-3被转换使用，使得跟踪处理可以在每一帧进行，可以在每一帧中进行检索图象的输入，参考图象可以在任意帧间隔被刷新。

图17显示了解释图象存储器12-1至12-3的转换的视图。在图17中，方块标志表示图象存储器正存储着参考图象，圆形标志指示图象存储器正存储着检索图象数据，实线指示图象存储器正在存储输入图象数据。此外，箭头SW1和SW2分别指示参考图象存储器根据图11所示的存储器选择器的选择脉冲，参考图象存储器转换的时间。更具体地说，SW1指示参考图象存储器从图象存储器12-1被转换到图象存储器12-2的时间，SW2指示参考图象存储器从图象存储器12-2被转换到图象存储器12-3的时间。

下面，参考图18到22描述根据本发明的局部区域图象跟踪装置的第三实施例。该实施例将也采用图2所示的基本结构。

图18为一个系统框图，显示了第三实施例的相关性跟踪处理器4的结构。在图18中，与图11中相同的部件用相同的标号表示并省略了其描述。

在该实施例中，如果N为大于或等于4的整数，在图18中提供了N个图象存储器12-1至12-N。此外，存储器选择器19A输出一个n比特输入图象存储器选择信号，一个n比特检索图象存储器选择信号，一个n比特参考图象存储器选择信号。其它部分基本与图11所示的相同。在该实施例中，2^n-1＜N-1＜2ⁿ。

图19为一个系统框图，显示了图18所示的存储器选择器19A的实施例。在图19中，与图12中相同的部件用相同的标号表示并省略了其描述。在图19所示的存储器选择器19A中，ROM地址具有3n+1比特，ROM37分别具有n比特的输入图象存储器选择信号，检索图象存储器选择信号，参考图象存储器选择信号。此外，锁存电路34接收从ROM37读出的n比特的输入图象存储器选择信号。另外，其它部分基本与图12所示的存储器选择器相同。

图20解释了送到图19所示的ROM37的(3n+1)比特的地址信号。如图20所示，该地址信号由比特A0至A3n组成。比特A0对应于来自触发器36的信号。比特A1至An对应于从锁存电路34得到的n比特的输入图象存储器选择信号。比特An+1至A2n对应于从锁存电路34得到的。此外，比特A2n+1至A3n对应于从锁存电路34得到的n比特参考图象存储器选择信号。图象存储器12-1至12-N的转换是根据比特A0是“0”或“1”来执行的，以便交替地输入图象数据到参考图象存储器之外的两个图象存储器。

图21显示了送到图19所示的ROM 37的(3n+1)比特的地址信号(ROM地址)值，根据ROM地址，从ROM37读出的选择数据，即n比特的输入图象存储器选择信号值，n比特的检索图象存储器选择信号值，n比特参考图象存储器选择信号值。为方便起见，图21显示当n＝3和N＝6的情况。例如，ROM地址值为“34”，n比特的输入图象存储器选择信号值为“3”，n比特的检索图象存储器选择信号值为“1”，n比特参考图象存储器选择信号值为“2”。在该例中，当图象存储器选择信号值为“0”时，图象存储器12-1被选择，当图象存储器选择信号值为“1”时，图象存储器12-2被选择，当图象存储器选择信号值为“2”时，图象存储器12-3被选择，当图象存储器选择信号值为“3”时，图象存储器12-4被选择。相应地，当ROM地址值为“34”，图象存储器12-4被选为输入图象存储器，图象存储器12-2被选为检索图象存储器，图象存储器12-3被选为参考图象存储器。换句话说，根据输入图象存储器选择信号值是“0”，“1”，...或“N-1”，图18所示的选择器11有选择地提供图象数据到图象存储器12-1，12-2，...，或12-N。当然，图21中并未示出所有的关系，而只是示出了这些关系的一部分。

如上所述，当针对该实施例中的输入图象，确定参考图象并执行跟踪处理时，除了被选择作为参考图象存储器的一个图象存储器被选为检索图象存储器，剩下的一个图象存储器被选为输入图象存储器。相关性运算单元22中的相关性运算使用最新的输入图象作为检索图象，其输入被完成。此外，通过使用在当前帧用作检索图象存储器的图象存储器在下一个后续帧中作为参考图象存储器，可以刷新参考图象。在参考图象被刷新后的一帧中，在前一帧中作为输入图象存储器的图象存储器被作为检索图象存储器，在前一帧中作为参考图象存储器的图象存储器被用作输入图象存储器。结果，N个图象存储器12-1至12-N被转换使用，使得跟踪处理可以在每一帧进行，可以在每一帧中进行检索图象的输入，参考图象可以在任意帧间隔被刷新。

此外，当刷新参考图象时，在前一帧作为参考图象存储器的图象存储器可以被未被选用的并没有存储参考图象数据的图象存储器所取代。如果过去的参考图象数据被存储在所有的未被选用的图象存储器中，也可以将在前一帧用作参考图象存储器的图象存储器用存储最早的参考图象数据的图象存储器替代。此外，存储器选择器19A也具有用在该时间点作为参考图象存储器的图象存储器替代以任意帧存储参考图象数据的图象存储器的功能。因此，可以存储多个候选的参考图象，通过有选择地使用除了过去刷新的参考图象以外的具有最高相关性的参考图象，高度可靠地执行跟踪处理。

图22显示了解释图象存储器12-1至12-N的转换的视图。在图22中，方块标志表示图象存储器正存储着参考图象，圆形标志指示图象存储器正存储着检索图象数据，实线指示图象存储器正在存储输入图象数据。此外，箭头SW1和SW2分别指示参考图象存储器根据图18所示的存储器选择器19A的选择脉冲，参考图象存储器转换的时间。更具体地说，SW1指示参考图象存储器从图象存储器12-i被转换到图象存储器12-j的时间，SW2指示参考图象存储器从图象存储器12-j被转换到图象存储器12-k的时间，其中，i，j和k为1到N的互不相同的整数。

下面，参考图23描述根据本发明的局部区域图象跟踪装置的第四实施例。该实施例将也采用图2所示的基本结构。

图23为一个系统框图，显示了第四实施例的相关性跟踪处理器4的结构。在图23中，与图18中相同的部件用相同的标号表示并省略了其描述。

在该实施例中，在选择器17和相关性运算单元22之间提供了一个先入先出(FIFO)68，在选择器18和相关性运算单元22之间提供了一个先入先出(FIFO)69，如图23所示。来自选择器18和19的检索图象数据和参考图象数据被送到对应的FIFO68和69并相继存储在FIFO68和69中。当可读的检索图象数据和参考图象数据存在于FIFO68和69中时，关性运算单元22开始，并且通过从FIFO68和69中读出检索图象数据和参考图象数据执行相关性运算。

根据该实施例，利用选择器17和18取出检索图象数据和参考图象数据，即，从图象存储器12-1至12-N，相关性运算单元22针对检索图象数据和参考图象数据的相关性运算以并行的方式进行。因此，可以进一步改进跟踪处理的速度。

下面参见图24至27描述根据本发明的局部区域图象跟踪处理装置的第五实施例。

图24为一系统框图，显示了第五实施例的结构。在图24中，局部区域图象跟踪处理装置包括一个图象拾取装置1，例如，一台摄像机，一个包括A/D转换器的图象输入单元2，多个相关性跟踪处理器4-1至4-M，通过图象总线3连接到图象输入单元2，一个控制计算机70，和一个控制计算机总线71。换句话说，多个相关性跟踪处理器4-1至4-M通过图象数据总线3与图象输入单元2并联，并且相关性跟踪处理器4-1至4-M通过控制计算机总线71与控制计算机并联。相关性跟踪处理器4-1至4-M分别具有相同的结构。

由图象拾取装置1拾取的图象数据在图象输入单元2中被转换成数字图象数据，并通过图象数据总线3的帧同步信号线，象素时钟信号线和图象数据信号线被送到每个相关性跟踪处理器4-1到4-M。在象素时钟信号线上传送的象素时钟和在图象数据信号线上传送的图象数据具有图3所示的时序关系。相关性跟踪处理器4-1至4-M的每个响应于象素时钟的上升沿锁存每个象素时钟并将象素数据存储在相应的图象存储器中。

通过有选择地操作并联的相关性跟踪处理器4-1至4-M的任一个，可以以高速进行跟踪处理。每个相关性跟踪处理器4-1至4-M有选择地转换和使用图象存储器，使得向图象存储器的写入过程和读出过程，以及执行相关性运算可以以并行方式进行，从而，可以对图象数据的每一帧执行跟踪处理。

控制计算机70通过控制计算机总线71对相关性处理器4-1至4-M进行各种控制。包括刷新参考图象的控制，选择和转换图象存储器的控制。相关性处理器4-1至4-M分别具有提供有各种控制寄存器的控制计算机接口，根据其本身控制计算机接口内的控制寄存器中设置的值，相关性处理器4-1至4-M可被控制。控制计算机接口内的控制寄存器被映射为控制计算机总线上的不同的地址空间，当控制计算机70访问预定的地址空间时，进行对控制计算机接口内的控制寄存器的读出和写入。换句话说，控制寄存器中的值可以从控制计算机70任意设置。此外，控制计算机70控制计算机70管理通过控制计算机总线71从每个相关性跟踪处理器4-1至4-M得到的相关值的峰值位置，因此，可以很容易地跟踪一个或多个运动的目标。

例如，符合VME标准的总线可以用作控制计算机总线71。该例中，采用了具有VME标准的计算机作为控制计算机70。

图25为一个系统框图，显示了该实施例的相关性跟踪处理器4的结构。在图25中，与图18中相同的部件用相同的标号表示并省略了其描述。

在该例中，提供了如图25所示的控制计算机接口71。该控制计算机接口74通过控制计算机总线71连接到控制计算机70。此外，控制计算机接口74也接到存储器选择器19B。

图26为一个系统框图，显示了相关性存储器选择器19B连同控制计算机接口74的一部分的实例。在图26中，与图19中相同的部件用相同的标号表示并省略了其描述。

在图26中，存储器选择器19B包括一个锁存电路76，替代比较器32和帧计数器33，如图19所示。该锁存电路76接收一个存储在控制计算机接口内的控制寄存器77中的刷新指令标志RN，刷新指令标志RN可以通过控制计算机总线71从控制计算机70设置，当设置时，该刷新指令标志RN向存储器选择器19B指令刷新参考图象。锁存电路76也接收从反相器35得到的反相的帧同步信号。如图27所示，当帧同步信号处于刷新指令RN被设置的状态，锁存电路76响应于帧同步信号的下降沿，输出一个转换脉冲。控制计算机接口74内的控制寄存器77存储了除了刷新指令标志RN以外的各种标志，控制计算机接口74具有除了控制寄存器77以外的各种控制寄存器，但是，这种标志和控制寄存器并不直接涉及本发明的主题，因此，本说明书中略去了其描述。

下面，参照图28和29描述本发明的局部区域图象跟踪装置的第六实施例，该实施例采用了图24所示的第五实施例相似的结构。

图28为一个系统框图，显示了该实施例的相关性跟踪处理器4的结构。在图28中，与图23中相同的部件用相同的标号表示并省略了其描述。

在该实施例中，参考图象地址产生器20B分别通过控制计算机接口74B和控制计算机总线71连接到控制计算机70。因此，参考图象地址产生器20B和检索图象地址产生器21B根据来自控制计算机的指令，可以分别产生参考图象地址和检索图象地址。

图29为一个系统框图，显示了参考图象地址产生器20B，检索图象地址产生器21B，控制计算机接口74B的一部分。在图29中，与图15中相同的部件用相同的标号表示并省略了其描述。

如图29所示，参考图象地址产生器20B没有存储X地址最小值的常数ROM56和存储Y地址最小值的常数ROM62。而是在控制计算机接口74B内提供了对应于常数ROM 56的X地址最小值寄存器56B和对应于常数ROM62的Y地址最小值寄存器62B。类似地，检索图象地址产生器21B没有存储X地址最小值的常数ROM41和存储Y地址最小值的常数ROM47。而是在控制计算机接口74B内提供了对应于常数ROM41的X地址最小值寄存器41B和对应于常数ROM47的Y地址最小值寄存器47B。

因此，根据该实施例，通过从控制计算机70设置每个寄存器56B，62B，41B和47B，可以任意确定参考图象的X和Y地址最小值和检索图象的X和Y地址最小值。此外，尽管略去了其图示，通过在控制计算机接口74B内提供对应的寄存器，可以省略参考图象地址产生器20B内的常数ROM58，64，使得可以以类似的方式，从控制计算机70任意设置参考图象的X和Y尺寸。另外，通过在控制计算机接口74B内提供对应的寄存器，可以省略参考图象地址产生器21B内的常数ROM43和49，使得可以以类似的方式，从控制计算机70任意设置参考图象的X和Y尺寸。

下面，参照图30至36描述本发明的局部区域图象跟踪装置的第七实施例，该实施例采用了图24所示的第五实施例相似的结构。

图30为一个系统框图，显示了该实施例的相关性跟踪处理器4的结构。在图30中，与图28中相同的部件用相同的标号表示并省略了其描述。

在该实施例中，控制计算机接口74C接于相关性运算单元22，峰值位置检测器23，存储器选择器19B，参考图象地址产生器20B和检索图象地址产生器21B。

图31为一个系统框图，显示了在图30中所示的控制计算机接口74C的实施例的一部分。控制计算机接口74C包括FIFO81和84，地址产生计数器82，双端存储器83，寄存器85。FIFO81相继地存储从相关性运算单元22输出的相关值，从FIFO81输出的每个相关值都以地址产生计数器82产生的地址存储在双端存储器83中。如果假定相关性运算单元22参考图象及检索图象内的256个局部区域图象的相关值，地址产生计数器82反复地产生地址“0”至“256”。控制计算机70可以通过控制计算机总线71参考存储在双端存储器83中的相关值。另一方面，FIFO84相继地存储来自峰值位置检测器23的峰值位置，例如，存储在寄存器85中的相对于256相关值的1峰值位置。控制计算机70可以通过控制计算机总线71参考存储在寄存器85中的峰值位置。

图32示出了256个相关值向双端存储器83的存储。在图32中，左部分显示了检索图象，右部分显示了存储在双端存储器83中的相关值Di，j。

图33为一个系统框图，显示了图30所示的控制计算机接口74C的第二实施例的一部分。在图33中，与图31中相同的部件用相同的标号表示并省略了其描述。

在图33中，控制计算机接口74C包括FIFO81，地址产生计数器82，双端存储器83，加法器87，锁存电路88。双端存储器83响应于第一帧开始时帧同步信号的上升沿而被清零。因此，从双端存储器83读出的相关值通过锁存电路88被送到加法器87。因此，前一个相关值的相加值和目前的相关值从加法器87被送到双端存储器83并存储在双端存储器87中。

图34示出了256个相关值向双端存储器83的存储。在图34中，左部分显示了检索图象，右部分显示了存储在双端存储器83中的相关值Di，j，已被加上“0”并被存储在双端存储器83中。

图35示出了在图34的状态之后256个相关值向双端存储器83的存储。在图35中，左部分显示了检索图象，右部分显示了存储在双端存储器83中的相关值D’i，j，已被加上先前的相关值Di，j并被存储在双端存储器83中。

因此，根据控制计算机接口74C的第二实施例，通过每个跟踪处理得到的相关值分布被相继地相加并存储在双端存储器83中。

图36为一系统框图，示出了图30所示的控制计算机接口74C的第三实施例的一部分，在图36中，与图333中相同的部件用相同的标号表示并省略了其描述。

在图36中，控制计算机接口74C包括FIFO81，地址产生计数器82，双端存储器83，加法器87，锁存电路88，选择器89，常数ROM90，控制寄存器91。选择器89接收来自加法器87的相加值和从常数ROM90读出的值“0”。当在控制寄存器91内设置清除标志CF时，值“0”从双端存储器83送出并存储在双端存储器83中对其清零。另一方面，当清除标志CF未被设置时，选择器89将来自加法器87的相加值送到双端存储器83并存储在双端存储器83中。

因此，根据控制计算机接口74C的第三实施例，由双端存储器83中的多个跟踪处理的每个得到的相关值分布的相加和存储可以通过从控制计算机70在控制寄存器91中设置或寄存清零标志CF来指令。

下面，参照图37描述本发明的局部区域图象跟踪装置的第八实施例，该实施例采用了图24所示的第五实施例相似的结构。

图37为一个系统框图，显示了相关性跟踪处理器4连同控制计算机70的一部分的实例。在图37中，与图30中相同的部件用相同的标号表示并省略了其描述。

在该实施例中，控制计算机70通过控制计算机总线71相继向FIFO95和96写入指示参考图象和检索图象位置的数据块。换句话说，控制计算机70首先向FIFO95写入送到参考图象地址产生器20B的参考图象的X地址最小值和Y地址最小值。此外，控制计算机70首先向FIFO95写入送到参考图象地址产生器21B的检索图象的X地址最小值和Y地址最小值。因此，该实施例大体与图28和29所示的第六实施例相同，区别在于该实施例利用FI-FO95和96代替寄存器。

根接该实施例，通过先向FIFO95和96写入多个数据块，可以在一次操作中执行多个跟踪处理而无需控制计算机70的介入。

下面，参照图38描述本发明的局部区域图象跟踪装置的第九实施例，该实施例采用了图24所示的第五实施例相似的结构。

图38为一个系统框图，显示了该实施例的相关性跟踪处理4连同控制计算机70的结构的一部分。

在该实施例中，来自相关性运算单元22的相关值被相继地写入控制计算机接口74E内的FIFO98，从峰值位置检测器23输出的峰值位置被相继地写入控制计算机接口74E内的FIFO99。该实施例的操作和结构基本与上述第七实施例相同，区别在于该实施例没有使用双端存储器及寄存器。

根据该实施例，控制计算机70可以在任意时刻访问控制计算机接口74E内的FIFO99，读出写入的相关值和峰值位置。

当然，图37所示的结构和图38所示的结构可以处于1个控制计算机接口中。

下面，参照图39至42描述本发明的局部区域图象跟踪装置的第十实施例，该实施例采用了图24所示的第五实施例相似的结构。此外，相关性跟踪处理器4的一部分如图30所示，控制计算机接口74C如图36和37所示。

图39为一个流程图，解释了该实施例的操作。为方便起见，假定跟踪处理是针对16n×16m象素的参考图象进行的。在图39中，控制计算机70在步骤S1对控制计算机接口74C内的双端存储器83清零，在相应的步骤S2和S3中，设置j和i为“0”。此外，控制计算机70在步骤S4在控制计算机接口74C中的FIFO95中设置检索图象地址Rx和Ry，在步骤S5在控制计算机接口74c中的FIFO96中设置检索图象地址Sx和Sy。Rx为用Rx0+16xi表示的参考图象的X地址最小值，Ry为用Ry0+16xj表示的参考图象的Y地址最小值。此外，Sx为用Sx0+16xi表示的参考图象的X地址最小值，Sy为用Sy0+16xj表示的参考图象的Y地址最小值。

相关性运算单元22在步骤S6执行相关性运算。因此，控制计算机70在步骤S7增加i，并在步骤S8中确定是否i＝n。如果在步骤S8中的结果是否，处理返回至步骤S4。另一方面，如果在步骤S8中的确定结果为是，控制计算机70在步骤S9中增加j，并在步骤S10确定是否j＝m。如果结果为否，处理返回至步骤S3。另一方面，如果确定结果为是，峰值位置检测器23在步骤S11检测相关值位置。当运动矢量用vx和vy代表时，控制计算机70在步骤S20将vx加到Sx0，vy到Sy0，流程返回至步骤S1。

图40A显示了一个相邻的参考图象，图40B显示了对应于图40A中所示的参考图象的检索图象，图40C显示了从图40A和40B所示的参考和检索图象得到的相关值分布。

图41A显示了另一个相邻的参考图象，图41B显示了对应于图41A中所示的参考图象的检索图象，图41C显示了从图41A和41B所示的参考和检索图象得到的相关值分布。

此外，图42A显示了构成图40A和40B中所示的相邻参考图象的参考图象，图42B显示了对应于图42B中所示的参考图象的检索图象，图42C显示了通过加上图40C和41C所示的相关值分布得到的相关值分布。换句话说，控制计算机接口74C内的加法器87将图40C和41C所示的相关值分布相加，图42C中所示的相关值分布被存储在双端存储器83中。

根据该实施例，针对相邻参考图象的跟踪处理得出的相关值分布都被相加到一起，得出相加的相关值分布的峰值位置。因此，可以可以对16n×16m象素即任意幅度的16×16象素的参考图象执行跟踪处理。

下面，参照图43描述本发明的局部区域图象跟踪装置的第十一实施例，该实施例采用了图2所示的第一实施例相似的结构，或图24所示的第五实施例的基本结构。此外，跟踪处理器4部分可以采用与前述任一实施例相同的结构。

在前述的实施例2到10中，从图象输入单元2输出的图象数据为8比特单色或彩色信息，因此，每个相关性处理器4-1至4-M具有8比特的结构。也就是说，可以使用目前市面上现有的8比特LSI作为相关性运算单元22，很方便地制成局部区域图象跟踪装置。但是，如果从图象输入单元2输出的图象数据为24比特彩色信息，相关性处理器4-1至4-M要被改进为24比特结构，以适应24比特彩色信息。

图43为一系统框图，显示了该实施例的一部分。在图43中，一个16M字节的存储器(ROM)预先存储一个转换表，用于将从图象输入单元2输出的24比特彩色图象数据转换成8比特伪彩色图象数据。更具体地说，24比特彩色图象数据被输入到存储器100作为地址，8比特伪彩色图象数据从存储器100的输入地址输出。

存储器100可以提供于图象输入单元2，在图象输入单元2和图象数据总线3之间，或在每个相关性跟踪处理器4-1至4-M之内。

根据该实施例，即使从图象输入单元2输出的图象的比特数和由每个相关性处理器4-1至4-M处理的比特数不同，通过在存储器100中进行必要的转换，每个相关性跟踪处理器4-1至4-M也可以设置成处理固定比特数的结构。存储器100的输入比特数和输出比特数并不限于24比特和8比特。

对于每一帧对参考图象无条件地刷新成检索图象内的相关值分布的峰值位置处的区域图象是可以想象的。

图44为一个系统框图，显示了采用参考图象刷新的局部区域图象跟踪装置。在图44中，与图1对应的部分用相同的标号表示，并省略其描述。

在图44中，假定参考图象存储器504预先存储了参考图象数据。首先，在第一个1帧中，一输入开关511被转换到将来自A/D转换器502的图象数据提供并存储到缓冲存储器514的状态。另外，输出开关512被转换到将来自A/D转换器504的图象数据提供并存储到相关性运算单元505的状态。

当第一个1帧的相关值的峰值位置被测定并且这一峰值从相关值峰值位置检测器507反馈到地址产生器506时，输入开关511和输出开关装置512被从上述状态转换，来自A/D转换器502的图象数据被储存在参考图象存储器504，从缓冲存储器514读出的图象数据被送到相关性运算单元505作为参考图象数据。结果，对于每一帧，参考图象被无条件地刷新为在检索图象内的相关值分布峰值位置的区域的图象。

然而，如果这一方法被用于对每一帧的参考图象刷新，跟踪处理就可能利用一个新的参考图象——相对参考图象具有低相关值区的图象—执行，跟踪误差就更容易积累。此外，如果包含噪声的的区的图象作为新参考图象，跟踪处理的误差就更大，局部区域图象跟踪装置就约受到噪声的影响。

因此，下面描述一个局部区域图象跟踪装置，可以去除上述缺点。

下面，参照图45至49描述本发明的局部区域图象跟踪装置的第十二实施例，在图45中，与图44中相同的部件采用相同的标号并略去其说明。

在图45中，该局部区域图象跟踪装置包括一个图象拾取装置501，A/D转换器502，检索图象存储器503，相关性运算单元505，相关值峰值位置检测器507，输入选择器111，输出选择器112，图象存储器113-1至113-N，相关性比较器115，图象存储器管理器116，其中N为一个大于或等于3的整数。在该实施例中，图象存储器113-1至113-N中至少有两个被用作参考图象存储器，—个被用作输入图象存储器。

与图象拾取装置501拾取的图象相关的模拟图象数据由A/D转换器502转换成数字图象数据，并一方面相继存储在检索图象存储器503，另一方面送到输入选择器111。图象存储器113-1至113-N被用来存储过去的输入图象数据。相关性运算单元505执行相关性运算，以便得出只是检索图象存储器503中的图象数据和被用作参考图象存储器的图象存储器113-1至113-N的一个之中的参考图象数据之间的相关性的相关值。由相关值峰值检测器507检测出相关值峰值位置，即拾取图象中具有最高相关性的位置。于是，从检测器507中可以不断地得出相关值峰值位置，根据个相关值位置，可以以实时的方式在拾取的图象中跟踪预定的目标。

相关性运算单元505针对检索图象存储器503中的图象数据和参考图象存储器中的参考图象数据进行下述操作。为了方便起见，假定参考图象度由图5所示的8×8象素构成的，在个参考图象内的象素值用Xi，j表示。在该例中，检索图象由16×16象素构成，如图6所示，相关性运算单元505针对具有与图7所示的参考图象相同尺寸的局部区域图象进行下面公式描述的操作。在公式中，Yi，j表示检索图象内的象素值，Dm，n表示两个值是如何相近的，其中m＝0，...，7，n＝0，...，7。 $D_{m,n}=\underset{i=0}{\overset{7}{\mathrm{\Σ}}}\underset{j=0}{\overset{7}{\mathrm{\Σ}}}|X_{i,j}-Y_{i+m,j+n}|$

在上述公式中，两个值越接近，Dm，n就越小。

图8显示了实际参考图象的例子，图9显示了实际检索图象的例子。此外，图10显示了对图8所示的参考图象和图9所示的检索图象由相关性运算单元505执行相关性运算而得出的结果。在该特定例子中，当m＝5，n＝4时，Dm，n具有一个最小值，指示在该位置的局部区域图象最接近参考图象。

对图象执行相关性运算可以发现最接近参考图象的图象区域。因此，通过对每帧运动的图象执行相关性运算，就可以跟踪在图象内的运动目标。

如果由相关性运算单元505执行的上面公式描述的相关性运算只是到这样一种程度，即针对由32×32象素构成的检索图象内的256个局部区域图象相对于16×16象素构成参考图象进行相关性运算处理，已经研制了一种相关性运算单元的LSI，其中已经包括峰值位置检测器用于检测相关值的峰值位置。在这种LSI中，对上述相关性运算处理所需的时间只为500微秒和更少。例如，由S.G.S Thomson生产的LSI STI3220可以用作相关性运算505。因此，通过将参考图象的尺寸设置成16×16象素，即可以实现小型的高速局部区域图象跟踪装置，可以在一帧的时间内执行50至70次相关性运算。

相关值峰值位置检测器507对图10所示的相关值分布的相关值的峰值位置进行检测，通过相关值比较器115将该峰值位置送到图象存储器管理器116。当图象存储器管理器116产生图象存储器地址时使用该峰值。此外，图象存储器管理器116存储由作为输入图象存储器的图象存储器的识别数字和相关值的峰值位置构成的对，并确定每一帧要作为参考图象存储器和输入图象存储器的图象存储器。取决于图象存储器管理器116的图象存储器的确定的转换信号被送到输入选择器111和输出选择器112。在每一帧的跟踪处理中，图象存储器113-1至113-N中的作为输入图象存储器和参考图象存储器的图象存储器被转换，在检索图象内的相关值分布的峰值位置处的区域的图象的历史被存储，参考图象被刷新成从所述图象的历史中选择的图象。

相关性比较器115比较从相关值峰值位置检测器507得到的每个相关值分布的峰值位置，并确定图象存储器(参考图象存储器)，存储具有最高相关值的参考图象，和图象存储器(参考图象存储器)，存储具有最小相关值的参考图象。相关性比较器115向图象存储器管理器116通知该确定结果。上述确定和通知操作是在相继使用那些除了用作输入图象存储器以外的用作参考图象存储器的图象存储器执行N-1次跟踪处理时在1帧的时间内执行的。

因此，图象存储器管理器116存储由具有最大相关值的峰值位置和目前作为输入图象存储器的图象存储器的识别数字构成的一对，并且使用存储具有最大相关值的参考图象的图象存储器作为参考图象存储器。此外，如果存在可用的或未使用的图象存储器，该存储器作为下一帧的输入图象存储器。另一方面，如果没有未使用的存储器存在，存储具有最小相关值的参考图象的存储器用作下一帧的输入图象存储器。用作下一帧输入图象存储器的图象存储器的选择是通过从图象存储器管理器116向输入选择器111和输出选择器112提供转换信号来实现的。

当然，相关性比较器115可以作为图象存储器管理器116的一部分。

根据本实施例，参考图象被相继地刷新成与除了图象历史外被存储在输入图象存储器中的输入图象具有最高相关值的图象。因此，即使在跟踪过程当中，根据目标的观察而外观有所改变，也可以改善跟踪处理的可靠性。

下面，参照图46描述该实施例的操作。图46为一个流程图，显示了中央处理单元CPU的操作，其中图象存储器管理器116由该CPU构成。

在图46中，步骤S21设置具有存储器号为Mem(I)的存储器作为输入图象存储器，具有存储器号为Mem(S)的存储器作为检索图象存储器，具有存储器号为R的存储器作为参考图象存储器。在该实施例中，存储器号的排列如图47所示。在图47中，S指示检索图象存储器的排列指数，I指示输入图象存储器的排列指数。此外，图48显示了存储器号的排列的初始状态，其中参考图象存储器的存储器号R被设定为“0”。

步骤S22将参考图象数据送到相关性运算单元22并开始相关性运算处理，即，跟踪处理。S23在图49所示的存储器表的存储器号Mem(S)的间隙中写入相关值峰值的位置的坐标。步骤S24确定是否刷新参考图象。在图49所示的存储器表中，“0”-“N”表示存储器号，“X0”-“X6”表示相关值峰值位置的X坐标，“Y0”-“Y6”表示相关值峰值位置的Y坐标，“-1”表示在该位置未写入的坐标。

如果在步骤S24的确定结果为否，S25增加检索图象存储器的排列指数S。步骤S26确定检索图象存储器的排列指数S是否为N-2，如果在步骤S26的确定结果为是，步骤S27设置检索图象存储器的排列指数S为“0”。在步骤S27之后，或步骤S26的确定结果为否，S28增加输入图象存储器的排列指数I。步骤S29确定输入图象存储器的排列指数I是否为N-2，如果在步骤S29的确定结果为是，步骤S30设置输入图象存储器的排列指数I为“0”。在步骤S30之后，或步骤S29的确定结果为否，流程返回至步骤S21。

另一方面，如果在步骤S24的确定结果为是，步骤S31在刷新之后设置检索图象存储器的排列指数S*为S-1。在步骤S32确定在刷新之后检索图象存储器的排列指数S*是否小于“0”，如果是，在步骤S23设置S*为N-2。在步骤S33之后，或如果在步骤S32的确定结果为否，在步骤S34设置输入图象器在刷新之后的排列指数I*为I+1。在步骤S35确定在刷新之后输入图象存储器的排列指数I*是否大于“N-2”，如果是，在步骤S36设置输入图象器在刷新之后的排列指数I*为“0”。在步骤S36之后，或如果在步骤S35的确定结果为否，流程进至步骤S37。

通过相继地使用除了当I*＝S*时的存储器号Mem(I*)的图象存储器，当U*＜S*时的存储器号Mem(I*)至(S*)的图象存储器以及存储器号Mem(I*)至(N-2)和Mem(0)至(S*)的存储器之外的不具有输入的参考图象存储器作为参考图象存储器，并利用具有存储器号Mem(S)的图象存储器作为检索图象存储器，在步骤S37执行跟踪处理。步骤S37也得到存储具有最高(最大)相关值参考图象数据的参考图象存储器的指数最大值，存储具有最低(最小)相关值参考图象数据的参考图象存储器的指数最小值。但是，如果存在没有输出的图象存储器，该图象存储器的指数被视为指数最小值。

下面，步骤S38设置存储器号，该存储器具有的存储器号Mem(N-2)-R，Mem(0)-Mem(S)，Mem(1)-Mem(I)，Mem(2)-Mem(Min)，Mem(3)至Mem(N-3)-Mem(I*)至Mem(S*)，如果I*＜S*以及到Mem(I*)至Mem(N-2)和Mem(0)至Mem(S*)，如果I*＞S*，并具有除最大和最小的指数，并设置R为R＝Mem(最大)。

步骤S39设置检索图象存储器的排列指数S为“1”，设置输入图象存储器的排列指数I为“2”。在步骤S39之后，流程返回至步骤21。

下面，参照图50和51描述根据本发明的局部区域图象跟踪装置的第十三个实施例。在图50中，与图45相同的部件用相同的标号表示并略去其说明。

在该实施例中，图50中的相关性评测器117替代了图45中的相关性比较器115。相关性评测器117比较在相关值分布的峰值位置的相关值，该相关值分布是通过在每一帧中对预定的门限值跟踪处理得到的，并通过只有当相关值小于或等于门限值时转换参考图象存储器来刷新参考图象。换句话说，跟踪处理是通过在存储在参考图象存储器和检索图象存储器中的图象数据之间进行相关运算来执行的，在该过程中，相关性评测器117比较相关值峰值和预定的门限值。

如果比较的结果是相关值的峰值大于门限值，由目前输入图象存储器的存储器号和相关值的峰值位置形成的对被记录下来。如果存在未被利用的图象存储器，则其作为下一个输入图象存储器。另外，如果没有未被利用的存储器，具有最老的输入的图象存储器被用作下一个输入图象存储器。

如果相关值峰值小于或等于门限值，具有最近输入的图象存储器被用作参考图象存储器，针对目前的输入图象数据，再次执行跟踪处理。在这种情况下，由相关值的峰值位置和目前输入图象存储器的存储器号形成的对被记录。如果未使用的图象存储器存在，如果该未用的图象存储器存在，其作为下一个输入图象存储器。如果不存在，具有最老输入的图象存储器作为下个输入图象存储器。

当然，评测器117可以是图象存储器管理器116的一个部分。

根据本实施例，参考图象被相继地刷新成与除了图象历史外被存储在输入图象存储器中的输入图象具有最高相关值的图象。因此，即使在跟踪过程当中，根据目标的观察而外观有所改变，也可以改善跟踪处理的可靠性。此外，在跟踪处理中如果相关值小于或等于预定门限值，也可以将参考图象刷新成图象存储器内最近的图象。

下面，参照图51描述该实施例的操作。图51为一个流程图，显示了中央处理单元CPU的操作，其中图象存储器管理器116由该CPU构成。在图51中，与图46中相同的部件用相同的标号表示并略去其说明。

在图51中，步骤S44确定相关值的峰值是否小于门限值。如果否，流程进至步骤S25。如果是，流程进至步骤S31。步骤S37设置第一图象存储器指数，除了具有储器号Mem(I*)，如果I*＝S*以及Mem(I*)至Mem(S*)，如果I*＜S*，以及Mem(I*)至Mem(N-2)和Mem(0)至Mem(S*)之外，不具有输入到最小值的图象存储器。

下面，参照图52和53描述根据本发明的局部区域图象跟踪装置的第十四个实施例。在图52中，与图45和50中相同的部件用相同的标号表示并略去其说明。

如图52所示，除了相关性比较器115和相关性评测器117，提供了模式开关118。相关性比较器115和相关性评测器117的操作与上述第十二和第十三实施例中的相似。模式开关118转换状态，使得可以有选择地执行第十二实施例或第十三实施例的操作。

通过对存储在参考图象存储器和检索图象存储器中的图象数据之间进行相关性运算执行跟踪处理，在该处理中，相关性评测器117比较相关值的峰值和预定门限值。

如果比较的结果是相关值的峰值大于门限值，由目前输入图象存储器的存储器号和相关值的峰值位置形成的对被记录下来。如果存在未被利用的图象存储器，则其作为下一个输入图象存储器。另外，如果没有未被利用的存储器，具有最老的输入的图象存储器被用作下一个输入图象存储器。

如果相关值峰值小于或等于门限值，参考图象存储器以下述方式刷新。即，如果相关值峰值小于或等于门限值，相关性比较器115比较从相关值峰值位置检测器507得到的相关值峰值位置分布的峰值位置，确定存储具有最大相关值的参考图象的图象存储器(参考图象存储器)以及存储具有最小相关值的参考图象的图象存储器(参考图象存储器)。确定的参考图象存储器由相关性比较器115通知给图象存储器管理器116。

相关性比较器115向图象存储器管理器116通知该确定结果。上述确定和通知操作是在相继使用那些除了用作输入图象存储器以外的用作参考图象存储器的图象存储器执行N-1次跟踪处理时在1帧的时间内执行的。因此，图象存储器管理器116存储由具有最大相关值的峰值位置和目前作为输入图象存储器的图象存储器的识别数字构成的一对，并且使用存储具有最大相关值的参考图象的图象存储器作为参考图象存储器。此外，如果存在可用的或未使用的图象存储器，该存储器作为下一帧的输入图象存储器。另一方面，如果没有未使用的存储器存在，存储具有最小相关值的参考图象的存储器用作下一帧的输入图象存储器。用作下一帧输入图象存储器的图象存储器的选择是通过从图象存储器管理器116向输入选择器111和输出选择器112提供转换信号来实现的。

当然，相关性比较器115，相关性评测器117和模式开关118，可以作为图象存储器管理器116的一部分。

下面，参照图53描述该实施例的操作。图53为一个流程图，显示了中央处理单元CPU的操作，其中图象存储器管理器116由该CPU构成。在图53中，与图46和51中相同的部件用相同的标号表示并略去其说明。

在他53中，步骤S44与图51中的S44相同，步骤S37和S38与图46中的步骤S37和S38相同。

当然，第十二至第十四实施例也适用于图2或图24所示的基本结构。

当将上述局部区域图象跟踪装置用于自动保安或报警系统时，该系统自动拾取进入者的图象，或者适用于自动图象拾取系统，该系统利用摄像机自动跟踪和拾取篮球或高尔夫球的图象，参考图象数据事先是不知道的，必须在每次跟踪操作时设置参考图象。因此，下面描述可以自动检测和设置参考图象数据的实施例。

图54为一个系统框图，显示了本发明的局部区域图象跟踪装置的第十五个实施例的结构。在图54中，具有与图45中相同的部件用相同的标号表示并略去其说明。

在图54中，该局部区域图象跟踪装置包括一个图象拾取装置(摄像机)501，A/D转换器502，录像机201，输入图象存储器202，运动检测器203，背景图象存储器204，报警单元205，输入开关206，检索图象存储器503，参考图象存储器207，相关性运算单元505，地址产生器506A，相关值峰值位置检测器507，摄像机座控制器208，摄像机座209，其连接如图所示。摄像机座209包括一个马达，用于移动摄像机501。

例如摄像机501拾取图55A所示的输入图象，该输入图象被送到A/D转换器502。A/D转换器502将数字的输入图象送到输入图象存储器503并存储起来。该数字输入图象数据也经过输入转换开关206送到并存储在参考图象存储器207中。与图55B所示的背景图象相关的背景图象也预先存储在背景图象存储器204。通过从由输入图象存储器202读出的输入图象中去除从背景图象存储器204中读出的背景图象，运动检测器203得出与差别图象相关的差别图象。

在该实施例和下面的每个实施例中，为了方便起见假定所述的局部区域图象跟踪装置应用于一个报警系统。因此，与图55B相关的背景图象涉及一个被监视的房间是固定的。如果差别图象大于或等于预定的值，运动检测器203判断由进入的物体存在，并将检测信号送到报警单元205和输入转换开关206。结果，报警单元205产生报警信号。

来自摄像机501的输入图象数据也被送到录像机201并记录在记录介质上。该录像机201也接于报警单元205。因此，可以在报警单元205产生报警信号时，在记录介质上表示输入图象数据。录像机201也可以在报警单元205产生报警时记录输入图象数据。这样就可以减少录像机201的存储容量。

输入转换开关206响应于运动检测器203的检测信号进行转换，将输入图象数据从A/D转换器502送到检索图象存储器503。在差别图象数据大于或等于预定值之后，接收到的输入图象数据被存储在检索图象存储器503中。

运动检测器203根据差别图象数据得出参考图象的位置用于在跟踪处理中使用，并将该位置设置在地址产生器506A中。结果，与图55A相关的检索图象数据和与图55D相关的参考图象数据被从检索图象存储器503和参考图象存储器207得出并送到相关性运算单元505。相关性运算单元505利用上述方法得出相关值，相关值峰值位置检测器507利用上述方法得出相关值峰值位置。因此，作为结果，相关值峰值位置检测器507得出引入目标的运动量并送到地址产生器506A并加到检索图象地址。此外，相关值峰值位置检测器507还将该运动量送到摄像机座控制器208，摄像机座控制器208通过移动摄像机座来控制摄像机501的拾取位置，使得进入目标处于拾取图象的中心部位，即屏幕的中心部位。

一旦参考图象数据被存储在参考图象存储器207，局部区域图象跟踪处理本身可以利用在上述实施例中采用的任何方法。

图56为一个流程图，解释了实施例十五的操作。在图56中，步骤S51同时将输入图象数据输入和存储到输入图象存储器202和参考图象存储器207。步骤S52得出输入图象数据和背景图象数据之间的差别图象数据。步骤S53确定二者是否有差别，如果差别图象数据大于或等于预定值则确定差别存在，使得装置对噪声不过分敏感。如果判定结果为否，流程返回至步骤S51。如果在步骤S53的确定结果为是，步骤S54开始由录像机201记录输入图象数据，由报警单元205产生报警。步骤S55将参考图象(模板图象)的位置设置为检索图象地址在地址产生器506A中跟踪处理中使用。

步骤S56由运动检测器203转换输入开关使得输入图象数据被送到检索图象存储器503。步骤S58根据地址产生器506A中产生的地址从相应的检索图象存储器503和参考图象存储器207中读检索图象数据和参考图象数据，并送到相关性运算单元505得出相关值。步骤S59根据从相关值运算单元505得出的相关值由相关值峰值位置检测器507得出进入目标的移动量。步骤S60将得到的运动量送到地址产生器506A并加到检索图象地址。此外，步骤S61向摄像机座209提供移动指令用于移动摄像机座209，使得进入的目标始终处于图象中心部分，即，图57显示了摄像机座209的控制。图57显示了摄像机501拾取的输入图象，屏幕的中心坐标由(Cx，Cy)表示，进入目标的中心坐标由(Tx，Ty)表示。在该实施例中，进入目标的中心坐标(Tx，Ty)与屏幕的中心坐标(Cx，Cy)在X轴上相距Δx，进入目标的中心坐标(Tx，Ty)与屏幕的中心坐标(Cx，Cy)在Y轴上相距ΔY。摄像机座控制器208控制摄像机座209的运动，使得进入目标的中心坐标(Tx，Ty)与屏幕的中心坐标(Cx，Cy)大体相符，进入目标的跟踪因此更为容易。更具体地说，送到摄像机座209的运动指令由指示沿X轴运动量ΔPan＝Kp*Δx和指示沿Y轴运动量的Δtilt＝Kt*ΔY构成，其中Kp和Kt为取决于摄像机座209中使用的马达等的常数。运动指令从摄像机控制器208以预定的时间间隔例如1/10秒送到摄像机座209。

因此，根据该实施例，可以自动地检测和设置参考图象数据。

图58为一个系统框图，显示了本发明的局部区域图象跟踪装置的第十六个实施例的结构。在图58中，具有与图45中相同的部件用相同的标号表示并略去其说明。在该实施例中，输入图象中的运动也是由相关性运算单元得出的。

在图58中，该局部区域图象跟踪装置包括一个图象拾取装置(摄像机)501，A/D转换器502，录像机201，报警单元205，输入开关206，检索图象存储器503，参考图象存储器207-1，207-2，相关性运算单元505，地址产生器506B，相关值峰值位置检测器507，输出开关211，控制计算机212，摄像机座控制器208，摄像机座209，其连接如图所示。

图59为一个流程图，显示了第十六实施例的操作。下面通过参照图59描述该实施例的操作。

在该实施例中，来自摄像机501的输入图象数据通过A/D转换器502被送到检索图象存储器503和输入转换开关210，并且也送到录像机201。步骤S71转换和控制输入开关210和输出开关211使得开关210将输入图象数据送到参考图象存储器207-1，输出开关211输出从该参考图象存储器207-1读出的输入图象数据。步骤S72转换输入开关210，使得输入图象数据被输入到另一参考图象存储器207-2。换句话说，控制计算机212控制对参考图象存储器207-1和207-2的访问，使得在从其中之一读出的同时，向另一个参考图象存储器写入。

步骤S73从控制计算机212控制地址产生器506B，使得根据从地址产生器506B产生的地址，检索图象数据和参考图象数据分别从检索图象存储器503和参考图象存储器207-1读出。读出的图象数据对应于以预定时间间隔的输入图象数据，由于读出图象数据以图60所示在屏幕内分成多个小区形式被送到相关性运算单元505，相关性运算单元505针对每个小区执行上述的相关性运算。在图60中，一屏当中被分成25个方块的小区，当然，小区的个数和形状并不限于图60所示。图60示出了进入目标从位置A移动到位置A’的情况。相关性运算单元505得出每个小区的检索图象数据和参考图象数据之间的相关值，其输出通过相关值峰值检测器507被送到控制计算机212。因此，控制计算机212可以根据每个小区的相关值的变化，检测输入图象内的运动。

步骤S74检测是否检测到运动的小区的个数大于门限值。如果确定结果为否，步骤S57转换并控制输出开关211输出从参考图象存储器207-2读出的参考图象数据，流程返回至步骤S72。另一方面，如果在步骤S74的确定结果为是，步骤S76通过控制计算机212控制录像机201和报警单元205使得录像机201记录输入图象数据，报警单元205产生报警。

步骤S77从控制计算机212在地址产生器506A中将参考图象(模板图象)的位置设置为检索图象地址和参考图象地址用于跟踪处理。步骤S78从控制计算机212转换输入开关使得输入开关210将输入图象数据送到参考图象存储器207-1和207-2中未存储参考图象的那个存储器中，例如，送到参考图象存储器207-1。此外，步骤S79在检索图象存储器503中存储输入图象。步骤S80根据由地址产生器506B产生的地址，从检索图象存储器503和参考图象存储器207-1从读出检索图象数据和参考图象数据，并将检索图象数据和参考图象数据送到相关性运算单元505，以便得到相关值。步骤S81根据从相关性运算单元505得出的相关值得出进入目标在相关值峰值位置中的运动量。步骤S82将得到的运动量送到地址产生器506B并加到检索图象地址。此外，步骤S83向摄像机座209发出运动指令根据运动量移动摄像机座209，使得进入目标位于摄像机拾取的图象的中心位置，流程返回至步骤S79。

在该实施例中，可以不必专门为检测输入图象中的运动提供运动检测器或类似装置。因此，可以使用相对简单的结构自动地检测和设置图象数据。

图61为一个流程图，显示了本发明的局部区域图象跟踪装置的操作。在该实施例中，其结构与图58相同。在图61中，与图59相同的部件用相同的标号表示并略去其说明。在该实例中，当相关值峰值小于或等于门限值时，参考图象被刷新成输入图象。

在图61中，步骤S79-1存储输入图象数据到检索图象存储器503，同时，存储输入图象数据到参考图象存储器207-1和207-2中未使用的一个中，例如参考图象存储器207-2。步骤S80根据由地址产生器506B产生的地址，从检索图象存储器503和参考图象存储器207-1从读出检索图象数据和参考图象数据，并将检索图象数据和参考图象数据送到相关性运算单元505，以便得到相关值。步骤S81根据从相关性运算单元505得出的相关值得出进入目标在相关值峰值位置中的运动量。步骤S82将得到的运动量送到地址产生器506B并加到检索图象地址。步骤S85确定是否从相关值峰值位置检测器507得出的相关值峰值大于门限值，如果不是，流程进至步骤S83。步骤S83向摄像机座209发出运动指令根据运动量移动摄像机座209，使得进入目标位于摄像机拾取的图象的中心位置，流程返回至步骤S79-1。

如果步骤S85的确定结果为是，步骤S86从控制计算机212设置检索图象地址到地址产生器506B作为参考图象地址。此外，步骤S87控制和转换输入开关212，流程进至步骤S83。

于是，用于局部区域图象跟踪处理的参考图象数据被刷新成存储在检索图象存储器503中的输入图象数据。因此，即使在跟踪过程中进入目标的外观改变，如二维图象拾取的角度变化造成进入目标的视图的改变，也可以实现稳定的跟踪。

图62为一个系统框图，显示了本发明的局部区域图象跟踪装置的第十八个实施例。在图62中，与图58相同的部件用相同的标号表示并略去其说明。在该实例中，利用变焦机构，记录了进入目标的近视图。

在该实施例中，变焦机构222被提供在摄像机501上，如如62所示。控制计算机212通过变焦控制器221对变焦机构进行变焦设置。除了变焦控制器221和变焦机构222之外，其余部分与图58中的相同。

图63为一个流程图，显示了第十八实施例的操作。在图63中，与图61相同的步骤用相同的标号表示并略去其说明。

在图63中，步骤S71至87与图61所示的相同。在该实施例中，步骤S91在步骤S83之后执行。通过控制计算机212确定变焦机构222变焦设定值是否相遇预定目标值，如果是，流程返回至步骤S79-1。如果否，步骤S92通过控制计算机212控制变焦控制器221，增加变焦设定值。在步骤S92之后，流程返回至步骤S79-1。

因此，根据该实施例，在稳定跟踪进入目标的同时可以通过变焦，使得变焦设定值逐渐接近目标值同时以与第十七实施例相似刷新参考图象数据，在录像机201上记录进入目标的近视图象。因此，当该实施例用于报警系统时，可以记录进入目标的近视图，从而改善报警系统的性能。

图64为一个系统框图，显示了本发明的局部区域图象跟踪装置的的第十九实施例。在图64中，与图58相同的部件用相同的标号表示并略去其说明。在该实例中，进入目标的近视图通过2个摄像机的变焦机构被记录。

在该实施例中，除了摄像机501之外，还提供了具有变焦机构的图象拾取装置(变焦摄像机)501-1，如图64所示。变焦摄像机501-1被设置在摄像机座209-1上。控制计算机212通过摄像机座控制器208-1执行变焦设定和变焦摄像机501-1的位置控制。除了摄像机座控制器208-1，摄像机座209-1，变焦摄像机501-1，其余部分与图58相同。

图65为一个流程图，显示了本发明的局部区域图象跟踪装置十九实施例的操作。在该实施例中。在图65中，与图61相同的步骤用相同的标号表示并略去其说明。

在图65中，步骤S71至87与图61所示的相同。在该实施例中，步骤S94在步骤S83之后执行。步骤S94通过控制计算机212控制摄像机座控制器208-1，使得摄像机座控制器208-1输出运动指令，用于根据变焦设定(变焦比)控制变焦摄像机501-1的摄像机座209-1。在步骤S94之后，流程返回至步骤S79-1。

于是，根据该实施例，对进入目标拉近的变焦摄像机501-1的位置可以被控制同时对由拉远的摄像机501拾取的输入图象中的进入目标进行跟踪。因此，即使进入目标速度很高，也可以稳定地跟踪进入目标而不会失去跟踪。由录像机201可以记录进入目标的近视图。当该实施例用于报警系统时，可以记录进入目标的正面的近视图来进一步改善报警系统的性能。

图66为一个流程图，显示了本发明的局部区域图象跟踪装置的第二十实施例的操作。在该实施例中，其结构与图62相同。在图66中，与图63相同的部件用相同的标号表示并略去其说明。

在图66中，步骤S71至87与图63所示的相同。通过有限地控制变焦可以得到拉近的图象。

在图66所示的步骤S83之后，步骤S101通过控制计算机212确定输入图象数据的记录是否由录像机201开始。如果确定结果为是，步骤S102确定变焦设定值是否小于目标值，如果在步骤S102的确定为是，步骤S103控制变焦控制器221，以便变焦拉近，流程返回至步骤S79-1。如果在步骤S102的确定结果为否，步骤S104开始由录像机201记录输入图象数据，流程返回至步骤S79-1。

如果在步骤S101的确定结果为否，步骤S105确定录像机201进行的输入图象数据的记录是否结束，如果在步骤S105的确定结果为否，流程返回至步骤S79-1。如果确定结果为是，步骤S106在控制计算机212中确定变焦设定值是否大于一个初始值。如果是步骤S107控制变焦控制器221以便减少变焦设置值，流程返回至步骤S79-1。另外，如果在步骤S106的确定结果为否，流程返回至步骤S79-1。

由录像机201对输入图象的记录的开始和结束是以预定的时间间隔进行的。在该实例中，输入图象数据是记录预定的时间的。

下面参照图67-69描述本发明的局部区域图象跟踪装置的二十一实施例。在该实施例中，其结构与图58相同并略去其说明

图67A和67B解释了标记处理过程，图68为一个流程图解释了标记处理过程。图69为流程图，用于解释实施例21的操作。在该实施例中，多个进入目标被检测和跟踪。

首先，通过参照图67A，67B和68描述标记处理。当多个进入目标存在时，对每个进入目标进行标记，以便识别每个进入目标。在图67A中，阴影所示区域表示在输入图象中产生了运动，即进入目标。通过将所述区分成独立运动区来执行标记处理，将分开的区作为独立的进入目标，如图67B所示。结果，标记A至E被分配给每个进入目标，如图67B所示。

图68所示的标记处理由如图58所示的控制计算机212执行。在图68中，步骤S501最初设置运动目标号(标记)L为“1”，区域i和j为“0”。步骤S502确定区(i，j)是否产生运动。检测过程可以采用前述任一方法。如果在步骤S502的确定结果为是，步骤S503设置区(i，j)的标记L，K为“0”，l为“0”，“计数”为“0”。步骤S504确定区(k，l)的标记是否为L。如果是，步骤S505在区(k-1，l-1)产生运动并标记该区。如果在步骤S505的确定结果为是，步骤S506设置区(K-1，l-1)的标记为L，对“计数”增加“1”。如果在步骤S504的确定结果为否，流程进至步骤S521，将在下面描述。

如果在步骤S505的确定结果为否，或在步骤S506之后，步骤S507确定在区(k-1，l)是否产生运动，并且该区被去除标记。如果在步骤S507的确定结果为是，步骤S508设置区(k-1，l)的标记为L，对“计数”增加“1”如果在步骤S507的确定结果为否，或在步骤S508之后，步骤S509确定在区(k-1，l+1)是否产生运动，并且该区被去除标记。如果在步骤S509的确定结果为是，步骤S510设置区(k-1，l+1)的标记为L，对“计数”增加“1”。

如果在步骤S509的确定结果为否，或在步骤S510之后，步骤S511确定在区(k，l-1)是否产生运动，并且该区被去除标记。如果在步骤S511的确定结果为是，步骤S512设置区(k，l-1)的标记为L，对“计数”增加“1”。如果在步骤S511的确定结果为否，或在步骤S512之后，步骤S513确定在区(k，l+1)是否产生运动，并且该区被去除标记。如果在步骤S513的确定结果为是，步骤S514设置区(k，l+1)的标记为L，对“计数”增加“1”。

如果在步骤S513的确定结果为否，或在步骤S514之后，步骤S515确定在区(k+1，l-1)是否产生运动，并且该区被去除标记。如果在步骤S51 3的确定结果为是，步骤S516设置区(k+1，l-1)的标记为L，对“计数”增加“1”。如果在步骤S515的确定结果为否，或在步骤S516之后，步骤S517确定在区(k+1，l)是否产生运动，并且该区被去除标记。如果在步骤S517的确定结果为是，步骤S518设置区(k+1，l)的标记为L，对“计数”增加“1”。

如果在步骤S517的确定结果为否或在步骤S518之后，步骤S519确定在区域(K+1，l+1)是否产生运动并且该区被去除标记。如果在步骤S519的确定结果为是，步骤S520设置区域(K+1，l+1)的标记为L，并对“计数”增加“1”。如果在步骤S519的确定结果为否或在步骤S520之后，步骤S521对l增加“1”，在步骤S522确定是否l等于NUM-X。如果在步骤S522的结果为否，流程返回步骤S504。如果结果为是，步骤S523设置l为“0”并对K增加“1”。此外，步骤S524确定是否K等于NUM-Y，如果确定结果为否，流程返回至步骤S504。如果确定结果为是，在步骤S525，确定是否“计数”等于“0”，如果在步骤S525确定结果为是，步骤S526对L增加“1”。如果确定结果为否，流程返回至步骤S503。

另一方面，如果在步骤S502的确定结果为否或在步骤S526之后，步骤S527对j增加“1”，在步骤S528确定是否j等于NUM-X。如果在步骤S5528的结果为是，流程返回步骤S504。如果结果为是，步骤S529设置j为“0”并对f增加“1”。步骤S530确定是否i等于NUM-Y，如果确定结果为是，流程结束。如果在步骤S528或S530确定结果为是，流程返回至步骤S502。

利用这种方式，可以自动地标记存在运动的输入图象中的每个区域。

图69为一个流程图，显示了实施例21的操作。在图69中，与图59中相同的步骤用相同的标号表示并略去其说明。在该例中，假定摄像机501是固定的，进入到固定摄像机的视域的物体目标被自动跟踪。因此可以省略图58中的摄像机座控制器208和摄像机座209及运动装置如马达。具有广角镜头和宽视域的摄像机可以作为固定的摄像机501。

在图69中，当从步骤S73上面的步骤S71开始执行时，步骤S111在控制计算机212中对产生运动的输入图象的每个区域执行标记处理，从而将输入图象分成多个进入的目标。下面，步骤S112在控制计算机212中确定是否产生运动的区的数字大于门限值。如果不大于，步骤S113从控制计算机212控制和转换输出开关211，流程返回至步骤S72

另一方面，如果在步骤S112中的确定结果为是，步骤S114从控制计算机212控制录像机201开始记录输入图象数据，并从报警单元205产生报警。步骤S115在控制计算机212中存储用于每个进入目标或运动目标(该产生运动的区域数字大于门限值)的跟踪处理的参考图象的位置，作为检索图象地址和参考图象地址的初始值。步骤S116从控制计算机212中控制和转换输入开关210，步骤S117在检索图象存储器503中存储输入图象数据。步骤S118在控制计算机212中设置i为“0”。

步骤S119从控制计算机212中设置被存储在地址产生器506B中的用于进入目标(f)的检索图象地址和参考图象地址，相关性运算单元505进行相关性运算。此外，步骤S120从相关值峰值位置检测器507中得出进入目标(i)的运动量，通过在控制计算机212中将该运动量加到进入目标(i)的检索图象地址，步骤S121对检索图象地址进行刷新。在步骤S122对i增加“1”，步骤S123确定是否i小于进入目标的数字。如果是，流程返回至步骤S119，如果不是，流程返回至步骤S117。

根据该实施例，可以对摄像机视域内的多个进入目标(运动目标)的每个执行跟踪处理。

下面参照图70描述本发明的局部区域图象跟踪装置的实施例22。在该实施例中，局部区域图象跟踪装置于图58的相同。所以略去其图示及说明。图70为该实施例的操作流程图。其中与图69中相同的步骤用相同的标号表示并略去其说明。

在该例中，假定摄像机501是固定的，进入到固定摄像机的视域的物体目标被自动跟踪。因此可以省略图58中的摄像机座控制器208和摄像机座209及运动装置如马达。具有广角镜头和宽视域的摄像机可以作为固定的摄像机501。

在图70中，步骤S71至S122与图69中的相同。在图70中，如果在步骤S123中的确定结果为否则流程进至步骤S125。在步骤S125中，在控制计算机212中确定是否存在相关值峰值大于门限值的进入目标。如果确定结果为否，流程返回至步骤S117。如果确定结果为是，步骤S126在控制计算机121中刷新每个进入目标的参考图象地址为目前检索图象地址。此外，步骤S127在控制计算机212中转换和控制输入开关210和输出开关211，流程返回至步骤S117。

根据该实施例，即使只有一个具有较差相关值的进入目标，也可以跟踪每个进入目标，因为参考图象已对每个屏幕刷新，即所有的进入目标的参考图象都被刷新。

下面参照图71描述本发明的局部区域图象跟踪装置的实施例23。在该实施例中，局部区域图象跟踪装置与图58的相同。所以略去其图示及说明。图71为该实施例的操作流程图。其中与图69中相同的步骤用相同的标号表示并略去其说明。

在该实施例中，摄像机501可以由摄像机座控制器208移动，摄像机座208具有移动装置如马达。

在图71中，在步骤S114之后，步骤S115-1利用控制计算机212针对具有最大区域数字的进入目标在地址产生器506B中设置参考图象地址用于跟踪处理，所述区中产生有运动，作为检索图象地址和参考图象地址。步骤S116和117于图69中的相同。在步骤S117之后，步骤S131从控制计算机212控制地址产生器506B，相关性运算单元505通过从检索图象存储器503和参考图象存储器207-1或207-2中读出检索图象数据和参考图象数据执行相关性运算。步骤S132通过相关值峰值为位置检测器507得出进入目标的运动量，步骤S133将该运动量加到检索图象地址并将该相加值设置到地址产生器506B。步骤S134从控制计算机212中输出运动指令，用于根据运动量通过摄像机座控制器208控制摄像机座209，使得进入目标处于屏幕的中心位置，流程返回至步骤S117。

根据该实施例，被检测的多个进入目标，即，具有检测到运动的区域的最大总和进入目标，通过控制摄像机座209被自动选择和自动跟踪。因此，该实施例特别适合用于不被察觉的监视系统。

下面参照图72描述本发明的局部区域图象跟踪装置的实施例24。在该实施例中，局部区域图象跟踪装置与图64的相同。所以略去其图示及说明。图72为该实施例的操作流程图。其中与图69中相同的步骤用相同的标号表示并略去其说明。

在实施例中，使用了两个摄像机501和501-1。跟踪最好由具有宽视域的摄像机501执行同时刷新多个进入图象的参考图象，并且具体的进入目标被相继地在变焦摄像机501-1上被拾取。

在图72中，如果在步骤S112中的确定结果为是，步骤S141在控制计算机212或连接到控制计算机212的存储器中针对具有区域数字大于门限值的进入目标(运动目标)设置参考图象(模板图象)位置，用于跟踪处理，所述区中产生有运动，作为检索图象地址和参考图象地址的初始值。步骤S142从控制计算机212中控制和转换输入开关210，并设置j为“0”。步骤S143在检索图象存储器503中存储输入图象数据并设置i为“0”。

步骤S144从控制计算机212中设置被存储在地址产生器506B中的用于进入目标(i)的检索图象地址和参考图象地址，相关性运算单元505进行相关性运算。此外，步骤S145从相关值峰值位置检测器507中得出进入目标(i)的运动量，步骤S146通过在控制计算机212中将该运动量加到进入目标(i)的检索图象地址，刷新检索图象地址，在步骤S147对i增加“1”，步骤S148确定是否i小于进入目标的数字。如果是，流程返回至步骤S144，如果不是，流程进至步骤S149。步骤S149确定是否存在相关值峰值大于门限值的目标如果确定结果为否，流程进至步骤S143。如果确定结果为是，流程进至步骤S150。

步骤S150刷新每个进入目标的参考图象地址到控制计算机212中目前检索图象地址。步骤S151从控制计算机212控制和转换输入开关210和输出开关211，步骤S512确定是否图象拾取时间结束。如果是，步骤S153对j增加“1”，并在控制计算机212中确定是否j小于进入目标数。如果在步骤S154中的确定结果为是，步骤S155从控制计算机212中输出运动指令，用于控制摄像机座209-1，使得变焦摄像机501-1面对运动目标(i)的方向，以便开始图象拾取。如果在步骤S152和154中的确定结果为否，或在步骤S155之后，流程返回至步骤S143。

根据该实施例，可以对摄像机视域内的多个进入目标(运动目标)的每个执行跟踪处理。此外，可以由变焦摄像机按顺序地对拾取每个进入目标的图象。因此，可以以满意的方式监视多个进入的目标。

在上述的每个实施例中，对于局部区域图象跟踪装置，除了摄像机，摄像机座，A/D转换器，录像机和报警单元以外的部件都可以制成半导体封装形式或半导体器件单元。摄像机控制器可以另外提供，A/D转换器可以可以包含在封装之内。

当然，上述第五至第二十四实施例可以任意组合。

另外，本发明并不限于上述实施例，可以作出各种改进，而并不脱离本发明之精神。

Claims (38)

1.一种局部区域图象跟踪装置，它通过将要跟踪处理的检索图象数据和与任意局部区域相关的参考图象数据比较来连续跟踪由检索图象数据表达的检索图象内的任意局部区域，其中该检索图像数据来自于由图像拾取装置拾取的输入图象数据，该局部区域图象跟踪装置包括：

一个图象数据总线，用于传送来自图象拾取装置的输入图象数据，

多个相关性跟踪处理器，并联到图象数据总线，所述相关性跟踪处理器彼此独立地操作，并针对至少一个检索图象执行跟踪处理，

对于一个或多个检索图象的处理由所述多个相关性处理器分布地处理，以及

每个所述相关性跟踪处理器包括：

至少三个图象存储器，

选择器装置，用于选择地转换图象存储器到存储输入图象数据的输入图象存储器，一个检索图象存储器，用于存储检索图象数据，一个参考图象存储器，用于存储参考图象数据。

2.根据权利要求1的局部区域图象跟踪装置，其中每个所述相关性跟踪处理器包括：

地址产生装置，用于产生地址，用于读存储在参考图象存储器中的参考图象数据和存储在检索图象存储器中的检索图象数据；

相关性运算装置，通过执行相关性运算处理，运算指示存储在参考图象存储器中的参考图象数据和存储在检索图象存储器中的检索图象数据之间的相关性的相关值，

峰值位置检测装置，用于得到来自相关性运算装置的相关值的峰值位置。

3.根据权利要求1的局部区域图象跟踪装置，还包括：

转换装置，将多个比特的来自图象拾取装置的输入图象数据转换为适于所述相关性运算装置的多个处理比特。

4.根据权利要求1或2的局部区域图象跟踪装置，还包括：

图象存储器管理装置，用于根据从所述的峰值位置检测装置得到的峰值位置控制所述的选择器装置并相继地在所述图象存储器中存储参考图象的历史，以便根据存储在检索图象存储器中的相关值的峰值位置的历史来刷新参考图象数据。

5.根据权利要求1或2的局部区域图象跟踪装置，其中所述图像拾取装置由所述运动装置支撑，所述局部区域图像跟踪装置还包括：

参考图象数据产生装置，用于从输入图象数据中自动产生参考图象数据，

控制装置，用于输出运动指令，通过运动装置移动图象拾取装置，以便根据所述相关性运算装置中得到的相关值的峰值位置跟踪任意的局部区域。

6.根据权利要求1或2的局部区域图象跟踪装置，还包括：

参考图象数据产生装置，用于从输入图象数据中自动产生与多个局部区域相关的参考图象数据，

标号装置，用于对多个局部区域标号，以便识别该多个局部区域，

控制装置，用于根据从所述相关性运算装置得到的相关值的峰值位置跟踪多个标号的局部区域，

所述相关性运算装置用于对多个标号的局部区域的每个执行相关性运算处理。

7.根据权利要求2的局部区域图象跟踪装置，其中所述的选择器装置固定地控制输入图象数据到所述图象存储器的存储顺序，以便对输入图象数据的每一帧执行跟踪处理，控制检索图象数据的每一帧到所述图象存储器的存储，以及控制在任意帧间隔对参考图象数据的刷新。

8.根据权利要求2的局部区域图象跟踪装置，其中提供了至少四个图象存储器，所述的选择器装置固定地控制输入图象数据到所述图象存储器的存储顺序，以便对输入图象数据的每一帧执行跟踪处理，控制检索图象数据的每一帧到所述图象存储器的存储，控制多个参考图象数据到多个图象存储器的存储，并控制在任意帧间隔对参考图象数据的刷新。

9.根据权利要求2的局部区域图象跟踪装置，其中所述的相关性运算装置通过对16×16象素的参考图象和在大于参考图象的检索图象内的多个局部区域图象执行相关性运算得出相关值。

10.根据权利要求1的局部区域图象跟踪装置，包括：

先入先出装置，用于暂时和相继地存储从所述图象存储器读出的检索图象数据和参考图象数据，

所述相关性运算装置根据从先入先出装置读出的检索图象数据和参考图象数据，通过执行相关性运算处理，以并行的方式，执行检索图象和参考图象数据的读出及相关性运算处理。

11.根据权利要求1的局部区域图象跟踪装置，其中进一步包括：

一个控制计算机；

连接到所述控制计算机的控制计算机总线，

所述相关性跟踪处理器并联到所述控制计算机总线，

所述控制计算机通过所述控制计算机总线执行与参考图象数据的刷新、以及每个所述相关性跟踪处理器的选择和转换相关的控制。

12.根据权利要求11的局部区域图象跟踪装置，其中每个相关性跟踪处理器包括：

至少三个图象存储器，

选择器装置，用于选择地转换图象存储器到存储输入图象数据的输入图象存储器，一个检索图象存储器，用于存储检索图象数据，一个参考图象存储器，存储参考图象数据，

相关性运算装置，通过执行相关性运算处理，运算指示存储在参考图象存储器中的参考图象数据和存储在检索图象存储器的检索图象数据之间的相关性的相关值，

峰值位置检测装置，用于得到来自相关性运算装置的相关值的峰值位置，以及

控制计算机接口，耦接于至少所述的选择器装置和控制计算机总线，在每个所述相关性跟踪处理器和所述控制计算机之间提供一个接口。

13.根据权利要求12的局部区域图象跟踪装置，其中所述的控制计算机通过控制计算机总线对于所述控制计算机接口指示以任意时刷新参考图象数据。

14.根据权利要求12的局部区域图象跟踪装置，其中所述的控制计算机通过所述控制计算机总线对于所述控制计算机接口指示以任意时间从检索图象存储器和参考图象存储器读出局部区域。

15.根据权利要求12的局部区域图象跟踪装置，其中所述控制计算机接口包括存储装置，用于存储来自相关性运算装置的至少一个相关值和来自所述峰值位置检测装置的峰值位置，所述的控制计算机通过控制计算机总线读取存储在所述存储装置中的信息。

16.根据权利要求11的局部区域图象跟踪装置，还包括：

先入先出装置，用于暂时和相继地存储从所述图象存储器读出的检索图象数据和参考图象数据，

所述相关性运算装置根据从先入先出装置读出的检索图象数据和参考图象数据，通过执行相关性运算处理，以并行的方式，执行检索图象数据和参考图象数据的读出和相关性运算处理。

17.根据权利要求12的局部区域图象跟踪装置，其中所述的控制计算机接口包括：

先入先出装置，用于相继地存储来自控制计算机的指令，

每个所述相关性运算装置根据先入先出装置中存储的指令，执行相关性运算处理，无需所述控制计算机的干预。

18.根据权利要求17的局部区域图象跟踪装置，其中所述的控制计算机接口包括：

第二先入先出装置，用于相继地存储来自所述相关性运算装置的相关值和来自所述峰值位置检测装置的峰值位置中的至少一个，

所述控制计算机以任意时间读取存储在所述第二先入先出装置中的信息。

19.根据权利要求12的局部区域图象跟踪装置，其中所述的控制计算机接口包括：

存储器装置，用于存储在跟踪处理中从相关性运算装置得到的相关值分布；

加法装置，用于相继地对在每个跟踪处理中得到的相关值分布相加。

20.根据权利要求19的局部区域图象跟踪装置，其中所述的控制计算机接口由所述的控制计算机的指令控制，以便确定是否在所述加法装置中相继加上在每个跟踪处理中得到的相关值分布。

21.根据权利要求12的局部区域图象跟踪装置，其中所述的控制计算机控制所述的控制计算机接口，以便对具有任意幅度的参考图象通过对所有作为跟踪处理结果的相关值分布相加来执行跟踪处理，所述跟踪处理是对于具有固定尺寸的相邻参考图象进行的，并得出相加的相关值分布的峰值位置。

22.根据权利要求3的局部区域图象跟踪装置，其中所述的转换装置将m比特彩色图象数据转换成n比特伪彩色图象数据，这里，m＞n。

23.根据权利要求4的局部区域图象跟踪装置，还包括：

相关性比较装置，用于根据从所述峰值位置检测装置得到的峰值位置，借助于所述图象存储器管理装置，通过将存储作为跟踪处理结果的具有最大相关值的图象存储器设置为参考图象存储器来刷新参考图象数据。

24.根据权利要求4的局部区域图象跟踪装置，还包括：

相关性评测装置，用于根据从所述峰值位置检测装置得到的峰值位置，评测存储在参考图象存储器内的作为跟踪处理结果的参考图象数据的相关性，并根据评测的相关值刷新参考图象数据。

25.根据权利要求24的局部区域图象跟踪装置，其中只有当在跟踪过程中，相关值小于或等于预定门限值时，所述的相关性评测装置刷新参考图象数据到最近的参考图象数据。

26.根据权利要求24的局部区域图象跟踪装置，还包括：

相关性比较装置，只有当所述相关性评测装置检测到在跟踪过程中相关值小于预定的门限值时，根据从所述峰值位置检测装置得到的峰值位置，借助于所述图象存储器管理装置，通过将存储作为跟踪处理结果的具有最大相关值的参考图象数据的图象存储器设置为参考图象存储器来刷新参考图象数据。

27.根据权利要求5的局部区域图象跟踪装置，其中所述的存储器装置存储输入图象数据，所述参考图象数据产生装置比较输入图象数据和目前背景图象数据并根据比较的图象数据之间的差产生参考图象数据。

28.根据权利要求5的局部区域图象跟踪装置，其中所述参考图象数据产生装置以预定的时间将输入图象数据分成多个区，得出其中由在所述的相关性运算装置中相对于每个分开的区执行相关性运算处理而产生运动的区，根据产生运动的区的数目是否超过预定值产生参考图象数据。

29.根据权利要求5的局部区域图象跟踪装置，其中当相关值的峰值超过预定值时，所述控制装置通过将检索图象数据的地址设置到所述地址产生装置作为参考图象数据的地址来刷新参考图象数据。

30.根据权利要求5的局部区域图象跟踪装置，其中所述的图象拾取装置包括变焦装置，所述控制装置控制所述变焦装置的变焦值，以使得任意局部区域都可以利用目前的变焦设定值逐渐搭取。

31.根据权利要求30的局部区域图象跟踪装置，其中所述的控制装置根据在任意局部区域的运动和变焦值输出指示报警和输入图象数据记录开始的信号。

32.根据权利要求5的局部区域图象跟踪装置，其中所述控制装置包括：

用于对多个局部区域的每一个分配标记的装置，以便识别每个局部区域，和

用于对多个标记的局部区域中的最大的局部区域执行跟踪处理的装置。

33.根据权利要求5的局部区域图象跟踪装置，其中所述图象拾取装置包括：

第一图象拾取设备，可移动地支持在所述运动装置上，

第二图象拾取设备，具有变焦装置，

所述控制装置输出运动指令控制所述第一图象拾取设备跟踪任意局部区域并根据变焦比控制第二图象拾取设备的方向。

34.根据权利要求33的局部区域图象跟踪装置，其中所述控制装置包括：

用于对多个局部区域的每一个分配标记的装置，以便识别每个局部区域，和

控制装置，用于控制第一图象拾取设备对于多个标记的局部区域执行跟踪处理，并控制第二图象拾取设备按顺序地拉近每个标记的局部区域。

35.根据权利要求6的局部区域图象跟踪装置，其中所述的存储器装置存储输入图象数据，所述参考图象数据产生装置比较输入图象数据和预设的背景图象数据，并根据比较的图象数据之间的差产生参考图象数据。

36.根据权利要求6的局部区域图象跟踪装置，其中所述参考图象数据产生装置以预定的时间间隔将输入图象数据分成多个区，得出其中由在所述的相关性运算装置中对每个分开的区执行相关性运算处理而产生运动的区，并根据产生运动的数目是否超过预定值来产生参考图象数据。

37.根据权利要求6的局部区域图象跟踪装置，其中当相关值的峰值超过预定值时，所述控制装置通过将检索图象数据的地址设置到所述地址产生装置中作为参考图象数据的地址来刷新每一个局部区域的参考图象数据。

38.根据权利要求6的局部区域图象跟踪装置，其中所述的控制装置根据在每一个局部区域的运动输出指示报警和输入图象数据记录开始中的一个信号。

Images