CN102572216A - 图像处理设备及图像处理方法 - Google Patents

Abstract

本发明涉及图像处理设备及图像处理方法。一种图像处理设备，其顺序检测图像中的特征，顺序获取所检测到的特征的信息，将在所述图像的先前帧中所检测到的先前特征的信息与在所述图像的当前帧中所检测到的当前特征的信息进行比较，以顺序判断是否估计为所述先前特征与所述当前特征相一致，并且在被估计为与所述当前特征相一致的所述先前特征的数量等于或大于预定数量的情况下，停止所述判断以记录在所述先前帧中所检测到的特征的信息，作为在所述当前帧中所检测到的特征的信息。

Description

图像处理设备及图像处理方法

技术领域

本发明涉及一种可以检测多个连续图像的特征的图像处理设备和图像处理方法。

背景技术

近年来，已知混合现实(MR)技术作为用于实时无缝混合现实世界和虚拟世界的技术。一种MR技术是利用视频透视头戴式显示器(HMD)或手持视频显示设备(手持装置(HHD))向用户提供混合现实图像。

用于实现MR技术的视频透视HMD通过例如摄像机拍摄与从用户的眼的位置观看到的被摄体大致一致的被摄体。视频透视HMD通过向用户显示其上重叠了计算机图形(CG)的拍摄图像实现混合现实空间。

已知这样一种技术，该技术通过检测拍摄图像中的特征点来测量HMD的位置和姿势，并且在适当位置配置虚拟物体，从而将CG重叠在拍摄图像上。通常，用于检测拍摄图像中的特征点的处理产生大的处理负荷，因此需要有效降低处理负荷，即使仅稍微降低也好。降低处理负荷也引起功耗降低，因而如果通过电池提供电力，则可以延长HMD的工作时间。

用于降低在检测拍摄图像中的特征点的处理时的处理负荷的一种方法是将当前帧中的特征点与前一帧中的特征点的检测结果进行比较的方法。日本特开2006-331108号公报所述方法在位于极线处的两个所拍摄的运动图像中进行立体测量。该日本专利申请讨论到：在该方法中，如果利用两个照相机所拍摄的其中一个图像中的特征点相比前一帧的结果在预定值的范围内，则继承前一帧的结果以在当前帧中限制对象区域。

在日本特开2006-331108号公报所述的方法中，由于该方法基于立体测量，所以难以对左侧和右侧独立进行图像处理，其中，立体测量需要检测左拍摄图像和右拍摄图像中的一致点，并且需要通过比较它们来确认它们实际上是否相互一致。因此，该方法在HMD处于倾斜状态时不能提供足够精确的处理，并且不能容易且高效地实现，因而该方法不适于MR系统。

发明内容

本发明涉及一种用于在多个输入图像中独立且有效地检测特征点、将所检测到的每一特征与先前结果进行比较、并且精确地继承先前结果从而降低处理负荷的技术。

根据本发明的一个方面，一种图像处理设备包括：检测单元，用于在图像的帧中顺序检测多个特征；获取单元，用于顺序获取检测到的所述多个特征的信息；以及判断单元，用于比较在所述图像的当前帧中所检测到的特征的信息和存储在存储单元中的在先前帧中所检测到的先前特征的信息，并且顺序判断在所述当前帧中所检测到的每一特征是否与存储在所述存储单元中的相应的先前特征相一致；其中，在判断为在先前特征和相应的当前特征之间存在预定数量的一致的情况下，所述判断单元停止所述判断，并且将在所述先前帧中所检测到的多个特征的信息设置作为在所述当前帧中所检测到的多个特征的信息。

根据本发明的其它方面，一种图像处理方法，包括以下步骤：在图像中检测当前特征；获取所检测到的当前特征的信息；将从所述图像的先前帧中所检测到的多个特征的信息中的先前特征的信息与所检测到的当前特征的信息进行比较；判断所述先前特征是否与所述当前特征一致；以及重复所述检测、所述比较和所述判断，直到存在预定数量的一致的先前特征和相应的当前特征为止，并且在存在所述预定数量的一致的先前特征和相应的当前特征的情况下，至少停止所述判断，并且将在所述图像的所述先前帧中所检测到的多个特征的信息设置作为所述图像的信息。

通过以下参考附图对典型实施例的详细说明，本发明的其它特征和方面将显而易见。

附图说明

包含在说明书中并构成说明书的一部分的附图，示出本发明的典型实施例、特征和方面，并与说明书一起用来解释本发明的原理。

图1是根据本发明第一典型实施例的系统的框图。

图2是根据第一典型实施例的特征检测单元的详细框图。

图3A、3B和3C示出输入图像和第一标记的个别标记信息。

图4A和4B示出前一帧的输入图像及其所记录的标记信息。

图5示出存储在特征历史记录单元中的标记信息。

图6A、6B和6C示出当前帧的设置结果以使其成为与先前帧相同的例子。

图7A和7B示出隐藏标记的一部分时的例子。

图8A、8B和8C示出前一帧的结果和当前帧的结果之间的差超过阈值的例子。

图9示出记录在特征历史记录单元中的多个先前标记信息。

图10A、10B和10C示出与多个先前帧的比较。

图11示出控制单元根据多个先前帧输出一致命令的条件。

图12示出控制单元根据多个先前帧输出一致命令的条件。

图13是根据第一典型实施例的特征搜索单元的流程图。

图14是根据第一典型实施例的结果比较单元的流程图。

图15示出根据本发明第一变形例的标记搜索顺序。

图16示出根据第一变形例的结束标记搜索的条件。

图17是根据第一变形例的特征搜索单元的流程图。

图18是根据第一变形例的结果比较单元的流程图。

图19A和19B示出与第一典型实施例相比的根据本发明的第二变形例的改进的例子。

图20A、20B和20C示出根据第二变形例的比较对象帧的变化。

图21是根据第二变形例的结果比较单元的流程图。

具体实施方式

下面将参考附图详细说明本发明的各种典型实施例、特征和方面。

下面将说明的典型实施例检测作为特征点的集合的标记。

图1是根据本发明第一典型实施例的系统的框图。该系统用于向用户提供混合现实。

视频透视HMD 1可以用于分开处理要提供给用户的左眼和右眼的图像。在图1中，通过字母L和R分别标识对左眼侧和右眼侧提供相同功能的单元，其中，将L分配给用于左眼侧的单元，而将R分配给用于右眼侧的单元。在下面的说明中，将说明用于左眼侧的处理，并且除非另有说明，对于右眼侧也进行相同处理。

摄像单元(A)101L和摄像单元(B)101R分别立体拍摄图像(第一图像和第二图像)。特征检测单元102从通过摄像单元101L所拍摄的图像提取标记。经由接口(I/F)103和204将该标记的信息发送给个人计算机(PC)2的位置和姿势测量单元201。位置和范围测量单元201基于该标记信息测量HMD 1的位置和姿势。CG绘制单元203L使用通过位置和姿势测量单元201所测量出的位置和姿势的信息、以及CG数据202来绘制CG。经由I/F(204和103)将绘制的CG发送给合成单元104L。合成单元104L合成所绘制的CG和通过摄像单元101L所拍摄的图像，以将合成图像显示在显示单元105L上，从而向用户提供混合现实。

根据该结构，用户可以通过戴上视频透视HMD 1来体验混合现实世界，在该混合现实世界中，实时无缝混合现实世界和虚拟世界。

图2是特征检测单元102的内部框图。

特征搜索单元151L检测输入图像信号中的标记。将标记的大小和阈值之间的关系记录在只读存储器(ROM)150L中。特征搜索单元151L根据通过特征搜索单元151L所检测到的标记的大小、中心坐标和识别(ID)的信息、以及记录在ROM 150L中的阈值信息生成个别标记信息，并且将所生成的个别标记信息发送给结果比较单元152L。

特征历史记录单元153L记录被组织成组的标记信息(第一记录)，其中，每一组标记信息都包含所检测到的一个先前帧的个别标记信息。下面，使用术语“标记信息”指一个帧的这样一组个别标记信息。结果比较单元152L参考特征历史记录单元153L，或者在比较结果之后将标记信息存储在特征历史记录单元153L中。

结果比较单元152L将从特征搜索单元151L所接收到的个别标记信息与记录在特征历史记录单元153L中的先前个别标记信息进行比较。此外，结果比较单元152L基于根据比较结果的判断，重写存储在特征历史记录单元153L中的数据(第二记录)。此外，结果比较单元152L确定当前帧的标记信息(特征点信息)，并且将该标记信息发送给发送单元155L。

控制单元154监视并控制针对左侧和右侧的处理。

发送单元155L将从结果比较单元152L所接收到的当前帧的标记信息发送给I/F 103。

这样，特征检测单元102的主处理是检测当前帧中的标记，以及将该结果与先前搜索结果进行比较，以确定当前帧的标记信息。将详细说明这两种类型的处理。

通过特征搜索单元151L进行标记检测。图3A、3B和3C示出该处理。

图3A示出来自摄像单元101L的输入图像，在该图像中，特征搜索单元151L对于每一行进行标记检测。图3A所示的正方形A～F全是标记。

图3B示出作为应用于图3A所示的输入图像的标记检测的结果所获取的标记A的个别标记信息。图3B所示的结果包括ID、中心坐标和大小等，但是个别标记信息不局限于图3B所示的内容。个别标记信息至少可以包括特征点的坐标。如果可以定义特征点的大小，则希望也记录该大小，因此，将本典型实施例配置成记录该大小。图3B所示的阈值是根据标记的大小而改变的值，并且被记录在ROM 150L中。该阈值是在相互比较当前帧中的标记和先前帧的标记检测结果时、作为判断这两者是否一致的基础的差的最大值。

图3C示出阈值的例子。在本典型实施例中，如图3C所示，随着物体越大，则阈值越小。然而，该阈值不局限于此，并且可以根据预期用途定义为任何形式来。在考虑到标记附近要求精度的情况下设计本典型实施例，因此本典型实施例采用图3C所示的阈值的定义。将通过特征搜索单元151L所检测到的个别标记信息顺次发送给结果比较单元152L。

当特征搜索单元151L从控制单元154接收到下面所述的一致命令、或者完成一个帧中的检测时，特征搜索单元151L结束当前帧中的检测处理。

接着，将详细说明结果比较单元152L的比较处理。当在左侧和右侧这两侧均存在三个以上个别标记信息的中心坐标与先前标记信息在阈值内一致时，本典型实施例停止特征搜索单元151L当前正在进行的标记检测处理(以中断正通过特征搜索单元所进行的标记检测处理)，并且判断为先前标记信息与当前帧的标记信息一致。

与先前标记信息在阈值内一致的个别标记信息的数量不局限于3个。当一致的数量超过作为正整数的预定数量M时，停止标记检测处理。优选M等于或大于2。更优选M等于或大于3。结果比较单元152L将来自特征搜索单元151L的标记检测结果与特征历史记录单元153L中的信息进行比较。图5示出存储在特征历史记录单元153L中的结构的例子。

图5示出在输入图像是图4A所示具有图4B所示信息的图像时通过特征搜索单元151L所检测到的标记信息。由于按照标记的检测顺序排列标记，并且对于各水平线从顶部开始进行标记检测，所以不是按照字母顺序排列这些标记。图5所示的信息是一个帧的标记信息，但是特征历史记录单元153L可以存储多个帧的结果。

将参考图6A、6B和6C说明用于将当前帧的个别标记信息与前一帧的标记信息进行比较的处理。图6A、6B和6C示出作为在存在三个以上的个别标记信息一致时的例子的、对要提供给用户的左眼的输入图像所进行的比较的例子。

图6A是已被登记在特征历史记录单元153L中的前一帧的标记信息。结果比较单元152L判断所接收到的个别标记信息的中心坐标和存储在特征历史记录单元153L中的标记信息中的个别标记信息的中心坐标之间的差是否等于或小于阈值(第一判断)。应该注意，仅在基于所检测到的标记的顺序编号预测为具有相同ID的标记之间进行该比较。本典型实施例使用距离作为中心坐标之间的差，但是可以使用矢量作为该差。此外，本典型实施例使用当前帧的个别标记信息的阈值作为阈值。然而，由于还记录与阈值有关的信息作为前一帧的个别标记信息，所以可以使用任一个阈值作为阈值。

图6B示出在当前帧中检测到第三个个别标记信息时的例子和表示当前帧的个别标记信息与前一帧的个别标记信息之间的距离差的例子。参考图6B所示的差，ID为B、A和C的标记与前一帧的个别标记信息的差在各自的阈值内。当在左侧和右侧这两侧均存在三个以上个别标记信息中的中心坐标相比先前标记信息在各自的阈值内时，本典型实施例停止特征搜索单元151L当前正在进行的标记检测处理(以中断正通过特征搜索单元所进行的标记检测处理)。

当检测到图6B的结果时，结果比较单元152L向控制单元154通知在一侧满足上述条件。该通知被称为“预定值达到通知”。当控制单元154从左结果比较单元152L和右结果比较单元152R都接收到当前帧的预定值达到通知时，控制单元154向左结果比较单元152L和右结果比较单元152R发出一致命令。换句话说，一致命令是下面的命令：由于在左侧和右侧这两侧均存在M个以上的阈值内一致，所以停止当前正进行的标记检测处理，并且判断为先前标记信息与当前帧的标记信息相同。

在接收到来自控制单元154的一致命令时，结果比较单元152L结束比较处理，并且判断为当前帧的标记信息与前一帧的标记信息相同。结果比较单元152L将所确定的当前帧的标记信息发送给发送单元155L。

在图6A、6B和6C所示的例子中，由于图6B所示的三个以上的个别标记信息相比图6A所示的前一帧的个别标记信息在阈值的范围内，将当前帧的标记信息设置为图6C所示与图6A所示的标记信息相同的标记信息，并且丢弃图6B所示的个别标记信息。将图6C所示的标记信息发送给发送单元155L。此时，不将图6C所示的标记信息记录在特征历史记录单元153L中，并且特征历史记录单元153L的内容在该比较处理前后没有变化(因此，在该阶段，特征历史记录单元的内容没有变化)。

图7A示出通过诸如手或物体等的现实世界中的东西隐藏标记A的帧的例子。图7B示出图7A所示的输入图像信号中的三个标记的检测结果、以及这三个标记与图6A所示的标记比较的差。在这种情况下，由于三个以上的个别标记信息与图6A所示的标记信息在阈值内一致，如在帧中没有障碍物的例子的情况一样，将图6C所示的标记信息发送给发送单元155L作为当前帧的标记信息。

图8A、8B和8C示出在少于三个的个别标记信息与先前帧的标记信息在阈值内一致时的例子。图8A示出前一帧的标记信息。图8B示出检测当前帧的所有个别标记信息的例子、以及当前帧的个别标记信息和前一帧的个别标记信息之间的距离差的例子。参考图8B所示的差，当前帧的少于三个的个别标记信息与前一帧的个别标记信息在各自的阈值内一致。因此，将当前帧的标记信息设置成图8C所示的信息。将图8C所示的标记信息存储在特征历史记录单元153L中，并且将其发送给发送单元155L作为当前帧的结果。

以这样的方式将当前帧与前一帧的结果进行比较。

接着将说明用于将当前帧与先前的N个帧(N是正整数)进行比较的例子。

特征历史记录单元153L存储多个标记信息以使得能够与多个先前帧进行比较，如图9所示。下面，假定以作为多个先前帧存在六个帧为例进行说明，但是，先前帧的数量通常不局限于6个。

在从特征搜索单元151L获取个别标记信息时，结果比较单元152L参考特征历史记录单元153L，并且判断所获取的个别标记信息是否与特征历史记录单元153L所存储的所有标记信息中的个别标记信息一致。将参考图9、图10A、10B和10C说明该比较方法。

如图9所示，在特征历史记录单元153L中记录了先前的六个帧的标记信息。

然后，图10A右侧示出在将图10A左侧所示的个别标记信息与被记录在特征历史记录单元153L中的图9所示的标记信息进行比较时的比较结果。类似地，每当结果比较单元152L接收到来自特征搜索单元151L的个别标记信息时，结果比较单元152L都进行如图10B和10C所示的比较。

在图10C所示的比较结果中，有两个帧满足下面的条件：三个以上的个别标记信息与先前帧的标记信息在各自的阈值内一致。结果比较单元152L向控制单元154通知预定值达到通知和满足该条件的先前帧的帧编号。在从左侧和右侧接收到具有相同帧编号的预定值达到通知时，控制单元154将一致命令与一致帧编号一起发送给结果比较单元152L和152R、以及特征搜索单元151L和151R。

图11示出在控制单元154接收到来自结果比较单元152L的帧5和6的预定值达到通知、并且还接收到来自结果比较单元152R的帧1和5的预定值达到通知时的例子。在图11所示的例子中，由于从左侧和右侧所接收到的预定值达到通知共有的共同帧编号是5，所以控制单元154向结果比较单元152L和152R、以及特征搜索单元151L和151R发送一致命令和帧编号5。结果比较单元152L和152R判断为当前帧的标记信息是(对应于)左侧和右侧各自的帧5的标记信息。

图12示出在作为左侧和右侧所共有的共同帧编号存在多个帧编号时的例子。由于将数据配置成最大的帧编号表示最新的数据，本典型实施例采用帧6的数据。可选地，结果比较单元152L和152R可以将相比先前帧的差与预定值达到通知一起发送，从而使得控制单元154可以选择在当前帧和先前帧之间具有最小物理差的帧。

如果结果比较单元152L没有从控制单元154接收到一致命令，而是从特征搜索单元151L接收到后面所述的搜索结束信号，则以与同前一帧比较时的判断相同的方式判断当前帧的标记信息。将判断结果发送给发送单元155L，并且覆写特征历史记录单元153L中的最早信息。代替覆写最早信息，可以基于先前帧的与使用频率相对应的权重来覆写该结果。

以这样的方式与多个先前帧的结果进行比较。

将参考图13的流程图说明根据本典型实施例的特征搜索单元151L的处理流程。当特征搜索单元151L接收到来自摄像单元101L的输入图像信号的一个帧时，开始图13的流程图所示的处理。

在步骤S201，特征搜索单元151L设置用于标记搜索的水平线。

在步骤S202，特征搜索单元151L判断是否存在来自控制单元154的一致命令。如果特征搜索单元151L接收到一致命令(步骤S202为“是”)，则特征搜索单元151L结束搜索处理。如果特征搜索单元151L未接收到一致命令(步骤S202为“否”)，则特征搜索单元151L在步骤S203进行标记检测。

在步骤S203，特征搜索单元151L沿在步骤S201所设置的水平线进行标记检测。如果特征搜索单元151L在所设置的线上检测到标记(步骤S203为“是”)，则在步骤S204，特征搜索单元151L将个别标记信息发送给结果比较单元152L。如果特征搜索单元151L没有检测到标记(步骤S203为“否”)，则处理进入步骤S205。

在步骤S204，特征搜索单元151L将在步骤S203所检测到的个别标记信息发送给结果比较单元152L，然后处理进入步骤S202。此时，由于特征搜索单元151L没有重新设置搜索线，所以即使在单个线上存在一个以上的标记，特征搜索单元151L也可以检测到所有标记。

在步骤S205，特征搜索单元151L判断当前搜索线是否是输入图像信号中的最后一个线。如果当前搜索线不是最后一个线(步骤S205为“否”)，则处理进入步骤S201，在步骤S201，特征搜索单元151L设置下一个线。如果当前搜索线是最后一个线(步骤S205为“是”)，则特征搜索单元151L向结果比较单元152L发送表示到达最后一个线的信号，然后结束搜索处理。

接着参考图14的流程图说明根据本典型实施例的结果比较单元152L的处理流程。当特征搜索单元151L接收到输入图像信号的一个帧时，还开始图14的流程图所示的处理。

在步骤S251，结果比较单元152L确认是否存在来自控制单元154的一致命令。如果结果比较单元152L接收到来自控制单元154的一致命令(步骤S251为“是”)，则处理进入步骤S261。如果结果比较单元152L没有接收到来自控制单元154的一致命令(步骤S251为“否”)，则处理进入步骤S252。

在步骤S261，结果比较单元152L将与同一致命令一起从特征历史记录单元153L所接收到的先前帧编号相对应的标记信息设置作为当前帧的结果，然后处理进入步骤S263。

在步骤S252，结果比较单元152L确认结果比较单元152L是否从特征搜索单元151L接收到表示到达最后一个线的标记检测的信号。如果标记检测结束(步骤S252为“是”)，则处理进入步骤S262。

在步骤S262，结果比较单元152L使用在步骤S260临时记录的结果作为当前帧的标记信息。结果比较单元152L将所使用的标记信息存储在特征历史记录单元153L中。然后，处理进入步骤S263。

在步骤S253，结果比较单元152L判断是否从特征搜索单元151L接收到了个别标记信息。如果结果比较单元152L未接收到个别标记信息(步骤S253为“否”)，则结果比较单元152L设置在等待状态，并且处理返回到步骤S251。如果结果比较单元152L接收到了个别标记信息(步骤S253为“是”)，则处理进入步骤S254，在步骤S254，结果比较单元152L进行比较处理。

对存储在特征历史记录单元153L中的所有先前帧重复进行步骤S254～S259。

在步骤S255，结果比较单元152L判断所接收到的个别标记信息的中心坐标是否与先前帧的标记信息的中心坐标在阈值内一致(第一判断)。如果它们一致(步骤S255为“是”)，则处理进入步骤S256。

在步骤S256，结果比较单元152L将一致帧的一致数量增大1。然后处理进入步骤S257。

在步骤S257，结果比较单元152L判断一致数量是否是3以上(第二判断)。如果一致数量是3以上(步骤S257为“是”)，则处理进入步骤S258。

在步骤S258，结果比较单元152L向控制单元154发送预定值达到通知和帧编号。

在步骤S260，在对所有先前帧进行了上述处理之后，结果比较单元152L临时记录所接收的个别标记信息。然后，处理返回到步骤S251。

在步骤S263，结果比较单元152L将所确定的当前帧的标记信息发送给发送单元155L。

根据上述处理，本典型实施例分别在多个输入图像信号中独立检测特征，并且将这些特征分别与先前帧的结果进行比较，从而在保持精度的同时实现了对先前帧的结果的利用。例如，在通过单目照相机所拍摄的图像中搜索标记的情况下，即使作为先前结果在相同位置处检测到了预定数量的标记，仍然存在检测到不同标记的高可能性，这导致实际使用不足。拍摄立体图像、即相同位置的两个图像的本典型实施例利用视点位置之间的轻微差异来搜索立体图像的左右(或上下)图像两者中的标记。因此，即使在检测到预定数量的标记位于与先前结果相同的位置时停止标记检测，本典型实施例也足以可靠地做出它们实际上位于相同位置的判断，从而实现能够降低特征检测的负荷的设备。

本发明典型实施例的第一变形例利用在多个拍摄图像中独立检测特征的能力以如图15所示的不同扫描顺序检测左拍摄图像和右拍摄图像中的特征。换句话说，本变形例以与扫描左图像的方向(正方向)相反的方向(反方向)扫描右图像。优选地，左图像的沿图像宽度方向延伸的搜索线从图像的顶部开始并且向下移动。优选地，右图像的沿图像宽度方向延伸的搜索线从图像的底部开始，并且向上移动。该方法使得更容易地检测到在图像的局部所发生的大变化，例如，在扫描的起点周围没有变化、而在扫描的结束位置附近存在变化的这样一种情况。

使用视频透视HMD的MR技术通过仅检测左图像和右图像中一个的标记，就可以利用测量单元201的位置和姿势来测量HMD的位置和姿势。因此，作为左侧的扫描区域和右侧的扫描区域的结合，足以在与画面中的整个区域相对应的区域中进行标记检测。因此，如图16所示，通过以在左侧和右侧的总扫描区域对应于整个画面时结束检测的方式设置结束条件，可以在左侧和右侧之间均分处理负荷。

将基于在作为左侧和右侧总共存在六个以上的阈值内一致时停止检测的例子来说明本变形例。然而，代替基于六个一致而停止，可以基于其它数量的预定值内一致来停止该检测。

现说明本变形例的处理。在下面的说明中，将作为左眼侧的处理来说明特征搜索单元的处理和结果比较单元的处理。图17是根据本变形例的特征搜索单元的流程图。

步骤S301～S305的功能与如第一典型实施例的说明所述的图13所示的步骤S201～S205的相同。

本变形例以不同扫描方向在左拍摄图像和右拍摄图像中进行标记检测，并且即使当扫描还未到达最后一个线时，也在左侧和右侧的扫描区域的组合对应于整个画面的情况下结束标记检测。因此，在步骤S307，每当特征搜索单元151L完成一个线上的标记检测时，特征搜索单元151L都将完成的区域通知给控制单元154。

控制单元154监视特征搜索单元151L和151R完成标记检测的区域，并且在控制单元154检测到所有区域时，向特征搜索单元151L和151R、以及结果比较单元152L和152R输出停止命令。

在步骤S306，特征搜索单元151L确认是否存在停止命令。如果存在停止命令(步骤S306为“是”)，则特征搜索单元151L结束检测处理。在本变形例中，将检测线配置成在左侧和右侧之间不会生成重叠，但是左侧和右侧之间的检测线可以存在重叠。

图18是根据本变形例的结果比较单元152L的流程图。

步骤S351～S356和S359～S363的功能与在如第一典型实施例的说明中所述的图14所示的步骤S251～S256和S259～S263相同。

在步骤S364，结果比较单元152L确认是否从控制单元154接收到停止命令。如果从控制单元154接收到停止命令(步骤S364为“是”)，则处理进入步骤S362，在步骤S362，结果比较单元152L通过使用在步骤S360临时记录的结果作为当前帧的标记信息来确定当前帧的结果，并且将所确定的结果存储在特征历史记录单元153L中。

在步骤S365，结果比较单元152L在完成个别标记信息与各自的先前帧的比较之后，将与各自的先前帧的一致数量发送给控制单元154。

控制单元154监视从结果比较单元152L和152R所发送的一致数量，并且在总一致数为6以上时，向结果比较单元152L和152R、以及特征搜索单元151L和151R发送一致命令。

根据该处理，对于左侧和右侧独立执行标记检测，使得能够在保持精度的同时使用宽的现实空间并利用先前帧的结果来进行比较，从而实现能够降低特征检测的负荷的设备。

在本发明典型实施例的第二变形例中，如果先前帧A和当前帧B之间的差大于阈值，如图19A和19B所示，则从比较对象排除该先前帧，从而实现处理的效率。现说明该方法。

对于用于从比较对象排除先前帧的阈值，本变形例使用与如第一典型实施例所述在先前标记信息和个别标记信息的中心坐标的比较中所使用的阈值相同的值。然而，这不限制本变形例，并且本变形例可以使用另外的新的值作为用于从比较对象中消除先前帧所使用的阈值来进行比较。在下面的说明中，将说明针对左眼侧的处理，但是对于右眼侧也进行相同处理，除非另有说明。

图20A示出记录在特征历史记录单元153L中的先前帧的标记信息的例子。在该例子中，当特征搜索单元151L向结果比较单元152L发送图20B所示的个别标记信息时，以与第一典型实施例相同的方式进行比较处理。

结果比较单元152L可以通过比较相应ID的个别标记信息，判断为如图20B所示的当前帧中的B的个别标记信息与图20A所示的帧1和2中的B的个别标记信息的差大于阈值。结果比较单元152L从与当前帧的比较对象排除被判断为超过阈值的范围的帧1和2。此后，结果比较单元152L仅将从特征搜索单元151L所接收到的个别标记信息与图20C所示的帧3进行比较。

图21是根据本变形例的结果比较单元152L的流程图。

图21所示的步骤S451～S463的功能与如在第一典型实施例的说明中所述的图13所示的步骤S251～S263相同。

在步骤S455，结果比较单元152L将个别标记信息与先前帧进行比较。如果它们之间的差大于阈值(步骤S455为“否”)，则处理进入步骤S464。在步骤S464，结果比较单元152L从与当前帧的比较对象排除在步骤S455被判断为超出阈值的范围的先前帧。

根据该处理，在多个输入图像信号中独立检测各自的特征，并且分别将这些特征与先前帧结果进行有效比较，这可以实现能够降低特征检测的负荷的设备。

尽管说明了特定典型实施例，但是，作为搜索对象所使用的特征可以是任何特征点，并且可以对不是上述典型实施例中的标记的对象进行特征检测。例如，特征可以是自然特征。

尽管参考典型实施例说明了本发明，但是应该理解，本发明不局限于所公开的典型实施例。所附权利要求书的范围符合最宽的解释，以包含所有修改、等同结构和功能。

注意，本发明可应用于由单个装置所构成的设备或者由多个装置所构成的系统。

此外，可以通过直接或间接将实现上述实施例的功能的软件程序提供给系统或设备、利用该系统或设备的计算机读取所提供的程序代码、然后执行该程序代码来实现本发明。在这种情况下，只要该系统或设备具有程序的功能，实现的模式不必仅依赖于程序。

因此，由于通过计算机实现本发明的功能，所以安装在计算机中的程序代码也实现本发明。换句话说，本发明的权利要求书还覆盖用于实现本发明的功能的计算机程序。

在这种情况下，只要该系统或设备具有程序的功能，可以以诸如目标代码、由解释程序所执行的程序或者提供给操作系统的脚本数据等的任何形式来执行该程序。

可用于提供该程序的存储介质的例子有软盘、硬盘、光盘、磁光盘、CD-ROM、CD-R、CD-RW、磁带、非易失性存储卡、ROM和DVD(DVD-ROM和DVD-R)等。

对于用于提供程序的方法，可以使用客户机的浏览器将客户机连接到因特网上的网站，并且可以将本发明的计算机程序或者该程序的自动安装压缩文件下载到诸如硬盘等的记录介质。此外，可以通过将构成该程序的程序代码分成多个文件、并且从不同网站下载该文件来提供本发明的程序。换句话说，本发明的权利要求书还覆盖将通过计算机实现本发明的功能的程序文件下载给多个用户的WWW(万维网)服务器。

还可以将本发明的程序进行加密并存储在诸如CD-ROM等的存储介质上，将该存储介质分发给用户，允许满足特定要求的用户经由因特网从网站下载加密密钥信息，并且允许这些用户通过使用该密钥信息来解密加密程序，从而将该程序安装在用户计算机中。

除通过利用计算机执行所读取的程序来实现根据实施例的上述功能的情况以外，运行在计算机上的操作系统等可以进行全部或部分实际处理，从而可以通过该处理实现上述实施例的功能。

此外，在将从存储介质读取的程序写入插入计算机的功能扩展板或者设置在与计算机连接的功能扩展单元中的存储器中之后，装配在该功能扩展板或功能扩展单元上的CPU等进行全部或部分实际处理，从而可以通过该处理实现上述实施例的功能。

Claims (15)

1.一种图像处理设备，包括：

检测单元，用于在图像的帧中顺次检测多个特征；

获取单元，用于顺次获取检测到的所述多个特征的信息；以及

判断单元，用于比较在所述图像的当前帧中所检测到的特征的信息和存储在存储单元中的在先前帧中所检测到的先前特征的信息，并且顺次判断在所述当前帧中所检测到的每一特征是否与存储在所述存储单元中的相应的先前特征一致；

其中，在判断为存在预定数量的一致的先前特征和相应的当前特征的情况下，所述判断单元停止所述判断，并且将在所述先前帧中所检测到的多个特征的信息设置作为在所述当前帧中所检测到的多个特征的信息。

2.根据权利要求1所述的图像处理设备，其特征在于，在判断为存在所述预定数量的一致的先前特征和相应的当前特征的情况下，所述检测单元停止所述检测。

3.根据权利要求1或2所述的图像处理设备，其特征在于，所述获取单元顺次获取包括所检测到的每一特征的大小的信息，并且所述存储单元存储包括每一先前特征的大小的信息，以及

所述判断单元基于从所述存储单元获得的先前特征的大小和所述获取单元所获取的当前特征的大小之间的比较，判断是否一致。

4.根据权利要求1所述的图像处理设备，其特征在于，所述获取单元所获取的信息包括所检测到的每一特征的图像位置，并且存储在所述存储单元中的信息包括每一先前特征的图像位置，以及

所述判断单元基于从所述存储单元获得的先前特征的图像位置和所述获取单元所获取的当前特征的图像位置之间的比较，判断是否一致。

5.根据权利要求1所述的图像处理设备，其特征在于，所述获取单元所获取的信息包括所检测到的每一特征的大小和图像位置，并且存储在所述存储单元中的信息包括每一先前特征的大小和图像位置，以及

所述判断单元基于从所述存储单元获得的先前特征的大小和图像位置与所述获取单元所获取的当前特征的大小和图像位置之间的比较，判断是否一致。

6.根据权利要求4或5所述的图像处理设备，其特征在于，在所述先前特征的图像位置和所述当前特征的图像位置之间的差小于预定阈值的情况下，所述判断单元判断为所述先前特征与所述当前特征一致。

7.根据权利要求6所述的图像处理设备，其特征在于，根据特征的大小来设置所述预定阈值。

8.根据权利要求1所述的图像处理设备，其特征在于，特征是标记或自然特征。

9.根据权利要求1所述的图像处理设备，其特征在于，还包括设置单元，所述设置单元用于设置用于在所述图像中检测特征的搜索线，

其中，所述检测单元沿所述搜索线在所述图像中顺次检测特征。

10.根据权利要求1所述的图像处理设备，其特征在于，所述检测单元在第一立体图像的帧中顺次检测多个特征，并且所述图像处理设备还包括另一检测单元，所述另一检测单元用于在第二立体图像的帧中顺次检测多个特征。

11.根据权利要求10所述的图像处理设备，其特征在于，还包括设置单元，所述设置单元用于设置用于在图像中检测特征的搜索线，

其中，所述检测单元沿第一方向在所述第一立体图像中移动所述搜索线，以在所述第一立体图像中顺次检测多个特征，并且所述另一检测单元沿与所述第一方向相反的第二方向移动所述搜索线，以在所述第二立体图像中顺次检测特征。

12.根据权利要求10所述的图像处理设备，其特征在于，作为在所述第一立体图像和所述第二立体图像中各自所检测到的区域的组合，所述检测单元和所述另一检测单元检测与图像的画面的整个区域相对应的区域。

13.根据权利要求1所述的图像处理设备，其特征在于，所述存储单元针对先前进行了检测的多个帧中的每个帧，存储在该帧中所检测到的特征的信息，并且所述判断单元顺次比较所述当前帧的特征的信息和先前进行了检测的各帧的特征的信息，以及

在针对特定先前帧判断为存在预定数量的一致的先前特征和相应的当前特征的情况下，所述判断单元停止所述判断，并且将所述特定先前帧的特征的信息设置作为在所述当前帧中所检测到的特征的信息。

14.根据权利要求1所述的图像处理设备，其特征在于，在特定先前帧中的特征的信息与所述当前帧中的相应特征的信息的差大于预定值的情况下，所述判断单元从比较对象排除所述特定先前帧的特征的信息。

15.一种图像处理方法，包括以下步骤：

在图像中检测当前特征；

获取所检测到的当前特征的信息；

将从所述图像的先前帧中所检测到的多个特征的信息中的先前特征的信息与所检测到的当前特征的信息进行比较；

判断所述先前特征是否与所述当前特征一致；以及

重复所述检测、所述比较和所述判断，直到存在预定数量的一致的先前特征和相应的当前特征为止，并且在存在所述预定数量的一致的先前特征和相应的当前特征的情况下，至少停止所述判断，并且将在所述图像的所述先前帧中所检测到的多个特征的信息设置作为所述图像的多个特征的信息。

Images