CN101900528B - 自动跟踪方法和测量装置 - Google Patents

Abstract

本发明涉及自动跟踪方法和测量装置。本发明提供一种自动跟踪方法，包括：检测来自被支撑在运动物体(30)上的目标(31)的光点(37)的光点检测步骤；获取目标和运动物体的运动图像的步骤；基于光点的检测进行跟踪的步骤；基于运动图像与所述跟踪并行地执行图像跟踪的步骤；比较通过所述跟踪获得的目标位置与通过图像跟踪获得的图像位置的步骤；在目标位置和图像位置在预定范围内的情形下基于所述跟踪的结果进行跟踪的步骤。

Description

自动跟踪方法和测量装置

技术领域

本发明涉及一种自动跟踪方法和具有跟踪功能的测量装置。

背景技术

作为用于进行距离、水平角和垂直角测定的测量装置，在过去已经知道了具有跟踪功能的测量装置。在这种类型的测量装置中，测量装置通过设置在该测量装置上的准直望远镜来校准物体反射器(目标)，例如角隅棱镜(corner cube)，并且通过准直望远镜来投射跟踪光。然后，测量装置通过准直望远镜来接收并检测来自目标的反射光，并且当目标运动时，检测反射光(来自目标)的光电探测位置和准直中心之间的偏差。基于该偏差，测量装置调整准直方向并自动跟踪目标。

通常，在具有跟踪功能的测量装置中，在测量装置侧没有分配操作者。目标由测量操作者支撑，或者目标被安装在诸如推土机的施工机械上。随着操作的进行，目标运动并且测量装置跟踪该运动目标。

然而，可能存在诸如下述的情形：一种情形是目标的运动速率超过测量装置跟随的速度并且目标偏离准直望远镜的视野，或者一种情形是来自反射物体(例如窗玻璃)的反射光被投射到测量装置，或者一种情形是多个目标互相经过并且来自两个或更多目标的反射光进入测量装置，或者一种情形是诸如汽车的交通工具在目标前面经过并且反射光被截断，或者其它情形。在这些情形中，测量装置可能在视界外错过目标或者可能因失误而认出目标并且不能跟踪目标，以及自动跟踪可能被中断。

这些状况是由下列情形引起的：在一般类型的准直望远镜的情况下，视场角(field angle)(视角)小到大约1°并且用于自动跟踪的反射光的检测范围太小。

当跟踪操作被中断时，测量装置开始搜索目标的操作。在搜索操作中，在投射跟踪光的同时通过在预定范围内沿上下方向和左右方向旋转准直望远镜来执行扫描，并且检测目标。

然而，如上所述，准直望远镜的视场角(视角)小到大约1°。为了重新检测目标，需要具有更细的扫描间距并且增加扫描操作的次数。因此，当跟踪被中断时，在再次检测到目标并且能够开始跟踪的时刻之前需要大量时间。另外，在光路频繁地被障碍物截断的工作条件下，可能出现测定操作的效率极大降低的问题。

在目标从准直望远镜的视野极大偏离的情形下或者在其它情形下，目标不能被再次检测到并且测量操作本身可能停止。

在JP-A-7-198383、JP-A-2000-346645、JP-A-2004-170354中均公开了具有跟踪功能的测量装置。

发明内容

本发明的目的是提供一种具有跟踪功能的测量装置，通过该测量装置可以防止在投射多个反射光的情形下或者在检测到来自物体而不是来自物体反射器的反射光的情形下，因不正确地识别物体反射器而引起的错误测定，而且在物体反射器从视界消失的情形下，可以快速检测到物体反射器，以减少在恢复自动跟踪之前的时间，并且改善测定操作的效率。

为了实现上述目标，本发明提供一种自动跟踪方法，包括：检测来自被支撑在运动物体(moving object)上的目标的光点的光点检测步骤；获取目标和运动物体的运动图像的步骤；基于光点的检测进行跟踪的步骤；基于运动图像与所述跟踪并行地执行图像跟踪的步骤；比较通过所述跟踪获得的目标位置与通过图像跟踪获得的图像位置的步骤；在目标位置和图像位置在预定范围内的情形下基于所述跟踪的结果进行跟踪的步骤。

此外，本发明提供如上所述的自动跟踪方法，其中所述跟踪步骤是用于投射激光束并且基于来自被支撑在运动物体上的目标的反射光来检测光点的激光跟踪步骤。

另外，本发明提供如上所述的自动跟踪方法，其中所述跟踪步骤是用于检测由被支撑在运动物体上的目标的发光产生的光点的跟踪发光目标的步骤。

此外，本发明提供如上所述的自动跟踪方法，进一步包括在目标位置和图像位置不在预定范围内的情形下或者在光点没有被检测到并且不能获得目标位置的情形下，继续图像跟踪并通过基于图像位置将激光束投射到预定范围来执行目标搜索的步骤。

另外，本发明提供如上所述的自动跟踪方法，其中从运动图像中运动物体的图像提取模板图像，由模板图像准备直方图，并且基于直方图进行图像跟踪。

此外，本发明提供如上所述的自动跟踪方法，其中该直方图是颜色直方图或明度(1ightness)直方图。另外，本发明提供如上所述的自动跟踪方法，其中该直方图是通过边缘处理获得的边缘梯度的直方图。

此外，本发明提供如上所述的自动跟踪方法，其中在图像跟踪中使用粒子滤波。另外，本发明提供如上所述的自动跟踪方法，其中在粒子滤波中在模板图像周围产生多个粒子，并且由所述粒子的加权平均值确定模板图像的位置。此外，本发明提供如上所述的自动跟踪方法，其中基于目标的距离测定数据和角度测定数据来判断运动物体的速率和运动方向，并且控制粒子的产生位置以匹配运动物体的运动。另外，本发明提供如上所述的自动跟踪方法，其中基于很短时间之前的位置和现在位置的位置之间的差或者基于似然值来控制粒子的产生。

此外，本发明提供一种自动跟踪方法，包括：获取被支撑在运动物体上的目标的运动图像和运动物体的运动图像的步骤；基于运动图像对目标进行跟踪的目标跟踪步骤；基于运动图像对运动物体进行跟踪的运动物体跟踪步骤；对从目标跟踪步骤获得的目标位置与从运动物体跟踪步骤获得的运动物体位置进行比较的跟踪比较步骤；以及在目标位置和运动物体位置在预定范围内的情形下基于所述跟踪步骤的结果执行跟踪的步骤。

另外，本发明提供一种测量装置，包括：用于接收和检测来自被运动物体支撑的目标的反射光的第一图像拾取单元；用于获取目标和运动物体的运动图像的运动图像拾取单元；用于将第一图像拾取单元和运动图像拾取单元的准直方向改变到水平方向和垂直方向的驱动单元；用于基于来自第一图像拾取单元的图像检测光点的光点检测处理单元；用于基于运动图像拾取单元的所拾取的图像执行图像处理以进行图像跟踪的图像跟踪处理单元；用于基于光点检测处理单元的处理结果和图像跟踪处理单元的处理结果来控制驱动单元以便第一图像拾取单元和运动图像拾取单元指向目标的控制运算单元，其中控制运算单元控制驱动单元以便基于光点检测处理单元的检测结果来执行跟踪，并且以便基于图像跟踪处理单元的处理结果与所述跟踪并行地执行图像跟踪。

此外，本发明提供如上所述的测量装置，其中所述跟踪是用于投射激光束以及用于检测来自被支撑在运动物体上的目标的反射光的激光跟踪。

另外，本发明提供如上所述的测量装置，其中所述跟踪是用于基于被支撑在运动物体上的目标的发光检测光点的发光目标跟踪。

此外，本发明提供如上所述的测量装置，其中在通过激光跟踪获得的光点位置和通过图像跟踪获得的图像位置在预定范围内的情形下，控制运算单元基于通过激光跟踪获得的结果识别目标。另外，本发明提供如上所述的测量装置，其中在通过激光跟踪获得的光点位置和通过图像跟踪获得的图像位置不在预定范围内的情形下，或者在不能获得光点位置的情形下，控制运算单元控制驱动单元以便基于通过图像跟踪获得的图像位置在预定范围内利用激光束执行搜索，并且以便检测目标。此外，本发明提供如上所述的测量装置，其中控制运算单元具有用于粒子滤波处理的程序，并且图像跟踪处理单元通过粒子滤波执行图像跟踪处理。另外，本发明提供如上所述的测量装置，其中控制运算单元从运动图像拾取单元的图像提取运动物体图像，由运动物体图像产生直方图，并且基于该直方图识别运动物体。此外，本发明提供如上所述的测量装置，其中控制运算单元通过粒子滤波在运动物体图像周围产生多个粒子，并且基于所述粒子的加权平均似然值确定图像位置。另外，本发明提供如上所述的测量装置，其中控制运算单元基于距离测定数据和角度测定数据判断运动物体的速率和运动方向，并且根据运动物体的运动控制粒子的产生。此外，本发明提供如上所述的测量装置，其中控制运算单元基于很短时间之前的位置和现在位置之间的差或者基于似然值来控制粒子的产生。另外，本发明提供如上所述的测量装置，其中所述直方图是颜色直方图、明度直方图或边缘梯度直方图中的至少一个。

此外，本发明提供一种测量装置，包括：用于获取被支撑在运动物体上的目标的运动图像的第一图像拾取单元；用于获取目标和运动物体的运动图像的运动图像拾取单元；用于将第一图像拾取单元和运动图像拾取单元的准直方向改变到水平方向和垂直方向的驱动单元；用于基于来自第一图像拾取单元的图像执行目标跟踪的目标跟踪图像处理单元；用于基于运动图像对运动物体执行跟踪的运动物体图像跟踪处理单元；用于基于目标跟踪图像处理单元的处理结果和运动物体图像处理单元的处理结果来控制驱动单元以便第一图像拾取单元和运动图像拾取单元指向目标的控制运算单元，其中控制运算单元控制驱动单元以便基于目标跟踪图像处理单元的检测结果执行目标跟踪，并且以便基于运动物体图像跟踪处理单元的处理结果与所述目标跟踪并行地执行对运动物体的跟踪。

本发明提供一种自动跟踪方法，包括：检测来自被支撑在运动物体上的目标的光点的光点检测步骤；获取目标和运动物体的运动图像的步骤；基于光点的检测进行跟踪的步骤；基于运动图像与所述跟踪并行地执行图像跟踪的步骤；对通过所述跟踪获得的目标位置与通过图像跟踪获得的图像位置进行比较的步骤；以及在目标位置和图像位置在预定范围内的情形下基于所述跟踪的结果进行跟踪的步骤。因此，能够改善目标跟踪操作的精确性，并且能够防止因不正确地识别目标而导致的错误测定。

此外，本发明提供如上所述的自动跟踪方法，还包括：在目标位置和图像位置不在预定范围内的情形下，或者在没有检测到光点并且不能获得目标位置的情形下，继续图像跟踪以及通过基于图像位置将激光束投射到预定范围来执行目标搜索的步骤。因此，可以迅速检测到目标并且快速恢复跟踪操作，因为在检测到多个光点的情形下或者即使在截断激光束的光路并且不能检测到光点的情形下，搜索通过图像跟踪获得的图像位置的附近就足够了。

另外，本发明提供如上所述的自动跟踪方法，其中在运动图像中从运动物体的图像提取模板图像，由模板图像准备直方图，并且基于该直方图执行图像跟踪。因此，即使在运动物体的姿势改变的情形下，或者即使在运动物体的一部分被遮断的情形下，也可以执行图像跟踪。

此外，本发明提供如上所述的自动跟踪方法，其中基于目标的距离测定数据和角度测定数据来判断运动物体的速率和运动方向，并且控制用以匹配运动物体的运动的粒子的产生位置。因此，即使在运动物体被暂时隐藏在障碍物后面的情形下，也能继续进行图像跟踪。

另外，本发明提供如上所述的自动跟踪方法，包括获取被支撑在运动物体上的目标的运动图像和运动物体的运动图像的步骤；基于运动图像对目标进行跟踪的目标跟踪步骤；基于运动图像对运动物体进行跟踪的运动物体跟踪步骤；对从目标跟踪步骤获得的目标位置与从运动物体跟踪步骤获得的运动物体位置进行比较的跟踪比较步骤；以及在目标位置和运动物体位置在预定范围内的情形下，基于所述跟踪的结果执行跟踪的步骤。因此，可以改善目标跟踪的精确性，并且防止因不正确地识别目标而导致的错误测定。

此外，本发明提供一种测量装置，包括：用于接收和检测来自被运动物体支撑的目标的反射光的第一图像拾取单元；用于获取目标和运动物体的运动图像的运动图像拾取单元；用于将第一图像拾取单元和运动图像拾取单元的准直方向改变到水平方向和垂直方向的驱动单元；用于基于来自第一图像拾取单元的图像检测光点的光点检测处理单元；用于基于运动图像拾取单元的拾取图像执行图像处理以进行图像跟踪的图像跟踪处理单元；用于基于光点检测处理单元的处理结果和图像跟踪处理单元的处理结果来控制驱动单元以便第一图像拾取单元和运动图像拾取单元指向目标的控制运算单元，其中控制运算单元控制驱动单元以便基于光点检测处理单元的检测结果来进行跟踪，并且以便基于图像跟踪处理单元的处理结果与所述跟踪并行地执行图像跟踪。因此，可以改善目标跟踪的精确性，并且防止因不正确地识别目标而导致的错误测定。

另外，本发明提供如上所述的测量装置，其中在通过激光跟踪获得的光点位置和通过图像跟踪获得的图像位置不在预定范围内的情形下，或者在不能获得光点位置的情形下，控制运算单元控制驱动单元以便基于通过图像跟踪获得的图像位置在预定范围内利用激光束执行搜索，并且以便检测目标。因此，可以迅速检测到目标并且快速恢复跟踪操作，因为在检测到多个光点的情形下或者即使在截断激光束的光路并且不能检测到光点的情形下，搜索通过图像跟踪获得的图像位置的附近就足够了。

此外，本发明提供如上所述的测量装置，其中控制运算单元从运动图像拾取单元的图像提取运动物体图像，由运动物体图像产生直方图，并且基于该直方图识别运动物体。因此，即使在运动物体的姿势改变的情形下，或者即使在运动物体的一部分被障碍物遮断的情形下，也可以执行图像跟踪。

另外，本发明提供如上所述的测量装置，其中控制运算单元基于距离测定数据和角度测定数据来判断运动物体的速率和运动方向，并且根据运动物体的运动来控制粒子的产生。因此，即使在运动物体的姿势改变的情形下，或者即使在运动物体的一部分被障碍物遮断的情形下，也可以执行图像跟踪。

此外，本发明提供如上所述的测量装置，包括：用于获取被支撑在运动物体上的目标的运动图像的第一图像拾取单元；用于获取目标和运动物体的运动图像的运动图像拾取单元；用于将第一图像拾取单元和运动图像拾取单元的准直方向改变到水平方向和垂直方向的驱动单元；用于基于来自第一图像拾取单元的图像执行目标跟踪的目标跟踪图像处理单元；用于基于运动图像对运动物体执行跟踪的运动物体图像跟踪处理单元；以及用于基于目标跟踪图像处理单元的处理结果和运动物体图像处理单元的处理结果来控制驱动单元以便第一图像拾取单元和运动图像拾取单元指向目标的控制运算单元，其中控制运算单元控制驱动单元以便基于目标跟踪图像处理单元的检测结果执行目标跟踪，并且以便基于运动物体图像跟踪处理单元的处理结果与所述目标跟踪并行地执行对运动物体的跟踪。因此，可以改善目标跟踪的精确性，并且防止因不正确地识别目标而导致的错误测定。另外，即使在目标从视界消失的情形下，也可以继续跟踪操作，从而快速搜索目标，并容易地恢复正常目标跟踪操作。

附图说明

图1是示出应用了本发明的测量装置的实例的透视图；

图2是根据本发明的实施例的测量装置的示意框图；

图3是用于解释本发明的实施例中的跟踪操作的示意图；

图4是示出本发明的实施例中的操作的流程图；

图5是本发明的实施例中的激光跟踪操作的流程图；

图6是本发明的实施例中的图像跟踪操作的流程图；

图7是本发明的实施例中的图像跟踪操作的流程图；

图8是示出粒子滤波中的似然状态的图示；以及

图9是示出将在本发明的实施例中使用的目标实例的图。

具体实施方式

参考附图，下面将给出关于本发明的实施例的描述。

图1和2均表示测量装置1，在该测量装置中实施了本发明。如这里所描述的测量装置1例如是全站仪(total station)。测量装置1将脉冲激光束投射到测定点，接收从测定点反射的脉冲束，对于每一脉冲测定距离，对距离测定结果求平均以及以高精确度执行距离测定。

如图1所示，测量装置1主要包括安装在三脚架(图中未示)上的调平单元(1eveling unit)2、设置在调平单元2上的底座单元3、绕垂直轴可旋转地设置在底座单元3上的框架单元4、和绕水平轴可旋转地设置在框架单元4上的光学单元5。

框架单元4包含显示单元6和操作输入单元7。光学单元5包含用于校准待测物体的望远镜单元8、用于通过望远镜单元8的光学系统采集图像以进行跟踪的第一图像拾取单元(跟踪图像拾取单元)11、用于通过望远镜单元8的光学系统沿准直方向采集图像的第三图像拾取单元(可伸缩的图像拾取单元)13。望远镜单元8具有高放大倍数，并且望远镜单元8的视场角是例如1°。

光学单元5具有广角摄像机单元9，其具有低于望远镜单元8的放大倍数的放大倍数，并且具有宽于望远镜单元8的视野的视野。广角摄像机单元9能够沿望远镜单元8的准直方向或者近似准直方向采集广角图像，并且广角摄像机单元9具有用于采集广角图像的第二图像拾取单元(广角图像拾取单元)12。广角摄像机单元9的视场角例如在15°到30°的范围内。望远镜单元8的光轴不同于广角摄像机单元9的光轴，而这些光轴彼此平行地延伸，并且这两个光轴之间的距离是已知的。广角摄像机单元9和望远镜单元8之间沿准直方向的偏离可以通过计算来调整。

第三图像拾取单元13通过望远镜单元8采集待测物体(目标)的图像，并且能够在望远镜单元8的光轴(准直光轴)周围拾取所需要的范围(视场角1°)内的图像。第一图像拾取单元11被设置在光路上，所述光路通过划分望远镜单元8的光轴给出，并且能够拾取与望远镜单元8的视场角等效的范围(即例如视场角为1°的范围)内的图像。

第二图像拾取单元12被合并在广角摄像机单元9中，并且能够拾取比第三图像拾取单元13的范围宽的范围(例如视场角为30°的范围)内的图像。第二图像拾取单元12和第三图像拾取单元13中的每一个在包括目标、物体或持有目标的人操作者的范围内获取运动图像。

对于第一图像拾取单元11、第二图像拾取单元12和第三图像拾取单元13，使用例如数字摄像机，其中输出拾取图像作为数字图像信号。第一图像拾取单元11、第二图像拾取单元12和第三图像拾取单元13所设有的光电探测元件是像素的集合(aggregate)，例如CCD、CMOS等。利用光电探测元件，可以指定每个所探测的像素的位置，并且可以由每个所探测的像素的位置获得视场角。将由第二图像拾取单元12或第三图像拾取单元13获取的图像优选是彩色图像。

现在，参考图2，描述测量装置1的基本设置。

光学单元5合并了距离测定单元14，该距离测定单元通常与望远镜单元8共享光学系统。距离测定单元14投射距离测定光，并接收和检测来自待测物体的反射光，以及对待测物体执行电光(electro-optical)距离测定。

当待测物体是棱镜时，距离测定单元14能够转换到棱镜测定模式，并且当待测物体不是棱镜时，距离测定单元14能够转换到非棱镜测定模式。

框架单元4设有用于沿水平方向旋转框架单元4的水平驱动单元15，框架单元4还设有水平角测定单元16，该水平角测定单元16用于检测框架单元4相对于底座单元3的水平旋转角，并且还用于检测沿准直方向的水平角。此外，框架单元4还设有用于围绕水平轴旋转光学单元5的垂直驱动单元17，和用于检测光学单元5的垂直角并沿准直方向测定垂直角的垂直角测定单元18。

控制器件21被合并在框架单元4中。控制器件21控制水平驱动单元15和垂直驱动单元17的驱动，沿水平方向和垂直方向旋转框架单元4和光学单元5以沿预定方向转动(turn)光学单元5。此外，控制器件21在预定范围内扫描，控制望远镜单元8和广角摄像机单元9的转换，以及控制第一图像拾取单元11、第二图像拾取单元12和第三图像拾取单元13的转换，并且以所需要的放大倍数采集图像。另外，控制器件21控制距离测定单元14并确定到预定测定点的距离。

控制器件21包括控制运算单元22、存储单元23、光点检测处理单元24、第一图像记录单元25、图像拾取选择单元26、第二图像记录单元27、初始值设定单元28、图像跟踪处理单元29、显示单元6、操作输入单元7，等等。

多种类型的程序被存储在存储单元23中。这些程序包括：测定所需的计算程序、用于执行第一图像处理(稍后将描述)的图像处理程序、用于从经处理的图像中选择测定点(光点，用以检测从反射镜反射的光)以及用于对所选测定点(目标)执行距离测定的棱镜距离测定程序、用于不使用棱镜来测定距离的非棱镜距离测定程序、用于根据非棱镜测定模式执行距离测定的程序，等等。另外，这些程序还包括，例如：用于跟踪测定点的序列程序、用于当目标消失时搜索目标的搜索程序、用于根据图像识别包括光点的物体以及用于跟踪物体的图像的图像跟踪程序、粒子滤波处理程序、和其它程序。

来自距离测定单元14、水平角测定单元16和垂直角测定单元18的测定结果被输入到控制运算单元22。执行距离测定、水平角测定和垂直角测定，并且测定结果通过控制运算单元22被存储在存储单元23中以及被显示在显示单元6上。

控制运算单元22由距离测定数据和角度测定数据(H和V)来判断运动物体的速率和方向以便基于运动图像(稍后将描述)来控制运动物体的图像跟踪(运动物体跟踪)。

测定操作者利用望远镜单元8校准待测物体(棱镜)并根据从第二图像拾取单元12或第三图像拾取单元13采集的图像来选择和设定包括待测物体(棱镜)的物体。由此选择和设定的物体将是图像跟踪的对象。另外，选择所选物体的特征部分并将该特征部分设置为模板。

图像拾取选择单元26转换第二图像拾取单元12和第三图像拾取单元13，以根据到待测物体的距离来采集数据，从而能够采集具有足够放大倍数以匹配所测距离的图像。

通过图像拾取选择单元26选择第二图像拾取单元12或第三图像拾取单元13。然后，由此选择的由图像拾取单元获取的图像被存储在第二图像记录单元27中并被显示在显示单元6上(视情况而定)。

基于被存储在第二图像记录单元27中的图像，根据该图像数据通过图像跟踪处理单元29识别物体，并且基于该图像数据获得物体的位置。

在测定期间第一图像拾取单元11沿准直方向采集图像，并且该图像被存储在第一图像记录单元25中。由被存储在第一图像记录单元25中的图像，通过图像处理在光点检测处理单元24处检测来自待测物体的光点。然后，由光点的重心位置(像素在光电探测元件上的位置)，确定目标位置，即沿望远镜单元8的准直方向的水平角和垂直角。基于由此获得的光点，执行跟踪操作，即目标跟踪。

在由此设置的物体上，图像跟踪处理单元29通过使用状态估计法(粒子滤波)基于运动图像来执行自动跟踪处理，并获得直方图34，用于指示模板上物体的特征。作为直方图34，存在：颜色直方图、明度直方图(主观亮度)、通过图像的边缘处理获得的边缘的每个部位(site)的梯度的直方图，等等。(在图中，示出了颜色直方图)。

图像跟踪处理单元29在粒子滤波中在模板图像周围产生多个粒子。然后，图像跟踪处理单元29基于直方图34从该图像数据提取物体并判断它是否是所述物体。根据所述粒子的加权平均值，在判定它是所述物体的情形下，图像跟踪处理单元29获得物体的位置。另外，基于通过计算所估计的运动物体的速率和方向，图像跟踪处理单元29控制粒子滤波中粒子的产生位置以匹配运动物体的运动，并且还执行其它处理。

首先，参考图3，将描述根据实施例的跟踪的基本概念。

根据本实施例，通过并行执行激光跟踪和图像跟踪对待测物体执行跟踪操作。激光跟踪将通过投射来自测量装置1的跟踪光以及通过当由物体反射器(棱镜)反射跟踪光时检测反射光来执行跟踪。图像跟踪将相对于待测物体和支撑待测物体的物体来设置模板图像并基于该模板图像执行跟踪。

在图3中，跟踪的物体是推土机30，其是运动物体，并且待测物体(目标)31是棱镜，例如角隅棱镜(corner cube)。目标31通过支撑元件(例如杆)被支撑在推土机30上。

在本实施例中，并行执行激光跟踪和图像跟踪。激光跟踪将沿与来自望远镜单元8的距离测定光的光轴相同的光轴投射跟踪光(激光束)，并通过检测从目标31反射的激光束执行跟踪。图像跟踪将基于由第二图像拾取单元12和第三图像拾取单元13获取的运动图像执行跟踪。

这里，用于激光跟踪的望远镜单元8的视场角小到1°，并且由第一图像拾取单元11拾取的图像的范围被限制到以望远镜单元8的光轴为中心的预定范围。用于通过望远镜单元8获取图像的第三图像拾取单元13的视场角是1°。广角摄像机单元9的视角宽于望远镜单元8的视角，并且第二图像拾取单元12的视场角例如是30°。

在图3中，参考数字32表示用于激光跟踪的第一图像拾取单元的图像，数字33表示用于图像跟踪的第二图像拾取单元的图像和用于图像跟踪的第三图像拾取单元的图像，即用于图像跟踪的图像33。参考数字36表示模板图像，其是通过提取推土机30的图像的一部分(即通过使用推土机30作为物体的物体图像的一部分)而获得的，并且模板图像36的大小被设定成例如最小尺寸为20×20个像素。模板图像36的位置和目标31的位置在图像上是已知的，并且由模板图像36的中心的位置可以计算目标31的中心和物体图像的中心。

实时地(at real time)并行执行激光跟踪和图像跟踪，并且基于通过激光跟踪获得的结果执行最后的跟踪。实时地将激光跟踪的跟踪结果与图像跟踪的跟踪结果相互比较，检查激光跟踪的结果是否正确。

在激光跟踪操作期间光点27从激光跟踪的搜索范围偏离的情形下，例如，在光点37从第一图像拾取单元11能获取图像的范围偏离的情形下，即在光点37从第一图像拾取单元的图像32偏离并且目标消失的情形下，或者在来自目标31的反射光被障碍物截断的情形下，或者在检测到多个光点并且不可能执行激光跟踪的情形下，基于通过第二图像拾取单元12或第三图像拾取单元13采集的运动图像，跟踪操作转变到图像跟踪。根据所测定的距离确定将选择第二图像拾取单元12的图像或第三图像拾取单元13的图像中的哪一个。

执行图像跟踪，并且在图像中检测用于匹配模板图像36的部位，以及获得匹配部位的中心位置。基于匹配部位的中心位置，可以计算目标31在图像上的位置。然后，利用计算的目标31的位置作为中心在预定范围内执行利用跟踪光的扫描，并且检测光点37。执行通过图像跟踪的跟踪操作直到检测到光点37为止。当检测到光点37时，再次开始激光跟踪。

接下来，将描述本实施例中的图像跟踪的特征。

在本实施例的图像跟踪中，采用借助运动图像(视频)的状态估计法(粒子滤波)。跟踪物体反射器(目标31)或包括目标的运动物体(即诸如重型机械、人操作者等的物体)。即使在目标31因例如掩蔽(隐藏)、交叉(intersecting)、振动等情况从视界消失时，与目标合成一体的运动物体也可通过图像跟踪被检测到。

如上所述的状态估计法是用于通过使用运动图像的时间序列数据等来执行跟踪处理的方法。状态估计法包括用于描述状态随时间的变化的系统(运动)模型和用于描述对粒子的观测过程的观测模型。在执行反馈控制的同时跟踪运动物体。在将被跟踪的物体周围产生多个粒子，并且可以获得该物体的图像的位置作为所述粒子的加权平均似然值(特征量)。基于该图像的位置，通过棱镜搜索最终识别运动物体。

结果，可以将搜索目标31的范围限制到较窄的范围，并且可以快速检测到目标31。在测量操作中恢复自动跟踪操作所需的时间可以减少，并且工作效率可以得到改善。

由于物体是根据“直方图”被检测和识别的，该直方图基于运动物体的颜色或图像的密度梯度(边缘)等，因此即使在运动物体的状态，诸如规模变化、局部隐蔽(隐藏)、运动物体的方向改变等的情形下，也可以以稳定的方式识别运动物体。作为将用于物体的检测和判断的直方图，使用下述直方图中的一个或两个或更多个直方图：颜色直方图、明度直方图或边缘梯度直方图。通过使用多个直方图，可以提高检测和判断的精确度。

图4示出了本实施例中的跟踪操作的流程。激光跟踪和图像跟踪被并行执行。

(步骤0，步骤01和步骤02)为了开始跟踪，测定操作借助望远镜单元8来校准目标31并设置水平角(H)和垂直角(V)作为初始值。测定操作者确认用于支撑目标31的推土机30(物体)，并设定模板图像36。

(步骤03和步骤04)并行执行激光跟踪和图像跟踪。在图像跟踪中，采用使用粒子滤波(下文中被称为“PF”)的运动图像跟踪方法。

(步骤05)当成功执行激光跟踪和图像跟踪中的至少一个时，继续跟踪操作。如果两种跟踪操作都没有成功，那么再次执行手动(onmanual)初始设定。

(步骤06和步骤07)当判断激光跟踪是否被成功执行时，并且在判定激光跟踪已经被成功执行的情形下，将目标31的位置(水平角H0和垂直角V0)以及图像中心的位置(水平角H1和垂直角V1)进行相互比较，并且检查这两个位置是否在特定预定视场角内，例如是否在1.5°内。

(步骤09和步骤10)在激光跟踪没有被成功执行的情形下，例如在被反射的跟踪光被障碍物截断的情形下，采用图像跟踪的结果(稍后将描述)。

在激光跟踪被成功执行，并且目标31的位置(水平角H0和垂直角V0)和图像中心的位置(水平角H1和垂直角V1)在预定视场角内的情形下，其是激光跟踪和图像跟踪彼此很好匹配的情形，并且确认已经成功执行跟踪所针对的物体是目标31。

(步骤08和步骤11)目标31的位置被确认为(H0，V0)，并且驱动水平驱动单元15和垂直驱动单元17，以及望远镜单元8被校准到目标31。

(步骤09)在目标31的位置和图像中心的位置不在预定视场角内的情形下，可能其它棱镜或其它反射器已经被探测到，并且检查图像跟踪中的PF的似然。如果似然大于预定值，则其处于粒子集中在模板图像36上的状态下，并且判定图像跟踪已经被成功执行所针对的物体是所述物体。在这种情形下，图像中心的位置(水平角H 1和垂直角V1)被确认为目标31的位置(步骤10)。

(步骤11)水平驱动单元15和垂直驱动单元17被驱动，并且对目标31执行校准，以便望远镜单元8的水平角和垂直角将分别是H1和V1。

尽管模板图像36的中心位置和目标31的位置彼此不同，但是模板图像36和目标31之间的关系是已知的。因此，当获得模板图像36的中心位置时，也迅速确定了目标31的位置。当利用由此确定的位置作为中心利用激光束搜索目标31时，能容易地检测到目标31，并且激光跟踪可重新开始和继续。

(步骤09)当似然低于预定值时，其处于粒子分散在图像33上以进行图像跟踪的状态下。这不足以判定图像跟踪的物体是所述物体(推土机30)。由此，搜索操作停止，并且其必须等待直到似然变得大于预定值为止。当似然达到预定值时，前进到步骤10和步骤11。

此外，在存在两个或更多个目标31的情形下，作为所述物体的目标31可以被识别，并且即使在被反射的跟踪光被截断的情形下，跟踪操作也能继续。

接下来，参考图5，将描述步骤03中的激光跟踪。

(步骤30，步骤31和步骤32)激光束(跟踪光)通过望远镜单元8被投射。被目标反射的反射激光束通过望远镜单元8被接收和检测。由第一图像拾取单元11获取图像，并且采集图像数据。

(步骤33和步骤34)利用预定阈值对所采集的图像执行二进制处理。检测激光束的光点，并且检测第一图像拾取单元11中的光电探测元件中光点37的重心位置。

(步骤35和步骤36)当已经成功检测到该重心位置时，可以由匹配光点37的重心位置的光电探测元件的像素的位置来确定第一图像拾取单元11处沿水平和垂直方向的视场角，并且计算水平角H和垂直角V。

图6示出如从图4提取的物体跟踪的流程。在图6中，对于匹配图4中示出的步骤的步骤，在此将不再详细描述。

当在步骤04中执行图像跟踪并且获得图像中心时，检查PF的设定是否适当。如果PF不适当，则执行重新设定PF(步骤21)。将稍后描述图像跟踪。

当已经完成PF的检查时，执行步骤10到步骤12的过程，并且基于图像跟踪的结果执行跟踪。

现在，参考图7，将描述图像跟踪。

这里，将描述使用状态估计法(粒子滤波(PF))的运动图像跟踪的流程。

粒子滤波是一种算法，其中从当前时刻到下一时刻可能出现的状态由多个粒子表示，待检测物体的局部图像被看作模板，并且在基于设置在物体周围的所有粒子之间的特征量(似然值)和作为下一时刻的状态的模板来估计位置的同时，重复执行跟踪。

(步骤40)开始基于粒子滤波的跟踪程序。

(步骤41)检查通过棱镜跟踪设置的初始标记(参见图4)或物体跟踪(参见图6)。当该标记为真(TRUE)(1)时，执行粒子滤波的初始化(步骤42)。当该标记为假(FALSE)(0)时，不执行初始化，而是前进到图像数据采集过程(步骤43)。

(步骤42)通过使用粒子滤波处理，设置执行图像跟踪的初始值。通过使用随机数根据高斯分布计算几乎所有在粒子滤波中使用的参数。这里假定数值的范围是：-1.0到1.0，并且在下面的描述中将该随机数表示为“NN”。

初始模板位置(cx_init，cy_init)是第一模板的位置，通过测量装置1校准初始模板位置，或者在校准之后，在通过广角摄像机单元9的第二图像拾取单元12或通过望远镜单元8的第三图像拾取单元13获取的图像上指定初始模板位置。

初始模板大小(temple_width，temple_height)是例如最小为大约20×20个像素。利用指定的图像位置作为中心，采集所设置的大小的图像数据。另外，预先计算随后观测过程中的颜色直方图和图像密度梯度(边缘)直方图。

接下来，计算初始模板的纵横比(aspect ratio)(temple_ratio＝temple_height/temple_width)。当更新模板尺寸(temple_width，temple_height)时计算纵横比。

粒子数被设定为例如2000。给每个粒子提供序号(下标(index))，并且更新和管理每个粒子的似然(稍后将描述)。

在初始化过程中，假定初始设定的2000个粒子处于相同位置(cx_init，cy_init)，以便给均处于相同状态的每个初始粒子提供差异，并且这些粒子分散在{(高斯分布)×(搜索区)}的范围内。

在初始化过程中，不知道在初始状态中粒子前进的方向。因此，给这些粒子提供根据正态分布的初始速率分布。也就是说，计算当前时刻的位置和一个步骤之前(one step before)的位置，并且由这两个位置产生速率向量。首先，可以由公式1获得当前时刻的位置。

[公式1]

$\left(\begin{array}{c}\mathrm{cx}\\ \mathrm{cy}\end{array}\right)=\left(\begin{array}{c}\mathrm{cx}\_\mathrm{init}\\ \mathrm{cy}\_\mathrm{init}\end{array}\right)+\left(\begin{array}{c}\mathrm{NN}\×\mathrm{cx}\_\mathrm{dev}\\ \mathrm{NN}\×\mathrm{cy}\_\mathrm{dev}\end{array}\right)$

这里，cx_dev和cy_dev是用于控制粒子位置(散布)的参数。例如，大范围运动的物体被给定为：cx_dev＝cy_dev＝10.0。此外，不太大范围运动的物体被给定为：cx_dev＝cy_dev＝1.0。在初始化过程中，cx_dev和cy_dev被设置为10.0。

可以通过下面的公式获得被看作是一个步骤之前的位置的位置(cx_prev，cy_prev)：

[公式2]

$\left(\begin{array}{c}\mathrm{cx}\_\mathrm{prev}\\ \mathrm{cy}\_\mathrm{prev}\end{array}\right)=\left(\begin{array}{c}\mathrm{cx}\_\mathrm{init}\\ \mathrm{cy}\_\mathrm{init}\end{array}\right)+\left(\begin{array}{c}\mathrm{NN}\×\mathrm{cx}\_\mathrm{dev}\\ \mathrm{NN}\×\mathrm{cy}\_\mathrm{dev}\end{array}\right)$

对于每个粒子涉及的区域(w，比率)的大小给出变量(variation)(分散)。

[公式3]

这里，w_dev用于粒子的状态变换中，并且w_dev是指示在粒子区域的横向方向上的可运动等级的分散值。例如，其被设置为：w_dev＝0.5。此外，r_dev用在粒子的状态变换中，并且r_dev是指示在粒子区域的纵向方向上的可运动等级的分散值。例如，其被设置为：r_dev＝0.02。

(步骤43)在步骤02中的手动指定时(参见图4)，根据到物体的距离值，广角摄像机单元9的第二图像拾取单元12和望远镜单元8的第三图像拾取单元13被转换，并且选择图像以便物体将处于适当的大小来匹配该距离值，并且采集物体的运动图像(视频)数据。

(步骤44)在到物体的距离值改变了例如大约25％到30％的情形下，或者在似然值(稍后将描述)低于特定阈值(例如50％或更低)的情形下，以及在其它情形下，判定需要模板的更新，并且前进到步骤45(模板更新)。

(步骤45)在摄像机的亮度(光度)被调整到适当值之后，从摄像机的静拍画面(特定帧)的物体图像采集模板图像数据。模板图像的大小被设定为最小20×20个像素。提取和设置指定物体的颜色的边界和轮廓。视情况，基于测定数据更新模板。特别地，根据到运动物体的距离来改变物体图像的大小，并且也改变模板的大小以匹配物体图像大小的改变。

(步骤46)在初始化过程中被分散的粒子上，根据预测分布(系统模型)运动每个粒子的位置。然而，在第一预测过程中，使用在初始化中产生的值(cx，cy，cx_prev，cy_prev)。

作为系统模型的实例，使用“等速率模型”来完成对运动物体的平滑运动的控制。特别地，基于距离测定数据和角度测定数据(H，V)来计算速率和运动方向。这里假定此时的速率是等速率。当使用上面给出的“等速率模型”时，其可定义如下：

等速率模型：

$X_{t-1}-X_{t-2}\≈X_t-X_{t-1}\⇒\⇒\⇒X_t=2X_{t-1}-X_{t-2}+N\left(\mathrm{\σ}\right)$

N(σ)的值是系统分散值并且表示搜索区，其由公式4给出。

[公式4]

$\left(\begin{array}{c}\mathrm{NN}\×\mathrm{cx}\_\mathrm{dev}\\ \mathrm{NN}\×\mathrm{cy}\_\mathrm{dev}\end{array}\right)$

当产生高斯分布时使用如公式5中给出的随机数：

[公式5]

$\left(\begin{array}{c}\mathrm{cx}\\ \mathrm{cy}\end{array}\right)=2\×\left(\begin{array}{c}\mathrm{cx}\\ \mathrm{cy}\end{array}\right)-\left(\begin{array}{c}\mathrm{cx}\_\mathrm{prev}\\ \mathrm{cy}\_\mathrm{prev}\end{array}\right)+\left(\begin{array}{c}\mathrm{NN}\×\mathrm{cx}\_\mathrm{dev}\\ \mathrm{NN}\×\mathrm{cy}\_\mathrm{dev}\end{array}\right)$

结果，对于很短时间以前分散的每个粒子，可以根据基于高斯分布的等速率分布来执行状态变换。

由于考虑到在正常情况下，至运动物体的距离越短，出现在图像上的运动距离越长，并且至运动物体的距离越长，出现在图像上的运动距离越短，因此基于通过测量装置1测定的距离值来改变用于控制粒子的位置(散布)的参数(即cx_dev，cy_dev)。特别地，在进行控制以匹配物体的速率时，获得很短时间以前的位置和现在位置之间的差，并且在值(cx_dev，cy_dev)中该差被替代。另外，在运动物体被掩蔽(隐藏)的情形下，或者在其它情形下，对测量装置1的摄像机的控制从似然值暂时停止，并且值(cx_dev，cy_dev)被改变和控制。

在与当PF令人满意(PF标记为假)时的似然之和相比，当前时刻的似然之和是10％或更高的情形下，输入如上给出的差。如果该值较低，则其被设定为：0％到3％：cx_dev＝cy_dev＝30.0；3％到5％：cx_dev＝cy_dev＝20.0；5％到10％：cx_dev＝cy_dev＝10.0。

此外，对于每个粒子所涉及的区域(w，比率)随机给出值(公式6)。

[公式6]

系统模型将描述状态随时间的变化。在除如这里描述的等速率模型之外的其它情形下，在运动物体的运动已知的情形下，可以控制其行为。例如，在物体从右运动到左的情形下，可以限定在右边方向上可预测粒子的产生并且可以优先产生粒子。

(步骤47)观测过程是执行粒子的似然计算和似然标准化的步骤。这里，执行模板和每个粒子的图像处理，估计特征量(相似性)，并且将其值看作似然。通过使用颜色(RGB)直方图的方法来估计相似性。根据特征量，可以使用SSDA(序贯相似性检测算法)、标准化互相关法、最小二乘匹配法、方向性编码法，等等。然而，在跟踪运动物体的情形下，在许多情形下期望使用通过采用直方图对特征量进行的计算以便确保方向变化、大小变化和局部隐蔽等的鲁棒性。

1)粒子的似然计算

对于每个粒子，计算物体的似然(相似性)。对于似然计算，通过使用RGB直方图对全部粒子的每一个进行估计。预先标准化物体和每个粒子的直方图。标准化后的直方图(p，q)定义如下：

$\mathrm{\ρ}[p,q]=\mathrm{\Σ}\sqrt{\left(\mathrm{pq}\right)}$ (p：巴氏(Bhattacharyya)系数)

相似性： $\mathrm{dif}=\sqrt{(1-\mathrm{\ρ}[p,q\left]\right)}$

似然＝exp(-dif/obs_var)

(其中obs_var：观测系统分散值)

通过使用Sobel(索贝尔)算子等关于模板和每个粒子提取图像的密度梯度(边缘)，并且确定边缘的梯度(即图像上边缘的倾斜)。在离散化(例如分成16部分)之后，边缘倾斜变成直方图。通过以类似于颜色直方图的方式计算该直方图，不仅可以将物体的颜色信息识别为特征量而且可以将形状(边缘)识别为特征量。通过同时使用颜色信息和形状信息，可以进一步改善似然的性能特性。

2)似然标准化

执行标准化以便似然之和将是1。或者，代替标准化，可以计算所有粒子的似然之和。

(步骤48)根据概率对粒子执行重新采样(加权)，并且产生基于预测过程(系统模型)的粒子。也就是说，在概率与每个粒子的似然成比例的情况下，新粒子被重复采样。结果，可以在较高似然的情况下增加粒子数，以及在较低似然的情况下消除粒子。

一般的重新采样方法如下：

似然标准化

似然的累积计算

使用反函数的重复采样

通过似然的累积计算，可以描绘出如图8所示的阶梯状图表。通过使用反函数重复重新采样，产生0到1.0的随机数。通过将这些值看作纵坐标轴上的值，推理出横坐标轴上的相应值。在下一步中，产生将这些在横坐标轴上获得的值作为粒子数的粒子。该过程被重复2000次。在图8中，纵坐标轴表示似然。因为似然被标准化，因此最大值将是1.0。

在一般粒子滤波处理中，在重新采样之后粒子的坐标被设定为cx_prev，cy_prev。然后，前进到步骤46的预测过程，并且重复该处理。

(步骤49)检查如上获得的似然值和粒子数。在似然和粒子数小于特定阈值的情形下，PF标记被设定为真(1)。例如，在与当PF令人满意(即PF标记为假)时的似然之和相比，当前时刻的似然之和是1/10(即10％)或更低的情形下，判定运动物体已经从视界消失或者不能确认运动物体。然后，该标记被开启(turn on)，并且测量装置的摄像机变成处于停止状态而没有旋转。

判断在附近是否包括粒子数的一半或更多，即是否包括2000/2＝1000个粒子(模板大小×2)。如果粒子数是一半或更少，则标记以类似于上述的方式被开启。

在似然极低的情形下，假定不存在(发出(emanated))运动物体。图像跟踪终止(步骤51)，并且转向等待状态。在粒子数很少的情形下，假定粒子被分成多个似然，其也转向等待状态。

在该情形下，测量装置1的摄像机被固定在其位置而没有旋转(即没有运动摄像机)直到运动物体出现为止。或者，在运动物体彼此交叉(存在多个运动物体)的情形下，通过重复该处理摄像机等待直到决定应该选择哪一个物体为止。

(步骤50)由在上面获得的2000个粒子的集合，计算所述粒子的加权平均值以通过使用粒子滤波找出运动物体的最适当位置，并且输出图像的坐标。特别地，粒子的加权平均值并不单单是粒子的平均值，而是所有粒子的平均值可以通过强调具有较高似然的粒子而对每个粒子执行计算(坐标×标准化后的似然)来确定。

由这样计算的图像坐标，计算水平角(H)和垂直角(V)以便安装在测量装置1上的第二图像拾取单元12的摄像机或第三图像拾取单元13的摄像机指向运动物体，并且该过程终止(步骤51)。

在棱镜跟踪的情形下，基于所述角(H和V)执行棱镜搜索。如果存在棱镜，则判定跟踪已经在其位置(H，V)最终被成功执行。

在物体跟踪的情形下，摄像机指向所述位置(H，V)，并且物体跟踪继续。

在本实施例中，使用反射器(棱镜)作为目标，然而该目标不限于反射器，并且它可以被如此设置使得可视特性的目标被提供并且跟踪该目标。在这种情形下，通过使用颜色分量R(红)、G(绿)和B(蓝)等，该目标被设计成圆形形状或采用同心圆形式，或者可以使用被涂有包含反射材料的涂料的目标。

图9示出具有三个层的目标38的实例。喷涂了不同颜色，即：中心(用黑色)，内部(用红色)，外部(用黑色)。利用状态估计法(粒子滤波)对运动物体执行跟踪，并且其可以被如此设置使得利用其它粒子滤波或图像处理等来跟踪该目标38。也就是说，这意味着，代替在本实施例中执行激光跟踪，通过图像处理来跟踪目标(目标跟踪)。在这种情况下，不一定需要投射用于目标跟踪的激光束，而是如果使用反射材料，则可以通过图像处理更有效地跟踪目标。

此外，如图9中所示的目标38的每个区域中的颜色可以视情况而改变，并且目标可以被设计成两层或三层或更多层。

另外，发射光的光点可以用作目标。在这种情况下，它可以被设计成将发射具有预定波长的光的光发射器(光源)设置在运动物体上，并且在本实施例中可以以类似于激光跟踪情形的方式通过利用图像拾取单元(第一、第二或第三图像拾取单元之一或全部)检测光源的光来跟踪目标。

(附注)

下面的实施例被包括在本发明中：

(附注1)一种图像跟踪方法和用于跟踪的装置，其特征在于，当物体反射器(棱镜)(从视界)消失时，利用状态估计法(粒子滤波)基于运动图像(视频)来跟踪物体反射器或包括该物体反射器的运动物体(诸如重型机械的物体、人等)，并且即使当在诸如物体反射器的隐藏、交叉、振动等的状况下物体反射器消失时，通过检测与物体反射器合成一体的运动物体也能快速检测到物体反射器，并且通过减少在能恢复测量操作的自动跟踪之前所需的时间能够以较高的工作效率来执行操作。

(附注2)一种运动图像跟踪方法和用于跟踪的装置，其特征在于，在图像上指定任意运动物体之后，利用状态估计法(粒子滤波)基于运动图像来自动跟踪运动物体，并且即使在没有具体物体反射器时也可以对运动物体的三维轨迹(1ocus)执行测定。

(附注3)一种运动图像跟踪方法和用于跟踪的装置，其特征在于，状态估计法是一种通过使用运动图像的时间序列数据等执行跟踪处理的方法，并且该处理包括表示状态随时间的改变的系统(运动)模型和表示粒子的观测过程的观测模型，并且在执行反馈控制的同时跟踪运动物体。

(附注4)一种运动图像跟踪方法和用于跟踪的装置，其特征在于，在待跟踪物体的周围产生多个粒子，由粒子的加权平均似然值(特征量)获得物体的图像位置，并且通过从图像位置执行棱镜搜索最终识别运动物体。

(附注5)一种运动图像跟踪方法和用于跟踪的装置，其特征在于，系统模型使用“等速率模型”来完成对运动物体的平滑运动控制，并且从由测量装置对运动物体采集的距离测定数据(D)和角度测定数据(H，V)来判断运动物体的速率和方向，并且控制粒子产生的位置以匹配运动物体的运动。

(附注6)一种运动图像跟踪方法和用于跟踪的装置，其特征在于，观测模型是一种用于对根据系统模型产生的每个粒子进行图像处理的模型，根据基于运动物体的颜色和图像的密度梯度(边缘)等的“直方图”计算特征量，即使在运动物体的规模改变、局部隐蔽、方向变化等状况下也以稳定的方式识别运动物体，并且实现鲁棒性。

(附注7)一种运动图像跟踪方法和用于跟踪的装置，其特征在于，被跟踪的跟踪棱镜或合并的运动物体的一部分用作图像处理的模板，并且基于从测量装置采集的距离测定数据来更新模板的大小和其它特征。

Claims (22)

1.一种自动跟踪方法，包括：检测来自被支撑在运动物体上的目标的光点的光点检测步骤；获取所述目标和所述运动物体的运动图像的步骤；基于光点的检测执行目标跟踪的步骤；基于所述运动图像与所述目标跟踪并行地执行图像跟踪的步骤；比较通过所述目标跟踪获得的目标位置与通过所述图像跟踪获得的图像位置的步骤；以及在所述目标位置和所述图像位置在预定范围内的情形下基于所述目标跟踪的结果进行跟踪的步骤，

其中，从所述运动图像中所述运动物体的图像提取模板图像，由所述模板图像准备直方图，并且基于所述直方图执行所述图像跟踪。

2.根据权利要求1所述的自动跟踪方法，其中，所述执行目标跟踪的步骤是用于投射激光束并且基于来自被支撑在所述运动物体上的所述目标的反射光来检测所述光点的激光跟踪步骤。

3.根据权利要求1所述的自动跟踪方法，其中，所述执行目标跟踪的步骤是用于检测由被支撑在所述运动物体上的所述目标的发光产生的所述光点的跟踪发光目标的步骤。

4.根据权利要求2所述的自动跟踪方法，还包括以下步骤：在所述目标位置和所述图像位置不在预定范围内的情形下，或者在所述光点没有被检测到并且不能获得所述目标位置的情形下，继续所述图像跟踪，以及通过基于所述图像位置将所述激光束投射到预定范围来执行目标搜索。

5.根据权利要求1所述的自动跟踪方法，其中，所述直方图是颜色直方图或明度直方图。

6.根据权利要求1所述的自动跟踪方法，其中，所述直方图是通过边缘处理获得的边缘梯度的直方图。

7.一种自动跟踪方法，包括：检测来自被支撑在运动物体上的目标的光点的光点检测步骤；获取所述目标和所述运动物体的运动图像的步骤；基于光点的检测执行目标跟踪的步骤；基于所述运动图像与所述目标跟踪并行地执行图像跟踪的步骤；比较通过所述目标跟踪获得的目标位置与通过所述图像跟踪获得的图像位置的步骤；以及在所述目标位置和所述图像位置在预定范围内的情形下基于所述目标跟踪的结果进行跟踪的步骤，

其中，在所述图像跟踪中使用粒子滤波。

8.根据权利要求7所述的自动跟踪方法，其中，从所述运动图像中所述运动物体的图像提取模板图像，在所述粒子滤波中在所述模板图像周围产生多个粒子，并且由所述粒子的加权平均值确定所述模板图像的位置。

9.根据权利要求8所述的自动跟踪方法，其中，基于所述目标的距离测定数据和角度测定数据来判断所述运动物体的速率和运动方向，并且控制所述粒子的产生位置以匹配所述运动物体的运动。

10.根据权利要求8所述的自动跟踪方法，其中，基于似然值来控制所述粒子的产生。

11.一种自动跟踪方法，包括：获取被支撑在运动物体上的目标和所述运动物体的运动图像的步骤；基于所述运动图像对所述目标进行跟踪的目标跟踪步骤；从所述运动图像中所述运动物体的图像提取模板图像、由所述模板图像准备直方图并且基于所述直方图执行图像跟踪的步骤；对从所述目标跟踪步骤获得的目标位置与从图像跟踪步骤获得的运动物体位置进行比较的跟踪比较步骤；以及在所述目标位置和所述运动物体位置在预定范围内的情形下基于所述目标跟踪步骤的结果执行跟踪的步骤。

12.一种测量装置，包括：用于接收和检测来自被运动物体支撑的目标的反射光的第一图像拾取单元；用于获取所述目标和所述运动物体的运动图像的运动图像拾取单元；用于将所述第一图像拾取单元和所述运动图像拾取单元的准直方向改变到水平方向和垂直方向的驱动单元；用于基于来自所述第一图像拾取单元的图像来检测光点的光点检测处理单元；用于基于所述运动图像拾取单元的所拾取的图像来执行图像处理以进行图像跟踪的图像跟踪处理单元；用于基于所述光点检测处理单元的处理结果和所述图像跟踪处理单元的处理结果来控制所述驱动单元以便所述第一图像拾取单元和所述运动图像拾取单元指向所述目标的控制运算单元，

其中所述控制运算单元控制所述驱动单元以便基于所述光点检测处理单元的检测结果来执行目标跟踪，从所述运动图像拾取单元的图像提取运动物体图像，由所述运动物体图像准备直方图，基于所述直方图识别运动物体，并且基于所述图像跟踪处理单元的处理结果与所述目标跟踪并行地执行所述图像跟踪。

13.根据权利要求12所述的测量装置，其中，所述目标跟踪是用于投射激光束以及用于检测来自被支撑在所述运动物体上的所述目标的反射光的激光跟踪。

14.一种测量装置，包括：用于接收和检测来自被运动物体支撑的目标的发光的第一图像拾取单元；用于获取所述目标和所述运动物体的运动图像的运动图像拾取单元；用于将所述第一图像拾取单元和所述运动图像拾取单元的准直方向改变到水平方向和垂直方向的驱动单元；用于基于来自所述第一图像拾取单元的图像来检测光点的光点检测处理单元；用于基于所述运动图像拾取单元的所拾取的图像来执行图像处理以进行图像跟踪的图像跟踪处理单元；用于基于所述光点检测处理单元的处理结果和所述图像跟踪处理单元的处理结果来控制所述驱动单元以便所述第一图像拾取单元和所述运动图像拾取单元指向所述目标的控制运算单元，

其中所述控制运算单元控制所述驱动单元以便基于所述光点检测处理单元的检测结果来执行目标跟踪，从所述运动图像拾取单元的图像提取运动物体图像，由所述运动物体图像准备直方图，基于所述直方图识别运动物体，并且基于所述图像跟踪处理单元的处理结果与所述目标跟踪并行地执行所述图像跟踪，以及

其中所述目标跟踪是用于基于被支撑在所述运动物体上的所述目标的发光来检测所述光点的发光目标跟踪。

15.根据权利要求13所述的测量装置，其中，在通过所述激光跟踪获得的光点位置和通过所述图像跟踪获得的图像位置在预定范围内的情形下，所述控制运算单元基于通过所述激光跟踪获得的结果识别所述目标。

16.根据权利要求13所述的测量装置，其中，在通过所述激光跟踪获得的光点位置和通过所述图像跟踪获得的图像位置不在预定范围内的情形下，或者在不能获得所述光点位置的情形下，所述控制运算单元控制所述驱动单元以便基于通过所述图像跟踪获得的所述图像位置在预定范围内利用激光束执行搜索，并且以便检测所述目标。

17.一种测量装置，包括：用于接收和检测来自被运动物体支撑的目标的反射光的第一图像拾取单元；用于获取所述目标和所述运动物体的运动图像的运动图像拾取单元；用于将所述第一图像拾取单元和所述运动图像拾取单元的准直方向改变到水平方向和垂直方向的驱动单元；用于基于来自所述第一图像拾取单元的图像来检测光点的光点检测处理单元；用于基于所述运动图像拾取单元的所拾取的图像来执行图像处理以进行图像跟踪的图像跟踪处理单元；用于基于所述光点检测处理单元的处理结果和所述图像跟踪处理单元的处理结果来控制所述驱动单元以便所述第一图像拾取单元和所述运动图像拾取单元指向所述目标的控制运算单元，

其中所述控制运算单元基于所述光点检测处理单元的检测结果来执行目标跟踪，并且所述控制运算单元具有用于粒子滤波处理的程序，并且所述图像跟踪处理单元通过粒子滤波执行图像跟踪处理，并且所述控制运算单元控制所述驱动单元以便基于所述图像跟踪处理单元的处理结果与所述目标跟踪并行地执行所述图像跟踪。

18.根据权利要求17所述的测量装置，其中，所述控制运算单元通过所述粒子滤波在所述运动物体的运动图像周围产生多个粒子，并且基于所述粒子的加权平均似然值来确定图像位置。

19.根据权利要求17所述的测量装置，其中，所述控制运算单元基于由测量装置对运动物体采集的距离测定数据和角度测定数据判断所述运动物体的速率和运动方向，并且根据所述运动物体的运动控制粒子的产生。

20.根据权利要求18或19所述的测量装置，其中，所述控制运算单元基于似然值来控制粒子的产生。

21.根据权利要求12所述的测量装置，其中，所述直方图是颜色直方图、明度直方图或边缘梯度直方图中的至少一个。

22.一种测量装置，包括：用于获取被支撑在运动物体上的目标的运动图像的第一图像拾取单元；用于获取所述目标和所述运动物体的运动图像的运动图像拾取单元；用于将所述第一图像拾取单元和所述运动图像拾取单元的准直方向改变到水平方向和垂直方向的驱动单元；用于基于来自所述第一图像拾取单元的图像执行所述目标的跟踪的目标跟踪图像处理单元；用于从所述运动图像拾取单元的运动图像提取运动物体图像、由所述运动物体图像准备直方图、基于所述直方图识别运动物体、以及基于由所述运动图像拾取单元获取的所述运动图像对所述运动物体执行跟踪的运动物体图像跟踪处理单元；以及用于基于所述目标跟踪图像处理单元的处理结果和所述运动物体图像跟踪处理单元的处理结果来控制所述驱动单元以便所述第一图像拾取单元和所述运动图像拾取单元指向目标的控制运算单元，

其中所述控制运算单元控制所述驱动单元以便基于所述目标跟踪图像处理单元的检测结果执行目标跟踪，并且以便基于所述运动物体图像跟踪处理单元的处理结果与所述目标跟踪并行地执行所述运动物体的跟踪。

Images