CN110850429B - 自动训练锁定对象或人基于摄像头跟踪目标的勘测装置 - Google Patents

Abstract

自动训练锁定对象或人基于摄像头跟踪目标的勘测装置。本发明总体涉及工业或大地勘测装置(1)，其具有跟踪单元，该跟踪单元被配置成通过跟踪通道接收用于跟踪协同目标(13)的跟踪信号。根据本发明，勘测装置(1)包括用于生成图像数据的摄像头(11)，其中，基于关于在锁定状态下生成的图像中的协同目标的位置的附加知识，学习目标载体(14、26)的视觉外观，并且结果以检测器的形式存储以用于备用跟踪模式。

Description

自动训练锁定对象或人基于摄像头跟踪目标的勘测装置

技术领域

本发明总体涉及一种用于确定目标载体的位置的工业或大地勘测装置。

背景技术

在勘测中，一般的目的是确定几何特性，例如一个或更多个目标对象相对于勘测装置的坐标、距离和取向，其中，在大多数情况下，需要相对于已知的参照系统确定这些特性，例如，通过一个或更多个已知参照点来限定。

用于测量目标坐标的方法和系统用于许多应用中，例如，在测地应用中的非常精确的测量、建筑安装领域中的测量问题、或用于控制工业过程，其中，所使用的测量装置(例如，全站仪和工业激光跟踪器)的许多结构特征现今正在日益趋同。

这种测量装置的基本结构通常包括光电测距仪，以基于激光测量射束确定到对象的距离，其中，可以在机动化运动中改变激光测量射束的瞄准方向，例如，相对于一个或更多个独立的空间方向。

光电激光测距仪现在已成为许多领域中的标准解决方案，其中，在电子或电光距离测量领域中已知多种原理和方法。

一种方法是向待测量的目标发射脉冲电磁辐射(例如，激光)，并随后接收来自作为反向散射对象的该目标的回波，其中，可以通过脉冲的飞行时间(ToF)、形状和/或相位确定到待测量的目标的距离。

另一方法是使用干涉测量原理，或者例如基于脉冲飞行时间法的距离测量和干涉测量原理的组合。

此外，这种测量装置的基本结构包括跟踪单元，其用于提供激光测量射束的瞄准方向的自动调节，使得测量射束连续跟踪待测量的移动对象的目标点。

借助于用于角度测量的传感器(例如，角度编码器)确定激光测量射束的发射方向。目标点通常实现为协同目标，例如，具有限定的反射特性的被动反射单元，例如已知尺寸的钢球或诸如立方体棱镜的后向反射单元，其中，激光束被(例如，平行)反射回至测量装置。另选地，协同目标可以是发射具有限定的发射特性和/或根据限定的辐射图案的辐射的有源单元，例如，由单个或多个激光二极管提供，其由测量装置的跟踪单元识别。

举例来说，为了连续目标跟踪的目的，可以使用返回的跟踪射束的偏差(例如，可以使用距离测量射束的部分或单独发射的跟踪射束)来确定相对于跟踪传感器上的零位置的偏差。借助于这种可测量的偏差，可以校正或连续调节跟踪射束的瞄准方向，使得跟踪传感器上的偏差减小。

作为跟踪传感器，可以使用窄视场摄像头或位置敏感探测器(PSD)，例如，区域传感器，其相对于位置以模拟方式起作用，借助于该区域传感器可以确定传感器表面上的光分布的形心(centroid)。

为了实现高水平精度，诸如PSD的跟踪检测器的视场通常被选择成相对较小，例如，对应于跟踪射束的射束直径。因此，在使用这种基于PSD的跟踪之前需要将跟踪射束耦合到协同目标。因此，当目标很突然且急速地移动使得协同目标从PSD检测器的视觉范围消失时，可能发生问题。此外，当视线中断时，即使仅在短暂时刻期间发生中断的情况下，耦合也可能丢失。

已知多种原理和方法，以便即使在目标对象的急速且突然移动期间或在激光束的中断期间，也把激光束保持在“耦合”状态。

例如，可以使用配置成具有相对宽的视场(即配置成拍摄协同目标以及目标载体和背景的主要部分)的摄像头。

因此，基于图像处理，可以确定目标对象的轨迹或者与目标对象一起移动的对象的运动，并且可以使用它们来更容易地定位协同目标并且在协同目标已从“耦合”状态丢失的情况下，再次耦合(重新锁定)激光束。

举例来说，计算机视觉算法能够检测和跟踪任何正常视频流中的任意对象。然而，因为被跟踪对象的外观和/或被跟踪对象的背景可能变化，例如，在不同的测量位置之间或甚至在相同的测量位置之间，例如由于白天不同的照明条件在短时间内的变化或由于季节性影响而在较长时间时段的变化，所以这种算法通常需要基于关于待检测对象和/或环境的至少一些基本信息的前期训练。因此，为了训练这些算法，可能需要大量努力来从目标对象生成正样本以及从背景生成负样本。

发明内容

本发明的目的是提供克服了上述问题的改进的工业或大地勘测装置。

尤其是，本发明的目的是提供具有更有效且更稳健的测量工作流程的工业或大地勘测装置。

本发明涉及工业或大地勘测装置，尤其是经纬仪或全站仪或激光跟踪器或激光雷达，其具有基座和跟踪单元，该跟踪单元可相对于基座绕两个轴旋转并限定瞄准轴。跟踪单元被配置成通过跟踪通道接收跟踪信号，该跟踪信号表示目标载体(例如，协同目标的壳体或支撑结构、或承载协同目标的机器或人)的协同目标相对于勘测装置的角位置的变化；基于跟踪信号确定协同目标的角位置的变化；以及基于所确定的角位置的变化来生成用于调节瞄准轴的对准的控制数据。此外，勘测装置包括角度测量传感器，其被配置成生成表示跟踪单元相对于基座的取向的角度数据；以及摄像头，其被配置成生成图像数据。

例如，跟踪可以基于发射光学跟踪射束以及使用位置敏感探测器作为跟踪检测器。另选地或附加地，跟踪可以基于安装在勘测装置和/或目标载体上的其它已知位置确定装置，例如，基于全球卫星定位系统或本地射频定位系统。因此，跟踪信号可以被实现为光学跟踪射束，但也可以被实现为任何其它种类的无线传输信号，以交换勘测装置与目标载体之间的位置信息。

举例来说，摄像头可以被配置成以单次曝光或作为视频流的一部分来生成图像，其中，图像可以在从以下中的至少一个中选择的波长范围内生成：光学波长谱、UV波长谱和红外波长谱。尤其是，摄像头可以被实现为全景摄像头，尤其被配置成提供360度全景图像数据，或者勘测装置可以包括多个摄像头的布置(尤其是包括上述摄像头)，其被配置成提供全景图像数据，尤其是360度全景图像数据。摄像头还可以被配置成提供深度信息，例如，基于RIM-检测器(RIM：“测距和成像”)或基于范围扫描布置。

作为另一示例，摄像头可以安装成使得它与跟踪单元的运动共同移动，或者它可以布置在基座处或保持测量装置的激光发射单元的支撑结构处。另选地，甚至可以完全独立于跟踪单元的运动来布置摄像头。

勘测装置被配置成在锁定状态下工作，其中，跟踪通道不受干扰，即，使得跟踪信号可被接收而不会非计划地中断，并且勘测装置基于控制数据连续跟踪目标载体，尤其是其中，基于控制数据连续调节瞄准轴，使其连续跟随协同目标。

根据本发明，勘测装置被配置成在锁定状态下由摄像头生成第一图像数据，并且基于第一图像数据针对目标载体训练检测器，尤其是其中，通过图像处理确定表示由第一图像数据成像的目标载体的外观的识别标志，例如，基于协同目标在第一图像数据的图像内的位置的假设。

此外，勘测装置被配置成执行备用跟踪模式，其中，生成第二图像数据，通过使用经训练的检测器确定目标载体在第二图像数据的图像内的位置，并且基于所确定的目标载体位置调节瞄准轴。

例如，可以执行备用跟踪模式以基于跟踪信号支持跟踪和/或备用跟踪模式可以在跟踪通道受到干扰时用作备用，例如，当跟踪通道受到干扰，使得跟踪信号的中断破坏目标载体的连续跟踪时，重新锁定跟踪信号。

举例来说，可以由提供第一图像数据的相同摄像头生成第二图像数据的至少一部分。另选地，勘测装置可以包括至少一个另外的摄像头以提供第二图像数据的至少一部分。

对协同目标的连续锁定使得目标载体大致保持在第一图像数据的图像中的相同位置，而背景和其它未跟踪对象是移动的。因此，可以利用关于目标载体在摄像头图像中的粗略位置以及关于其在移动时的行为的知识。

因此，根据本发明，该附加知识用于学习成像的目标载体的视觉外观，例如，在载体移动和转动的情况下从载体的所有侧面，其中，以检测器的形式存储结果，以用于备用跟踪模式，例如，当勘测装置进入解锁或受干扰的跟踪状态时。

举例来说，可以使用计算机视觉算法，该计算机视觉算法被配置成分析由处于锁定状态的摄像头生成的系列图像，以便基于关于协同目标在摄像头图像内的位置的附加知识来识别和/或选择在系列图像中的图像内的不同对象。

可以使用摄像头的连续图像之间的差异图像来区分跟踪对象和背景。当摄像头跟随目标载体的每次移动时，载体本身总是停留在图像的固定位置，例如，中心。因此，与移动背景相比，这里的像素值变化非常缓慢。可以把在差异图像中变化低于特定阈值的区域划分成正样本，把其它区域划分成负样本。除了进行背景抠除之外，另一选择是使用最先进的图像划分方法，例如，基于分层划分。

例如，可以相对于复杂的检测算法确定和提供检测器，该复杂的检测算法被配置成检测和跟踪系列图像内的目标载体并且自动地学习和/或改进目标载体的分类模型。尤其是，检测器可能是针对所跟踪的目标载体的检测模型，该检测模型在无需任何用户的附加交互的情况下已经由计算机视觉和/或机器学习算法完全自动地提供，即“从零开始(from scratch)”。

另选地，训练可以基于预定义的信息，例如，关于目标载体类型的知识。因此，根据另一实施方式，勘测装置被配置成基于通过手动地从信息数据库选择而提供的预定义信息来训练检测器，尤其是其中，信息数据库存储在勘测装置的本地计算单元上和/或勘测装置被配置成与远程计算单元双向通信，其中，信息数据库存储在该远程计算单元上。例如，远程数据库的部分克隆可以高速缓存在本地计算单元上，由此本地高速缓存只会不时更新，例如，如果只能暂时访问远程计算单元的话。

在另一实施方式中，通过以下操作中的至少一个来提供预定义信息：与目标载体通信(尤其是借助于无线通信网络和/或通过接收编码光信号)，以及与另一测量仪器(尤其是另一现场勘测装置，更具体地是激光跟踪器)通信。

预定义信息还可以包括由其它勘测装置获取的基本上实时信息。因此，例如，可以使用勘测装置的网络，例如，在短时间内提供关于目标载体的全方位外观的信息，或者其中，把不同的勘测装置分配到工地上的不同区域，其中，在离开先前勘测装置的区域时，把目标载体与对应的外观信息一起“移交”到另一勘测装置。

作为另一示例，预定义信息可以包括以下中的至少一个：目标载体和/或协同目标的类型、目标载体和/或协同目标的标识码(即载体ID或目标ID)、表示协同目标相对于目标载体的空间布置的信息、以及目标载体的位置信息(尤其是目标载体的绝对位置)。

在另一实施方式中，勘测装置被配置成使得训练检测器包括目标载体的识别，尤其是其中，基于该识别来触发对辅助信息的请求，更具体地，其中，辅助信息包括以下中的至少一个：识别的确认、目标载体和/或协同目标的识别码、以及目标载体的位置信息(尤其是目标载体的绝对位置)。

因此，基于该识别，可以针对实际情况手动或自动地选择和改进专用于载体类型或载体ID的专用预训练分类器。

根据另一实施方式，勘测装置被配置成向基于计算机视觉和机器学习的训练算法提供在锁定状态下生成的系列图像，其中，训练算法被配置成基于系列图像提供(作为检测器)用于检测目标载体的检测模型，并且在备用跟踪模式中，检测模型用于检测和定位目标载体。

尤其是，训练算法可以被配置成通过以下操作中的至少一个来提供检测模型：从检测模型的列表中选择检测模型、调节现有检测模型(例如，通过迁移学习)、以及生成新的检测模型(例如通过在线学习)。

例如，训练算法基于以下中的至少一个：决策树(尤其是基于随机森林)、跟踪学习检测算法、支持向量机、Boosting、深度学习(尤其是基于神经网络，尤其是卷积神经网络或递归卷积神经网络)、学习矢量量化以及基于共识的匹配和跟踪。

在另一实施方式中，跟踪单元包括：发射器，其被配置成发射限定跟踪轴的跟踪射束，跟踪轴具有相对于瞄准轴的固定取向，尤其是其中，跟踪轴相对于瞄准轴平行或同轴；以及跟踪检测器，其被配置成接收从协同目标返回的跟踪射束的至少一部分，以生成表示协同目标相对于跟踪射束的对准的跟踪数据，尤其是其中，跟踪检测器具有小于摄像头视场的跟踪视场。

还可以通过使用表示勘测装置与目标载体之间的距离的距离数据，改进划分的鲁棒性，例如，由于成像的目标载体的更准确的尺寸估计。因此，在另一实施方式中，勘测装置被配置成基于到目标载体的距离来训练检测器。

例如，勘测装置包括光电测距仪，该光电测距装置被配置成基于激光距离测量射束来确定到协同目标的距离，例如，其中距离测量基于以下方法中的至少一个：脉冲飞行时间法、相位测量法、干涉测量距离测量原理(尤其是调频连续波法(FMCW，尤其是C-FMCW))、菲佐(Fizeau)原理以及频率梳原理。

此外，在已知协同目标相对于目标载体的位置的情况下，可以加快基于备用跟踪模式的搜索和重新锁定。因此，根据另一实施方式，勘测装置被配置成基于第一图像数据的系列图像来确定表示协同目标相对于目标载体的空间布置的布置参数，并且基于该布置参数调节瞄准轴。

如果背景是已知的(例如从局部全景图获知)，可以加快对多个运动目标的检测，并且图像划分的鲁棒性得以改进。尤其是，在可获得表示摄像头生成图像的时间的时间信息的情况下，可以进一步改进部分全景图像的背景抠除。例如，这种时间信息可以用于考虑场景中照明的变化，例如，在白天期间由于太阳的不同位置和强度而发生的变化，或者时间信息可以用于生成不同的长期背景模型，例如，考虑到背景中的季节性变化。

因此，在另一实施方式中，勘测装置被配置成：在锁定状态下由摄像头生成系列图像；把表示摄像头的当前观察方向的对准数据分配给该系列图像；通过计算机视觉算法生成背景模型，其基于在没有适当的运动的情况下在系列图像中识别表示环境对象的片段，其中，背景模型相对于瞄准轴的当前对准是可参照的；并且在备用跟踪模式中，通过考虑背景模型来确定目标载体在第二图像数据的图像内的位置。

在另一实施方式中，勘测装置被配置成把时间和/或日期分配给该系列图像，并且将背景模型作为时间参照背景模型存储在背景模型数据库中，其中，在备用跟踪模式中基于从背景模型数据库中选择的背景模型来确定目标载体在第二图像数据的图像内的位置。

本发明还涉及计算机程序产品，其包括程序代码，该程序代码存储在机器可读介质上，或者通过包括程序代码段的电磁波实现，并且具有用于执行的计算机可执行指令，尤其是当在如上所述的勘测装置的计算单元上运行时，至少执行以下步骤：在勘测装置的锁定状态下由摄像头生成第一图像数据；基于该第一图像数据针对目标载体训练检测器，尤其是其中，通过图像处理来确定表示由第一图像数据成像的目标载体的外观的识别标志；生成第二图像数据；通过使用所训练的检测器来确定目标载体在第二图像数据的图像内的位置；以及基于所确定的目标载体的位置调节瞄准轴。

附图说明

下面参照附图中示意性示出的工作示例，仅通过示例的方式更详细地描述或解释根据本发明的勘测装置。在附图中，利用相同的附图标记来标记相同的元件。通常未按比例示出所描述的实施方式，并且它们也不应被解释为限制本发明。具体地，

图1示例性地例示了根据本发明的工业或大地勘测装置的基本结构元件；

图2示出了本发明的勘测装置在施工现场(construction site)的示例性使用情况；

图3示出了由本发明的勘测装置的摄像头在勘测装置的锁定状态下拍摄的示例性图像；

图4a、图4b示出了在锁定状态期间由摄像头生成的系列图像的两个示例性图像；

图5a、图5b示出了在解锁状态期间由摄像头在备用跟踪模式下生成的示例性图像；

图6示出了本发明的勘测装置在工业计量领域中的示例性使用情况。

具体实施方式

图1以正视图示例性地例示了根据本发明的工业或大地勘测装置1的基本结构元件。勘测装置包括基座2，该基座2可安装在例如三脚架形式的保持设备上(未示出，见图2)。以绕垂直轴4可旋转地安装的方式把支撑结构3安装在基座2上，其中，支撑结构3保持绕水平轴6可倾斜地安装的瞄准结构5。支撑结构3和瞄准结构5都是例如借助于电动轴7以机动方式可旋转的，其中，可以通过对应的角度编码器(未示出)来确定支撑结构3和瞄准结构5的取向。

瞄准结构5被配置成沿着瞄准轴8朝向目标对象(未示出，参见图2)发射激光测量射束。举例来说，对于测量射束的传输通道和接收通道，物镜9是相同的。瞄准结构5容纳光电测距仪，该光电测距仪被配置成基于从协同目标返回的测量射束的至少一部分来确定到目标载体的目标(尤其是协同目标)的距离。举例来说，光电测距仪的部分(例如，射束源)也可以布置在支撑结构3中，其中，基于光波导系统的光纤把集成在支撑结构3中的元件通过轴7连接到瞄准结构5中。

此外，瞄准结构5被配置成发射限定跟踪轴10的跟踪射束。跟踪轴10具有相对于瞄准轴8的固定取向，例如其中，如图所示跟踪轴相对于瞄准轴8同轴并且通过相同的物镜9发射。由跟踪检测器检测跟踪射束的返回部分，例如位置敏感探测器被配置成确定传感器表面上的光分布的形心，以便确定相对于零位置的偏差。因此，生成表示协同目标与跟踪轴9的对准的跟踪数据。

为了实现高水平精度，诸如PSD的跟踪检测器的视场可以被选择成相对较小，例如，对应于跟踪射束的射束直径。然而，为了跟踪快速目标对象，可以扩大跟踪射束直径或发散角，即以测量射束的可实现的指向精度为代价。

通常，需要在把跟踪射束耦合到协同目标之前进行跟踪，其中，在目标的突然且急速移动的情况下或当视线被中断时，跟踪可能中断。给定跟踪检测器的相对较小的视场，这可能导致跟踪的完全失败，即使仅在短暂时刻期间发生中断的情况下也是如此。

因此，为了即使在目标载体的急速且突然移动期间或者在激光束的中断期间也保持跟踪和/或把跟踪射束快速地重新耦合到协同目标，可以使用摄像头11，其被配置成具有固定的(即已知的)相对于瞄准轴8的相对观察方向12以及相对宽的视场，即被配置成拍摄目标载体以及背景的主要部分，例如，如图2所示。因此，基于图像处理，例如使用计算机视觉算法，可以确定并使用目标载体的位置和/或轨迹以更容易地重新锁定跟踪射束。

图2示出了本发明的勘测装置1在施工现场的示例性使用情况，其中，协同目标13(例如，后向反射棱镜)安装在施工机器14上。例如，施工机器14可以是用于平整道路或建筑物的地形的推土机，其中，借助于勘测装置1监测和/或控制推土机的工作步骤以及地形相对于推土机的几何状态。这里，勘测装置1安装在三脚架15上并且可以在施工现场重新定位，其中，勘测装置通常被配置成参照外部坐标系，例如通过专门的校准程序。在其它应用中，例如在监测施工车间的过程中，可以固定地安装勘测装置。

这里，勘测装置1包括跟踪单元，该跟踪单元被配置成借助于跟踪射束16跟踪协同目标13，沿跟踪轴10发射跟踪射束16，其中，跟踪轴和用于距离测量的测量射束的瞄准轴8(图1)具有相对于彼此固定的取向。由跟踪检测器检测从协同目标13返回的跟踪射束16的至少部分，该跟踪检测器被配置成生成表示跟踪射束16相对于协同目标13的对准的跟踪数据。

举例来说，窄视场摄像头或位置敏感探测器(PSD)可以用作跟踪检测器，例如，相对于位置以模拟方式起作用的区域传感器，借助于该区域传感器可以确定传感器表面上的光分布的形心。为了实现高水平精度，这种PSD的视场17通常被选择成较小。

通常，需要在把跟踪射束16耦合到协同目标13(即把勘测装置1锁定到目标)之前进行跟踪，其中，可以基于控制数据连续跟踪目标载体14(尤其是协同目标13)，而跟踪光束16不会非计划地中断。

然而，在推土机14的移动期间，环境中的对象或推土机本身可能阻挡到协同目标13的视线，或者跟踪射束16可能受到其它破坏，例如，通过干扰来自协同目标13的反射。即使在这种干扰仅发生在短暂时刻期间的情况下，协同目标13可能已经移动到PSD的视场17之外，并且进一步的对象跟踪可能需要重新把跟踪射束16耦合到协同目标13上。

因此，使用被配置成具有已知的(例如，固定的)相对于瞄准轴和跟踪射束16的相对观察方向12的摄像头11(图1)，其中，该摄像头11具有相对宽的视场18，即被配置成拍摄目标载体14以及背景19的主要部分(例如，周围的建筑物和树木)。因此，基于图像处理，例如使用计算机视觉算法，可以确定并使用推土机14的位置和/或轨道以更容易地重新锁定跟踪射束16。

图3示出了本发明的勘测装置的摄像头在勘测装置的锁定状态下拍摄的示例性图像，包括目标载体图像的图像和协同目标的图像130，以及背景对象的图像190。

一方面，由于摄像头相对于跟踪轴的固定的观察方向，所以协同目标的图像130在摄像头图像内的位置是固定的，并且当通过摄像头生成系列图像时，目标载体图像140基本上停留在这些摄像头图像内的限定区域中，这里大约在各个摄像头图像的中心。

另一方面，在系列摄像头图像中，背景对象的图像190(即没有适当运动的对象或未被跟踪的对象)相对于目标载体图像140的位置是移动的。

根据本发明，一旦勘测装置处于锁定状态，就基于关于合成目标图像130在摄像头图像内的位置的附加知识，学习并以检测器的形式存储目标载体13(图2)的视觉外观以用于备用跟踪模式，例如当勘测装置1进入解锁状态时。

具体地，当在目标载体13移动时在锁定状态生成系列图像时，在图像中，成像的目标载体基本上转动并变化其相对尺寸，即，当朝向或远离勘测装置1移动时。因此，可以即时学习目标载体13相对于勘测装置1到目标载体13上的不同相对视点的视觉外观。

图4a和图4b示出了在锁定状态期间由摄像头生成的系列图像的两个示例性图像，其中，图4a例示的图像比图4b例示的图像生成得更早。两个图像都包括目标载体图像140和协同目标图像130，以及背景对象的图像190，其中，在图4a中，还通过虚线箭头例示了目标载体14的移动。

由于摄像头相对于跟踪轴的固定的观察方向，所以目标载体140的图像保持在共同的成像区域200内，其中，在各个图像中，由协同目标图像130的位置限定共同成像区域200，其对于该系列图像的所有图像基本相同。

因此，举例来说，可以使用计算机视觉算法，其被配置成基于在系列图像的各个图像中的公共成像区域200来分析生成的图像流。换句话说，可以基于关于在摄像头图像内合成目标图像130的位置的附加知识来执行识别和/或选择在系列图像中的图像内的不同对象。在成功选择(或划分)图像内的感兴趣对象之后，可以把所选择的区域(例如，包括目标载体图像140和/或背景对象190的图像)提供至另一算法，该算法自动学习被跟踪载体的外观以供以后使用。

尤其是，可以使用被配置成检测和跟踪系列图像内的目标对象并且自动学习和/或改进目标对象的分类模型的任何已知算法。例如，可以利用来自目标对象的正样本和来自背景的负样本来训练分类器。这样，可以在没有任何用户的附加交互的情况下，通过计算机视觉/机器学习算法完全自动地提供针对被跟踪对象的分类器。因此，模型本身可以“从零开始”自动学习，或者可以从预训练模型的数据库中手动或自动选择模型。一旦模型存在，在勘测装置的锁定状态下可靠地跟踪目标载体的同时，也可以自动细化或定制该模型。

在训练新的分类模型或改进现有模型的情况下，可选地还可以把更新信息传送到中央数据库，例如，其托管在公司的数据云中，其中，然后该数据库中的更新模型可以用作其它用户的起点(预训练模型)。

此外，可以把表示摄像头的实际观察方向的对准数据分配给系列图像，以便收集关于场景背景的至少部分全景信息。然后可以生成全景背景模型，相对于瞄准轴的当前对准，该全景背景模型是可以参照的。然后，使用这种可参照的全景背景和当前图像内容之间的差异图像可以改进图像到代表不同对象区域的划分。例如，可以以这种方式加速处于解锁状态的协同目标的重新检测，因为分类器仅需要分析与已知背景的差异。

图5a和图5b示出了在解锁状态期间由摄像头在备用跟踪模式下生成的两个示例性图像，其中，为了例示勘测装置1(图2)到目标载体14的丢失的耦合，表示了处于锁定状态的协同目标图像130的标称位置20。

根据本发明，通过在锁定状态下训练的检测器(即基于所学习的从摄像头的不同视点拍摄时目标载体的视觉外观)识别目标载体图像140的位置。

例如，对摄像头图像内的目标对象的检测可以基于TLD算法(TLD：“跟踪学习检测”)，其基于目标载体的正图像样本和背景的负图像样本。

图5a示出了协同目标13(图2)相对于目标载体14的布置未知或尚未确定的情况。在这种情况下，可以基于相对于被选择为表示目标载体图像140的位置的确定区域22的假设的一般位置21来确定用于调节瞄准轴8的当前方向的调节参数，例如其中，假设了目标载体的一般整体取向。

在改进的设置中，勘测装置1可以被配置成在锁定状态下，基于图像处理和关于在摄像头图像内的协同目标图像130位置的知识来确定表示协同目标13相对于目标载体14的空间布置的布置参数。

另选地或附加地，可以手动或自动地向勘测装置1提供关于目标载体14上的协同目标13的布置的信息，例如其中，勘测装置被配置成从目标接收无线通信信号。

因此，如图5b所例示的，可以基于目标载体14的确定的位置和取向以及协同目标13相对于目标载体14的已知布置来确定用于调节瞄准轴8的当前方向的改进的调节参数。

图6示出了本发明的勘测装置1在工业计量领域中的示例性使用情况，例如，在工业汽车或飞机生产中工件的测量和质量控制。

用于确定对象23的3D坐标的典型计量测量系统包括激光跟踪器1和移动测量装置24，该移动测量装置24被配置成基于触觉和/或激光对待测量的对象23执行测量。附接到移动测量装置24的是协同目标13，例如，后向反射棱镜。

例如，移动测量装置24可以被配置成手持式扫描器，或者可以安装在机动可移动关节臂或机器人上，例如UAN(“无人驾驶飞行器”)。通常，移动测量装置24需要靠近对象表面，例如，小于一米。

激光跟踪器1安装在施工车间中，例如，在施工车间的固定参照位置。同样，激光跟踪器1包括跟踪单元，该跟踪单元被配置成跟踪协同目标13，例如，借助于跟踪射束16，其中，沿跟踪轴10发射跟踪射束16，并且通过激光跟踪器1的跟踪检测器检测从协同目标13返回的跟踪射束16的至少一部分。

此外，移动测量装置24可以具有一些用于姿态确定的标记(未示出)，并且激光跟踪器1可以具有定向摄像头(未示出)，其中，激光跟踪器1被配置成借助于图像处理确定移动测量装置24的6DoF姿态(6个自由度，即位置和取向)。通常，移动测量装置24还具有附加的姿态确定装置，例如，惯性测量单元，其被配置成与激光跟踪器1进行无线通信。

在附图中，移动测量装置24被实现为手持扫描器，其被配置成发射局部扫描射束25，以便在局部坐标系中扫描对象表面，其中，由激光跟踪器1借助于跟踪射束16跟踪和测量移动测量装置24的位置。因此，移动测量装置24的测量点对于外部坐标系(例如，激光跟踪器1的坐标系)是可参照的。

尤其是在要测量大对象的情况下，例如，在生产车间中悬挂的飞机部件，携带移动测量装置24的工人26可能需要采取不同的测量位置A、B，例如，如图所示，在待测量对象23周围走动。这可能导致跟踪通道的一些中断，例如，当在工人26转身时工人26本身阻挡跟踪通道时。

此外，许多不同的工人可能在相同待测量对象上工作。如果两个工人彼此交叉，则前面的人会阻挡与后方工人相关的跟踪射束。在这种情况下，激光跟踪器可以执行所谓的功率锁定程序，例如，跟踪射束以预定义的扫描模式自动扫描以找到协同目标，以自动将跟踪射束重新锁定到协同目标。然而，由于典型的功率锁定程序仅在非常窄的搜索视场中扫描，所以可能发生的是，不是把跟踪射束重新锁定到在后方的工人的移动测量装置，而是把跟踪射束迅速锁定到在前面的工人的移动测量装置上。在极端情况下，激光跟踪器甚至可能不会注意到这种错误的重新锁定，从而继续跟踪错误的工人。

在许多情况下，工人可能还需要收起移动测量装置以便重新定位，例如，安全地爬上梯子到达下一扫描位置。在这种情况下，可以使用摄像头来跟踪工人的位置来作为移动测量装置的粗略位置，例如，通过计算机视觉算法来检测和跟踪由摄像头生成的视频流中的工人，以便一旦工人到达下一扫描位置，就使得能够快速把跟踪射束重新锁定到移动测量装置的协同目标上。

然而，在没有专门训练的情况下，用于人跟踪的计算机视觉算法通常被布置用于跟踪在相当均匀的背景之前的明显可识别的人的情况。在施工车间，不满足这些前提。相反，背景是高度结构化且持续变化的，其中，工人经常穿着相同或非常相似的衣服。因此，通过计算机视觉算法进行跟踪人通常可能在诸如施工车间的环境中失败。

因此，根据本发明，使用例如相对于跟踪射束16具有固定的相对观察方向的摄像头11(图1)，其中，摄像头11具有相对宽的视场18，即摄像头被配置成拍摄携带移动测量装置24的工人26的至少部分以及背景的主要部分。一旦激光跟踪器1处于锁定状态，基于关于协同目标图像在摄像头图像内的位置的附加知识，学习并以检测器的形式存储工人26的视觉外观，以用于计算机视觉备用跟踪模式。

例如，然后备用跟踪模式可以用作跟踪单元的一致性检查，例如，支持功率锁定程序和/或在已经执行功率锁定程序后验证是否跟踪了正确的协同目标。

尤其是，备用跟踪模式可以是在所有测量活动期间激活的，或者可以仅在跟踪射束被阻挡的情况下(例如，当工人收起移动测量装置以进行重新定位时)调用备用跟踪模式。

尽管以上部分地参照一些优选实施方式例示了本发明，但必须理解的是，可以对实施方式的不同特征进行多种修改和组合。所有这些修改都落入所附权利要求的范围内。

Claims (18)

1.一种勘测装置(1)，所述勘测装置(1)具有：

·基座(2)，

·跟踪单元，所述跟踪单元能相对于所述基座(2)绕两个轴旋转并且限定瞄准轴(8)，所述跟踪单元被配置成：

о通过跟踪通道接收跟踪信号，所述跟踪信号表示目标载体(14、26)的协同目标(13)相对于所述勘测装置(1)的角位置的变化，

о基于所述跟踪信号确定所述协同目标(13)的所述角位置的变化，并且

о基于所确定的角位置的变化生成用于调节所述瞄准轴(8)的对准的控制数据，

·角度测量传感器，所述角度测量传感器被配置成生成表示所述跟踪单元相对于所述基座的取向的角度数据，以及

·摄像头(11)，所述摄像头(11)被配置成生成图像数据，其中，所述勘测装置(1)被配置成在锁定状态下操作，其中，所述跟踪通道不受干扰，即，使得能够接收所述跟踪信号，而不会非计划地中断，并且基于所述控制数据连续跟踪所述目标载体(14、26)，其中，基于所述控制数据连续调节所述瞄准轴(8)，使得所述瞄准轴(8)连续跟随所述协同目标(13)，

其特征在于，

所述勘测装置(1)被配置成：

·在锁定状态下通过所述摄像头(11)生成第一图像数据，

·基于所述第一图像数据针对所述目标载体(14、26)训练检测器，其中，通过图像处理确定表示由所述第一图像数据成像的所述目标载体(14、26)的外观的识别标志，并且

·执行备用跟踪模式，其中，

о生成第二图像数据，

о通过使用经训练的检测器确定所述目标载体(14、26)在所述第二图像数据的图像内的位置，并且

о基于所确定的所述目标载体的位置调节所述瞄准轴(8)。

2.根据权利要求1所述的勘测装置(1)，

其特征在于，

所述跟踪单元包括：

·发射器，所述发射器被配置成发射限定跟踪轴(10)的跟踪光束(16)，所述跟踪轴(10)具有相对于所述瞄准轴(8)的固定取向，其中，所述跟踪轴(10)相对于所述瞄准轴(8)平行或者同轴，以及

·跟踪检测器，所述跟踪检测器被配置成接收从所述协同目标(13)返回的所述跟踪光束(16)的至少一部分，以生成表示所述协同目标(13)相对于所述跟踪光束(16)的对准的跟踪数据，其中，所述跟踪检测器具有小于摄像头视场(18)的跟踪视场(17)。

3.根据权利要求1或2所述的勘测装置(1)，

其特征在于，

所述勘测装置(1)被配置成基于到所述目标载体(14、26)的距离来训练所述检测器。

4.根据权利要求3所述的勘测装置(1)，

其特征在于，

所述勘测装置(1)包括光电测距仪，所述光电测距仪被配置成基于激光距离测量射束来确定到所述协同目标(13)的距离。

5.根据权利要求1所述的勘测装置(1)，

其特征在于，

·所述摄像头(11)被实现为全景摄像头，或者

·所述勘测装置包括被配置成提供全景图像数据的多个摄像头的布置。

6.根据权利要求1所述的勘测装置(1)，

其特征在于，

所述勘测装置被配置成基于所述第一图像数据的一系列图像确定表示所述协同目标(13)相对于所述目标载体(14、26)的空间布置的布置参数，并且基于所述布置参数调节所述瞄准轴(8)。

7.根据权利要求1所述的勘测装置(1)，

其特征在于，

所述勘测装置(1)被配置成基于由以下各项中的至少一项提供的预定义信息来训练所述检测器：

·从信息数据库手动选择，其中，所述信息数据库存储在所述勘测装置的本地计算单元上和/或所述勘测装置被配置成与远程计算单元双向通信，其中，所述信息数据库存储在所述远程计算单元上，

·与所述目标载体(14、26)通信，以及

·与另一测量仪器通信。

8.根据权利要求7所述的勘测装置(1)，

其特征在于，

所述预定义信息包括以下各项中的至少一项：

·所述目标载体(14、26)和/或所述协同目标(13)的类型，

·所述目标载体(14、26)和/或所述协同目标(13)的识别码，

·表示所述协同目标(13)相对于所述目标载体(14、26)的空间布置的信息，以及

·所述目标载体(14、26)的位置信息。

9.根据权利要求1所述的勘测装置(1)，

其特征在于，

所述勘测装置(1)被配置成使得训练所述检测器包括对所述目标载体(14、26)的识别，

其中，基于所述识别触发对辅助信息的请求，其中，所述辅助信息包括以下各项中的至少一项：

·所述识别的确认，

·所述目标载体(14、26)和/或所述协同目标(13)的识别码，以及

·所述目标载体(14、26)的位置信息。

10.根据权利要求1所述的勘测装置(1)，

其特征在于，

所述勘测装置(1)被配置成：

·在锁定状态下，通过所述摄像头(11)生成一系列图像，

·将表示所述摄像头的当前观察方向的对准数据分配给所述一系列图像，

·基于在所述一系列图像中识别表示未发生自行运动的环境对象的片段(19)，通过计算机视觉算法生成背景模型，其中，所述背景模型相对于所述瞄准轴(8)的当前对准是可参照的，并且

·在所述备用跟踪模式下，通过考虑所述背景模型确定所述目标载体(14、26)在所述第二图像数据的图像内的位置。

11.根据权利要求10所述的勘测装置(1)，

其特征在于，

所述勘测装置被配置成：

·将时间和/或日期分配给所述一系列图像，并且

·将所述背景模型作为时间参照背景模型存储在背景模型数据库中，

其中，在所述备用跟踪模式下，基于从所述背景模型数据库中选择的背景模型确定所述目标载体(14、26)在所述第二图像数据的图像内的位置。

12.根据权利要求1所述的勘测装置(1)，

其特征在于，

所述勘测装置被配置成使得：

·在所述锁定状态下生成的一系列图像被提供至基于计算机视觉和机器学习的训练算法，

·所述训练算法被配置成基于所述一系列图像提供作为所述检测器的用于检测所述目标载体(14)的检测模型，并且

·在所述备用跟踪模式下，使用所述检测模型来检测和定位所述目标载体。

13.根据权利要求12所述的勘测装置(1)，

其特征在于，

所述训练算法被配置成通过以下各项中的至少一项提供所述检测模型：

·从检测模型列表中选择检测模型，

·调整现有的检测模型，以及

·生成新的检测模型。

14.根据权利要求12或13所述的勘测装置(1)，

其特征在于，

所述训练算法基于以下各项中的至少一项：

·决策树，

·跟踪学习检测算法，

·支持向量机，

·Boosting，

·深度学习，

·学习矢量量化，以及

·基于共识的匹配和跟踪。

15.根据权利要求1所述的勘测装置(1)，其特征在于，所述勘测装置(1)是经纬仪或全站仪或激光跟踪器或激光雷达。

16.根据权利要求7所述的勘测装置(1)，其特征在于，借助于无线通信网络和/或通过接收编码光信号来与所述目标载体(14、26)进行通信。

17.根据权利要求8所述的勘测装置(1)，其特征在于，所述位置信息是所述目标载体的绝对位置。

18.一种计算机可读存储介质，在所述计算机可读存储介质上存储有计算机可执行指令，所述计算机可执行指令用于当在根据权利要求1至17中任一项所述的勘测装置(1)的计算单元上运行时执行至少以下步骤：

·在勘测装置(1)的锁定状态下通过摄像头(11)生成第一图像数据，

·基于所述第一图像数据针对目标载体(14、26)训练检测器，其中，通过图像处理确定表示由所述第一图像数据成像的所述目标载体(14、26)的外观的识别标志，

·生成第二图像数据，

·通过使用经训练的检测器确定所述目标载体(14、26)在所述第二图像数据的图像内的位置，以及

·基于所确定的所述目标载体的位置调节瞄准轴(8)。