CN117121055A - 用于点对点对象匹配和瞄准的系统和方法 - Google Patents

Abstract

本文公开了可以用于准确地瞄准对象的方法、装置、模块和系统。点对点瞄准方法可以由具有两个或更多个传感器的系统来实施，以定位对象并协调两个或更多个传感器之间的切换。这些方法、装置、模块和系统可以用于自动化作物栽培或维护。本文公开的装置可以被配置为利用波束(诸如激光器波束)定位、标识和自主地瞄准杂草，所述波束可以燃烧或照射杂草。所述方法、装置、模块和系统可以用于农业作物管理或家庭杂草控制。

Description

用于点对点对象匹配和瞄准的系统和方法

交叉参考

本申请要求2022年1月14日提交的名称为“用于点对点对象匹配和瞄准的系统和方法(SYSTEMS AND METHODS FOR POINT TO POINT OBJECT MATCHING AND TARGETING)”的美国非临时申请号17/576,814和2021年3月17日提交的名称为“用于点对点对象匹配和瞄准的系统和方法(SYSTEMS AND METHODS FOR POINT TO POINT OBJECT MATCHING ANDTARGETING)”的美国临时申请号63/162,285的权益，所述申请针对所有目的全文以引用方式并入本文中。

背景技术

随着技术的进步，先前由人类执行的任务变得越来越自动化。虽然在高度受控环境(诸如工厂组装线)中执行的任务可以通过引导机器每次以相同的方式执行任务来实现自动化，但是在不可预测的环境中执行的任务(诸如在城市街道上行驶或用吸尘器清理杂乱的房间)取决于动态反馈和自适应来执行任务。自主系统通常难以在不可预测的环境中标识和定位对象。改进的对象检测、定位和瞄准方法将推动自动化技术的发展，并提高自主系统对不可预测的环境做出反应和适应的能力。

发明内容

在各个方面中，本公开提供了一种瞄准对象方法，其包括：使用预测传感器采集预测图像；标识要在所述预测图像中瞄准的对象；基于所述预测图像来确定所述对象的预测位置；将瞄准传感器指向所述预测位置；使用所述瞄准传感器采集所述预测位置的瞄准图像；标识所述瞄准图像中的对象；以及基于所述瞄准图像来确定所述对象的目标位置。

在一些方面中，所述方法还包括将所述瞄准传感器指向所述目标位置。在一些方面中，将所述瞄准传感器对准所述目标位置包括确定所述瞄准传感器的第一位置与所述瞄准传感器的第二位置之间的偏移。在一些方面中，当所述瞄准传感器位于所述瞄准传感器的第二位置处时，所述瞄准传感器指向所述目标位置。在一些方面中，所述目标位置比所述预测位置更接近所述对象。在一些方面中，所述瞄准传感器与执行器相关联。

在一些方面中，所述方法还包括将所述执行器引向所述目标位置。在一些方面中，将所述执行器引向所述目标位置包括确定所述执行器的第一位置与所述执行器的第二位置之间的偏移。在一些方面中，当所述执行器位于所述执行器的第二位置处时，所述执行器被引向所述目标位置。在一些方面中，所述瞄准传感器和所述执行器彼此联接。在一些方面中，所述瞄准传感器的指向和所述执行器的引导是关联的。

在一些方面中，所述方法还包括使用所述执行器来操纵所述对象。在一些方面中，操纵所述对象包括利用电磁辐射照射所述对象。在一些方面中，所述电磁辐射是红外光。在一些方面中，操纵所述对象包括移动所述对象。在一些方面中，操纵所述对象包括喷射所述对象。

在一些方面中，所述预测传感器与所述瞄准传感器的不同之处在于选自由以下各项组成的组的一个或多个参数：传感器类型、传感器分辨率、放大率、视野、色彩平衡以及色彩敏感度。在一些方面中，所述预测传感器相对于所述目标以与所述瞄准传感器不同的角度、距离或两者定位。在一些方面中，所述预测传感器和所述瞄准传感器联接到交通工具。在一些方面中，所述交通工具处于运动中。在一些方面中，所述预测位置考虑在采集所述预测图像的时间与采集所述瞄准图像的时间之间所述交通工具相对于所述对象的运动。在一些方面中，所述目标位置考虑在采集所述瞄准图像的时间与执行操纵的时间之间所述交通工具相对于所述对象的运动。

在一些方面中，所述对象位于表面上面、上方或下方。在一些方面中，所述表面是非平面表面。在一些方面中，所述表面是农业表面。在一些方面中，所述表面是建筑表面。在一些方面中，所述偏移考虑所述表面的深度的可变性。在一些方面中，所述目标位置距所述对象不超过50mm，不超过25mm，不超过10mm，不超过5mm，不超过3mm，不超过2mm或不超过1mm。

在一些方面中，所述预测传感器选自由以下各项组成的组：相机、光探测和测距(LIDAR)传感器、光电探测器、有源像素传感器、半导体检测器、超声波传感器、RADAR检测器、声呐传感器以及光电二极管阵列。在一些方面中，所述瞄准传感器选自由以下各项组成的组：相机、光探测和测距(LIDAR)传感器、光电探测器、有源像素传感器、半导体检测器、超声波传感器、RADAR检测器、声呐传感器以及光电二极管阵列。

在一些方面中，标识所述瞄准图像中的对象包括将所述瞄准图像中的对象与所述预测图像中的对象进行匹配。在一些方面中，所述匹配包括使用经过训练的机器学习模型来将所述瞄准图像中的对象与所述预测图像中的对象进行匹配。在一些方面中，标识所述预测图像中的对象包括使用经过训练的机器学习模型来标识所述对象。在一些方面中，所述经过训练的机器学习模型是深度学习模型。在一些方面中，所述对象选自由杂草、植物和障碍物组成的组。

在一些方面中，所述预测位置包括所述预测图像中的位置、所述瞄准传感器的位置、所述执行器的位置、所述预测传感器的位置、所述对象在所述表面上的位置、所述交通工具的位置或其组合。在一些方面中，所述目标位置包括所述瞄准图像中的位置、所述瞄准传感器的位置、所述执行器的位置、所述预测传感器的位置、所述对象在所述表面上的位置、所述交通工具的位置或其组合。

在各个方面中，本公开提供了一种用于瞄准对象的系统，其包括：预测系统，所述预测系统包括预测传感器和对象标识模块；以及瞄准系统，所述瞄准系统包括：瞄准传感器；致动器，所述致动器被配置为控制所述瞄准传感器；以及对象匹配模块；其中所述预测传感器被配置为采集预测图像，其中所述对象标识模块被配置为标识要在所述预测图像中瞄准的对象并基于所述预测图像来确定所述对象的预测位置；其中所述瞄准模块被配置为从所述对象标识模块接收所述对象的预测位置；其中所述致动器被配置为将所述瞄准传感器指向所述对象的预测位置；其中所述瞄准传感器被配置为采集所述预测位置的瞄准图像；并且其中所述对象匹配模块被配置为在所述瞄准图像中定位所述对象并基于所述瞄准图像来确定所述对象的目标位置。

在一些方面中，所述致动器被配置为将所述瞄准传感器指向所述目标位置。在一些方面中，所述目标位置比所述预测位置更接近对象。在一些方面中，所述致动器被配置为使镜子旋转或平移。在一些方面中，所述镜子的旋转或平移指向所述瞄准传感器。

在一些方面中，所述瞄准模块还包括由所述致动器引导的执行器。在一些方面中，所述瞄准传感器的指向和所述执行器的引导相对于彼此是固定的。在一些方面中，所述执行器被配置为操纵所述对象。在一些方面中，所述执行器包括激光器。在一些方面中，所述激光器是红外激光器。在一些方面中，所述执行器包括抓取器。在一些方面中，所述执行器包括喷射器。

在一些方面中，所述预测传感器与所述瞄准传感器的不同之处在于选自由以下各项组成的组的一个或多个参数：传感器类型、传感器分辨率、放大率、视野、色彩平衡以及色彩敏感度。在一些方面中，所述预测传感器相对于所述目标以与所述瞄准传感器不同的角度、距离或两者定位。在一些方面中，所述对象标识模块包括经过训练的机器学习模型。在一些方面中，所述对象匹配模块包括经过训练的机器学习模型。在一些方面中，所述经过训练的机器学习模型是深度学习模型。

在一些方面中，所述对象选自由杂草、植物和障碍物组成的组。在一些方面中，所述系统被配置为执行本公开的方法。

在各个方面中，本公开提供了一种定位对象方法，其包括：在由第一传感器采集的图像中定位第一对象；在由第二传感器采集的图像中定位第二对象；使用利用第一组训练图像和第二组训练图像训练的对象匹配深度学习模型来确定所述第二对象与所述第一对象相同。

在一些方面中，所述第一组训练图像由所述第一传感器采集，并且所述第二组训练图像由所述第二传感器采集。在一些方面中，所述第一传感器与所述第二传感器的不同之处在于选自由以下各项组成的组的一个或多个参数：传感器类型、传感器分辨率、放大率、视野、色彩平衡以及色彩敏感度。在一些方面中，所述第一传感器相对于所述目标以与所述第二传感器不同的角度、距离或两者定位。在一些方面中，所述方法还包括将所述第二对象与所述第一对象进行匹配。

附图说明

本发明的新颖特征在所附权利要求中具体阐述。通过参考阐述其中利用了本发明的原理的说明性实施方案的以下详细描述将获得对本发明特征和优点的更好理解，并且在附图中：

图1示出了根据本文的一个或多个实施方案的具有指示的激光路径和可见光路径的激光器光学系统的等距视图；

图2示出了根据本文的一个或多个实施方案的具有指示的激光路径和可见光路径的激光器光学系统的俯视图；

图3示出了根据本文的一个或多个实施方案的具有指示的清洁空气路径的激光器光学系统的侧视剖面图；

图4A示出了根据本文的一个或多个实施方案的瞄准激光器和瞄准激光器的瞄准覆盖区域的侧视图；

图4B示出了根据本文的一个或多个实施方案的瞄准激光器和瞄准激光器的瞄准覆盖区域的前视图；

图5示出了根据本文的一个或多个实施方案的预测相机、多个瞄准激光器、预测相机的预测视图区域以及瞄准激光器的瞄准覆盖区域的等距视图；

图6示出了根据本文的一个或多个实施方案的自主激光除草机器人、预测相机以及多个瞄准激光器的覆盖区域的前视图；

图7示出了根据本文的一个或多个实施方案的自主激光除草机器人、预测相机以及多个瞄准激光器的覆盖区域的等距视图；

图8描绘了根据本文的一个或多个实施方案的标识、分配和瞄准对象的方法；

图9描绘了根据本文的一个或多个实施方案的标识、分配、瞄准和根除田地中的杂草的方法；

图10A描绘了根据本文的一个或多个实施方案的用于标识、定位、瞄准和操纵对象的系统；

图10B示出了根据本文的一个或多个实施方案的表面上的杂草的瞄准图像以及杂草周围的预测图像(插图)的裁剪区域；

图11描绘了根据本文的一个或多个实施方案的用于标识、定位和瞄准对象的方法；

图12示出了根据本文的一个或多个实施方案的用于校准预测传感器或瞄准传感器的校准网格；

图13是示出根据本公开的实施方案的检测终端的部件的框图；

图14是示出根据本公开的实施方案的用于确定检测终端位置的过程的流程图；

图15是可以实施本文描述的各种技术的计算装置的计算装置架构的示例性框图。

具体实施方式

下面详细讨论了本公开的各种示例性实施方案。虽然讨论了特定的实施方式，但是应当理解，本描述仅出于说明目的。相关领域的技术人员将认识到，在不脱离本公开的精神和范围的情况下，可以使用其他部件和配置。因此，以下描述和附图是说明性的并且不应被解释为是限制性的。描述了许多特定细节以提供对本公开的透彻理解。然而，在某些情况下，没有描述公知的或常规的细节以免使描述不清楚。在本公开中对一个实施方案的引用可以是对同一实施方案或任何实施方案的引用；并且，此类引用表示示例性实施方案中的至少一者。

对“一个实施方案”的引用表示结合所述实施方案描述的特定特征、结构或特性包括在本公开的至少一个实施方案中。说明书中各种地方出现的短语“在一个实施方案中”不一定全都指代同一实施方案，也不是与其他示例性实施方案互斥的单独或替代示例性实施方案。此外，描述了可以由一些示例性实施方案而不是其他实施方案表现的各种特征。一个示例的任何特征可以与任何其他示例的任何其他特征集成或一起使用。

在本公开的上下文中以及在使用每个术语的特定上下文中，本说明书中使用的术语通常具有其在本领域中的普通含义。替代语言和同义词可以用于本文所讨论的任何一个或多个术语，并且关于术语是否在本文中得到阐述或讨论，没有特殊意义。在一些情况下，提供某些术语的同义词。一个或多个同义词的叙述不排除其他同义词的使用。本说明书中任何地方的示例(包括本文讨论的任何术语的示例)的使用仅仅是示例性的，并且不旨在进一步限制本公开或任何示例性术语的范围和含义。同样，本公开不限于本说明书中给出的各种示例性实施方案。

在不意图限制本公开的范围的情况下，下面给出根据本公开的示例性实施方案的仪器、设备、方法及其相关结果的示例。注意，为了方便读者，可以在示例中使用标题或副标题，这绝不应限制本公开的范围。除非另有定义，否则本文所使用的技术和科学术语均具有本公开所属领域的一般技术人员所通常理解的含义。如果发生冲突，则将以包括定义的本文档为准。

本公开的附加特征和优点将在下面的描述中阐述，并且从描述中将部分地显而易见，或者可以通过实践本文公开的原理来获知。本公开的特征和优点可以通过所附权利要求中特别指出的仪器和组合来实现和获得。根据以下描述和所附权利要求书，本公开的这些和其他特征将变得更加显而易见，或者可以通过实践本文阐述的原理来获知。

为了解释清楚，在一些情况下，本技术可以被呈现为包括各个功能块，所述功能块表示以软件或硬件与软件的组合体现的方法中的装置、装置部件、步骤或例程。

在附图中，一些结构或方法特征可以以特定布置和/或顺序示出。然而，应当理解，可能不需要此类特定布置和/或顺序。相反，在一些实施方案中，此类特征可以以与示例性附图中所示不同的方式和/或顺序来布置。另外，在特定附图中包括结构或方法特征并不意味着暗示在所有实施方案中都需要这样的特征，并且在一些实施方案中，它可以不被包括或者可以与其他特征组合。

虽然本公开的概念可具有各种修改和替代形式，但是其特定实施方案已经通过示例在附图中示出并且将在本文详细描述。然而，应当理解，不意图将本公开的概念限制为所公开的特定形式，而是相反地，本发明意图涵盖符合本公开和所附权利要求书的所有修改、等同物和替代方案。

本公开提供了用于点对点对象匹配和瞄准以自主地协调多个传感器之间的对象检测的系统和方法。诸如自动驾驶汽车的自主系统通常取决于电磁传感器来检测和标识对象，以便与对象交互或避免与对象交互。自主系统中可以使用多个传感器来扩大检测角度、增大视野或提高检测分辨率。然而，特别是如果传感器在例如分辨率、视野、色彩敏感度、定位或传感器类型等方面不同，则多个传感器的协调可能具有挑战性。

本文描述了用于协调检测系统的两个或更多个传感器之间的对象检测、定位和瞄准的系统和方法。本公开的系统和方法可以用于利用第一传感器来定位对象、在第二传感器中标识同一对象并操纵对象。第一传感器可以用于确定对象的预测位置，并且第二传感器可以用于细化对象的位置以确定对象的目标位置。对象的目标位置可以比对象的预测位置更准确。

本公开的系统和方法可以具有广泛的应用，涉及标识、检测和精确瞄准位于不规则或不可预测的环境中的对象。例如，本公开的系统和方法可以用于准确地定位和操纵不平坦或非平面表面上的对象，诸如田地中的植物或建筑工地的一块碎屑。替代地或另外，本公开的系统和方法可以用于准确地定位和瞄准较大区域内的对象或区域，诸如从轨道采集的卫星图像内的农田，或田地内的较小区域。

在一些实施方案中，协调两个或更多个传感器之间的对象检测可以通过首先利用广域传感器定位对象，然后在具有较窄视野的传感器中标识同一对象来提高对象定位准确度，同时维持宽视野。在一些实施方案中，协调两个或更多个传感器之间的对象检测可以通过实现多个对象的并行瞄准来增大对象检测和瞄准的速率。例如，可以利用广域传感器定位多个对象，可以将第一对象分配给第一瞄准模块，可以将第二对象分配给第二瞄准模块，并且可以将第三对象分配给第三瞄准模块；第一对象、第二对象和第三对象中的每一者可以分别由第一瞄准模块、第二瞄准模块和第三瞄准模块定位和瞄准。

对于位于不可预测的环境中或者不平坦或非平面表面上的对象，可能难以协调两个或更多个传感器之间的对象检测。例如由于将对象定位在不平坦表面上而导致的对象的三维位置的不规则性可能导致对象的定位准确度降低并且可能导致由第一传感器采集的图像中的对象的定位与由第二传感器采集的图像中的同一对象的定位的差异。例如，位于非平面表面上的对象在由第一传感器采集的图像中和在由第二传感器采集的图像中可能看起来处于不同位置。本文描述的方法可以通过使用诸如深度学习模型的机器学习模型解决对象或环境中的不规则性来实现两个或更多个传感器之间的对象的准确定位。

如本文所使用的，“图像”可以指代区域或对象的表示。例如，图像可以是由从区域或对象散射的电磁辐射(例如，光、x射线、微波或无线电波)形成的区域或对象的视觉表示。在另一个示例中，图像可以是由光探测和测距(LIDAR)或无线电探测和测距(RADAR)传感器形成的点云模型。在另一个示例中，图像可以是通过检测从区域或对象反射的声波、次声波或超声波而产生的声波图。如本文所使用的，“成像”可以用于描述采集或产生区域或对象的表示(例如，图像)的过程。

如本文所使用的，位置(诸如对象的位置或传感器的位置)可以相对于参考系来表达。示例性参考系包括表面参考系、交通工具参考系、传感器参考系或致动器参考系。位置可以例如通过使用转换因子或校准模型而轻易地在参考系之间转换。虽然位置、位置变化或偏移可以在一个参考系中表达，但是应当理解，位置、位置变化或偏移可以在任何参考系中表达或者可以轻易地在参考系之间转换。

检测系统

在一些实施方案中，被配置为执行本公开的方法的本公开的检测系统可以包括预测系统和瞄准系统。预测系统可以包括被配置为对感兴趣区域进行成像的预测传感器，并且瞄准系统可以包括被配置为对感兴趣区域的一部分进行成像的瞄准传感器。成像可以包括采集感兴趣区域或感兴趣区域的一部分的表示(例如，图像)。在一些实施方案中，预测系统可以包括多个预测传感器，从而使得能够覆盖更大的感兴趣区域。在一些实施方案中，瞄准系统可以包括多个瞄准传感器。

感兴趣区域可以对应于瞄准传感器视野与预测传感器视野之间的重叠区域。此类重叠可以是同时发生的或者可以在时间上分开。例如，预测传感器视野在第一时间涵盖感兴趣区域，并且瞄准传感器视野在第二时间但不在第一时间涵盖感兴趣区域。任选地，检测系统可以在第一时间与第二时间之间相对于感兴趣区域移动，从而促进预测传感器视野和瞄准传感器视野的重叠在时间上分开。

在一些实施方案中，预测传感器可以具有比瞄准传感器更宽的视野。预测系统还可以包括对象标识模块以标识由预测传感器采集的预测图像或表示中的感兴趣对象。对象标识模块可以将感兴趣对象与预测图像中的其他对象区分开。

预测模块可以确定感兴趣对象的预测位置并且可以将预测位置发送到瞄准系统。

瞄准系统可以基于从预测系统接收到的预测位置将瞄准传感器指向被预测为包含对象的感兴趣区域的期望部分。瞄准系统可以包括对象匹配模块，以确定由预测系统标识的感兴趣对象是否存在于由瞄准传感器采集的瞄准图像或表示中。如果对象匹配模块确定感兴趣对象存在于瞄准图像中，则瞄准模块可以确定感兴趣对象的目标位置。对象的目标位置可以比对象的预测位置距对象的实际位置更近。在一些实施方案中，瞄准模块可以使用对象的目标位置来将执行器引向对象。在一些实施方案中，执行器可以在对象上执行动作或操纵对象。

本公开的检测系统可以用于瞄准表面(诸如地面、地板、墙壁、农田、草坪、道路、土丘、桩或坑)上的对象。在一些实施方案中，表面可以是非平面表面，诸如不平坦地面、不平坦地形或有纹理的地板。例如，表面可以是建筑工地、农田或采矿隧道中的不平坦地面，或者表面可以是包含田地、道路、森林、丘陵、山脉、房屋或建筑物的不平坦地形。与单个传感器系统或缺少对象匹配模块的系统相比，本文描述的检测系统可以更准确地、更快地或在更大的区域内定位非平面表面上的对象。

替代地或另外，检测系统可以用于瞄准对象，所述对象可以与它们搁置在其上的表面间隔开，诸如远离其接地点的树顶，和/或可以用于瞄准可能够相对于表面(例如，相对于空气或大气中的地面)定位的对象。另外，检测系统可以用于瞄准可以相对于表面移动的对象，例如交通工具、动物、人类或飞行对象。

光学控制系统

本文描述的方法可以通过诸如激光器光学系统的光学控制系统来实施以瞄准感兴趣对象。例如，光学系统可以用于瞄准在由诸如预测传感器的第一传感器采集的图像或表示中标识的感兴趣对象，并在由诸如瞄准传感器的第二传感器采集的图像或表示中定位同一对象。在一些实施方案中，第一传感器是预测相机，并且第二传感器是瞄准相机。瞄准对象可以包括使用瞄准传感器精确地定位对象并利用执行器瞄准对象。

本文描述了用于将波束(例如光束)引向表面上的目标位置(诸如感兴趣对象的位置)的光学控制系统。参考图1至图7，现在将描述用于对象标识和点对点瞄准的示例性系统。在所示实施方案中，执行器是激光器。然而，其他执行器也在本公开的范围内，包括但不限于抓取执行器、喷射执行器、种植执行器、收割执行器、授粉执行器、标记执行器、吹制执行器或沉积执行器。

图1示出了如本文公开的光学控制系统100的实施方案的等距视图。发射器101被配置为沿着光学路径(例如，激光路径102)引导波束。在一些实施方案中，波束包括电磁辐射，例如光、无线电波、微波或x射线。在一些实施方案中，光是可见光、红外光或紫外光。波束可以是相干的。在一个实施方案中，发射器是激光器，诸如红外激光器。

在一些实施方案中，发射器发射波长为约1m、约100mm、约10mm、约1mm、约100μm、约10μm、约1.5μm、约1μm、约900nm、约800nm、约700nm、约600nm、约500nm、约400nm、约300nm、约100nm、约10nm、或约1nm的波束。在一些实施方案中，发射器发射波长为约1m至约100mm、约100mm至约10mm、约10mm至约1mm、约1mm至约100μm、约100μm至约10μm、约10μm至约1.5μm、约1.5μm至约1μm、约1μm至约900nm、约900nm至约800nm、约800nm至约700nm、约700nm至约600nm、约600nm至约500nm、约500nm至约400nm、约400nm至约300nm、约300nm至约100nm、约100nm至约10nm、或约10nm至约1nm的波束。

在一些实施方案中，发射器可能够发射高达10mW、高达100mW、高达1W、高达10W、高达100W、高达1kW、或高达10kW的电磁辐射。在一些实施方案中，发射器可能够发射10mW至100mW、100mW至1W、1W至10W、10W至100W、100W至1kW、或1kW至10kW的电磁辐射。

一个或多个光学元件可以位于波束的路径中。光学元件可以包括波束组合器103、第一反射元件105和第二反射元件106中的一者或多者。所述元件可以在波束路径的方向上按照波束组合器103、随后是第一反射元件105、随后是第二反射元件106的顺序来配置。

在另一个示例中，第一反射元件105或第二反射元件106中的一者或两者可以按照波束路径的方向的顺序配置在波束组合器103之前。在另一个示例中，可以按照波束路径的方向的顺序按照波束组合器103，随后是第一反射元件105的顺序来配置光学元件。在另一个示例中，第一反射元件105或第二反射元件106中的一者或两者可以在波束路径的方向上配置在波束组合器103之前。任意数量的附加反射元件都可以位于波束路径中。

波束组合器103也可以被称为波束组合元件。在一些实施方案中，波束组合器103可以是硒化锌(ZnSe)、硫化锌(ZnS)或锗(Ge)波束组合器。例如，波束组合器103可以被配置为透射红外光并反射可见光。在一些实施方案中，波束组合器103可以是二向色的。在一些实施方案中，波束组合器103可以被配置为使波长长于截止波长的电磁辐射通过并反射波长短于截止波长的电磁辐射。在一些实施方案中，波束组合器可以被配置为使波长短于截止波长的电磁辐射通过并反射波长长于截止波长的电磁辐射。

在一些实施方案中，截止波长可以为约1m、约100mm、约10mm、约1mm、约100μm、约10μm、约1.5μm、约1μm、约900nm、约800nm、约700nm、约600nm、约500nm、约400nm、约300nm、约100nm、约10nm、或约1nm。在一些实施方案中，截止波长可以为约1m至约100mm、约100mm至约10mm、约10mm至约1mm、约1mm至约100μm、约100μm至约10μm、约10μm至约1.5μm、约1.5μm至约1μm、约1μm至约900nm、约900nm至约800nm、约800nm至约700nm、约700nm至约600nm、约600nm至约500nm、约500nm至约400nm、约400nm至约300nm、约300nm至约100nm、约100nm至约10nm、或约10nm至约1nm。在其他实施方案中，波束组合器可以是偏振分束器、长通滤光器、短通滤光器或带通滤光器。

本公开的光学控制系统还可以包括位于光学路径中的透镜。在一些实施方案中，透镜可以是聚焦透镜，其被定位成使得聚焦透镜聚焦波束、散射光或两者。例如，聚焦透镜可以位于可见光学路径中以将散射光聚焦到瞄准相机上。在一些实施方案中，透镜可以是散焦透镜，其被定位成使得散焦透镜将波束、散射光或两者散焦。在一些实施方案中，透镜可以是准直透镜，其被定位成使得准直透镜将波束、散射光或两者准直。在一些实施方案中，两个或更多个透镜可以位于光学路径中。例如，两个透镜可以串联地位于光学路径中以扩大或缩小波束。

第一反射元件105和第二反射元件106中的一者或两者的位置和取向可以由致动器控制。在一些实施方案中，致动器可以是马达、螺线管、检流计或伺服机构。例如，第一反射元件105的位置可以由第一致动器控制，并且第二反射元件106的位置和取向可以由第二致动器控制。在一些实施方案中，单个反射元件可以由多个致动器控制。例如，第一反射元件105可以沿着第一轴线由第一致动器并且沿着第二轴线由第二致动器控制。在一些实施方案中，单个致动器可以沿着多个轴线控制反射元件。

致动器可以通过使反射元件旋转来改变反射元件的位置，由此改变遇到反射元件的波束的入射角。改变入射角可能导致波束遇到表面的位置发生平移。在一些实施方案中，可以调整入射角，使得在光学系统相对于表面移动时维持波束遇到表面的位置。在一些实施方案中，第一致动器使第一反射元件围绕第一旋转轴线旋转，由此使波束沿着第一平移轴线遇到表面的位置平移，并且第二致动器使第二反射元件围绕第二旋转轴线旋转，由此使波束沿着第二平移轴遇到表面的位置平移。在一些实施方案中，第一致动器和第二致动器使第一反射元件围绕第一旋转轴线和第二旋转轴线旋转，由此使波束遇到第一反射元件的表面的位置沿着第一平移轴线和第二平移轴线平移。例如，单个反射元件可以由第一致动器和第二致动器控制，从而利用由两个致动器控制的单个反射元件提供波束遇到表面的位置沿着第一平移轴线和第二平移轴线的平移。

第一平移轴线和第二平移轴线可以是正交的。表面上的覆盖区域可以由沿着第一平移轴线的最大平移和沿着第二平移轴线的最大平移来限定。第一致动器和第二致动器中的一者或两者可以是经伺服机构控制的、经压电致动的、经压电惯性致动的、经步进马达控制的、经检流计驱动的、经线性致动器控制的或其任何组合。第一反射元件和第二反射元件中的一者或两者可以是镜子；例如，二向色镜、或介质镜；棱镜；分束器；或其任何组合。在一些实施方案中，第一反射元件和第二反射元件中的一者或两者可以是能够偏转波束的任何元件。

图2示出了如图1中所示的光学控制系统100的实施方案的俯视图。如图1中所示，瞄准相机104可以被定位成捕获沿着可见光路径152在与波束路径(例如激光路径102)相反的方向上行进的光(例如可见光)。光可以被表面(诸如具有感兴趣对象的表面)或对象(诸如感兴趣对象)散射，并且沿着可见光路径152朝向瞄准相机104行进。在一些实施方案中，瞄准相机104被定位成使得其捕获从波束组合器103反射的光。在其他实施方案中，瞄准相机104被定位成使得其捕获透射通过波束组合器103的光。通过捕获此类光，瞄准相机104可以被配置为对表面上的目标视野进行成像。瞄准相机104可以联接到波束组合器103，或者瞄准相机104可以联接到支撑波束组合器103的支撑结构。在一个实施方案中，瞄准相机104相对于波束组合器103不移动，使得瞄准相机104相对于波束组合器103维持固定位置。

图3示出了本文公开的光学控制装置的实施方案的截面图。图3示出了用于防止灰尘和碎屑积聚在图1和图2中所示的光学控制装置100的光学元件上的机构。在一些实施方案中，光学元件可以包括镜子上的强制止动件351，以防止波束击中光学控制装置的在表面上的预定义边界之外的区域。光学元件(例如，波束组合元件103)和反射元件(诸如第一反射元件105和第二反射元件106)中的一者或两者可以由外壳保护。光学元件可以被外壳围绕。在一些实施方案中，外壳被密封以防止灰尘、碎屑、水或其任何组合接触光学元件。

外壳可以包括激光逸出窗107，如图3中所示。在一些实施方案中，激光逸出窗107被定位成在波束路径(诸如激光路径102)中的第二反射元件106之后与波束相交，或者激光逸出窗107被定位成在波束路径中的第一反射元件105之后与波束相交。在一些实施方案中，激光逸出窗107是波束路径中的最后一个元件。激光逸出窗107可以防止灰尘、碎屑、水或其任何组合到达光学元件。在一些实施方案中，激光逸出窗107包括对诸如光的电磁辐射基本上透明的材料。例如，激光逸出窗107可以包括玻璃、石英、熔融石英、硒化锌、透明聚合物或其组合。

外壳还可以包括自清洁装置，所述自清洁装置被配置为防止灰尘或碎屑积聚在激光逸出窗107的表面上或者去除已经积聚在激光逸出窗107的表面上的灰尘或碎屑。在一些实施方案中，自清洁装置包括位于外壳的外表面中的孔隙352，所述孔隙被配置为排出气流353中的清洁空气。清洁气流353可以防止碎屑损坏激光逸出窗107。在一些实施方案中，清洁空气可以被过滤。孔隙352可以被配置为将气流353引向逸出窗的外表面。孔隙352可以被配置为使得清洁空气被引导穿过激光逸出窗107的表面。在一些实施方案中，外壳被配置为引导清洁气流353而不阻碍波束路径102。例如，外壳可以包括在波束路径中的激光逸出窗107之后的开口354，所述开口具有间隙，使得波束可以无障碍地通过。在一些实施方案中，开口包括与孔隙352相对的壁。壁可以被配置为控制气流353的方向并减少紊流而不阻碍波束。开口可以涵盖激光逸出窗107和波束路径102，并且可以被配置为使得开口在波束路径102的方向上靠近激光逸出窗107较窄并且远离激光逸出窗107较宽。在一些实施方案中，开口具有平滑拐角355以允许清洁空气通过同时防止紊流。

在离开光学控制系统100之后，波束可以沿着波束路径102被引向表面，如图4A和图4B中所示。在一些实施方案中，所述表面包含感兴趣对象，例如杂草。反射元件105和106中的一者或两者的旋转运动(如图2中所示)可以产生沿着第一平移轴线401的激光频扫和沿着第二平移轴线402的激光频扫，分别如图4A和图4B的视图400和450中所示。反射元件105和106中的一者或两者的旋转运动可以控制波束遇到表面的位置。例如，反射元件105和106中的一者或两者的旋转运动可以将波束遇到表面的位置移动到感兴趣对象在表面上的位置。在一些实施方案中，波束被配置为损坏感兴趣对象。例如，波束可以包括电磁辐射，并且波束可以照射对象。在另一个示例中，波束可以包括红外光，并且波束可以燃烧对象。在一些实施方案中，反射元件中的一者或两者可以旋转，使得波束扫描围绕并包括对象的区域。

预测相机或预测传感器可以与光学控制系统(诸如光学控制系统100)协调，以标识和定位要瞄准的对象。预测相机的视野可以涵盖由可对准的激光频扫401和402覆盖的光学控制系统的覆盖区域。预测相机可以被配置为捕获包括覆盖区域的区域的图像或表示，以标识和选择要瞄准的对象。选定对象可以被分配给光学控制系统。在一些实施方案中，预测相机视野和光学控制系统的覆盖区域可以在时间上分开，使得预测相机视野在第一时间涵盖目标并且光学控制系统覆盖区域在第二时间涵盖目标。任选地，预测相机、光学控制系统或两者可以在第一时间与第二时间之间相对于目标移动。

在一些实施方案中，可以组合多个光学控制系统以增大表面上的覆盖区域。图5示出了包括多个光学控制系统100的复合系统500。多个光学控制系统被配置为使得沿着每个光学控制系统的平移轴线402的激光频扫与沿着相邻光学控制系统的平移轴线的激光频扫重叠。组合激光频扫401和402限定来自多个光学控制系统的多个波束中的至少一个波束可以到达的覆盖区域503。预测相机501可以被定位成使得预测相机视野502完全涵盖覆盖区域503。在一些实施方案中，检测系统可以包括两个或更多个预测相机，每个预测相机具有视野。预测相机的视野可以被组合以形成完全涵盖覆盖区域的预测视野。在一些实施方案中，预测视野不完全涵盖单个时间点处的覆盖区域，而是可以涵盖两个或更多个时间点(例如，图像帧)上的覆盖区域。任选地，一个或多个预测相机可以在两个或更多个时间点的过程中相对于覆盖区域移动，从而实现对覆盖区域的时间覆盖。预测相机或预测传感器可以被配置为捕获包括覆盖区域503的区域的图像或表示，以标识和选择要瞄准的对象。可以基于对象的位置以及各个光学控制系统的激光频扫401和402覆盖的区域而将选定对象分配给多个光学控制系统中的一者。

多个光学控制系统可以被配置在交通工具601上，如图6的视图600和图7的视图700中所示。例如，交通工具可以是自主交通工具。自主交通工具可以是机器人。在一些实施方案中，交通工具可以由人类控制。例如，交通工具可以由人类驾驶员驾驶。在一些实施方案中，交通工具可以联接到由人类驾驶员驾驶的第二交通工具，例如拖曳在第二交通工具后面或由第二交通工具推动。交通工具可以由人类远程地控制，例如通过遥控器控制。在一些实施方案中，可以经由长波信号、光学信号、卫星或任何其他远程通信方法来远程控制交通工具。多个光学控制系统可以被配置在交通工具上，使得覆盖区域与交通工具下方、后面、前方或周围的表面重叠。

交通工具601可以被配置为穿过包含多个对象的表面，包括一个或多个感兴趣对象，例如包含多种植物和一种或多种杂草的作物田地。交通工具601可以包括多个车轮、电源、马达、预测相机501中的一者或多者或其任何组合。在一些实施方案中，交通工具601在表面上方具有足够的间隙以驶过植物(例如作物)而不损坏植物。在一些实施方案中，左轮的内侧边缘与右轮的内侧边缘之间的空间足够宽到经过一行植物而不损坏植物。在一些实施方案中，左轮的外侧边缘与右轮的外侧边缘之间的距离足够窄到允许交通工具在两行植物(例如两行作物)之间通过而不损坏植物。在一个实施方案中，包括多个车轮、多个光学控制系统和预测相机的交通工具可以穿过多行作物并向目标(例如杂草)发射多个波束中的波束，由此燃烧或照射杂草。

自主除草系统

本文描述的方法可以通过自主杂草根除系统来实施以瞄准并消除杂草。例如，自主除草系统可以用于瞄准在由诸如预测传感器的第一传感器采集的图像或表示中标识的感兴趣杂草，并在由诸如瞄准传感器的第二传感器采集的图像或表示中定位同一杂草。在一些实施方案中，第一传感器是预测相机，并且第二传感器是瞄准相机。瞄准杂草可以包括使用瞄准传感器精确定位杂草、利用激光器瞄准杂草并通过利用激光(诸如红外光)燃烧杂草来根除杂草。预测传感器可以是被配置为确定感兴趣对象的预测位置的预测模块的一部分，并且瞄准传感器可以是被配置为细化感兴趣对象的预测位置以确定目标位置并在目标位置处用激光器瞄准感兴趣对象的瞄准模块的一部分。预测模块可以被配置为与瞄准模块通信以使用点对点瞄准来协调相机切换，如本文所述。

预测模块

本公开的预测模块可以被配置为定位表面上的对象。图8示出了被配置为标识、分配和瞄准感兴趣对象的预测模块810。在一些实施方案中，目标预测系统811被配置为使用预测相机501或预测传感器捕获表面的区域的图像，标识图像中的感兴趣对象，并确定对象的预测位置。

目标预测系统811可以包括对象标识模块，其被配置为标识感兴趣对象并将感兴趣对象与预测图像中的其他对象区分开。在一些实施方案中，目标预测系统811使用机器学习模型来基于从包括对象的标记图像的训练数据集中提取的特征来标识对象并将对象区分开。例如，目标预测系统811可以被训练来标识杂草并将杂草与其他植物(诸如作物)区分开。在另一个示例中，目标预测系统811可以被训练来标识碎屑并将碎屑与其他对象区分开。对象标识模块可以被配置为标识植物并将不同植物(诸如作物与杂草)区分开。在一些实施方案中，机器学习模型可以是深度学习模型，诸如深度学习神经网络。

在一些实施方案中，对象标识模块包括使用标识机器学习模型，诸如卷积神经网络。标识机器学习模型可以利用许多图像(例如诸如具有或不具有感兴趣对象的表面的高分辨率图像)来训练。例如，可以利用具有或不具有杂草的田地图像来训练机器学习模型。一旦经过训练，机器学习模型就可以被配置为标识图像中包含感兴趣对象的区域。所述区域可以由多边形(例如矩形)限定。在一些实施方案中，所述区域是边界框。在一些实施方案中，所述区域是覆盖所标识区域的多边形掩模。在一些实施方案中，标识机器学习模型可以被训练来确定感兴趣对象的位置，例如预测图像内的像素位置。

用于控制平移的相机系统812可以被配置为将对象在预测图像中的位置平移为表面上的位置或相对于检测系统参考系的表面位置。例如，用于控制平移的相机系统812可以构建多个插值函数，其提供从预测图像中的位置到控制一个或多个反射元件(诸如图1至图3中所示的光学控制系统100的反射元件105和106)的一个或多个致动器的一个或多个致动器位置(诸如平移和倾斜位置)的平移。

图8中所示的预测模块810还可以包括姿态和运动校正系统813。姿态和运动校正系统813可以包括定位系统，例如车轮编码器或旋转编码器、惯性测量单元(IMU)、全球定位系统(GPS)、测距传感器(例如，激光器、声呐或RADAR)或内部导航系统(INS)。姿态和运动校正系统可以利用惯性测量单元(IMU)，其可以直接或间接地联接到预测传感器。例如，预测传感器和IMU可以安装到交通工具。IMU可以采集IMU和直接或间接地联接到IMU的任何事物(诸如预测传感器)的运动读数。例如，IMU可以采集包括三维加速度和三维旋转信息的读数，所述读数可以用于确定过去一段时间内的运动的幅度和方向。姿态和运动校正系统可以包括全球定位系统(GPS)。GPS可以直接或间接地联接到预测模块的预测传感器或瞄准模块的瞄准传感器。例如，GPS可以与基于卫星的无线电导航系统通信以测量预测传感器在第一时间的第一位置和预测传感器在第二时间的第二位置。姿态和运动校正系统可以包括与交通工具的车轮通信的车轮编码器。车轮编码器可以基于角频率、旋转频率、旋转角度或车轮旋转次数来估计速度或行驶距离。在一些实施方案中，定位系统和检测系统可以位于交通工具上。替代地或另外，定位系统可以位于在空间上联接到检测系统的交通工具上。例如，定位系统可以位于牵拉检测系统的交通工具上。

姿态和运动校正系统813可以包括内部导航系统(INS)。INS可以直接或间接地联接到瞄准传感器。例如，INS可以包括运动传感器(例如加速度计)和旋转传感器(例如陀螺仪)，以测量瞄准相机的位置、取向和速度。姿态和运动校正系统813可以使用或可以不使用外部参考来确定瞄准传感器的位置变化。姿态和运动校正系统可以确定瞄准传感器的位置相对于第一位置和第二位置的变化。在一些实施方案中，在目标预测系统在图像中定位感兴趣对象之后，姿态和运动校正系统813确定自捕获图像以来经过的时间量以及在所述经过的时间期间已经发生的预测相机的运动的幅度和方向。姿态和运动校正系统813可以集成对象位置、经过的时间以及运动的幅度和方向以确定对象在表面上的调整后位置。

基于对象的位置，目标分配系统814可以将对象分配给瞄准模块820。在一些实施方案中，瞄准模块可以是多个瞄准模块中的一者。预测模块810可以将感兴趣对象的预测位置发送到分配的瞄准模块820。可以基于经过的时间期间运动的幅度和方向来调整对象的预测位置，或者所述位置可以在由多边形限定的区域内，或者两者。可以基于未来时间段期间预测的运动幅度和方向来确定未来预测的对象位置。目标分配模块814可以将目标分配给具有与预测位置、调整后预测位置或未来预测位置重叠的覆盖区域的瞄准模块。

预测模块810可以包括系统控制器，例如具有存储装置、随机存取存储器(RAM)、中央处理单元(CPU)和图形处理单元(GPU)的系统计算机。系统计算机可以包括张量处理单元(TPU)。系统计算机应当包括足够的RAM、存储空间、CPU能力和GPU能力来执行用于检测和标识目标的操作。预测传感器应当提供足够分辨率的图像，以在其上执行用于检测和标识对象的操作。在一些实施方案中，预测传感器可以是相机，诸如电荷耦合装置(CCD)相机或互补金属氧化物半导体(CMOS)相机、LIDAR检测器、红外传感器、紫外传感器、x射线检测器或能够生成图像的任何其他传感器。

瞄准模块

本公开的瞄准模块820可以被配置为瞄准由预测模块810标识的对象。在一些实施方案中，瞄准模块可以将执行器引向对象以操纵对象。例如，瞄准模块820可以被配置为将激光器波束引向杂草以燃烧杂草。在另一个示例中，瞄准模块820可以被配置为引导抓取工具抓取对象。在另一个示例中，瞄准模块可以引导喷射工具向对象喷射流体。在一些实施方案中，对象可以是杂草、植物、田地、碎屑、障碍物、表面的区域或可以被操纵的任何其他对象。图8示出了瞄准模块820，其被配置为从预测模块810接收感兴趣对象的预测位置并将目标相机104或瞄准传感器指向预测位置。在一些实施方案中，瞄准模块820可以将诸如激光器的执行器引向预测位置。在图8中所示的实施方案中，瞄准传感器的位置和执行器的位置可以联接。在一些实施方案中，多个瞄准模块820与预测模块810通信。

瞄准模块820可以包括如本文所述的光学控制系统并与光学控制系统通信。例如，如针对图1至图3中的光学控制系统100所示，瞄准模块可以包括：发射器101，所述发射器沿着光学路径(诸如激光路径102)发射波束；以及波束组合元件103；瞄准相机104；第一反射元件105，所述第一反射元件被配置为偏转由第一致动器控制的波束；以及任选地，位于光学路径中的第二反射元件106，所述第二反射元件被配置为偏转由第二致动器控制的波束。致动器中的一者或两者可以被配置为使反射元件105或106中的一者或两者围绕第一旋转轴线并且任选地围绕第二旋转轴线旋转，由此改变波束路径的偏转并将波束遇到表面的位置沿着第一平移轴线以及任选地沿着第二平移轴线平移。在一些实施方案中，第一致动器和第二致动器可以使单个反射元件围绕第一旋转轴线和第二旋转轴线旋转，从而提供波束遇到表面的点的位置沿着第一平移轴线和第二平移轴线的平移。在一些实施方案中，第一反射元件105、第二反射元件106或两者还控制瞄准相机104或瞄准传感器的方向。

如图8中所示，目标预测系统821可以从预测模块810接收感兴趣对象的预测位置，并且可以将目标相机104或瞄准传感器指向对象的预测位置。目标相机104或瞄准传感器可以采集被预测包含感兴趣对象的区域的瞄准图像。在一些实施方案中，瞄准模块820包括对象匹配模块，其被配置为确定瞄准图像是否包含由预测模块标识的感兴趣对象，由此使用点对点瞄准来协调相机切换。对象匹配模块可以考虑由于预测传感器与瞄准传感器之间的差异(诸如传感器类型、分辨率、放大率、视野或色彩平衡和敏感度、成像角度或位置的差异、检测系统的移动、非平面表面的可变性、成像频率的差异、或者在采集预测图像时与采集瞄准图像时之间对象的变化)而导致的预测图像和瞄准图像中的对象外观的差异。在一些实施方案中，对象匹配模块可以考虑由光学系统引入的畸变，诸如透镜畸变、来自ZnSe光学器件的畸变、球面像差或色差。

在一些实施方案中，对象匹配模块可以使用被训练来标识不同图像中的同一对象的对象匹配机器学习模块，考虑两个图像之间例如由于图像传感器的差异(诸如传感器类型、分辨率、放大率、视野或色彩平衡和敏感度、成像角度或位置的差异、检测系统的移动、非平面表面的可变性或在采集两个图像之间对象的变化)而引起的差异。

如果对象匹配模块在瞄准图像中标识出感兴趣对象，则对象匹配模块可以确定对象的目标位置。对象匹配模块可以确定对象的预测位置与对象的目标位置之间的偏移。用于控制平移的相机系统822可以基于偏移例如通过调整第一反射元件105的位置并且任选地调整第二反射元件106的位置来调整瞄准传感器诸如瞄准相机104的方向。反射元件的位置可以由致动器控制，如本文所述。例如，用于控制平移的相机系统822可以将目标在瞄准图像中的像素位置转换为与被预测为将波束偏转到目标位置的镜子位置相对应的一个或两个致动器的平移或倾斜值。在一些实施方案中，调整诸如激光器的执行器的位置以将执行器引向对象的目标位置。在一些实施方案中，瞄准传感器和执行器的移动是耦合的。如果对象匹配模块没有标识出瞄准图像中的感兴趣对象，则用于控制平移系统的相机可以调整瞄准传感器的位置并采集第二瞄准图像。替代地或另外，如果对象匹配模块没有标识出瞄准图像中的感兴趣对象，则可以从预测图像中选择不同的对象，并且可以确定新的预测位置。对象匹配模块可能无法标识目标图像中的感兴趣对象的原因可能包括运动校正不充分或瞄准图像中的对象被遮挡。

可以使用姿态和运动校正系统823来进一步校正对象的目标位置。姿态和运动校正系统823可以使用定位系统(例如，车轮编码器、IMU、GPS、测距传感器或INS)来确定目标相机的运动的幅度和方向。在一些实施方案中，来自直接或间接地联接到瞄准传感器的IMU的加速度和旋转读数用于确定运动的幅度和方向。例如，瞄准传感器和IMU可以安装到交通工具。IMU可以采集IMU和直接或间接地联接到IMU的任何事物(诸如瞄准传感器)的运动读数。例如，IMU可以采集包括三维加速度和三维旋转信息的读数，所述读数可以用于确定过去一段时间内的运动的幅度和方向。在一些实施方案中，姿态和运动校正系统可以使用车轮编码器来确定诸如目标相机104的瞄准传感器的距离和运动速度。在一些实施方案中，姿态和运动校正系统可以使用GPS来确定诸如目标相机104的瞄准传感器的运动的幅度和方向。车轮编码器可以基于角频率、旋转频率、旋转角度或车轮旋转次数来估计速度或行驶距离。行驶速度或距离可以用于确定交通工具(诸如直接或间接地联接到瞄准传感器的交通工具)相对于表面的位置。在一些实施方案中，定位系统和检测系统可以位于交通工具上。替代地或另外，定位系统可以位于在空间上联接到检测系统的交通工具上。例如，定位系统可以位于牵拉检测系统的交通工具上。

例如，GPS可以安装到交通工具。GPS可以与基于卫星的无线电导航系统通信以测量瞄准传感器(诸如瞄准相机104)在第一时间的第一位置以及瞄准传感器在第二时间的第二位置。在一些实施方案中，姿态和运动校正系统823可以使用INS来确定瞄准传感器的运动的幅度和方向。例如，INS可以测量瞄准传感器的位置、取向和速度。在一些实施方案中，在目标预测系统821在图像中定位感兴趣对象之后，姿态和运动校正系统823确定自捕获图像以来经过的时间量以及在所述经过的时间期间已经发生的瞄准传感器的运动的幅度和方向。姿态和运动校正系统823可以集成对象位置、经过的时间以及运动的幅度和方向以确定对象的校正后目标位置。在一些实施方案中，由瞄准模块823的姿态和运动校正系统使用的定位系统与由预测模块813的姿态和运动校正系统使用的定位系统是相同的。可以基于未来时间段期间预测的运动幅度和方向来确定对象的未来目标位置。在一些实施方案中，由瞄准模块820的姿态和运动校正系统823使用的定位系统与由预测模块的姿态和运动校正系统823使用的定位系统是不同的。

马达控制系统824可以包括软件驱动的电气部件，其能够向第一致动器以及任选地向第二致动器提供信号，所述控制信号控制诸如瞄准相机104的瞄准传感器、诸如激光器的执行器或两者的位置、取向或方向。在一些实施方案中，致动器可以控制第一反射元件105，并且任选地控制第二反射元件106。例如，致动器控制系统可以向第一致动器和第二致动器发送包括致动器平移倾斜值的信号。致动器可以采用发信号通知的平移倾斜位置，并使第一反射元件105和第二反射元件106围绕第一旋转轴线和第二旋转轴线移动到使得由激光器发射的波束被偏转到对象的目标位置、对象的校正后目标位置或对象的未来目标位置的位置。

瞄准模块820可以包括执行器控制系统。在一些实施方案中，执行器控制系统可以是激光器控制系统825。执行器控制系统(诸如激光器控制系统825)可以包括能够控制执行器的激活和停用的软件驱动的电气部件。激活或停用可以取决于由目标相机104检测到的对象的存在或不存在。激活或停用可以取决于执行器相对于目标对象位置的位置。在一些实施方案中，当目标预测系统标识出并定位对象时，执行器控制系统可以激活执行器，诸如激光发射器。在一些实施方案中，当执行器的范围(诸如波束路径102)被定位成与目标对象位置重叠时，执行器控制系统可以激活执行器。在一些实施方案中，当执行器的范围位于包含由多边形(例如覆盖所标识区域的边界框或多边形掩模)限定的对象的表面区域内时，执行器控制系统可以激活执行器。

一旦对象被操纵，诸如抓取、喷射、燃烧或照射；包括对象的区域已成为执行器的目标；所述对象不再被目标预测模块标识；已经过指定时间段；或其任何组合，执行器控制系统就可以停用执行器。例如，一旦波束已经扫描了表面上包括杂草的区域、一旦杂草已被照射或燃烧，或者一旦波束已被激活达预定时间段，激光器控制系统825就可以停用发射器。

本文描述的预测模块和瞄准模块可以组合使用以利用执行器来定位、标识和瞄准对象。瞄准控制模块可以包括如本文所述的光学控制系统。预测模块和瞄准模块可以进行通信，例如电通信或数字通信。在一些实施方案中，预测模块和瞄准模块直接或间接地联接。例如，预测模块和瞄准模块可以联接到支撑结构。在一些实施方案中，预测模块和瞄准模块被配置在交通工具上，例如在交通工具601上，如图6和图7中所示。

瞄准模块可以包括系统控制器，例如具有存储装置、随机存取存储器(RAM)、中央处理单元(CPU)和图形处理单元(GPU)的系统计算机。系统计算机可以包括张量处理单元(TPU)。系统计算机应当包括足够的RAM、存储空间、CPU能力和GPU能力来执行用于检测和标识目标的操作。瞄准传感器应当提供足够分辨率的图像，以在其上执行用于将对象与在预测图像中标识的对象进行匹配的操作。

杂草瞄准和根除

图9示出了本文公开的装置和方法的实施方案的过程900。以下示例是说明性的并且不限制本文描述的装置、系统和方法的范围。所述过程包括标识、分配、匹配、瞄准和根除田地中的杂草。在该示例中，杂草根除系统包括与多个瞄准模块820通信的预测模块810。预测模块810和瞄准模块820由系统控制器(例如包括存储装置、RAM、CPU和GPU的计算机)来控制。每个瞄准模块包括光学控制系统100，如图1至图3中所示。预测模块和瞄准模块联接到固体支撑物。固体支撑物位于交通工具601上，如图6和图7中所示。

如图9中所示，操作920、930、940、950和960迭代，直到感兴趣田地(例如包含作物的农田)已被完全扫描910，或者直到到达另一个端点。首先，预测模块运行操作920。预测相机501采集交通工具601周围或前方区域中的田地表面的图像。系统控制器例如使用对象标识机器学习模型来处理图像并标识图像中的杂草。在步骤921处，预测模型使用本文描述的方法来预测在图像中标识的一种或多种杂草的位置。在步骤922处，用于控制平移系统812的相机将图像中的杂草的像素坐标平移到地面位置。在步骤923处，系统控制器指示预测模块基于交通工具601的运动(例如在922处由车轮编码器、IMU、测距传感器或GPS测量的)来更新预测位置。在步骤924处，基于杂草的地面位置和瞄准模块820的覆盖区域将一种或多种杂草中的每一者分配给瞄准模块。

在步骤925处，操作930、940、950和960针对每个瞄准模块进行迭代。操作940、950和960针对每种杂草进行迭代。多个瞄准模块中的瞄准模块820运行操作940。控制反射元件的镜子的致动器平移和倾斜值可以基于由预测系统810确定的杂草的预测位置来设定，以指向杂草的预测位置，所述反射元件控制瞄准相机104的视野。瞄准相机104捕获田地的瞄准图像，并且在步骤941处，系统控制器标识瞄准图像中的杂草。对杂草的标识可以包括例如使用本文描述的对象匹配机器学习模型将在瞄准图像中标识的对象与在预测图像中标识的感兴趣对象进行匹配。在一些实施方案中，机器学习模型可以是深度学习模型，诸如深度学习神经网络。

瞄准系统可以基于对象匹配模块来确定杂草的目标位置。瞄准系统确定杂草的预测位置与杂草的目标位置之间的偏移。在步骤942处，系统控制器将偏移转换成用于控制由瞄准模块控制的光学控制系统中的每个反射元件的每个致动器的平移和倾斜值，并引导瞄准相机104和激光器指向杂草的目标位置。系统控制器在943处基于交通工具的运动(例如，由车轮编码器、IMU、测距传感器或GPS测量的)对致动器平移和倾斜值应用姿态和运动校正，并在944处规划由致动器平移和倾斜位置控制的发射波束路径的路线。一旦致动器到达确定的位置，就在945处激活发射器。

重复操作950，同时实施规划路线946。在由瞄准相机104采集的图像951中标识杂草，并且基于观察到的杂草位置更新路线规划952。系统控制器在953处基于由车轮编码器、IMU或GPS测量的交通工具的运动对致动器平移和倾斜值应用姿态和运动校正。致动器基于更新的路线规划移动到位置954。一旦规划路线完成，就停用发射器960。

用于对象标识和点对点瞄准的检测系统

在一些实施方案中，本公开的检测系统(包括预测系统和瞄准系统)可以被配置为使用点对点瞄准方法来标识和瞄准对象。预测系统可以包括被配置为对感兴趣区域进行成像的预测传感器，并且瞄准系统可以包括被配置为对感兴趣区域的一部分进行成像的瞄准传感器。成像可以包括采集感兴趣区域或感兴趣区域的一部分的表示(例如，图像)。

图10A示意性地描绘了可以在用于标识、定位和精确瞄准感兴趣对象O的方法中使用的检测系统1000。在一些实施方案中，检测系统可以包括光学控制系统，例如图1至图3中描绘的光学控制系统100，，如本文所述。包括预测模块1010和瞄准模块1050的检测系统1000可以使用预测传感器1020经由线路1021对感兴趣区域1091进行成像。感兴趣区域1091可以是诸如地面、地板或农田的表面1090的区域。图像可以是可见光图像、红外图像、紫外图像、光探测和测距(LIDAR)图像、x射线图像或任何其他电磁图像。预测传感器1020可以是相机，诸如电荷耦合装置(CCD)相机或互补金属氧化物半导体(CMOS)相机、LIDAR检测器、红外传感器、紫外传感器、x射线检测器或能够检测电磁波的任何其他传感器。

对象标识模块1030可以经由线路1022从预测传感器1020接收预测图像。预测模块1010可以使用对象标识模块1030来确定由预测传感器1020采集的感兴趣区域1091的预测图像中是否存在感兴趣对象O。对象标识模块1030可以标识预测图像中的感兴趣对象并且可以将感兴趣对象与预测图像中的其他对象区分开。在一些实施方案中，对象标识模块1030包括标识机器学习模型，其被训练为基于从用于训练标识机器学习模型的标记图像中提取的特征来标识感兴趣对象。机器学习模型可以是深度学习模型，诸如深度学习神经网络。在一些实施方案中，对象标识模块1030可以实施启发式模型、阈值化或经典检测算法来标识对象。在一些实施方案中，对象标识模块使用光谱数据来标识对象。

所标识的对象可以经由线路1031传送到对象定位模块1040。对象位置模块1040可以确定由对象标识模块1030标识的感兴趣对象O的对象预测位置1095。对象预测位置1095可以基于感兴趣对象O在感兴趣区域1091内的位置，诸如预测图像中的像素位置。在一些实施方案中，确定对象预测位置1095可以包括使用校准模型将像素位置转换为表面1090上的位置。在一些实施方案中，校准模型可以是数学模型，诸如三角模型、几何模型或样条模型。校准模型可以将预测图像中的像素位置与表面位置、瞄准传感器位置或取向、执行器位置或其组合关联。在一些实施方案中，对象位置模块1040可以基于将对象O的像素位置与表面上的位置关联的预定校准因子来确定对象预测位置1095。在一些实施方案中，预测位置1095可以考虑在采集预测图像的时间与将采集瞄准图像的时间之间检测系统相对于对象的移动。

对象位置模块1040可以经由线路1041将对象预测位置1095发送到瞄准模块1050。在一些实施方案中，瞄准模块1050是多个瞄准模块中的一者，并且瞄准模块1050可以基于瞄准模块的可用性或瞄准模块与对象预测位置1095的接近度来选择。

瞄准模块1050的瞄准控制模块1055可以经由线路1056控制瞄准传感器1060的位置、取向或方向。在一些实施方案中，瞄准控制模块1055可以通过移动调整瞄准传感器1060的位置或取向的致动器来控制瞄准传感器1060的位置、取向或方向。在一些实施方案中，瞄准控制模块1055可以通过移动调整反射表面的位置或取向的致动器来控制瞄准传感器1060的位置、取向或方向，所述反射表面将电磁波引导进出瞄准传感器1060。瞄准控制模块1055可以使用校准模型基于对象预测位置1095来调整瞄准传感器1060的位置、取向或方向。在一些实施方案中，瞄准控制模块1055可以基于将对象预测位置与致动器的位置关联的预定校准因子来调整瞄准传感器1060的位置、取向或方向，所述致动器诸如移动瞄准传感器的致动器或移动将电磁波引导进出瞄准传感器的反射表面的致动器。

瞄准传感器1060(其位置、取向或方向可以由瞄准控制模块1055调整为指向对象预测位置1095)经由线路1061采集被预测为包含感兴趣对象O的预测区域1092的瞄准图像。预测区域1092可以覆盖由预测传感器1020成像的感兴趣区域1091的一部分。

图10B示出了使用宽视野成像的表面上的杂草的预测图像(例如使用预测传感器成像的在感兴趣杂草周围裁剪的感兴趣区域1091(插图))以及使用较窄视野成像的同一杂草的瞄准图像(例如包含对象预测位置1095的预测区域1092或包含对象目标位置1096的目标区域1093)的示例。图10A的对象匹配模块1065可以确定经由线路1063从瞄准传感器1060接收到的预测区域1092或目标区域1093的瞄准图像中感兴趣对象的存在或不存在。在一些实施方案中，对象匹配模块1065包括对象匹配机器学习模型，其被训练为检测瞄准图像中的对象并将其与在预测图像中标识的对象进行匹配。对象匹配模块1065可以考虑由于传感器差异(诸如传感器类型、分辨率、放大率、视野或色彩平衡和敏感度、成像角度或位置的差异、检测系统的移动、非平面表面的可变性、或者在采集预测图像的时间与采集瞄准图像的时间之间对象的变化)而导致的对象外观的差异。

如果对象匹配模块1065没有在瞄准图像中定位感兴趣对象，则瞄准控制模块1055可以调整瞄准传感器的位置、取向或方向，并且瞄准传感器可以采集第二瞄准图像。可以重复该过程直到对象位于瞄准图像中。替代地或另外，如果对象匹配模块1065没有在瞄准图像中定位感兴趣对象，则可以从预测图像中选择不同的对象，并且可以确定新的预测位置。对象匹配模块1065可能无法标识目标图像中的感兴趣对象的原因可能包括运动校正不充分或瞄准图像中的对象被遮挡。

如果对象匹配模块1065确定感兴趣对象存在于瞄准图像中，则经由线路1066与对象匹配模块通信的位置细化模块1070可以基于对象在瞄准图像中的位置来确定感兴趣对象O的对象目标位置1096。确定对象目标位置可以包括使用校准模型将瞄准图像中的像素位置转换为表面1090上的位置。校准模型可以将瞄准图像中的像素位置与表面位置、瞄准传感器位置或取向、执行器位置或其组合关联。在一些实施方案中，目标位置1096可以考虑在采集瞄准图像的时间与将执行操纵的时间之间检测系统相对于对象的移动。

在一些实施方案中，对象匹配模块可以基于目标位置来确定偏移。所述偏移可以是当前致动器位置与将瞄准传感器指向对象目标位置1096的致动器位置之间的偏移。所述偏移可以是将瞄准传感器指向对象预测位置1095的致动器位置与将瞄准传感器指向对象目标位置1096的致动器位置之间的偏移。所述偏移可以是当前致动器位置与将执行器指向对象目标位置1096的致动器位置之间的偏移。所述偏移可以是将执行器指向对象预测位置1095的致动器位置与将执行器指向对象目标位置1096的致动器位置之间的偏移。所述偏移可以是表面上的预测位置1095与表面上的对象目标位置1096之间的偏移。偏移可以被确定为表面坐标、像素位置、致动器位置或其组合的函数。在一些实施方案中，位置细化模块可以基于检测系统的运动和自采集瞄准图像以来的时间来细化目标位置1096。例如，可以使用车轮编码器、测距传感器、IMU或GPS来确定运动。

作为响应，瞄准控制模块1055可以基于由位置细化模块1070确定并经由线路1071传送到瞄准控制模块1055的对象的目标位置来调整执行器的位置、取向或方向。在一些实施方案中，瞄准控制模块1055可以通过移动调整执行器1080的位置或取向的致动器经由线路1057来调整执行器1080的位置、取向或方向。在一些实施方案中，瞄准控制模块1055可以经由线路1056调整瞄准传感器1060的位置、取向或方向，并且瞄准传感器可以经由线路1062采集包含对象O的对象目标位置1096的表面1090的目标区域1093的图像。在一些实施方案中，瞄准控制模块1055可以通过移动调整反射表面的位置或取向的致动器来控制执行器1080的位置、取向或方向，所述反射表面将发射(诸如激光器发射)从执行器引向对象目标位置1096。

在一些实施方案中，执行器1080的移动与瞄准传感器1060的移动耦合，使得执行器1080被引向相对于瞄准传感器1060的视野的固定位置。在一些实施方案中，执行器1080的移动与瞄准传感器1060的移动由相同的致动器控制。

执行器1080可以通过经由线路1081将执行器引向对象目标位置1096来对感兴趣对象执行动作。例如，执行器1080可以是向对象目标位置1096处的对象O发射激光的激光器。在另一个示例中，执行器1080可以是抓取对象目标位置1096处的对象O的抓取工具。在另一个示例中，执行器1080可以是向对象目标位置1096处的对象O喷射流体的喷射工具。在一些实施方案中，执行器1080可以是在目标位置1096处种植植物的种植工具。在一些实施方案中，执行器1080可以是在对象目标位置1096处收割对象O的收割工具。在一些实施方案中，执行器1080可以是在对象目标位置1096处对对象O进行授粉的授粉工具。

对象标识和点对点瞄准方法

本文描述的方法可以用于使用本文描述的检测系统来标识和瞄准感兴趣对象。对象的标识和瞄准可以包括通过标识由第一传感器(例如预测传感器)采集的图像或表示中的对象并标识由第二传感器(例如瞄准传感器)采集的图像或表示中的同一对象来协调两个或更多个传感器之间的切换。在一些实施方案中，标识由第二传感器采集的图像中的同一对象可以包括标识图像中的对象并确定所述对象是否与在由第一传感器采集的图像中标识的对象相同。由于预测传感器与瞄准传感器之间的差异(诸如传感器类型、分辨率、放大率、视野或色彩平衡和敏感度、成像角度或位置的差异、检测系统的移动、非平面表面的可变性、或者在采集预测图像的时间与采集瞄准图像的时间之间对象的变化)，传感器切换可能会很复杂。

图11描绘了用于使用点对点瞄准来协调传感器切换以定位和瞄准对象的方法1100的示例。所述方法可以使用本文描述的检测系统(例如图10中描绘的检测系统1000)来实施。在一些实施方案中，方法1100可以由包括预测模块和瞄准模块的检测系统来实施，所述预测模块包括预测传感器和对象标识模块，所述瞄准模块包括瞄准传感器和对象匹配模块。例如，可以使用图8或图10A中所示的检测系统来实施方法。

在图11的1110处，预测传感器例如使用如图10A中所示的预测模块1010来采集预测图像。在1120处，在例如如图10A中所见的感兴趣区域1091的预测图像中标识感兴趣对象。在一些实施方案中，使用诸如对象标识机器学习模型的对象标识模块来标识感兴趣对象。在1130处确定感兴趣对象的预测位置，例如如图10A中所示的对象预测位置1095。在一些实施方案中，基于感兴趣对象在预测图像中的像素位置来确定预测位置。在一些实施方案中，预测位置考虑在采集预测图像的时间与将采集瞄准图像的时间之间检测系统相对于对象的移动。控制瞄准传感器的位置、取向或方向的致动器的位置可以基于预测位置来确定。例如，控制向瞄准传感器反射光的一个或多个镜子的一个或多个致动器的平移或倾斜值可以基于预测位置来确定。在另一个示例中，将瞄准传感器移动、倾斜或旋转的一个或多个致动器的位置值可以基于预测位置来确定。在一些实施方案中，致动器可以是马达、螺线管、检流计或伺服机构。将预测位置转换为致动器位置可以包括应用校准因子以将预测位置或对象在预测图像中的位置转换为致动器位置。

在1140处，将瞄准传感器指向感兴趣对象的预测位置，并且在1150处，瞄准传感器例如使用图10A的瞄准模块1050来采集预测位置的图像。在1160处，在例如预测区域1092或目标区域1093的瞄准图像中标识感兴趣对象。可以通过将在瞄准图像中标识的对象与在感兴趣区域1091的预测图像中标识的感兴趣对象进行匹配来标识感兴趣对象。在一些实施方案中，对象匹配由对象匹配模块(诸如对象匹配机器学习模型)执行。为了将在瞄准图像中标识的对象与在预测图像中标识的对象进行匹配，对象匹配模块可以考虑预测传感器与瞄准传感器之间的差异，诸如传感器类型、分辨率、放大率、视野或色彩平衡和敏感度、成像角度或位置的差异、检测系统的移动、非平面表面的可变性、或者在采集预测图像的时间与采集瞄准图像的时间之间对象的变化。如果在瞄准图像中没有标识出感兴趣对象，则可以调整瞄准传感器的位置、取向或方向，并且可以采集第二瞄准图像。在一些实施方案中，可以重复该过程直到在瞄准图像中标识出感兴趣对象。

一旦在瞄准图像中标识出感兴趣对象，就在1170处确定感兴趣对象的目标位置。在一些实施方案中，可以基于对象在瞄准图像中的像素位置来确定感兴趣对象的目标位置。在一些实施方案中，目标位置可以根据由对象匹配模块标识的对象的位置来确定。在一些实施方案中，确定目标位置可以包括使用校准因子将瞄准图像中的像素位置转换为对象在表面上的位置。在一些实施方案中，目标位置可以考虑在采集瞄准图像的时间与将执行操纵的时间之间检测系统相对于对象的移动。

在1180处，确定感兴趣对象的目标位置和预测位置之间的偏移。在一些实施方案中，可以基于所确定的偏移来调整瞄准传感器的位置。在一些实施方案中，执行器基于对象的目标位置或基于偏移来定位。在一些实施方案中，执行器的位置相对于瞄准传感器是固定的。在一些实施方案中，瞄准传感器和执行器的运动是协调的。执行器可以指向对象的目标位置以在对象上执行动作或操纵对象。例如，执行器可以是向对象发射激光的激光器。在另一个示例中，执行器可以是抓取对象的抓取工具。在另一个示例中，执行器可以是向对象喷射流体的喷射工具。在另一个示例中，执行器可以是对对象进行授粉的授粉工具。在一些实施方案中，执行器可以是在对象位置处种植植物的种植工具、拾取对象的拾取工具、检查对象的检查工具、对对象位置处的土壤进行采样的土壤采样工具、对对象进行操作的操作工具、修复对象的修复工具或焊接对象的焊接工具。

用于对象标识的机器学习模型

如本文所述，用于定位和瞄准对象的方法可以包括标识由传感器(例如预测传感器)采集的图像中的对象。在一些实施方案中，可以使用诸如标识机器学习模型的对象标识模块来执行对象标识。在一些实施方案中，机器学习模型可以是深度学习模型，诸如深度学习神经网络。预测系统可以使用对象标识模块来标识感兴趣对象并将感兴趣对象与由预测传感器采集的预测图像中的其他对象区分开。例如，对象标识模块可以标识预测图像中的杂草并将杂草与预测图像中的其他植物(诸如作物)区分开。在另一个示例中，对象标识模块可以标识预测图像中的碎屑并将碎屑与预测图像中的其他物品区分开。

可以使用由人类用户标记的对象的图像来训练对象标识机器学习模型。图像可以包含与感兴趣对象或其他不感兴趣对象相对应的不同对象。例如，图像可以是不同类型的植物，并且图像中的植物可以由人类用户标识并指定为杂草或非杂草，并且可以相应地标记图像。例如，人类用户可以将植物标记为作物，诸如洋葱、草莓、玉米或马铃薯，或者标记为杂草，诸如蒲公英、旋花、蓟、偃麦草或荠菜。标识机器学习模型可以使用标记图像来训练并且可以提取各种对象的特征。例如，深度学习模型可以提取不同植物类型的特征。在一些实施方案中，训练图像是高分辨率图像以促进深度学习模型进行的特征提取。为了验证模型，对象标识模块可以标识尚未用于训练模型的未标记图像中的对象。来自模型的标识可以与来自人类用户的标识进行比较。

用于对象匹配的机器学习模型

如本文所述，用于定位和瞄准对象的方法可以包括将在由诸如预测传感器的第一传感器采集的图像中标识的对象与在由诸如瞄准传感器的第二传感器采集的图像中标识的对象进行匹配。第一传感器和第二传感器可以具有不同的属性，这使得难以标识由第一传感器采集的图像和由第二传感器采集的图像中的相同对象。例如，第一传感器和第二传感器可以具有不同的传感器类型、分辨率、放大率、视野或色彩平衡和敏感度，或者传感器可以相对于对象处于不同位置。

第一传感器与第二传感器之间的差异可能导致同一对象在由第一传感器采集的图像和由第二传感器采集的图像中看起来不同。可能导致同一对象在由第一传感器采集的图像和由第二传感器采集的图像中看起来不同的其他因素可以包括非平面表面的可变性、传感器的移动或者在第一传感器采集图像时与在第二传感器采集图像时之间对象的变化。对象匹配机器学习模型可以用于将由第一传感器(诸如预测传感器)采集的图像中标识的对象与在由第二传感器采集的图像中标识的对象进行匹配，考虑由第一传感器采集的图像与由第二传感器采集的图像之间的对象外观差异。在一些实施方案中，机器学习模型可以是深度学习模型，诸如深度学习神经网络。

可以使用由预测传感器采集的对象的图像和由瞄准传感器采集的相同对象、不同对象或没有对象的图像来训练匹配机器学习模型。在一些实施方案中，来自预测传感器和瞄准传感器的包含同一对象的图像彼此在约1秒、约10秒、约30秒、约1分钟、约5分钟、约15分钟、约30分钟、约45分钟、约1小时、约2小时、约6小时、约12小时、约24小时、或约48小时内采集以将在采集预测图像时与在采集瞄准图像时之间对象的变化最小化。在一些实施方案中，人类用户可以被提供由预测传感器采集的对象的图像，并手动地标识由瞄准传感器采集的图像中的同一对象，并且瞄准图像可以被相应地标记。

可以使用标记的瞄准图像结合对象的预测图像来训练匹配机器学习模型。可以训练匹配机器学习模型来标识由具有不同分辨率、视野和色彩敏感度的传感器成像的从不同角度和距离采集的同一对象。为了验证模型，对象匹配模块可以被提供由预测传感器采集的未用于训练的对象的图像，并且可以在由瞄准传感器采集的未标记图像中标识同一对象。来自模型的标识可以与来自人类用户的标识进行比较。

可以通过测量直接命中的百分比、在对象的预定距离内的命中百分比，以及距对象预定距离之外或不存在对象的情况下的未命中百分比来评估对象匹配模型的准确性。通过确定在不存在对象时标识出对象的频率(误报率)和在存在对象时未标识出对象的频率(漏报率)来评估敏感度和特异性。

点对点瞄准和协调传感器切换

本文描述的对象标识和对象匹配方法可以由包括两个或更多个图像传感器的系统来实施，以协调传感器切换并执行对象的点对点瞄准。可以在由诸如预测传感器的第一传感器采集的图像中标识和定位对象，并且可以使用对象匹配模块在由诸如瞄准传感器的第二传感器采集的图像中更精确地定位同一对象。在一些实施方案中，在由第一传感器采集的图像中手动标识对象。在一些实施方案中，使用实施标识对象的软件的对象标识模块来在由第一传感器采集的图像中标识对象。在一些实施方案中，对象标识模块可以实施标识机器学习模型。在一些实施方案中，对象标识模块可以实施启发式模型、阈值化或经典检测算法。在一些实施方案中，对象标识模块使用光谱数据来标识对象。在一些实施方案中，基于对象在图像内的位置(诸如像素位置)在由第一传感器采集的图像中标识对象。

第二传感器可以具有与第一传感器不同的位置、取向、距离或分辨率。使用对象匹配模块将由第二传感器采集的图像中的对象与由第一传感器采集的图像中标识的对象进行匹配可以促进第一传感器与第二传感器之间的切换，从而使得能够通过第一传感器和第二传感器定位同一对象。第一图像传感器可以具有比第二传感器更宽的视野，这可以允许对象在由第二传感器采集的图像中比在由第一传感器采集的图像中更精确地定位。系统可以具有3、4、5、6、7、8、9、10个或更多个传感器，这可以允许2、3、4、5、6、7、8、9、10个或更多个对象位于由第一传感器采集的一个或多个图像中。例如，系统可以具有2、3、4、5、6、7、8、9、10个或更多个瞄准传感器。2、3、4、5、6、7、8、9、10个或更多个对象中的每一者可以在由第二、第三、第四、第五、第六、第七、第八、第九、第十或更多个传感器采集的图像中匹配和定位，使得能够由3、4、5、6、7、8、9、10个或更多个传感器同时瞄准多个对象。

诸如预测传感器的第一传感器可以对表面的区域或区进行成像。与诸如瞄准传感器的第二传感器相比，第一传感器可以具有更高的分辨率、更宽的视野或者不同的位置、距离或取向。在一些实施方案中，第一传感器可以位于交通工具上，诸如位于驾驶、飞行或轨道交通工具上。例如，第一传感器可以位于汽车、遥控汽车、自动驾驶汽车、自主汽车、自主除草机、拖拉机、联合收割机、收割机、种植机、喷射机、农用交通工具、建筑交通工具、推土机、反铲挖掘机、起重机、飞机、直升机、遥控飞机、无人机或卫星上。在一些实施方案中，第二传感器可以位于与第一传感器相同的交通工具上，例如，位于同一汽车、遥控汽车、自动驾驶汽车、自主汽车、飞机、直升机、遥控飞机、无人机或卫星上。

在一些实施方案中，第二传感器可以位于第二交通工具上，诸如位于汽车、遥控汽车、自动驾驶汽车、自主汽车、飞机、直升机、遥控飞机、无人机或卫星上。具有第二传感器的第二交通工具可以相对于具有第一传感器的第一交通工具处于已知或预定位置。例如，第一交通工具和第二交通工具可以相对于彼此处于固定位置。在另一个示例中，第一交通工具与第二交通工具之间的相对位置可以通过全球定位系统(GPS)、雷达、LIDAR、声呐或远程导航(LORAN)来确定。第二传感器可以位于相同或不同类型的交通工具上。例如，第一传感器可以位于诸如卫星的轨道交通工具上，并且第二传感器可以位于诸如飞机、直升机、遥控飞机或无人机的飞行传感器上。在另一个示例中，第一传感器可以位于诸如飞机、直升机、遥控飞机或无人机的飞行传感器上，并且第二传感器可以位于诸如汽车、拖拉机、遥控汽车、自动驾驶汽车或自主汽车的驾驶交通工具上。

对象标识模块可以用于标识位于由第一传感器采集的图像内的感兴趣对象。在一些实施方案中，对象标识模块可以将感兴趣对象与其他对象区分开。与第一传感器通信的预测系统可以从所标识的感兴趣对象中选择要瞄准的感兴趣对象。预测系统可以确定对象的预测位置。在一些实施方案中，使用根据经验确定的校准因子来确定预测位置，所述校准因子将图像中的像素位置与表面位置、交通工具位置、第一传感器的位置、方向或取向、第二传感器的位置、方向或取向或其组合进行协调。对象的预测位置可以被发送到与第二传感器通信的瞄准系统。

瞄准系统可以调整第二传感器的位置、取向或方向，或者携带第二传感器的交通工具的位置、取向或方向，以将第二传感器指向对象的预测位置。例如，瞄准系统可以调整控制第二传感器或控制向第二传感器反射光的一个或多个镜子的一个或多个致动器的位置，或者瞄准传感器可以移动交通工具以调整第二传感器的位置、取向或方向。在一些实施方案中，第二传感器的移动可以与执行器(例如激光器)的移动相关联，使得第二传感器的移动和执行器的移动关联。在一些实施方案中，可以独立于第二传感器来控制执行器。在一些实施方案中，执行器相对于第二传感器的位置、取向或方向的位置、取向或方向是已知的。

第二传感器可以对感兴趣对象的预测位置处的表面的区域或区进行成像。在一些实施方案中，由第二传感器成像的区域可以小于由第一传感器成像的区域，如图10B中所示。图10B的插图示出了由包含感兴趣对象的预测传感器成像并在感兴趣对象周围裁剪的表面区域的图像。图10B的较大图像示出了由包含同一感兴趣对象的瞄准传感器成像的表面区域的图像，如由对象匹配机器学习模型所确定的。

瞄准系统可以使用对象匹配模块(诸如对象匹配机器学习模型)来确定选定对象是否存在于由第二传感器采集的图像中。如果图像中存在对象，则对象匹配模块可以确定对象的目标位置。对象的目标位置可以比根据由第一传感器采集的图像确定的对象的预测位置更接近对象的实际位置。在一些实施方案中，基于将对象在由第二传感器采集的图像中的像素位置与表面位置、交通工具位置、第二传感器的位置、方向或取向或其组合关联的校准因子来确定目标位置。

瞄准系统可以确定对象的预测位置与对象的目标位置之间的偏移。在一些实施方案中，偏移可以是对象的预测表面位置与目标表面位置之间的偏移。在一些实施方案中，偏移可以是第二传感器在对象的预测位置处的位置、方向或取向与第二传感器在对象的目标位置处的位置、方向或取向之间的偏移。在一些实施方案中，偏移可以是第二传感器在对象的预测位置处的位置、方向或取向与执行器在对象的目标位置处的位置、方向或取向之间的偏移。在一些实施方案中，偏移可以是执行器在对象的预测位置处的位置、方向或取向与执行器在对象的目标位置处的位置、方向或取向之间的偏移。在一些实施方案中，偏移可以是执行器的当前位置、方向或取向与引向对象的目标位置的执行器的位置、方向或取向之间的偏移。在一些实施方案中，偏移可以是第二传感器在对象的预测位置处的位置、方向或取向与交通工具在对象的目标位置处的位置之间的偏移。在一些实施方案中，偏移可以是交通工具在对象的预测位置处的位置与交通工具在对象的目标位置处的位置之间的偏移。

第二传感器、执行器、交通工具或其组合的位置、方向或取向可以基于朝向对象的目标位置的偏移来调整。执行器可以用于在对象的目标位置处操纵对象。例如，执行器可以是向对象发射激光的激光器。在另一个示例中，执行器可以是抓取对象的抓取工具。在另一个示例中，执行器可以是向对象喷射流体的喷射工具。在另一个示例中，执行器可以是对对象进行授粉的授粉工具。

例如通过在由第一传感器采集的图像中定位感兴趣对象并使用对象匹配模块在由第二传感器采集的图像中标识同一对象，使用点对点瞄准来协调传感器切换可以比不使用点对点瞄准的方法提供改进的对象瞄准准确度。在一些实施方案中，使用点对点瞄准来协调传感器切换可以提高位于不平坦或不规则表面上或附近的对象的瞄准准确度。在一些实施方案中，点对点瞄准可以使得能够在不同类型的或具有不同规格的传感器之间协调传感器切换。

例如，点对点瞄准可以实现LIDAR检测器与相机之间、高分辨率相机与低分辨率相机之间，或者彩色相机与黑白相机之间的传感器切换。在一些实施方案中，点对点瞄准可以用于利用更高质量的传感器(诸如更高分辨率、更好的色彩再现或更宽的视野)来定位感兴趣对象并利用较低质量的传感器来瞄准对象，并且可以提供相对于单独利用较低质量的传感器来瞄准对象而言改进的瞄准。在一些实施方案中，点对点瞄准可以考虑对象的未知的基于时间的移动，并且可以提供对移动对象的改进的瞄准或对来自移动交通工具的对象的改进的瞄准。

实施本公开的点对点瞄准方法的检测系统可以用于以比不使用点对点瞄准的系统提高的准确度来瞄准对象。在一些实施方案中，使用点对点瞄准的检测系统的执行器可以瞄准距感兴趣对象的实际位置约1mm、约1.5mm、约2mm、约2.5mm、约3mm、约4mm、约5mm、约6mm、约7mm、约8mm、约9mm、约10mm、约15mm、约20mm、约25mm、约30mm、约40mm、约50mm、约60mm、约70mm、约80mm、约90mm、约100mm、约150mm、约200mm、约300mm、约400mm、约500mm、约1m、约1.5m、约2m、约2.5m、约3m、约4m、约5m、约6m、约7m、约8m、约9m、约10m、约15m、约20m、约25m、约30m、约40m、约50m、约60m、约70m、约80m、约90m、或约100m内的感兴趣对象。

在一些实施方案中，使用点对点瞄准确定的感兴趣对象的目标位置可以距感兴趣对象的实际位置在约1mm、约1.5mm、约2mm、约2.5mm、约3mm、约4mm、约5mm、约6mm、约7mm、约8mm、约9mm、约10mm、约15mm、约20mm、约25mm、约30mm、约40mm、约50mm、约60mm、约70mm、约80mm、约90mm、约100mm、约150mm、约200mm、约300mm、约400mm、约500mm、约1m、约1.5m、约2m、约2.5m、约3m、约4m、约5m、约6m、约7m、约8m、约9m、约10m、约15m、约20m、约25m、约30m、约40m、约50m、约60m、约70m、约80m、约90m、或约100m内。

在一些实施方案中，预测位置和使用点对点瞄准确定的感兴趣对象的目标位置可以距感兴趣对象的实际位置在约1mm、约1.5mm、约2mm、约2.5mm、约3mm、约4mm、约5mm、约6mm、约7mm、约8mm、约9mm、约10mm、约15mm、约20mm、约25mm、约30mm、约40mm、约50mm、约60mm、约70mm、约80mm、约90mm、约100mm、约150mm、约200mm、约300mm、约400mm、约500mm、约1m、约1.5m、约2m、约2.5m、约3m、约4m、约5m、约6m、约7m、约8m、约9m、约10m、约15m、约20m、约25m、约30m、约40m、约50m、约60m、约70m、约80m、约90m、或约100m内。

光学系统校准方法

本文公开的系统和方法还可以包括一个或多个校准步骤，以校准预测传感器、瞄准传感器、执行器或其组合的位置、方向、取向或运动。在一些实施方案中，校准可以用于将由预测传感器或瞄准传感器采集的图像或表示中的位置(诸如像素位置)与表面上的位置关联。在一些实施方案中，校准可以用于将由第一传感器(诸如预测传感器)采集的图像或表示中的位置与由第二传感器(诸如瞄准传感器)采集的图像或表示中的位置关联。在一些实施方案中，校准可以用于将由预测传感器采集的图像中的位置与瞄准传感器的位置、方向、取向或运动关联。在一些实施方案中，校准可以用于将由瞄准传感器采集的图像中的位置与瞄准传感器、执行器或其组合的位置、方向、取向或运动关联。在一些实施方案中，校准可以用于将执行器的位置、方向、取向或运动与表面上的位置关联。校准方法可以使用经验测量来关联定位、取向、位置或移动。替代地或另外，校准方法可以使用数学模型来关联定位、取向、位置或移动。

预测传感器和瞄准传感器的校准

本公开的系统可以被校准以使瞄准传感器的位置或方向与由预测传感器采集的预测图像的区域关联。瞄准传感器的方向与预测相机的区域之间的相关性可以使用具有可区分特征或不同基准标记的校准表面(诸如图12中所示的校准网格)来执行。在一些实施方案中，校准表面可以是其上具有标记的表面。在一些实施方案中，校准表面可以是其上具有可区分对象的表面。在一些实施方案中，校准可以是具有变化(诸如色彩、纹理或密度变化)的表面。

包含预测传感器和瞄准传感器的系统相对于校准表面位于固定位置处，使得校准表面与预测传感器的视野和瞄准传感器的视野重叠。例如，系统可以被置于表面上。预测传感器可以采集校准表面的图像。瞄准传感器可以从不同的瞄准传感器位置或方向采集校准表面的一系列图像。瞄准传感器的每个不同位置或方向可以对应于控制瞄准传感器的位置或方向的致动器的不同位置组。在一些实施方案中，可以在随机致动器位置处采集该系列图像。

对于包含校准表面的区域的系列中的每个图像，可以标识校准表面的可区分特征并将其映射到包含可区分特征的预测图像的区域。瞄准图像的对应致动器位置可以与预测图像的区域关联，使得预测图像中的位置与致动器位置以及目标相机位置关联。在一些实施方案中，校准模型可以用于针对以经验测量的传感器位置或方向之间的位置推断对应的预测图像位置和致动器位置。在一些实施方案中，校准模型是数学模型，诸如样条模型、几何模型或三角模型。在一些实施方案中，校准模型对于非平面表面可能具有降低的准确度。

图1至图3中所示的光学控制系统可以使用本文描述的方法来校准。在一些实施方案中，校准图8的预测模块的用于控制平移的相机系统812。在一些实施方案中，校准表面(诸如图12中所示的校准网格)可以位于预测相机的视野内。校准表面包括在已知位置处的已知标记。预测相机可以在相对于校准表面的不同位置处采集校准表面的多个图像。然后，预测模块可以将已知标记的像素位置与表面上的已知位置关联。插值函数可以根据多个相关的像素位置和已知的表面位置来构建。在一些实施方案中，插值函数可以被保存到硬盘驱动器并由预测模块从硬盘驱动器中加载。

在一些实施方案中，校准图8的瞄准模块的用于控制平移的相机系统822。在一些实施方案中，校准图10A的瞄准控制模块1055。在一些实施方案中，校准表面位于瞄准相机的视野内。校准表面包括在已知位置处的已知标记。瞄准模块可以采集校准表面和多个致动器位置的多个图像，使得多个图像包括不同视野。例如，瞄准模块可以在第一致动器和第二致动器的多个随机选定平移倾斜值处采集多个图像。校准地图可以由多个采样点构建。可以通过标识在已知致动器位置处采集的图像中的已知标记的像素位置并将已知位置与致动器位置和像素位置关联来采集每个样本点。在一些实施方案中，将地图拟合到校准模型。例如，可以将地图拟合到数学模型，诸如样条平滑算法，以构建平滑曲线以允许准确估计样本点之间的位置。在一些实施方案中，校准模型可以被保存到硬盘驱动器并由瞄准模块从硬盘驱动器中加载。

执行器校准

本公开的系统可以被校准以使执行器的位置或方向与由瞄准传感器采集的瞄准图像中的像素位置关联。在一些实施方案中，执行器的位置或方向相对于瞄准传感器是固定的。例如，激光执行器和瞄准相机可以由相同的镜子控制，如图1至图3中所示，使得激光的方向耦合到传感器的方向。在另一个示例中，执行器可以刚性地联接到瞄准传感器，使得执行器与瞄准传感器一起移动。在一些实施方案中，可以基于校准来调整执行器相对于瞄准传感器的位置或方向。在一些实施方案中，执行器可以相对于瞄准传感器移动。

可以通过利用执行器在表面上的某个位置处执行动作来执行执行器和瞄准传感器的校准。在一些实施方案中，所述动作可以在表面上在所述位置处留下标记。例如，激光执行器可能会在表面上燃烧斑点，或者喷射执行器可能会在表面上留下湿点。在一些实施方案中，所述动作可以在所述位置处改变表面。例如，抓取工具可以在所述位置处在表面中形成孔。在一些实施方案中，执行器的位置可以由瞄准传感器确定。瞄准传感器可以在由执行器进行的动作的位置处采集表面图像。可以确定瞄准图像中的动作位置或执行器位置。瞄准图像中的像素位置可以与执行器位置或执行器的动作位置关联。在一些实施方案中，执行器相对于瞄准传感器的位置可以被调整到优选位置。例如，可以调整执行器相对于瞄准传感器的位置，使得执行器的动作位置位于瞄准图像的中心或附近。

在一些实施方案中，本公开的光学系统(例如图1至图3中所示的光学系统)可以被校准以将由瞄准传感器采集的表面的图像中的像素位置与表面上的执行器位置(诸如激光器波束遇到表面的位置或者执行器与对象或表面相互作用的位置)关联。瞄准传感器的方向和执行器的方向可以物理地链接。例如，瞄准传感器的方向和激光器的方向可以通过控制激光器的方向和瞄准传感器的方向两者的光学元件物理链接，如图1至图3中所示，使得瞄准相机与激光器波束位置在表面上的相对位置是固定的。瞄准传感器可以采集表面的图像，并且当处于与传感器相同的位置时，执行器可以在表面处执行动作。在传感器图像中标识动作点，并且确定动作点的像素位置。可以重复采集图像、在表面处执行动作以及标识动作点的像素位置的过程，以确定描述瞄准传感器与表面上的动作点之间的关系的校准模型。在一些实施方案中，校准模型是数学模型。在一些实施方案中，使用样条模型、几何模型或三角模型来计算校准模型以推断以经验测量的位置之间的传感器和执行器位置。

瞄准系统精细运动校准

可以按表面上的位置或距离校准本公开的传感器或执行器的精细运动。传感器的精细运动校准可以通过利用传感器采集校准表面的第一图像、调整传感器位置并采集校准表面的第二图像来执行。在一些实施方案中，使用致动器来执行调整。可以确定可区分特征在第一图像和第二图像中的位置，并且可以确定两个位置之间的运动的距离和方向。运动的距离和方向可以与致动器运动的幅度和方向关联。可以针对许多不同的致动器运动或位置重复该过程以确定校准模型。在一些实施方案中，诸如样条模型、几何模型或三角模型的数学模型可以用于针对以经验确定的点之间的位置推断对应的传感器和致动器运动，诸如镜子平移和倾斜值。例如，可以使用样条模型来推断对应的传感器和致动器运动。在一些实施方案中，校准模型对于非平面表面可能具有降低的准确度。

执行器的精细运动校准可以通过将执行器引导到表面上的位置并利用传感器(诸如瞄准传感器)采集校准表面的第一图像来执行。执行器在第一图像中的位置可以由执行器的位置本身或由执行器执行的动作的位置来确定。在一些实施方案中，由执行器执行的动作可以在表面上留下标记或改变表面。可以调整执行器位置，并且可以通过传感器采集表面的第二图像。在一些实施方案中，使用致动器来执行调整。可以确定执行器的位置或由执行器执行的动作在第一图像和第二图像中的位置，并且可以确定两个位置之间的运动的距离和方向。运动的距离和方向可以与致动器运动的幅度和方向关联。

可以针对许多不同的致动器运动或位置重复该过程以确定校准模型。校准模型可以用于针对以经验确定的点之间的位置推断对应的执行器和致动器运动，诸如镜平移和倾斜值。在一些实施方案中，校准模型是数学模型，诸如样条模型、几何模型或三角模型。在一些实施方案中，校准对于非平面表面可能具有降低的准确度。

计算机系统和方法

对象标识和瞄准方法可以使用计算机系统来实施。在一些实施方案中，本文描述的检测系统包括计算机系统。在一些实施方案中，计算机系统可以在没有人类输入的情况下自主地实施对象标识和瞄准方法。在一些实施方案中，计算机系统可以基于由人类用户通过检测终端提供的指令来实施对象标识和瞄准方法。

图13示出了根据本公开的各个方面的检测终端1400的非限制性示例性实施方案的框图中的部件。在一些实施方案中，检测终端1400是显示用户界面以便提供对检测系统的访问的装置。如图所示，检测终端1400包括检测接口1420。检测接口1420允许检测终端1400与检测系统(诸如图8的检测系统或图10A的检测系统)通信。在一些实施方案中，检测接口1420可以包括天线，所述天线被配置为例如通过遥控器与检测系统通信。在一些实施方案中，检测终端1400还可以包括本地通信接口，诸如以太网接口、Wi-Fi接口或允许与检测系统相关联的其他装置经由检测终端1400连接到检测系统的其他接口。例如，检测终端可以是运行图形界面的手持装置，诸如移动电话，所述用户界面使得用户能够通过蓝牙、Wi-Fi或移动网络远程地操作或监控检测系统。

检测终端1400还包括检测引擎1410。检测引擎可以接收关于检测系统(例如图8的检测系统或图10A的检测系统)的状态的信息。检测引擎可以接收关于所标识的对象的数量、所标识的对象的身份、所标识的对象的位置、瞄准的对象的数量、瞄准的对象的身份、瞄准的对象的位置、检测系统的位置、由检测系统执行的任务的经过时间、由检测系统覆盖的区域、检测系统的电池电量或其组合的信息。

所示装置的实际实施方案中将包括本领域普通技术人员已知的更多部件。例如，所示装置中的每一者都将具有电源、一个或多个处理器、用于存储计算机可执行指令的计算机可读介质等等。为了清楚起见，本文未示出这些附加部件。

图14是示出根据本公开的各个方面的用于检测对象的过程1500的非限制性示例性实施方案的流程图。过程1500是适合与图13中所示的检测终端1400一起使用的过程的示例，所述过程用于配置与本公开的检测系统通信的检测终端。在一些实施方案中，过程1500被递归地执行以针对检测系统、对象、检测终端1400的变化进行调整。

在框1520中，选择用于检测感兴趣对象的参数。

在框1530中，指示检测系统根据检测参数来检测对象。

虽然已经示出和描述了说明性实施方案，但是应当理解，可以在不脱离本公开的精神和范围的情况下对其进行各种改变。

在一些示例中，本文描述的过程(例如，图9的过程900、图11的过程1100或图14的过程1500，或本文描述的其他过程)可以由计算装置或设备(诸如具有图15中所示的计算装置架构1600的计算装置)执行。在一个示例中，本文描述的过程可以由具有计算装置架构1600的计算装置来执行。计算装置可以包括任何合适的装置，诸如移动装置(例如，移动电话)、桌面计算装置、平板计算装置、可穿戴装置、服务器(例如，在软件即服务(SaaS)系统或其他基于服务器的系统中)和/或具有用于执行本文描述的过程(包括过程900、1100或1500)的资源能力的任何其他计算装置。在一些情况下，计算装置或设备可以包括各种部件，诸如一个或多个输入装置、一个或多个输出装置、一个或多个处理器、一个或多个微处理器、一个或多个微型计算机和/或被配置为执行本文描述的过程的步骤的其他部件。在一些示例中，计算装置可以包括显示器(作为输出装置的示例或作为输出装置的补充)、被配置为传送和/或接收数据的网络接口、其任何组合和/或其他部件。网络接口可以被配置为传送和/或接收基于互联网协议(IP)的数据或其他类型的数据。

计算装置的部件可以在电路中实施。例如，所述部件可以包括电子电路或其他电子硬件和/或可以使用电子电路或其他电子硬件来实施，所述电子电路或其他电子硬件可以包括一个或多个可编程电子电路(例如，微处理器、图形处理单元(GPU)、数字信号处理器(DSP)、中央处理单元(CPU)和/或其他合适的电子电路)；和/或可以包括计算机软件、固件或其任何组合和/或使用计算机软件、固件或其任何组合来实施，以执行本文描述的各种操作。

过程900、1100和1500被示出为逻辑流程图，其操作表示可以在硬件、计算机指令或其组合中实施的操作序列。在计算机指令的上下文中，所述操作表示存储在一个或多个计算机可读存储介质上的计算机可执行指令，所述计算机可执行指令在由一个或多个处理器执行时执行所叙述的操作。通常，计算机可执行指令包括执行特定功能或实施特定数据类型的例程、程序、对象、部件、数据结构等。描述操作的顺序不意图被解释为限制，并且可以以任何顺序和/或并行地组合任何数量的所描述的操作来实施所述过程。

另外，本文描述的过程可以在被配置有可执行指令的一个或多个计算机系统的控制下执行并且可以被实施为在一个或多个处理器上共同执行、通过硬件执行或其组合的代码(例如，可执行指令、一个或多个计算机程序、或一个或多个应用程序)。如上文提及，所述代码可以例如以包括可由一个或多个处理器执行的多个指令的计算机程序的形式存储在计算机可读或机器可读存储介质上。计算机可读或机器可读存储介质可以是非瞬态的。

图15示出了可以实施本文描述的各种技术的示例性计算装置的示例性计算装置架构1600。例如，计算装置架构1600可以实施图10A中所示的检测系统。计算装置架构1600的部件被示出为使用诸如总线的连接1605彼此电通信。示例性计算装置架构1600包括处理单元(其可以包括CPU和/或GPU)1610和计算装置连接1605，所述计算装置连接将包括计算装置存储器1615(诸如只读存储器(ROM)1620和随机存取存储器(RAM)1625)的各种计算装置部件耦合到处理器1610。在一些实施方案中，计算装置可以包括硬件加速器。

计算装置架构1600可以包括与处理器1610直接连接、紧密接近或集成为处理器的一部分的高速存储器的高速缓存。计算装置架构1600可以将数据从存储器1615和/或存储装置1630复制到高速缓存1612以供处理器1610快速访问。这样，高速缓存可以提供性能提升，这避免处理器1610在等待数据时延迟。这些和其他模块可以控制或被配置为控制处理器1610以执行各种动作。也可以使用其他计算装置存储器1615。存储器1615可以包括具有不同性能特性的多种不同类型的存储器。处理器1610可以包括任何通用处理器以及被配置为控制处理器1610的硬件或软件服务(诸如存储在存储装置1630中的服务11632、服务21634和服务31636)以及其中将软件指令结合到处理器设计中的专用处理器。处理器1610可以是独立的系统，其包含多个核或处理器、总线、存储器控制器、高速缓存等。多核处理器可以是对称的或不对称的。

为了使得用户能够与计算装置架构1610交互，输入装置1645可以表示任何数量的输入机构，诸如用于语音的传声器、用于手势或图形输入的触敏屏幕、键盘、鼠标、运动输入、语音等等。输出装置1635还可以是本领域技术人员已知的多种输出机制中的一种或多种，诸如显示器、投影仪、电视、扬声器装置等。在一些情况下，多模态计算装置可以使得用户能够提供多种类型的输入以与计算装置架构1600进行通信。通信接口1640通常可以支配和管理用户输入和计算装置输出。对于在任何特定硬件布置上进行操作没有限制，因此，此处的基本功能在被开发时可以轻松替换为改进的硬件或固件装置。

存储装置1630是非易失性存储器并且可以是硬盘或可以存储计算机可访问的数据的其他类型的计算机可读介质，诸如磁带、闪存卡、固态存储器装置、数字通用磁盘、盒式磁带、随机存取存储器(RAM)1625、只读存储器(ROM)1620及其混合。存储装置1630可以包括用于控制处理器1610的服务1632、1634、1636。设想了其他硬件或软件模块。存储装置1630可以连接到计算装置连接1605。一方面，执行特定功能的硬件模块可以包括存储在计算机可读介质中的软件部件与必要的硬件部件(诸如处理器1610、连接1605、输出装置1635等等)的结合以执行功能。

术语“计算机可读介质”包括但不限于便携式或非便携式存储装置、光学存储装置以及能够存储、包含或携带指令和/或数据的各种其他介质。计算机可读介质可以包括其中可以存储数据并且不包括无线地或通过有线连接传播的载波和/或瞬态电子信号的非暂时性介质。非暂时性介质的示例可以包括但不限于磁盘或磁带、诸如压缩光盘(CD)或数字通用磁盘(DVD)的光学存储介质、闪存、存储器或存储器装置。计算机可读介质在其上可以存储代码和/或机器可执行指令，它们可以表示过程、函数、子程序、程序、例程、子例程、模块、软件包、类别，或者指令、数据结构或程序语句的任何组合。代码段可以通过传递和/或接收信息、数据、自变量、参数或存储器内容而耦合到另一个代码段或硬件电路。信息、自变量、参数、数据等可以经由任何合适的方式来传递、转发或传输，这些方式包括存储器共享、消息传递、令牌传递、网络传输等。

在一些实施方案中，计算机可读存储装置、介质和存储器可以包括包含位流等的有线或无线信号。然而，在提及时，非暂时性计算机可读存储介质明确排除诸如能量、载波信号、电磁波和信号本身的介质。

在以上描述中提供了具体细节以提供对本文提供的实施方案和示例的透彻理解。然而，本领域普通技术人员将理解，可以在没有这些具体细节的情况下实践这些实施方案。为了解释清楚，在一些情况下，本技术可以被呈现为包括各个功能块，该功能块包括包含以软件或硬件与软件的组合体现的方法中的装置、装置部件、步骤或例程的功能块。可以使用除了图中所示和/或本文描述的那些之外的附加部件。例如，电路、系统、网络、过程和其他部件可以以框图形式示出为部件，以免在不必要的细节中混淆实施方案。在其他情况下，可以在没有不必要的细节的情况下示出公知电路、过程、算法、结构和技术以免混淆实施方案。

上文可以将各个实施方案描述为过程或方法，该过程或方法被描绘为流程图、流程图解、数据流图、结构图或框图。尽管流程图可以将操作描述为循序过程，但是许多操作可并行或同时执行。另外，可以重新布置操作顺序。过程在其操作完成时终止，但是可能具有图中未包括的附加步骤。过程可以对应于方法、函数、程序、子例程、子程序等。当过程对应于函数时，其终止可以对应于函数返回到调用函数或主函数。

可以使用存储在计算机可读介质中或可从计算机可读介质中获得的计算机可执行指令来实施根据上述示例的过程和方法。此类指令可以包括例如导致或以其他方式配置通用计算机、专用计算机或处理装置以执行特定功能或功能组的指令和数据。可以通过网络访问所使用的计算机资源的部分。计算机可执行指令可以是例如二进制文件、中间格式指令(诸如汇编语言)、固件、源代码等。可以用于存储指令、所使用的信息和/或在根据所描述的示例的方法期间创建的信息的计算机可读介质的示例包括磁盘或光盘、闪存、设置有非易失性存储器的USB装置、联网存储装置等等。

实施根据这些公开内容的过程和方法的装置可以包括硬件、软件、固件、中间件、微代码、硬件描述语言或其任何组合，并且可以采用多种形状因子中的任何一种。当以软件、固件、中间件或微代码实施时，用于执行必要任务(例如，计算机程序产品)的程序代码或代码段可以存储在计算机可读或机器可读介质中。处理器可以执行必要的任务。形状因子的典型示例包括膝上型计算机、智能手机、移动电话、平板装置或其他小形状因子的个人计算机、个人数字助理、机架式装置、独立装置等。本文描述的功能也可以体现在外围装置或扩展卡中。通过进一步的示例，此类功能性还可以在单个芯片中执行的不同芯片或不同过程之间的电路板上实施。

指令、用于传达此类指令的介质、用于执行它们的计算资源以及用于支持此类计算资源的其他结构是用于提供本公开中描述的功能的示例性装置。

结合本文公开的实施方案描述的各种说明性逻辑块、模块、电路和算法步骤可以被实施为电子硬件、计算机软件、固件或其组合。为了清楚地示出硬件和软件的这种可互换性，上面已经对各种说明性部件、框、模块、电路和步骤在其功能方面进行了总体描述。将此类功能性实施为硬件还是软件取决于强加于整个系统的特定应用和设计约束。技术人员可以针对每个特定应用以不同方式实施所描述的功能性，但是此类实施决策不应被解释为导致脱离本申请的范围。

本文描述的技术也可以在电子硬件、计算机软件、固件或其任何组合中实施。此类技术可以在多种装置中的任一种中实施，该装置诸如通用计算机、无线通信装置手持终端或具有多种用途的集成电路装置，该多种用途包括无线通信装置手持终端和其他装置中的应用。被描述为模块或部件的任何特征可以一起在集成逻辑装置中实施，或者作为离散但可互操作的逻辑装置分开实施。如果以软件实施，则该技术可以至少部分地通过包括程序代码的计算机可读数据存储介质来实施，该程序代码包括在被执行时执行上述方法中的一者或多者的指令。计算机可读数据存储介质可以形成计算机程序产品的一部分，该计算机程序产品可以包括包装材料。计算机可读介质可以包括存储器或数据存储介质，诸如随机存取存储器(RAM)，诸如同步动态随机存取存储器(SDRAM)、只读存储器(ROM)、非易失性随机存取存储器(NVRAM)、电可擦除可编程只读存储器(EEPROM)、闪存、磁性或光学数据存储介质等。另外或替代地，所述技术可以至少部分地由计算机可读通信介质(诸如传播信号或波)来实现，所述计算机可读通信介质以指令或数据结构的形式携带或传送代码，并且可以由计算机访问、读取和/或执行。

程序代码可以由处理器执行，所述处理器可以包括一个或多个处理器，诸如一个或多个数字信号处理器(DSP)、通用微处理器、专用集成电路(ASIC)、现场可编程逻辑阵列(FPGA)或其他等效的集成或离散逻辑电路系统。此类处理器可以被配置为执行本公开中描述的任何技术。通用处理器可以是微处理器，但是任选地，处理器可以是任何常规处理器、控制器、微控制器或状态机。处理器也可以被实施为计算装置的组合，例如，DSP与微处理器的组合、多个微处理器、一个或多个微处理器结合DSP核，或者任何其他此类配置。因此，如本文所使用的术语“处理器”可以指代任何前述结构、前述结构的任何组合、或适用于实施本文描述的技术的任何其他结构或设备。

在前面的描述中，参考本申请的具体实施方案描述了本申请的各方面，但是本领域技术人员将认识到本申请不限于此。因此，虽然本文已经详细描述了本申请的说明性实施方案，但是应当理解，可以其他方式不同地实施和采用创造性概念，并且所附权利要求意图被解释为包括除了受现有技术的限制的变形之外的此类变型。上述申请的各种特征和方面可以单独或联合使用。此外，在不脱离本说明书的更广泛的精神和范围的情况下，实施方案可以在超出本文描述的那些环境和应用的任何数量的环境和应用中使用。因此，说明书和附图被认为是说明性的而不是限制性的。出于说明目的，按特定顺序描述了方法。应当理解，在替代实施方案中，可以以与所描述的顺序不同的顺序来执行该方法。

本领域普通技术人员将理解，在不脱离本说明书的范围的情况下，本文使用的小于(“＜”)和大于(“＞”)符号或术语分别可以被替换为小于或等于(“≤”)和大于或等于(“≥”)符号。

在部件被描述为“被配置为”执行某些操作的情况下，此类配置可以例如通过设计电子电路或其他硬件来执行操作、通过对可编程电子电路(例如，微处理器，或其他合适的电子电路)进行编程以执行操作或其任何组合来实现。

短语“联接到”是指直接或间接地物理连接到另一个部件的任何部件，和/或与另一个部件直接或间接通信(例如，通过有线或无线连接和/或其他合适的通信接口连接到另一部件)的任何部件。

叙述集合中的“至少一者”和/或集合中的“一者或多者”的权利要求语言或其他语言指示该集合的一个成员或该集合的多个成员(以任何组合)满足权利要求。例如，叙述“A和B中的至少一者”的权利要求语言表示A、B或A和B。在另一个示例中，叙述“A、B和C中的至少一者”的权利要求语言表示A、B、C，或A和B，或A和C，或B和C，或A和B和C。集合中的“至少一者”和/或集合中的“一者或多者”不将该集合限制为该集合中列出的项目。例如，叙述“A和B中的至少一者”的权利要求语言可以表示A、B或A和B，并且可以另外包括未在A和B的集合中列出的项目。

如本文所使用，术语“约”和“大约”在提及数字时在本文中用于包括落在所述数字的任一方向(大于或小于所述数字)的10％、5％或1％范围内的数字，除非另有说明或从上下文中明显看出(除非此类数字将超过可能值的100％)。

示例

通过以下非限制性示例进一步示出本发明。

示例1

根除作物田地中的杂草

该示例描述了使用本公开的检测系统和方法根除作物田地中的杂草。如图6和图7中所示的自主交通工具(其被配备有预测系统、瞄准系统和红外激光器)定位于作物田地中。交通工具自主地穿过多行作物，并且具有广角视野的预测相机对田地进行成像。预测相机的视野为27.7英寸(平行于自主交通工具的行驶方向)和20英寸(垂直于行驶方向)。预测系统标识由预测相机采集的图像中的杂草，并使用经过训练的标识机器学习模型将杂草与作物区分开，所述训练过的标识机器学习模型标识杂草的特征并将其与洋葱作物的特征区分开。预测系统选择根除所标识的杂草中的杂草，并基于杂草在预测图像中的像素位置来确定杂草的预测位置。预测将预测位置发送到瞄准系统。

瞄准系统包括瞄准相机和红外激光器，其方向由通过致动器控制的镜子进行调整。镜子将可见光从表面反射到瞄准相机，并将红外光从激光器反射到表面，如图1至图3中所示。瞄准系统基于将对象位置坐标与致动器位置关联的以经验确定的校准因子将从预测系统接收到的预测位置转换为致动器位置，以使瞄准相机和激光器指向预测位置。瞄准系统调整致动器，以使瞄准相机和红外激光器波束指向选定杂草的预测位置。瞄准相机(其视野比预测相机的视野更窄)对杂草的预测位置处的田地进行成像。瞄准相机的视野为6英寸(平行于自主交通工具的行驶方向)和4.5英寸(垂直于行驶方向)。使用对象匹配机器学习模型，瞄准系统确定杂草是否在由瞄准相机采集的图像内，并且如果是，则确定杂草的目标位置。对象匹配机器学习模型考虑在采集预测图像与瞄准杂草之间自主交通工具的移动、预测相机与瞄准相机之间的相机视角和图像属性差异，以及由于崎岖地形和杂草高度而导致的三维环境的可变性。使用对象匹配机器学习模型，瞄准系统确定杂草的目标位置并确定预测杂草位置与目标杂草位置之间的偏移。瞄准系统基于杂草的目标位置来调整瞄准相机和红外激光器波束的位置，并激活指向杂草位置的红外波束。波束利用红外光照射杂草持续足以损坏或杀死杂草的时间量，同时调整激光器波束的位置以考虑自主交通工具在照射期间的移动。系统被校准，使得由激光器照射的位置距离杂草的目标位置在5mm以内，优选地在2mm以内。

交通工具包括四个瞄准系统，如图5和图6中所示，因此瞄准过程可以并行执行多次。每个瞄准系统覆盖预测系统的不同但重叠的区域。在由预测相机采集的图像中标识出第二种杂草。预测系统基于瞄准系统的可用性以及瞄准第二种杂草的预测位置的瞄准系统的范围来将第二种杂草的预测位置发送到第二瞄准系统。重复所述过程，直到作物田地中的所有杂草都被根除，直到自主交通工具完成穿过田地，或者直到另一个端点。

示例2

在恶劣的建筑环境中自动标识和清除碎屑

该示例描述了用于在恶劣环境中自动标识和清除碎屑的系统和方法。具有预测相机、瞄准相机和碎屑采集执行器的自主交通工具自主地穿过建筑工地。建筑工地具有崎岖不平的地形表面。预测相机对建筑工地表面的区域进行成像并检测图像内的对象。经过训练的标识机器学习模型标识对象并选择被标识为碎屑的对象。

预测系统使用校准模型确定碎屑的预测位置并将预测位置发送到瞄准系统。基于可用性和与选定碎屑的接近程度来选择瞄准系统。瞄准系统引导致动器控制瞄准相机和碎屑采集执行器，以使瞄准相机和碎屑采集执行器指向碎屑的预测位置。瞄准相机对碎屑预测位置处的地形表面进行成像，并且经过训练的匹配机器学习模型确定碎屑是否位于图像内以及碎屑的目标位置。机器学习模型确定碎屑的预测位置与碎屑的目标位置之间的偏移，并将该偏移发送到瞄准系统。瞄准系统引导致动器将瞄准相机和碎屑采集执行器指向碎屑的目标位置，并且碎屑采集执行器采集碎屑。

附加的位置和加速度传感器在预测、瞄准和碎屑采集过程期间检测自主交通工具的运动，并向瞄准系统提供更新的坐标，以考虑在图像采集与碎屑采集之间交通工具的移动。

示例3

管网中的自动障碍物标识和清除

该示例描述了用于自动标识和清除管网中的障碍物的系统和方法。具有预测相机、瞄准相机和障碍物清除执行器的自主交通工具自主地穿过管道系统。管道系统具有不规则表面。预测相机对管道表面的区域进行成像并检测图像内的对象。经过训练的标识机器学习模型标识对象并选择被标识为障碍物的对象。

预测系统使用校准模型确定障碍物的预测位置并将预测位置发送到瞄准系统。基于可用性和与选定障碍物的接近程度来选择瞄准系统。瞄准系统引导致动器控制瞄准相机和障碍物清除执行器，以使瞄准相机和障碍物清除执行器指向障碍物的预测位置。瞄准相机对障碍物预测位置处的管道表面进行成像，并且经过训练的匹配机器学习模型确定障碍物是否位于图像内以及障碍物的目标位置。匹配机器学习模型确定障碍物的预测位置与障碍物的目标位置之间的偏移，并将该偏移发送到瞄准系统。瞄准系统引导致动器将瞄准相机和障碍物清除执行器指向障碍物的目标位置，并且障碍物清除执行器清除障碍物。

附加的位置和加速度传感器在预测、瞄准和障碍物清除过程期间检测自主交通工具的运动，并向瞄准系统提供更新的坐标，以考虑在图像采集与障碍物清除之间交通工具的移动。

示例4

空中作物管理卫星成像协调

该示例描述了协调卫星成像与无人机成像以进行自动化空中作物管理的系统和方法。一架或多架空中作物管理无人机飞越作物田地，每架无人机都具有瞄准相机和农药喷洒器。作物管理无人机与成像卫星进行通信。卫星对地球上包含作物田地的区域进行成像，并将图像连同图像的地理位置数据发送到作物管理无人机。经过训练的标识机器学习模型标识图像中的田地并选择要瞄准的田地。

预测系统使用GPS位置来确定田地的预测位置，并将预测位置发送到选定无人机。基于可用性和与选定障碍物的接近程度来选择无人机。无人机的瞄准系统引导致动器控制无人机将瞄准相机和农药喷洒器定位在田地的预测位置上方。瞄准相机对田地的预测位置处的地面进行成像，并且经过训练的匹配机器学习模型确定田地是否位于图像内以及田地的目标位置。匹配机器学习模型确定障碍物的预测位置与障碍物的目标位置之间的偏移，并将该偏移发送到瞄准系统。瞄准系统引导无人机将瞄准相机和农药喷洒器定位在田地的目标位置上方，并且农药喷洒器在田地上喷洒农药。

附加的位置和加速度传感器在预测、瞄准和障碍物清除过程期间检测无人机的运动和GPS坐标，并提供无人机相对于图像采集卫星的位置信息。

虽然本文已示出并且描述本发明的优选实施方案，但是本领域技术人员将理解此类实施方案仅通过示例方式提供。在不脱离本发明的情况下，本领域技术人员现将想到许多变动、改变和替代。应当理解，本文中描述的本发明的实施方案的各种替代可以用于实践本发明。随附权利要求旨在限定本发明的范围，并且由此涵盖这些权利要求及其等同物的范围内的方法和结构。

Claims (24)

1.一种瞄准对象的方法，其包括：

提供预测表示；

标识要在所述预测表示中瞄准的对象；

确定所述对象在所述预测表示内的预测位置；

提供所述预测位置的瞄准表示；

标识所述瞄准表示中的所述对象；以及

基于所述瞄准表示来确定所述对象的目标位置。

2.如权利要求1所述的方法，其还包括利用预测传感器采集所述预测表示、利用瞄准传感器采集所述瞄准表示，或者两者。

3.如权利要求2所述的方法，其还包括将所述瞄准传感器对准所述预测位置。

4.如权利要求2所述的方法，其还包括将所述瞄准传感器对准所述目标位置。

5.如权利要求2所述的方法，其中将所述瞄准传感器对准所述目标位置包括确定所述瞄准传感器的第一位置与所述瞄准传感器的第二位置之间的偏移。

6.如权利要求2所述的方法，其中当所述瞄准传感器位于所述瞄准传感器的所述第二位置处时，所述瞄准传感器对准所述目标位置。

7.如权利要求1所述的方法，其中所述目标位置比所述预测位置更接近所述对象。

8.如权利要求1所述的方法，其还包括将执行器引向所述目标位置。

9.如权利要求8所述的方法，其中所述执行器的方向与瞄准传感器的方向相关。

10.如权利要求8所述的方法，其中将所述执行器引向所述目标位置包括确定所述执行器的第一位置与所述执行器的第二位置之间的偏移，并且其中当所述执行器位于所述执行器的所述第二位置处时将所述执行器引向所述目标位置。

11.如权利要求8所述的方法，其还包括使用所述执行器操纵所述对象。

12.如权利要求11所述的方法，其中操纵所述对象选自由以下各项组成的组：利用电磁辐射照射所述对象、移动所述对象、喷射所述对象及其组合。

13.如权利要求2所述的方法，其中所述预测传感器与所述瞄准传感器的不同之处在于选自由以下各项组成的组的一个或多个参数：传感器类型、传感器分辨率、放大率、视野、色彩平衡、色彩敏感度和定位；其中定位包括相对于所述对象的角度、距离或两者。

14.如权利要求2所述的方法，其中所述预测传感器和所述瞄准传感器联接到交通工具。

15.如权利要求14所述的方法，其中所述预测位置考虑在采集所述预测表示的时间与采集所述瞄准表示的时间之间所述交通工具相对于所述对象的运动。

16.如权利要求14所述的方法，其中所述目标位置考虑在采集所述瞄准表示的时间与执行操纵的时间之间所述交通工具相对于所述对象的运动。

17.如权利要求1所述的方法，其中所述对象位于表面上面、上方或下方。

18.如权利要求17所述的方法，其中偏移考虑所述表面的深度的可变性。

19.如权利要求1所述的方法，其中所述目标位置距所述对象不超过50mm，不超过25mm，不超过10mm，不超过5mm，不超过3mm，不超过2mm或不超过1mm。

20.如权利要求2所述的方法，其中所述预测传感器、所述瞄准传感器或两者选自由以下各项组成的组：相机、光探测和测距(LIDAR)传感器、光电探测器、有源像素传感器、半导体检测器、超声波传感器、RADAR检测器、声呐传感器以及光电二极管阵列。

21.如权利要求1所述的方法，其包括使用经过训练的机器学习模型来：

标识所述瞄准表示中的所述对象；

标识所述预测表示中的所述对象；以及

将所述瞄准表示中的所述对象与所述预测表示中的所述对象进行匹配。

22.如权利要求1所述的方法，其中所述对象选自由杂草、植物和障碍物组成的组。

23.如权利要求2所述的方法，其中所述预测位置、所述目标位置或两者包括所述预测表示中的位置、所述瞄准传感器的位置、执行器的位置、所述预测传感器的位置、所述对象在表面上的位置、交通工具的位置或其任何组合。

24.一种瞄准对象的方法，其包括：

使用预测传感器采集预测表示；

标识要在所述预测表示中瞄准的对象；

确定所述对象在所述预测表示内的预测位置；

将瞄准传感器对准所述预测位置；

使用所述瞄准传感器采集所述预测位置的瞄准表示；

标识所述瞄准表示中的所述对象；

基于所述瞄准表示来确定所述对象的目标位置；

将所述瞄准传感器对准所述目标位置；

将执行器引向所述目标位置；以及

利用所述执行器操纵所述对象。