CN113645436A - 用于自动光学传感器对准的有源目标 - Google Patents

Abstract

一种用于执行车辆的光学传感器的自动对准的系统和方法，包括将两个或更多个有源目标布置在对准站中的已知位置处。两个或更多个有源目标中的每个都具有至少两个可见地不同的状态。该方法包括对两个或更多个有源目标的至少两个可见地不同的状态之间的变化进行编码。处理由两个或更多个有源目标的光学传感器获得的图像，以识别特征并执行光学传感器与车辆的另一个传感器或与车辆的对准。

Description

用于自动光学传感器对准的有源目标

技术领域

本主题公开涉及用于自动光学传感器对准的有源(active)目标。

背景技术

车辆(例如，汽车、卡车、建筑设备、农场设备、自动化工厂设备)越来越多地包括传感器，以获取有关传感器及其环境的信息。示例性传感器包括无线电检测和测距(雷达)系统、光检测和测距(激光雷达)系统以及摄像机。传感器可以位于车辆内或车辆上的任何位置。因此，在传感器处获得的信息可能不一定指示相对于车辆的取向和位置的信息。因此，期望提供用于自动光学传感器对准的有源目标。

发明内容

在一个示例性实施例中，一种执行车辆的光学传感器的自动对准的方法包括将两个或更多个有源目标布置在对准站中的已知位置处。两个或更多个有源目标中的每个都具有至少两个可见地不同的状态。该方法还包括对两个或更多个有源目标的至少两个可见地不同的状态之间的变化进行编码。处理由两个或更多个有源目标的光学传感器获得的图像，以识别特征并执行光学传感器与车辆的另一个传感器或与车辆的对准。

除了本文描述的一个或多个特征之外，将两个或更多个有源目标布置在对准站中还基于车辆的光学传感器沿着经过对准站中的两个或更多个有源目标的路径的位置。

除了本文描述的一个或多个特征之外，将两个或更多个有源目标布置在对准站中还基于阻挡从光学传感器看到两个或更多个有源目标的一个或多个遮挡物的位置。

除了本文描述的一个或多个特征之外，编码包括基于有源目标的相对位置对两个或更多个有源目标进行空间编码。

除了本文描述的一个或多个特征之外，编码包括限定两个或更多个有源目标之间的至少两个可见地不同的状态之间的变化的模式，以使该模式有助于识别两个或更多个有源目标。

除了本文描述的一个或多个特征之外，编码包括限定在光学传感器的多个帧持续时间内两个或更多个有源目标中的每个的占空比，其中，限定占空比包括减小在该多个帧持续时间内的占空比。

除了本文描述的一个或多个特征之外，编码包括限定针对所述两个或更多个有源目标中的不同有源目标的在所述至少两个可见地不同的状态之间的变化的不同频率。

除了本文描述的一个或多个特征之外，编码包括限定针对两个或更多个有源目标中的不同有源目标的在至少两个可见地不同的状态之间的变化的不同模式。

除了本文描述的一个或多个特征之外，限定在所述至少两个可见地不同的状态之间的变化的不同模式包括基于至少两个可见地不同的状态之间的变化的模式传送两个或更多个有源目标中的不同有源目标的身份或基于至少两个可见地不同的状态之间的变化的模式传送两个或更多个有源目标中的不同有源目标的位置。

除了本文描述的一个或多个特征之外，该方法还包括将一个或多个无源(passive)目标布置在对准站中的已知位置处，一个或多个无源目标中的每个具有单个可见状态。

在另一个示例性实施例中，一种用于执行车辆的光学传感器的自动对准的系统包括定位在对准站中的已知位置处的两个或更多个有源目标。两个或更多个有源目标中的每个都具有至少两个可见地不同的状态。该系统还包括控制器，以对两个或更多个有源目标的至少两个可见地不同的状态之间的变化进行编码。处理由两个或更多个有源目标的光学传感器获得的图像，以识别特征并执行光学传感器与车辆的另一个传感器或与车辆的对准。

除了本文描述的一个或多个特征之外，对准站中的两个或更多个有源目标的位置基于车辆的光学传感器沿着经过对准站中的两个或更多个有源目标的路径的位置。

除了本文描述的一个或多个特征之外，两个或更多个有源目标在对准位点中的位置基于阻挡从光学传感器看到两个或更多有源目标的一个或多个遮挡物的位置。

除了本文描述的一个或多个特征之外，两个或更多个有源目标通过基于有源目标的相对位置的空间编码来定位。

除了本文描述的一个或多个特征之外，控制器还通过限定两个或更多个有源目标之间的至少两个可见地不同的状态之间的变化的模式来进行编码，以使该模式有助于识别两个或更多个有源目标。

除了本文描述的一个或多个特征之外，控制器还通过限定在光学传感器的多个帧持续时间内的两个或更多个有源目标中的每个的占空比来进行编码，其中，限定占空比包括在帧持续时间内减少占空比。

除了本文描述的一个或多个特征之外，控制器通过限定针对两个或更多个有源目标中的不同目标在至少两个可见地不同的状态之间的变化的不同频率进行编码。

除了本文描述的一个或多个特征之外，控制器通过限定针对两个或更多个有源目标中的不同目标在至少两个可见地不同的状态之间的变化的不同模式进行编码。

除了本文描述的一个或多个特征之外，控制器还限定至少两个可见地不同的状态之间的变化的不同模式，以基于至少两个可见地不同的状态之间的变化的模式来传送两个或更多个有源目标中的不同目标的身份，或者基于至少两个可见地不同的状态之间的变化的模式来传送两个或更多个有源目标中的不同目标的位置。

除了本文描述的一个或多个特征之外，该系统还包括布置在对准站中的已知位置处的一个或多个无源目标，该一个或多个无源目标中的每个均具有单个可见状态。

当结合附图考虑时，根据以下详细描述，本公开的以上特征和优点以及其他特征和优点将显而易见。

附图说明

在下面的详细描述中，仅通过示例的方式出现其他特征、优点和细节，该详细描述参考附图，在附图中：

图1是根据一个或多个实施例的使用有源目标经历自动光学传感器对准的车辆的框图；

图2描绘了根据一个或多个实施例的具有用于自动光学传感器对准的有源目标的示例性站(station)；

图3示出了根据一个或多个实施例的用于自动光学传感器对准的有源目标的空间编码；和

图4是根据一个或多个实施例的使用用于自动光学传感器对准的有源目标的方法的过程流程。

具体实施方式

以下描述本质上仅是示例性的，并且无意于限制本公开、其应用或用途。应当理解，在所有附图中，相应的附图标记表示相同或相应的部件和特征。

如前所述，车辆中可以包括不同的传感器以获得关于车辆及其周围环境的信息。例如，该信息可以促进车辆的半自主或自主操作。在车辆中可用的示例性传感器中，摄像机和激光雷达系统是光学传感器。同样如前所述，必须变换在传感器坐标系中的传感器处获得的信息，以在车辆坐标系中提供与车辆有关的信息，以便使用该信息来控制车辆的操作并确保所有来自传感器的信息都在同一坐标系中。

本文详细描述的系统和方法的实施例涉及使用用于自动光学传感器对准的有源目标。传感器对准是指确定传感器相对于车辆坐标系的位置和方向。在某些情况下(例如，对于传感器融合)，传感器对准还可以指确定传感器相对于另一传感器的坐标系的位置和取向。传感器对准可以作为制造过程的一部分来执行，例如(例如，在对准或设计验证和测试期间)。根据一个或多个实施例，除了常规使用的无源目标之外，还使用有源目标来自动地执行光学传感器对准。特别地，如本文所述，有源目标被编码，并且与无源目标一起使用，以促进诸如摄像机和激光雷达系统的光学传感器彼此之间或与车辆的自动对准。

根据示例性实施例，图1是使用有源目标210(图2)进行自动光学传感器对准的车辆100的框图。图1所示的示例性车辆100是汽车101。车辆100包括示例性的五个摄像机110和图1所示的激光雷达系统120。摄像机110和激光雷达系统120通常被称为光学传感器115。车辆还包括其他传感器140(例如，雷达系统)。传感器的位置和数量不受图1中示例性图的限制。

控制器130可以使用来自传感器110、120、140中的一个或多个的信息来控制车辆100的操作的各个方面。控制器130可以单独地或结合传感器110、120、140内的控制器来执行本文所讨论的对准过程的各方面。传感器110、120、140内的控制器130和任何控制器都包括处理电路，该处理电路可以包括专用集成电路(ASIC)、电子电路、处理器(共享的、专用的或成组的)和执行一个或多个软件或固件程序的存储器、组合逻辑电路和/或提供所描述功能的其他合适组件。

在图1中示出了车辆100的坐标系。根据图1中所示的自顶向下视图，行进方向沿着x轴，z轴穿过车辆100。对准可涉及确定摄像机110或激光雷达系统120相对于车辆100(例如，相对于车辆100的前中心)的位置(x，y，z)和取向(俯仰(pitch)p、侧倾(roll)r、偏航y')。可替代地，对准可以涉及确定从摄像机110或激光雷达系统120的坐标系到车辆100的坐标系的变换(即，旋转和平移)。在涉及传感器融合的其他替代实施例中，例如，摄像机110可以与激光雷达系统120或另一摄像机110对准。

已知的对准技术依赖于在由光学传感器115获得的图像中识别的特征。在简单情况下，例如，如果相对于车辆100的坐标系已知图像中的特征的位置，则使用图像中的特征的位置和取向与特征在车辆100的坐标系中的已知位置的对准是直接的过程。例如，对于其中车辆100的位置未知(例如，车辆100正在移动)的场景，还已知更高级的对准技术。图像中特征的识别和定位对于已知的对准技术是必需的。如参照图2进一步讨论的，根据一个或多个实施例，除了无源目标220之外，还使用有源目标210以更准确地识别目标210、220(即特征)，用于对准光学传感器115。

图2描绘了根据一个或多个实施例的具有用于自动对准光学传感器115的有源目标210的示例性站200。站200例如可以是制造车辆100的设施的一部分。站200包括有源目标210和无源目标220。有源目标210是指在无源目标220不变的情况下其可见行为可以改变的对象。即，有源目标210具有至少两个可见地不同的状态(例如，照明和未照明)，而无源目标220具有单个可见状态。如图2所示的示例性有源目标210是发光二极管(LED)，并且可以被打开或关闭，如所示的。即，例如，有源目标210a打开而有源目标210b关闭。LED可以是不同的颜色，并且其他示例性有源目标210包括激光器。

可以以多种方式根据它们的位置(即，空间编码)或它们的可见状态来对有源目标210进行编码，以增强用于对准的特征检测。有源目标210的空间编码可以单独使用或与其他编码结合使用。特定的有源目标210以可识别的方式定位，如参照图3进一步讨论的。如前所述，有源目标210也可以根据它们的可见状态进行编码(例如，频率编码、时间编码)。例如，可以控制多个有源目标210之间的照明模式(pattern)、影响照明亮度的每个有源目标210的占空比以及每个有源目标210的照明频率，以改善特征检测。在示例性实施例中，可以控制照明的频率以提供通信。例如，基于频率的代码可用于传送给定的有源目标210的位置或传送其位置已知的给定的有源目标210的身份。编码可以由控制器230控制，该控制器230包括与针对图1中的车辆100中的控制器130所讨论的处理电路相似的处理电路。

如示例性情况所示，控制器230可以通过有线(未示出)或无线地与每个有源目标210通信。控制器230还可以与车辆100(例如，控制器130)通信以传输有源目标210的位置和代码以及无源目标220的位置。有源目标210和无源目标220是基于特定车辆100的配置(即光学传感器的位置和数量)和站200中的遮挡物215进行选择和定位的。一旦定位，站200内的每个有源目标210和无源目标220的位置是已知的。

在对有源目标210和无源目标220进行定位并且根据受控代码启动有源目标210的照明之后，当车辆100沿着路径205移动通过站200时，利用光学传感器115获得图像。根据示例性实施例，车辆100可以替代地沿穿过站200的路径205静止在已知位置207(由将与车辆100的前部对准的“X”指示)处。由光学传感器115获得的图像被处理以识别特征(例如，有源目标210和无源目标220)。特征识别有助于根据已知技术的自动对准。将参考图3进一步讨论这些过程。

图3示出了根据一个或多个实施例的用于自动光学传感器对准的有源目标210的空间编码。为了说明的目的，示出了一组示例性的有源目标210a至210e(通常称为210)和两个示例性的遮挡物215a，215b(通常称为215)处于示例性光学传感器115的视场中，位于光学传感器115的一个位置处。在相邻的有源目标210之间的角距离(即，从光学传感器115的角度来看明显的间隔被指示为α1、α2、α3和α4。例如，α1＝10度、α2＝20度、α3＝60度和α4＝5度。如果其上设置有光学传感器115的车辆100(图1)正在移动，则可以基于空间编码从由光学传感器115获得的一系列图像中识别有源目标210，该空间编码通过有源目标210之间的已知角距离α1、α2、α3和α4来实现。

例如，如果有源目标210b被遮挡物215a遮挡，则有源目标210a和210c将与有源目标210d和210e一起被捕获在由光学传感器115获得的图像中。例如，由于光学传感器115(在移动车辆100上(图1))位于位置P，因此可能发生有源目标210b的遮挡。在这种情况下，因为将检测到有源目标210a和210c，所以在图像中检测到的两个有源目标210之间的角距离将为α1+α2。另外，将检测角距离α3和α4。将基于已知的角距离α3和α4来识别有源目标210c，210d和210e。基于剩余的角距离(α1+α2)以及分别在有源目标210a和210b与210b和210c之间的角距离α1和α2的知识，可以确定有源目标210b的遮挡。因此，即使没有任何其他编码，空间编码也可以有助于识别有源目标210，并确定被遮挡的有源目标210。

图4是根据一个或多个实施例的使用用于自动光学传感器对准的有源目标210的方法400的过程流程。在框410处，可以基于几个因素来选择有源目标210和无源目标220的数量和位置。光学传感器115在车辆100上或之内的位置是可以被考虑以确保至少一个目标210、220并且优选地不止一个目标210、220在每个光学传感器115的视场内的因素之一。感兴趣的对准是可以考虑的另一个因素。例如，至少一个有源目标210可以在摄像机110的视场内更近和更低地定位，以便准确地识别俯仰。遮挡物215是在目标210、220的放置中可以考虑的另一因素。例如，可以将一组有源目标210放置在摄像机110的视场中，使得当车辆100沿着路径205移动经过已知位置207时，仅有源目标210中的一个被遮挡物215遮挡。参照图3讨论的空间编码考虑到遮挡物215影响了有源目标物210的放置，并且有助于识别有源目标210。示例性因素并非旨在限制可能最终确定目标210、220在站200中的位置的考虑因素。

在框420处，确定有源目标210的编码可以指控制模式、占空比或频率(即，与有源目标210的可见状态有关的编码)。如参照图2所指出的，可以由控制器230执行对有源目标210的控制。该编码涉及在每个有源目标210的可见状态(例如，照明状态、未照明状态)之间改变。可以根据光学传感器115的帧速率来对根据编码的可见状态的变化进行定时，使得由光学传感器115获得的一组图像将捕获编码。

例如，在光学传感器115的视场中，用于一组或一子组的有源目标210的照明模式可以被协调。然后，已知模式可以用于识别在由光学传感器115获得的图像中该一组或一子组的有源目标210。识别该一组或一子组的有源目标210可以粗略地指示有源目标210的站200内的位置。也可以控制一个或多个有源目标210的占空比。例如，占空比可以随着时间减小。在这种情况下，在高占空比期间获得的图像可以包括由于有源目标210的照明的高强度而饱和的区域。该饱和的区域用作有源目标210的位置的粗略估计。由于减小占空比，则在相同视场内的无源目标220可能变得可见并且可以用于更精确的定位。

也可以控制一个或多个有源目标210的频率。该频率可以指给定的有源目标210被照亮的频率。例如，第一有源目标210可以在光学传感器115的每两个帧持续时间之间在被照明和未照明之间切换，而第二有源目标210可以在每个帧持续时间在被照明和未照明之间切换。该频率可以通过检查多个图像上的有源目标210来确定，并且例如可以有助于识别第一有源目标210与第二有源目标220。可以将频率映射到特定位置或身份，该特定位置或身份又与有源目标210的特定位置相关联。可替代地，频率可以指照明的频率编码模式(例如，在多个图像帧上的开-关-开-开)。该频率代码也可以映射到特定位置或身份，该特定位置或身份又与有源目标210的特定位置相关联。频率编码可以传送任何信息，只要该代码是已知的即可(即，照明的特定频率-编码的模式映射到特定信息)。

在框430处，启动编码是指根据在框420处建立的受控模式、占空比和/或频率来开始有源目标210的操作。在框440处，利用光学传感器115获得图像是指在车辆100沿路径205(例如，沿站200的装配线)移动时，或者当车辆100沿其中目标210,220所在的路径205在已知位置207是静止时，获得图像(在框410处)。在框450处，使用在框440处获得的图像来识别有源目标210和无源目标220可涉及一组过程。这些过程涉及图像处理，该图像处理可以由每个光学传感器115内的控制器、由控制器130或通过两者的组合来执行。通常，如前所述，有源目标210可以提供对包括有源目标210的图像区域的粗略识别，而无源目标220则有助于更精细的识别。

已知对准技术所需的特征检测是指识别有源目标210和无源目标220的在图像内(在框440处获得)的位置。在一组图像上跟踪特征并关联图像之间的特征也是已知对准技术的一部分。如前所述，由于根据一个或多个实施例的有源目标210不仅有助于识别给定的有源目标210，而且有助于确定其在站200中的位置，因此通过使用有源目标增强了特征检测、跟踪和关联。例如，如果车辆100位于已知位置207，并且在图像中识别了有源目标210，并且知道了其在站200中的位置以及其在车辆100的坐标系中的位置，则那么根据已知技术，对准获得图像的光学传感器115是相当直接(straight-forward)的。进一步讨论在框450的识别(即，特征检测)中涉及的过程。

作为框450处的处理的一部分，可以首先在图像中识别有源目标210。通过参考框420描述的模式、占空比和/或频率编码来增强对有源目标210的识别。如前所述，如果给定的有源目标210的占空比高，则可能发生图像饱和，使得可以仅在图像中获得给定有源目标210的位置的粗略估计。一旦基于编码识别出有源目标210，就知道其在站200内的位置。因此，作为框450处的另一过程，可以基于附近的有源目标210的位置来推断无源目标220的位置。可以执行获取图像并执行图像处理的迭代过程以细化有源目标210和无源目标220的位置估计。

在框460处，执行对准可以指不同类型的对准。例如，在框460处的对准可以指将一个光学传感器115的坐标系变换为另一光学传感器115的坐标系。例如，可能需要此对准以执行传感器融合。相反，在框460处的对准可以将光学传感器115的坐标系变换成车辆100的坐标系。不管光学传感器115与什么对准，在框450处识别有源目标210和无源目标220(即，特征检测)及其在站200中的位置的知识可以与已知技术一起使用。

例如，如果车辆正在沿着装配线在路径205上而不是在已知位置207上移动，则可以采用运动结构(SfM)或运动立体技术。SfM和运动立体两者均有助于从由移动光学传感器115获得的一系列图像中提取三维信息。该三维信息通过确定图像之间的公共点(例如，有源目标210)而有助于特征识别。由特征识别促进的已知对准技术在本文中没有详细描述。

尽管已经参考示例性实施例描述了以上公开，但是本领域技术人员将理解，在不脱离本发明范围的情况下，可以进行各种改变并且可以用等同物代替其要素。另外，在不脱离本公开的实质范围的情况下，可以做出许多修改以使特定情况或材料适应本公开的教导。因此，意图是本公开不限于所公开的特定实施例，而是将包括落入其范围内的所有实施例。

Claims (10)

1.一种执行车辆的光学传感器的自动对准的方法，该方法包括：

将两个或更多个有源目标布置在对准站中的已知位置处，两个或更多个有源目标中的每个都具有至少两个可见地不同的状态；和

使用控制器，对两个或更多个有源目标的至少两个可见地不同的状态之间的变化进行编码，其中处理由两个或更多个有源目标的光学传感器获得的图像，以识别特征并执行光学传感器与车辆的另一个传感器或与车辆的对准。

2.根据权利要求1所述的方法，其中，将两个或更多个有源目标布置在对准站中是基于所述车辆的光学传感器沿着经过所述对准站中的两个或更多个有源目标的路径的位置，以及将两个或更多个有源目标布置在对准站中是基于阻挡从光学传感器看到两个或更多个有源目标的一个或多个遮挡物的位置。

3.根据权利要求1所述的方法，其中，编码包括基于有源目标的相对位置对两个或更多个有源目标进行空间编码。

4.根据权利要求1所述的方法，其中，编码包括限定两个或更多个有源目标之间的至少两个可见地不同的状态之间的变化的模式，以使该模式有助于识别两个或更多个有源目标，或限定在光学传感器的多个帧持续时间内两个或更多个有源目标中的每个的占空比，其中，限定占空比包括减小在该多个帧持续时间内的占空比，或限定针对两个或更多个有源目标中的不同有源目标的在至少两个可见地不同的状态之间的变化的不同频率，或限定针对两个或更多个有源目标中的不同有源目标的在至少两个可见地不同的状态之间的变化的不同模式，其中限定在至少两个可见地不同的状态之间的变化的不同模式包括基于至少两个可见地不同的状态之间的变化的模式传送两个或更多个有源目标中的不同有源目标的身份，或基于至少两个可见地不同的状态之间的变化的模式传送两个或更多个有源目标中的不同有源目标的位置。

5.根据权利要求1所述的方法，其中，还包括将一个或多个无源目标布置在对准站中的已知位置处，该一个或多个无源目标中的每个具有单个可见状态。

6.一种用于执行车辆的光学传感器的自动对准的系统，该系统包括：

定位在对准站中的已知位置处的两个或更多个有源目标，其中两个或更多个有源目标中的每个都具有至少两个可见地不同的状态；和

控制器，该控制器被配置为以对两个或更多个有源目标的至少两个可见地不同的状态之间的变化进行编码，其中处理由两个或更多个有源目标的光学传感器获得的图像，以识别特征并执行光学传感器与车辆的另一个传感器或与车辆的对准。

7.根据权利要求6所述的系统，其中，在对准站中的两个或更多个有源目标的位置是基于所述车辆的光学传感器沿着经过所述对准站中的两个或更多个有源目标的路径的位置，以及在对准站中的两个或更多个有源目标的位置是基于阻挡从光学传感器看到两个或更多个有源目标的一个或多个遮挡物的位置。

8.根据权利要求6所述的系统，其中，两个或更多个有源目标是通过基于所述有源目标的相对位置的空间编码来定位的。

9.根据权利要求6所述的系统，其中，所述控制器被配置为通过以下来进行编码：通过限定两个或更多个有源目标之间的至少两个可见地不同的状态之间的变化的模式，以使该模式有助于识别两个或更多个有源目标，或通过限定在光学传感器的多个帧持续时间内两个或更多个有源目标中的每个的占空比，其中，限定占空比包括减小在该多个帧持续时间内的占空比，或通过限定针对两个或更多个有源目标中的不同有源目标的在至少两个可见地不同的状态之间的变化的不同频率，或通过限定针对两个或更多个有源目标中的不同有源目标的在至少两个可见地不同的状态之间的变化的不同模式，其中所述控制器限定在至少两个可见地不同的状态之间的变化的不同模式以基于至少两个可见地不同的状态之间的变化的模式来传送两个或更多个有源目标中的不同有源目标的身份，或基于至少两个可见地不同的状态之间的变化的模式来传送两个或更多个有源目标中的不同有源目标的位置。

10.根据权利要求6所述的系统，还包括布置在对准站中的已知位置处的一个或多个无源目标，该一个或多个无源目标中的每个具有单个可见状态。

Images