CN116389945A - 多传感器系统的同步 - Google Patents

Abstract

本公开涉及多传感器系统的信号同步。在一个方面，本公开提供了一种方法，包括通过电路上的处理器识别触发信号，其中所述电路与多组传感器相耦接。每组传感器具有一个或多个传感器，每个传感器具有相应的传感器类型。对于所述多组传感器中的每组中的每个传感器，至少基于各自的传感器类型使用识别的触发信号生成同步触发信号。同步触发信号一旦被相应的传感器接收，导致相应的传感器同步采集特定场景的传感器数据。通过向所述多组传感器组中的相应传感器发送同步触发信号，从而控制数据采集的执行。

Description

多传感器系统的同步

技术领域

本公开涉及用于控制多传感器系统执行的同步触发信号。

背景技术

有的多传感器系统可以是包括一个或多个传感器的系统，用于收集特定场景的传感器数据。所收集的传感器数据可被分析用于不同的应用，例如，确定环境的变化，检测场景中的一个或多个对象，确定场景中的对象到传感器的距离等。使用多传感器系统的一个示例应用是自动驾驶。在自动驾驶中，一个电路或者一个处理器从多个传感器接收场景的传感器数据，并处理该传感器数据，例如，以确定自动驾驶车辆的行驶轨迹。理想状态下，所收集的数据应在同一时间或时间步长表示场景。然而，一个或多个传感器可能会因为控制或传输延迟而产生异步，导致收集的传感器数据在两个或更多个不同的时间或者时间步长表示场景。

发明内容

本公开提供了一种用于在多传感器系统中同步多个传感器的技术。更具体地，所述技术生成用于控制多个传感器的执行的同步触发信号，从而触发每个传感器在相同的时间戳以相同的周期、相同的频率或者相同的周期及频率来收集传感器数据。此外，所述技术可以进一步确保每个收集的传感器数据与使用全球导航卫星系统(Global NavigationSatellite System，GNSS)并可选的进行了校准过程的精确时间戳相关联。为了生成同步触发信号，所述技术可以基于传感器或传感器组的特性为一个或多个传感器组中的每个传感器定制同步触发器，以补偿发送触发信号造成的传输延迟或控制延迟，并使所述同步触发信号与系统的特定传感任务相协调。为相应传感器生成的每个同步触发信号可以指定以下一项或多项：传感器收集传感器数据的帧率、用于触发收集的相位(例如，脉冲信号)、满足各自占空比的脉冲宽度，或基于传感器的特定应用的极性。

本公开描述的主题的一个方面可以体现在以下方法，生成同步触发信号，用于控制多传感器系统中的多个传感器的执行。所述方法还包括：通过电路上的处理器识别触发信号，其中所述电路与多组传感器耦接。每组传感器包括一个或多个传感器，每个传感器具有各自的传感器类型。所述方法还包括至少基于各自的传感器类型使用识别的触发信号为所述每组传感器中的每个传感器生成同步触发信号。所述同步触发信号一旦被相应的传感器接收，相应的传感器同步采集特定场景的传感器数据。将所述同步触发信号发送到所述多组传感器中的相应传感器，以控制数据采集的执行。这方面的其他实施例包括：相应的装置、系统和被编码在计算机存储设备上的计算机程序，它们被配置用于执行所述方法的各个方面。

这些实施例和其他实施例均可以选择性地包括以下特征中的一个或多个。在某些方面，所述多组传感器中的一组可以包括：具有第一传感器类型的第一传感器和具有第二传感器类型的第二传感器。所述第一传感器的同步触发信号和所述第二传感器的同步触发信号可以指定各自的帧率、各自的相位、各自的脉冲宽度或各自的极性，以触发传感器操作。

为了通过处理器识别触发信号，实施所述技术的系统可以选择处理器从多组传感器中的一组传感器中的主传感器接收的触发信号作为识别的触发信号。或者/进一步的，所述系统可以根据GNSS收到的时间数据生成触发信号，作为识别的触发信号。接收到的时间数据包括每秒脉冲(Pulse Per Second，PPS)信号。或者，所述系统可以由所述处理器根据所述电路中的本地定时器或计数器生成触发信号。

在生成同步触发信号之前，所述方法还可以包括使用所述电路中的本地定时器或计数器校准所述识别的触发信号。

所述同步触发信号中的一个可以具有与所述识别的触发信号不同的帧率、相位、极性或脉冲宽度。所述各自的传感器类型可以包括图像传感器、音频传感器(audiosensor)或激光传感器。此外，多组传感器中的一组可以包括四个摄像头和一个激光雷达。

在一些情况下，用于多组传感器中的第一传感器的第一同步触发信号可以与用于多组传感器中的第二传感器的第二同步触发信号具有不同的相位。相位差可以由所述处理器基于将所述第一和第二同步触发信号分别发送至所述第一和第二传感器的历经时间段来确定。

在一些实施例中，所述系统可以使用所述电路中的本地定时器或计数器或GNSS指定的时间戳，校准所述多组传感器的所述识别的触发信号。

对于所述识别的触发信号是从多组传感器中一组传感器中的主传感器接收到的信号的情况，所述系统可以将所述同步触发信号传输到多组传感器中一组或多组传感器中的工作传感器。

在一些情况下，所述电路包括：多路复用器单元，用于将所述同步触发信号中的一个发送至相应的工作传感器。所述多路复用器单元与用于第一同步触发信号的第一集成电路总线(Inter-integrated-Circuit，I2C)主工作(primary-worker)总线和用于第二同步触发信号的第二I2C主工作总线相耦接。所述系统可以在多路复用器单元处接收来自广播数据总线的选择信号，并基于所述选择信号选择所述第一同步触发信号和所述第二同步触发信号中的一个发送至相应的工作传感器。

为了确定信号传输的历经时间段，所述系统可以通过计算从GNSS接收到包括PPS信号的时间数据的第一时间和使用遥测数据包序列(a sequence of telemetry packets)将所述PPS信号发送至所述电路中的相应部件的第二时间之间的偏移值来确定所述历经时间段。

本公开描述的内容可以在特定实施例中实施，以实现一个或多个以下优点。

所述技术提高了从多传感器系统中不同传感器采集的传感器数据的融合精度，这进一步提高了融合后传感器数据的下游应用的精度(例如，图像生成和处理，机器人或自动驾驶车辆中的部件控制，或传感器系统优化)。由不同传感器收集的场景的传感器数据可能会不匹配，这是由于时间戳、触发、传输延迟、采样频率或相位，或脉冲宽度等存在差异。不匹配的传感器数据会给融合算法带来不理想的噪音或者误差，这进一步导致对场景的不精确感知。

因此，为了对场景生成准确的整体理解，所述技术可以确保多传感器系统中的每个传感器在一个或多个时间步长内同时或协调地采集场景相应的传感器数据(例如，在所有或至少一部分时间步长的相同时间步长收集传感器数据)，这减少了导致融合误差的不良测量噪声。为了实现这个目标，所述技术设置了用于生成触发信号的参考时间。所述参考时间可以是主电路中的本地定时器或计数器，或者是来自GNSS(或全球定位系统(GlobalPosition System，GPS))的时间数据。此外，所述系统在将触发信号从主电路(或主电路中的处理器)发送至相应的传感器时，对不同的经历时间段(也称为延迟)进行补偿，从而使传感器基本上同时被触发，以协调的方式采集传感器数据。

此外，所述技术生成的同步触发信号与不同的多传感器系统兼容，所述多传感器系统可在一个或多个传感器组中具有各种传感器类型和不同数量的传感器。所述同步触发信号可以考虑多传感器系统中的不同特性。例如，所述系统特性可以包括不同的传感器，传感器和主电路之间的不同路由或物理连接、传感器组中跨传感器、跨传感器组、传感器中用于处理接收的触发信号的不同驱动软件、或其他系统特性。不同的传感器也可能具有不同的特性。例如，传感器特性可以包括不同的工作或采样帧率、允许的脉冲宽度(如占空比)、跨传感器兼容的优选信号极性，或其他传感器特性。通过考虑上述特性，所述同步触发传感器兼容不同的系统和各种任务需求。

此外，所述技术提高了生成同步触发信号并将这些信号广播给相应传感器的效率。例如，所述技术不需要大量的计算资源来生成同步触发信号。相反，生成过程涉及最少的计算和时间。例如，处理器可以基于主传感器的工作特性为工作传感器生成同步触发信号。作为另一示例，可以基于本地定时器或来自GNSS的时间数据生成所述同步触发信号。所述技术可以使用高速数据总线，例如，一个或多个串行通信数据总线或I2C主工作数据总线，将所生成的触发信号广播到相应的传感器。可以使用一个或多个多路复用器(Multiplexer，MUX)单元和广播总线来进一步协助广播，以切换来自不同主总线的触发信号。

本公开描述的一个或多个实施例的细节将在附图和下文的描述中阐述。根据说明书、附图和权利要求，本公开的其他特征、方面和优点将变得明显。

附图说明

图1是一实施例中多传感器系统的框图；

图2示出了在多传感器系统中具有各自传感器的传感器组的结构示意图；

图3是一实施例中传感器组和同步子系统之间信号传输过程的框图；

图4是另一实施例中传感器组和同步子系统之间信号传输过程的框图；

图5是一实施例中多传感器系统的示例实现方式的部分框图；

图6是一实施例中触发信号和同步触发信号的示意图；

图7是另一实施例中触发信号和同步触发信号的示意图；

图8是一实施例中用于控制多传感器系统中传感器的执行的同步触发信号的示例过程的流程图；

不同附图中相似的标号和名称表示相似的元件。

具体实施方式

总的来说，本公开描述了用于生成同步触发信号的系统和技术，所述同步触发信号一旦被相应传感器中的处理器接收和执行，会使得所述相应的传感器协调地执行传感器操作。在本公开中，术语“协调地”指传感器被触发在基本相同的时间采集传感器数据，并且采集过程允许来自第一个传感器的数据与一个或者多个传感器组中的其他传感器相匹配(未必每个采集周期均匹配)。此外，每个采集到的传感器数据(例如，图像数据、反射光信号)都标记有准确的时间戳，以便融合。术语“融合”一般是指在一个或者多个时间步长中，将来自不同传感器的传感器数据聚合起来用于分析场景(或场景的一个或多个组成部分)。为了生成同步触发信号，所述技术考虑了系统和传感器的特性，并使用参考定时器(例如，主电路中的本地定时器或来自GNSS的外部时间数据)。在一些实施方式中，所述系统用外部时间数据校准本地定时器，和/或使接收到的输入触发器与本地定时器或GNSS时间数据相协调。此外，所述技术可以使用如I2C主从总线等高速数据总线来广播同步触发信号。在一些情况下，实现所述技术的系统可以包括一个或多个多路复用器单元(Multiplexers,MUXs)和用于广播同步触发信号的广播数据总线。

图1是本公开一实施例中多传感器系统100的框图。例如，系统100可以包括多个传感器组110和一个同步子系统130。所述系统100可以是在一个或多个地点的一台或多台计算机上实现的系统，其中可以实现下述系统、组件和技术。所述系统100的一些组件可以是配置在一台或多台计算机上运行的计算机程序。所述同步子系统130可以包括任何合适的引擎或算法，其被配置为根据各种任务和要求生成用于控制所述多传感器系统100中的传感器的同步触发信号。

所述同步子系统130被配置为生成同步触发信号155，用于控制多个传感器的传感器操作。每个传感器组110可以包括多个传感器112。尽管所述系统100被称为多传感器系统，但所述系统100可以设置在多个传感器112的外部。主电路上的所述同步子系统130可以独立作为生成同步触发信号的系统，并且多个传感器组中的传感器可以通过各种IO端口与所述主电路相耦接。

多个传感器112中的传感器可以根据不同的传感任务和要求被分组到传感器组110的特定传感器组中。传感器组中传感器的类型和数量可以根据各种任务和要求来指定。例如，第一组传感器可以包括四个视频传感器和一个位置传感器，用于收集机器人附近的组件。例如，机器人可以是自动驾驶车辆。所述视频传感器可以包括摄像头，所述位置传感器可以包括光探测和测距传感器(激光雷达LiDar)。作为另一种实施方式，第二组传感器可以包括单一的摄像头，用于确定自动驾驶车辆的更远视野。作为另一种实施方式，第三组传感器可以包括动态传感器，其被配置为确定车辆动态，例如速度、加速度和位置。虽然上面列出的传感器组的实施例包括摄像头、激光雷达和动态传感器，但可以根据不同的任务将不同数量的其他类型的传感器包括在传感器组中。例如，另一组传感器可以包括一个或两个激光雷达以及多个前视摄像头。

进一步地，耦接到电路的传感器组的数量可以根据不同的任务来指定。在一些实施方式中，自动驾驶系统包括多个自动驾驶车辆，每个车辆都有用于控制车辆传感器操作的车载电路。在这种情况下，每个电路可以耦接到不同数量的传感器组以及每组中不同类型和数量的传感器。在一些实施方式中，上述不同的电路可以通过通信耦接来控制相应的传感器。例如，可以将多个电路集成到一个集群或一个子系统中，用于控制多个传感器的操作，这可以简化系统设计，降低总体成本。

所述同步子系统130包括触发发生器140。所述触发发生器140被配置为确定每个传感器的触发信号的各自采样频率、脉冲宽度和信号相位，以便这些触发信号以协调的方式同步触发传感器操作。为了生成同步触发信号155，所述触发发生器140可以处理从相应传感器112接收到的一个或多个输入触发信号115。在一些实施方式中，所述触发发生器140可以使用主机设备(例如，主电路)上的本地定时器或计数器145生成同步触发信号。本地定时器或计数器145也可以用于确定与触发信号相关的时间戳。一般来说，主电路的本地定时器发出本地时钟信号，用于对特定的事件或过程进行时间戳标记，并且主电路的本地计数器被配置为对特定事件或过程已经发生的次数进行统计并存储该次数。尽管计数器主要用于对主电路中特定事件的发生次数进行统计，但是计数器所计数目可以与时钟信号相关，因此计数器可以在所述技术中用作定时器。在本文中，本地定时器或计数器也称为内部定时器或计数器。

在一些情况下，所述触发发生器140可以使用来自GNSS 105的时间数据135生成同步触发信号。时间数据135可以包括，如PPS信号，其精确地用于生成帧级同步触发信号。此外，PPS信号很少或几乎没有累积误差，从而可以在相当长的时间段内保持时间和频率的精度。在所述同步子系统130处接收所述时间数据135的频率可以作为生成同步触发信号的基础频率。所述时间数据135也可以用作时间戳的参考时间。

如图1所示，所述同步子系统130可以包括被配置为校准数据的校准器(calibration engine)150。在一些情况下，校准过程可以在触发发生器140生成同步触发信号之前进行。所述校准器比较从GNSS 105接收的时间数据135、从本地计数器或定时器145发出的时钟信号和从传感器112接收的输入触发信号115之间的时间差异。例如，所述校准器150可以减少接收到的时间数据135与由本地定时器或计数器145指示的时间值之间的累积误差或差异。假设由GNSS 105发出的时间数据135是长期准确的，所述子系统130将调整本地定时器或计数器145以与所述时间数据135相匹配。例如，假设每3.3毫秒接收一次GNSS信号周期，所述子系统130将检查所述本地定时器145是否测量到3.3毫秒的周期。如果没有，所述子系统130将更新所述本地定时器145以与所述GNSS信号匹配。在一些实施方式中，所述子系统130可以将差异作为相位变化的因素，以生成同步触发信号。

作为另外一个实施方式，所述校准器150可以确定接收到的输入触发信号115的时间戳精度。所述同步子系统130可以将由从GNSS 105发布的时间数据135指定的时间戳或由本地计数器或定时器145发布的时间戳与输入触发信号115所关联的时间戳进行比较。如果两者不匹配，所述子系统130可以更新与输入触发信号115相关联的时间戳。在一些情况下，当使用接收到的输入触发信号115来生成同步触发信号时，所述子系统130可以将时间戳差异作为相位变化的因素。

在一些实施方式中，校准过程也可以在触发发生器140生成同步触发信号之后进行。例如，校准器150可以确定所生成的同步触发信号与从GNSS 105接收的时间数据135或由本地计数器或定时器145发出的时钟信号之间的时间误差或差异。一旦检测到时间误差或差异，所述子系统130可以用校正后的时间或时间戳更新所述同步触发信号。在一些情况下，所述校准器150可以将时间或时间戳差异作为相位变化的因素，以便根据相位变化更新已有的同步触发信号。

图2示出了一实施例提供的多传感器系统中传感器组205、207和209的结构200，所述传感器组分别具有传感器210a-n、220a-o和230a-p。所述多传感器系统可以与图1的多传感器系统100相类似。

如图2所示，所述多个传感器组205、207和209以通信方式耦接至触发发生器240(可类似于上文关于图1所述的触发发生器140)。所述触发发生器240可以向相应传感器组中的一个或多个传感器发送同步触发信号208。在一些情况下，一个或多个传感器可以向所述触发发生器240提供输入触发信号，作为生成所述同步触发信号208的输入，这将结合图3更详细地描述。

每个主电路(以及包括于电路中的触发发生器240)可以与多个传感器组205、207和209耦接。尽管图2示出了与触发发生器240耦接的三个传感器组，但可以理解的是，所述触发发生器240可与任何合适数量的传感器组耦接，例如，一个、两个、五个、十个或其他合适的数量。

类似地，每个传感器组可以包括各自数量的传感器和各自的传感器类型，每个组不需要具有相同数量的传感器。如图2所示，传感器组205可以包括传感器210a-n，传感器组207可以包括传感器220a-o，传感器组209可以包括传感器230a-p。作为一个简单的例子，传感器210a-n可以包括三个传感器，它们都是动态传感器，传感器220a-o可以包括五个传感器，它们都是激光雷达，传感器230a-p可以包括七个传感器，包括两个动态传感器、一个激光雷达和四个摄像头。由n、o和p表示的传感器的数量可以是不同的数量或相同的数量。应当理解，上述传感器的数量和类型是为了便于说明。可以根据不同的传感要求和任务为传感器组设置其他合适的传感器数量和类型。

在一些情况下，所述系统或用户可以将一个或多个传感器组中的一个或多个传感器指定为主传感器，多传感器系统中的其余传感器可以指定为工作传感器。术语“主传感器”通常指由特定触发信号触发的传感器。所述特定触发信号可以指定包括采样帧率、脉冲宽度、采样相位或优选极性中的至少一个或多个触发数据。所述特定触发信号可以由系统(例如，同步子系统130、图1的触发发生器140或图2的触发发生器240)处理，以生成同步触发信号(例如，图1中的同步触发信号155或图2中的同步触发信号208)。术语“工作传感器”通常指由同步触发信号触发的传感器，该同步触发信号是基于主传感器的特定触发信号生成的。例如，主传感器可以是采样频率为10赫兹或每秒10帧的激光雷达，并且相应的工作传感器可以包括多个采样频率为20赫兹或每秒20帧的摄像头。又例如，可以是采样频率为10赫兹或每秒10帧的激光雷达和采样频率为30赫兹或每秒30帧的多个摄像头。主传感器和工作传感器的细节以及它们与同步触发信号的关系将结合图3至图5进行描述。

图3是一实施例中传感器组305和同步子系统330之间信号传输的示例过程300的框图。所述传感器组305可以与图1的传感器组110或图2的传感器组205、207或209类似。所述同步子系统330可以与图1的同步子系统130类似。

如图3所示，所述传感器组305可以包括多个传感器310a-n。每个传感器310a-n可以有特定的传感器类型，包括摄像头、激光雷达、动态传感器、热传感器或其他合适的传感器。为了生成用于控制传感器310a-n的传感器操作的同步触发信号，所述系统或用户可以将传感器组305中的传感器310a-n中之一指定为主传感器310a，并将所述传感器组305中的其余传感器310b-n指定为工作传感器。例如，主传感器310a可以是激光雷达，工作传感器可以包括多个摄像头。

所述传感器组305或所述主传感器310a可以将控制主传感器310a操作的特定触发信号作为输入触发信号315提供给所述同步子系统330。所述输入触发信号315可以通过任何合适的数据通信技术，以无线方式或者通过物理线路提供给所述同步子系统330。在一实施例中，数据传输包括使用集成到主电路(或同步子系统330)中的通用输入和输出(General Purpose Input and Output，GPIO)端口。所述同步子系统330(或图1的触发生成器140)可以基于输入触发信号315生成同步触发信号308。例如，所述触发发生器340可以直接选择输入触发信号315作为工作传感器310b-n的同步触发信号308。

作为另一种实施方式，触发发生器(未示出，但类似于图1的触发发生器140)可以通过修改输入触发信号315的相位来产生所述同步触发信号308，从而触发工作传感器310b-n与主传感器310a基本同时收集和/或发送传感器数据。所述相位的修改可以基于发送或处理控制信号的延迟来确定。例如，当主传感器310a是采样频率为10赫兹的激光雷达，并且工作传感器包括多个采样频率为20赫兹的摄像头时，所述同步触发信号308可以为摄像头工作传感器指定10赫兹的采样频率。在一些情况下，由于不同的路由或结构导致的各种延迟，以及可选地，由于传感器驱动器所需的处理时间，所述同步触发信号308对于不同的工作传感器可以具有稍微不同的相位。在工作传感器具有不同占空比大小(即脉冲的有效宽度和脉冲周期的比值)的情况下，所述同步触发信号308可以具有各自的脉冲宽度。此外，即使对于相同类型的工作传感器，由于不同的任务要求，所述同步触发信号308也可以具有不同的脉冲极性。更多的同步触发信号的例子将结合图6和图7进行详细描述。

在一些情况下，所述同步子系统130被配置为用参考时间戳来校准接收到的输入触发信号115。所述参考时间戳可以使用来自GNSS系统的时间数据或者通过主电路中本地包含的定时器或计数器来确定。这样，所述系统可以确定触发工作传感器的准确时间，从而确定相位调整(如果需要)以便从输入触发信号115产生同步触发信号。

图4是另一实施例中传感器组405和同步子系统430之间信号传输的示例过程400的框图。所述传感器组405可以与图1的传感器组110或图2的传感器组205、207或209相类似。同步子系统430可以与图1的同步子系统130相类似。

与图3所示的示例过程300不同，图4中的传感器组405不包括主传感器(或等效地，多传感器系统100或用户不从传感器组405中的传感器指定主传感器)。相反，传感器组405中的传感器都是工作传感器410a-n。

为了确定用于控制工作传感器410a-n的传感器操作的同步触发信号408，所述同步子系统430可以从GNSS 420接收PPS信号425。GNSS 420可与图1的GNSS 105类似。

所述同步子系统430可以通过GPIO端口接收PPS信号425。在一些情况下，所述同步子系统430被配置为用参考时间戳校准所接收的PPS信号425。所述参考时间戳可以基于主电路中本地包括的定时器或计数器来确定。这样，所述系统可以确定触发工作传感器的准确时间，从而确定相位调整(如果需要)以从输入触发信号115生成同步触发信号。

为了确定事件(例如，接收和发送PPS信号)的准确时间戳，所述子系统130可以进一步确定用于发送所述PPS信号的历经时间段。可以在所述主电路处接收所述PPS信号，并使用遥测数据包序列将其发送至所述子系统。为了确定所述历经时间段，所述子系统130可以，例如，在接收到的PPS信号的上升沿处确定第一时间。所述子系统可以通过发射数据包序列来进一步确定发送接收到的PPS信号的周期。例如，假设发射每个数据包所需的时间约为2μs，每个PPS信号的总发射次数为16次，最后一次发射后的再充电时间约为18μs，则发射和再充电所有16个数据包所需的总历经时间段为50μs，等于(16×2+18)μs。

通过确定所述历经时间段，所述子系统130可以确定一个准确的时间戳，所述时间戳表示触发传感器组405中的工作传感器410a-n的时间点。一个示例算法描述如下。假设发射序列中的点的数量DI(数据点索引)为0-15，发射序列的数量SI(序列索引)为0-23。总时间偏移T_0＝(历经时间段×SI+发射时间×DI)μs。假设遥测数据包的时间戳为T_v(时间戳值)，则每个PPS信号的确切时间点为T_e＝T_v+T_o。

所述同步触发信号408是根据接收到的PPS信号生成的。因此，所述同步触发信号408和接收到的PPS信号可以共享一个采样频率。然而，在一些情况下，所述同步触发信号可以向传感器组405中的不同工作传感器410a-n指定不同的频率。由于上述主电路上接收和发送PPS信号的历经时间段，所述同步触发信号408可能会具有与PPS信号不同的相位。

在一些情况下，所述同步子系统430基于本地定时器而不是PPS信号来生成所述同步触发信号408。在一些情况下，所述同步触发信号408可以具有与本地定时器或计数器相同的采样率。可选地，所述同步触发信号408可以具有比本地计数器更低的采样率，例如，每隔四个计数采样一次数据。类似的，所述同步触发信号408可以由于各自的传感器和传感任务而具有各自的相位、脉冲宽度和极性。

一旦生成了所述同步触发信号408，所述同步子系统430就可以使用适当的数据通信技术将所述同步触发信号408发送到传感器组中的各个工作传感器410a-n。例如，如上所述，可以使用诸如GPIO端口的物理连接来传送信号。

图5是一实施例中多传感器系统的示例过程500的部分框图。多传感器系统的部分被配置用于广播同步触发信号。传感器组505可以与图1的传感器组110类似，并且工作传感器510a-n可以与图1的传感器112类似。所示例的示例过程500基于特定的实施方式，其中同步触发信号基于来自一个或多个主传感器的输入触发信号而确定。如上所述，传感器组可以包括零个、一个或多个主传感器以及一个或多个工作传感器。每个主传感器可以向同步子系统，例如，同步子系统130，提供输入触发信号，以生成同步触发信号。所述同步触发信号可用于控制主传感器的同一传感器组中的或其他传感器组中的工作传感器的操作，或同时控制两者。因此，一个工作传感器可分配给一个或多个主传感器。

一般来说，不同主传感器产生的同步触发信号可以使用各自的数据总线传输至相应的工作传感器。例如，如图5所示，多传感器系统的部分可以包括不同的I2C主工作数据总线以发送同步触发信号。更为具体地，所述系统可以使用第一I2C主工作数据总线520a向相应的工作传感器510a-n发送同步触发信号530a，并且使用第二I2C主工作数据总线520b向相应的工作传感器510a-n发送同步触发信号530b。

考虑到一个工作传感器可能由多个主传感器“间接”控制，所述多传感器系统(例如，图1中的系统100)需要确定工作传感器应接收多个同步触发信号中的哪一个。为了确定这一点，所述系统包括多个MUX单元515a-n，每个MUX单元分别分配给相应的工作传感器510a-n。每个MUX单元还与相应的I2C主工作总线520a或520b相耦接。所述多传感器系统或用户可以指示所述MUX单元选择多个I2C主工作总线中的一个，以允许相应的工作传感器接收沿着所选定总线传输的同步触发信号。在一些实施方式中，所述系统还包括广播总线550以促进广播过程。所述广播总线与MUX单元515a-n中的每一个相耦接。所述系统或用户可以使用选择信号560指定一个I2C主工作总线。一旦MUX单元沿着广播总线550接收到选择信号560，MUX单元就会选择所述选择信号560中指定的I2C主工作总线，并允许相应的工作传感器510a-n接收沿着所选择的总线发送的同步触发信号。

图6和图7分别示出了触发信号和同步触发信号的示例600和700。

参考图6，多传感器系统(例如，系统100)中的触发发生器(例如，图1中的触发发生器140)可被配置为基于输入触发信号610调整采样帧率(sampling frame rate)或采样相位或两者同时调整。例如，触发发生器可以确定具有比输入触发信号610更高采样帧率的同步触发信号620。或者，所述触发发生器可以确定具有比输入触发信号610更低采样帧率的同步触发信号630。这两种情况可应用于主传感器与分配的工作传感器具有不同采样率(sampling rate)的情况。作为一个简单的实施方式，默认情况下，主传感器可以是采样帧率为20赫兹的激光雷达和采样帧率为10赫兹(Hz)的多个摄像头。在这种情况下，触发发生器可以将摄像头的采样帧率从10Hz提高到20Hz，使得激光雷达和摄像头可以以相同的采样帧率工作。在另一实施方式中，主传感器可以是最大采样帧率为30Hz的第一动态传感器，并且工作传感器可以包括采样帧率为50Hz的多个动态传感器。由于第一动态传感器的采样帧率不能增加，触发发生器可以将工作传感器的采样速率降至30Hz。这样，主动态传感器和工作动态传感器可以以相同的采样帧率工作。

此外，如图6所示，所述触发发生器可以生成具有与输入触发信号610不同的相位和更高采样率的同步触发信号640。或者，所述触发发生器可以生成具有与输入触发信号610不同的相位和更低采样率的同步触发信号650。采样率差异与上述相似。如上所述，同步触发信号640、650之间以及与输入触发信号610之间的相位差用于补偿主电路到相应的工作传感器之间的信号传输的历经时间段。在某些情况下，相位差也可以归因于在可选校准过程中确定的各个时间之间的差异。

参考图7，触发发生器(例如，图1中的触发发生器140)可以进一步为不同的工作传感器生成具有不同脉冲宽度和极性的同步触发信号。

触发发生器可以为第一工作传感器A生成第一同步触发信号710，为第二工作传感器B生成第二同步触发信号720。注意，第一和第二同步触发信号710和720具有相同的采样帧率和相位。更具体地，信号710和720都可以具有相同的周期713和723。然而，第一同步触发信号710具有比第二同步触发信号720的脉冲宽度725更长或更大的脉冲宽度715。第一同步触发信号710的对应无效宽度717，即脉冲间隔，小于第二同步触发信号720的无效宽度727。由于不同的传感器可以具有各自的优选占空比，因此根据各自的传感器类型来确定脉冲宽度的差异。如上所述，本公开中的术语“占空比”一般是指有效时间与总信号周期(或脉冲周期)的比值，例如，脉冲宽度715与周期713的比值。占空比可以包括1、0.5、0.25或其他合适的数值。若占空比为0.5，则有效时间和无效时间各占脉冲周期的50％。若占空比为0.25，则有效时间占脉冲周期的25％，无效时间占脉冲周期的75％。

此外，触发发生器140还可以为第三工作传感器C生成第三同步触发信号730，为第四工作传感器D生成第四同步触发信号740。类似地，所述第三和第四同步触发信号共享相同的采样帧率和相位(例如，周期733和743具有相同的大小，并且脉冲同时跳变)。第三同步触发信号730具有比第四同步触发信号740更大的占空比。然而，第三同步触发信号730的极性与第一同步触发信号710的极性相反，而第四同步触发信号740的极性则与第二同步触发信号720的极性相反。根据各自的任务要求确定工作传感器的极性。例如，传感器可以被配置为在接收到信号的波峰时激活(也称为正极性或高位激活)。又例如，传感器可以被配置为在接收到信号的波谷时激活(也称为负极性或低位激活)。

图8是一实施例提供的多传感器系统中同步触发信号控制传感器执行的过程800的流程图。所述过程800的操作可以由图1中的多传感器系统100或者更具体地由图1中的同步子系统130来执行。所述过程800的操作还可以被实现为存储在一个或多个计算机可读介质上的指令，所述一个或多个计算机可读介质可以是非暂时性的。一个或一个以上数据处理设备执行所述指令可以使一个或多个数据处理设备执行所述过程800的操作。

该系统被配置为生成同步触发信号，用于控制多传感器系统中多个传感器的传感器操作。所述多传感器系统可以包括多个传感器组，每个传感器组包括多个不同类型的传感器。多个传感器耦接至主电路，所述主电路被配置为发出同步触发信号以控制所述多个传感器。尽管所述系统被命名为多传感器系统，但在一些实施方式中，所述系统可以仅包括一个或多个主电路。所述多个传感器可以在主电路外部，并通过物理端口或无线通信与主电路耦接。

所述系统通过电路(810)上的处理器识别触发信号。如上所述，所述电路与多个传感器组耦接，并且每个传感器组包括具有各自传感器类型的多个传感器。传感器类型可以包括图像传感器、音频传感器或激光传感器。所述多个传感器组的第一组可以包括具有第一传感器类型的第一传感器和具有第二传感器类型的第二传感器。所述第一传感器可以是，例如激光雷达，所述第二传感器可以是摄像头。在一些实施方式中，所述系统可以包括多个电路，每个电路与具有不同数量和类型的传感器的多个传感器组相耦接。

通过识别触发信号，所述系统可以从一个或多个主传感器中选择一个或多个输入触发信号，并选择一个输入触发信号作为识别的触发信号。主传感器可以由所述系统或用户指定。输入触发信号通常适合于控制相应主传感器的传感器操作。输入触发信号可以指定帧率(在本公开中也称为采样帧率或采样频率)、相位、脉冲宽度或极性中的一个或多个，用于指示或控制相应的主传感器采集传感器数据。

或者，所述系统可以根据从GNSS接收的时间数据生成触发信号作为所述识别的触发信号。更为具体地，GNSS可以为时间戳事件指定参考时间，所述时间数据可以包括主电路周期性接收的PPS信号。所述系统可以基于PPS信号生成触发信号，并且所述触发信号可用于生成同步触发信号以控制所述系统中的传感器。

在一些情况下，所述识别的触发信号可以由主电路本地的定时器或计数器发出的时间值或时间戳生成。本地定时器或计数器的细节在上文与图1有关的部分进行了描述。所述识别的触发信号还可用于生成同步触发信号，以控制所述系统中的传感器操作。

所述系统为多个传感器组(820)中每组传感器中的每个传感器生成同步触发信号。更具体地，所述系统至少基于各自的传感器类型，使用所述识别的触发信号来生成同步触发信号。同步触发信号一旦被相应的传感器接收并由传感器中的驱动器执行，可以使得相应的传感器同步地采集特定场景的传感器数据。一般来说，同步触发信号可以根据系统特性和传感器特性为相应的传感器指定各自的帧率、相位、脉冲宽度或极性。例如，在系统确定并补偿由于信号传输中的延迟引起的相位差之后，系统可以确定所述同步触发信号。作为另一实施方式，根据传感器的不同特性考虑脉冲宽度和极性之后，系统可以确定所述同步触发信号。传感器特性和系统特性的更多实施方式可参考上文中的描述。

由于所述系统在生成同步触发信号时考虑了各自的传感器特性，一个或多个同步触发信号可以具有与识别的触发信号不同的帧率、相位、极性或脉冲宽度。例如，所述同步触发信号可以具有更高或更低的采样帧率，或者具有与所述识别的触发信号不同的相位。在一些情况下，所述同步触发信号可以具有与所述识别的触发信号不同的脉冲宽度和极性，或者不同的同步触发信号具有不同的脉冲宽度和极性。

在生成同步触发信号之前，所述系统可以执行校准过程。例如，所述系统可以使用来自GNSS或本地定时器或计数器的时间值或数据来校准时间戳。作为另一个实施方式，所述系统可以使用本地(或内部)定时器或计数器或使用GNSS指定的时间戳来校准识别的触发信号。在一些实施例中，所述系统还可以使用GNSS接收的时间数据来进一步校准本地定时器或计数器的时间戳。所述校准过程的更多细节可参考上文中与图1相关的描述。

所述系统将同步触发信号传输给相应的传感器(830)。在传感器上相应的驱动器接收并处理同步触发信号之后，触发多组传感器采集场景的传感器数据。相应的传感器包括分配给一个或多个主传感器的工作传感器。

为了广播同步触发信号，所述系统可以包括对应每个工作传感器的多路复用器单元。所述多路复用器单元促进了广播过程，因为它可以被配置为从多条数据总线中选择一条数据总线，同步触发信号沿着选择的数据总线传输。例如，多路复用器可以与用于第一同步触发信号的第一I2C主工作数据总线以及用于第二同步触发信号的第二I2C主工作数据总线相耦接。多路复用器单元还与广播数据总线相耦接，以促进广播过程。更具体地，多路复用器单元被配置为沿着广播数据总线接收选择信号，并基于所述选择信号选择所述第一同步触发信号和所述第二同步触发信号中的一个，并发送至相应的工作传感器。所述选择信号可以由所述系统或用户指定。

为了在触发信号中生成准确的时间戳或正确的相位变化，所述系统可以确定接收PPS信号并将其发送至同步子系统(例如，图1中的同步子系统130)的准确时间点。更具体地，所述系统可以通过计算在主电路处从GNSS接收到的包括PPS信号的触发信号的第一时间与使用遥测数据包序列将所述PPS信号发送到所述子系统的第二时间之间的偏移值来确定历经时间段。确定所述历经时间段的细节可参考上文中与图4相关的描述。

本公开中描述的主题和操作的实施例可以在数字电子电路中实现，或者在计算机软件、固件或硬件中实现，或者在其中一个或多个的组合中实现，所述硬件包括本公开中披露的结构及其结构等价物。本公开中描述的主题的实施例可以作为一个或多个计算机程序来实现，即计算机程序指令的一个或更多个模块，编码在计算机存储介质上，以便由数据处理装置执行或控制其操作。可替代地或者进一步地，可以在人工生成的传播信号，如机器生成的电、光或电磁信号上对程序指令进行编码，该信号被生成用于编码信息，以便传输到合适的接收设备，供数据处理装置执行。计算机存储介质可以是或包括在计算机可读存储设备、计算机可读存储基板、随机或串行访问存储器阵列或设备中，或者是它们中的一个或多个的组合。此外，虽然计算机存储介质不是传播信号，但计算机存储介质可以是编码在人工生成的传播信号中的计算机程序指令的源头或目的地。所述计算机存储介质也可以是或包括在一个或多个单独的物理组件或介质中(例如，多张CD、磁盘或其他存储设备)。

本公开中描述的操作可以作为数据处理装置对存储在一个或多个计算机可读存储设备上或从其他来源接收的数据进行的操作来执行。

术语“数据处理设备”包括用于处理数据的各种设备、装置和机器，包括例如可编程处理器、计算机、片上系统或上述的多个设备或组合。所述设备可以包括专用逻辑电路，例如现场可编程门阵列(Field Programmable Gate Array，FPGA)或专用集成电路(Application-Specific Integrated Circuit，ASIC)。除了硬件之外，所述设备还可以包括为所述有关计算机程序创建执行环境的代码，例如，构成处理器固件、协议栈、数据库管理系统、操作系统、跨平台运行环境、虚拟机或它们中的一个或多个的组合的代码。所述设备和执行环境可以实现各种不同的计算模型基础设施，例如网络服务、分布式计算和网格计算基础设施。

计算机程序(也称为程序、软件、软件应用程序、脚本或代码)可以用任何形式的编程语言编写，包括编译或解释语言、声明性或程序性语言，并且可以以任何形式部署，包括作为一个独立的程序或作为一个模块、组件、子例程、对象或其他适合在计算环境中使用的单元。计算机程序可以但不必要对应于文件系统中的一个文件。程序可以存储在保存其他程序或数据的文件的一部分中(例如，存储在标记语言文件中的一个或多个脚本)、存储在专用于所述程序的单个文件中，或存储在多个协调文件中(例如，存储一个或多个模块、子程序或部分代码的文件)。计算机程序可以部署在位于一个站点或分布在多个站点并通过通信网络互连的一台计算机或多台计算机上执行。

本公开中描述的过程和逻辑流程可由一个或多个可编程处理器执行，该处理器执行一个或多个计算机程序，通过对输入数据进行操作并生成输出来执行操作。所述过程和逻辑流程也可以由专用逻辑电路执行，并且设备也可以作为专用逻辑电路来实现，例如FPGA或ASIC。

适于执行计算机程序的处理器包括，例如，通用和专用微处理器。通常，处理器将从只读存储器或随机存取存储器或两者中接收指令和数据。计算机的基本要素是根据指令执行操作的处理器和一个或多个用于存储指令和数据的存储设备。一般来说，计算机还包括一个或多个用于存储数据的大容量存储设备，例如磁盘、磁光盘或光盘，或者通过耦接以与所述大容量存储设备进行数据的收发。然而，计算机不需要这样的设备。此外，计算机可以嵌入在另一设备中，例如，移动电话、个人数字助理(Personal Digital Assistant，PDA)、移动音频或视频播放器、游戏机、全球定位系统(Global Positioning System，GPS)接收器或便携式存储设备(例如，通用串行总线(Universal Serial Bus，USB)闪存驱动器)等等。适于存储计算机程序指令和数据的设备包括所有形式的非易失性存储器、介质和存储设备，包括例如半导体存储设备，如EPROM、EEPROM和闪存设备；磁盘，如内部硬盘或可移动磁盘；磁光盘；以及CD-ROM和DVD-ROM磁盘。所述处理器和所述存储器可以由专用逻辑电路补充或并入专用逻辑电路中。

为了提供与用户的交互，本公开所述的具体的实施例可以在计算机上实现，所述计算机具有显示设备，例如阴极射线管(Cathode Ray Tube，CRT)或液晶显示器(LiquidCrystal Display，LCD)监视器，用于向用户显示信息，还有键盘和定点设备，例如鼠标或轨迹球，用户可以通过所述设备向计算机提供输入。其他种类的设备也可以用于提供与用户的交互，例如，提供给用户的反馈可以是任何形式的感官反馈，如视觉反馈、听觉反馈或触觉反馈。并且可以以任何形式接收来自用户的输入，包括声音、语言或触觉输入。此外，计算机可以通过向用户使用的设备发送文件和从该设备接收文件来与用户交互，例如响应从用户的客户端设备上的网络浏览器接收的请求，将网页发送至所述网络浏览器。

本公开所述的具体实施例可以在计算系统中实现，所述计算系统包括后端组件，例如数据服务器，或者包括中间件组件，例如应用服务器，或者包括前端组件，例如具有图形用户界面或网络浏览器的客户端计算机，用户可以通过该图形用户界面或网络浏览器与本公开中描述的主题的实现进行交互，或者包括一个或多个这样的后端、中间件或前端组件的任何组合。该系统的组件可以通过任何形式或介质的数字数据通信，例如通信网络来互连。通信网络的示例包括局域网(Local Area Network，LAN)和广域网(Wide AreaNetwork，WAN)、互联网(如因特网)以及对等网络(如自组织对等网络)。

所述计算系统可以包括客户端和服务器。客户端和服务器通常彼此远离，并且一般通过通信网络进行交互。客户端和服务器的关系是由于计算机程序在各自的计算机上运行而产生的，并且彼此间具有客户端-服务器的关系。在一些实施方式中，服务器将数据(例如，HTML页面)发送至客户端设备(例如，为了向与客户端设备交互的用户显示数据以及从与客户端设备进行交互的用户接收用户输入)。在客户端设备上生成的数据(例如，用户交互的结果)可以在服务器上从客户端设备接收。

虽然本公开包含很多具体实施细节，但这些细节不应被解释为对发明的或其他被声明的内容的保护范围的限制，而应被理解为对特定发明的特定实施例的特征的描述。本公开所述的在单独实施例中描述的特定特征也可以在单个实施例中组合实施。同理，在单个实施例的上下文中描述的各种特征也可以在多个实施例中单独地或以任何合适的子组合形式来实现。此外，尽管上述特征可能被描述为在某些组合中起作用，并且甚至最初以这样的方式要求保护，但在某些情况下，可以从所要求保护的组合中删除一个或多个特征，并且所要求的组合可以是子组合或子组合的变形。

类似地，尽管在附图中以特定顺序描述了操作，但这不应被理解为要求以所示的特定顺序执行此类操作，或要求执行所有所示操作，以获得期望的结果。在某些情况下，多任务和并行处理也可以达到理想效果。此外，上述实施例中的各种系统组件的分离不应被理解为在所有实施例中都需要这样的分离，应当理解为，所述程序组件和系统通常可以被集成在单个软件产品中或者被打包成多个软件产品。

因此，本公开已经提供了特定的具体实施方式，其他实施例落于后续权利要求所限定的范围之内。在一些情况下，权利要求中所述的操作可以以不同的顺序执行，并且仍可获得期望的结果。此外，附图中所示的过程不一定需要所示的特定顺序来实现期望的结果。在某些实现中，多任务和并行处理也可以达到理想效果。

Claims (16)

1.一种生成同步触发信号的方法，用于控制多个传感器的执行,其特征在于，包括：

通过电路上的处理器识别触发信号，所述电路与多组传感器相耦接，每组传感器具有一个或多个传感器，每个传感器具有各自的传感器类型；

对于所述每组传感器中的每个传感器，至少基于相应的传感器类型使用识别的触发信号来生成同步触发信号，其中，同步触发信号一旦被相应的传感器接收，导致相应的传感器同步采集特定场景的传感器数据；

向所述多组传感器中的相应传感器发送所述同步触发信号，以控制数据采集的执行。

2.根据权利要求1所述的方法，其特征在于，所述多组传感器中的一组包括具有第一传感器类型的第一传感器和具有第二传感器类型的第二传感器，其中，用于所述第一传感器的同步触发信号和用于所述第二传感器的同步触发信号指定各自的帧率、各自的相位、各自的脉冲宽度或各自的极性以触发传感器操作。

3.根据权利要求1所述的方法，其特征在于，通过所述处理器识别触发信号包括：选择所述处理器从多组传感器中的一组中的主传感器接收的信号作为识别的触发信号。

4.根据权利要求1所述的方法，其特征在于，通过所述处理器识别触发信号包括：

将基于全球导航卫星系统GNSS接收到的时间数据生成的信号作为识别的触发信号，其中接收到的时间数据包括每秒脉冲PPS信号。

5.根据权利要求1所述的方法，其特征在于，通过所述处理器识别触发信号包括：

通过所述处理器基于所述电路中的本地定时器或计数器生成所述触发信号。

6.根据权利要求1所述的方法，其特征在于，在生成所述同步触发信号之前，还包括：

用所述电路中的本地定时器或计数器校准所述识别的触发信号。

7.根据权利要求1所述的方法，其特征在于，

所述同步触发信号中之一具有与所述识别的触发信号不同的帧率、相位、极性或脉冲宽度。

8.根据权利要求1所述的方法，其特征在于，

所述各自的传感器类型包括图像传感器、音频传感器或激光传感器。

9.根据权利要求1所述的方法，其特征在于，

所述多组传感器中的第一传感器的第一同步触发信号与所述多组传感器中的第二传感器的第二同步触发信号具有不同的相位，其中相位差由所述处理器根据将所述第一同步触发信号和所述第二同步触发信号分别发送至所述第一传感器和所述第二传感器的历经时间段确定。

10.根据权利要求1所述的方法，其特征在于，

所述多组传感器中的一组包括摄像头或激光雷达中的至少一个。

11.根据权利要求1所述的方法，其特征在于，还包括：

使用所述电路中的本地定时器或计数器或GNSS指定的时间戳，在所述多组传感器上校准所述识别的触发信号。

12.根据权利要求1所述的方法，其特征在于，所述识别的触发信号是从所述多组传感器中的一组中的主传感器接收到的信号，其中，向所述相应的传感器发送所述同步触发信号包括：

向所述多组传感器中的一组或多组中的工作传感器发送所述同步触发信号。

13.根据权利要求1所述的方法，其特征在于，所述电路包括多路复用器单元，所述多路复用器单元用于向相应的工作传感器发送所述同步触发信号中的一个，所述多路复用器单元与用于第一同步触发信号的第一I2C主工作总线和用于第二同步触发信号的第二I2C主工作总线相耦接，其中向所述相应的传感器发送所述同步触发信号包括:

在所述多路复用器单元接收来自广播数据总线的选择信号；以及

根据所述选择信号选择所述第一同步触发信号和所述第二同步触发信号中的一个发送到相应的工作传感器。

14.根据权利要求1所述的方法，其特征在于，还包括：确定信号传输的历经时间段，所述确定信号传输的历经时间段包括:

通过计算从GNSS接收到包括PPS信号的触发信号的第一时间，和使用遥测数据包序列将PPS信号发送到所述电路中的相应部件的第二时间之间的偏移值确定所述历经时间段。

15.一种多传感器系统，其特征在于，所述系统包括一个或多个计算机和一个或多个存储有指令的存储设备，当所述一个或多个计算机运行所述指令时，执行权利要求1至14任一项所述方法的步骤。

16.一种非暂时性计算机可读存储介质，其上存储有指令，其特征在于，当一个或多个计算机执行所述指令时，执行权利要求1至14任一项所述方法的步骤。

Images