CN110139066A - 一种传感器数据的传输系统、方法和装置 - Google Patents

Abstract

本发明实施例公开一种传感器数据的传输系统、方法和装置，该系统包括：多路环视相机和上位机；各路相机均包括图像采集模块、惯性测量模块和微控模块，图像采集模块包括图像处理单元；其中，微控模块被配置为采集场同步信号和惯性测量数据；如果惯性测量中断事件发生，则将标定后的惯性测量数据发送给上位机；如果场同步信号中断事件发生，则将场同步信号对应的图像时间戳数据发送到上位机；上位机被配置为如果接收到标定后的惯性测量数据，则将标定后的惯性测量数据上传；如果接收到图像时间戳数据，则将完成校准后的图像时间戳数据及其对应的目标图像数据上传。通过采用上述技术方案，实现了对图像时间戳校准、惯性测量时间戳进行校准的功能。

Description

一种传感器数据的传输系统、方法和装置

技术领域

本发明涉及自动驾驶技术领域，具体涉及一种传感器数据的传输系统、方法和装置。

背景技术

目前做环视相机的大多是汽车厂第一供应商，提供给各大汽车厂进行汽车的环视监控，定位和建图等。但第一供应商做的环视相机产品仅仅只有摄像头图像数据，布局在四个方向的远端相机无法准确的标记图像曝光时间，这也就影响了后续图像数据与其他传感器数据的融合。

发明内容

本发明实施例公开一种传感器数据的传输系统、方法和装置，在实现相机与惯性测量单元刚性化的基础上，还实现了对图像时间戳校准、惯性测量时间戳进行校准的功能。

第一方面，本发明实施例公开了一种传感器数据的传输系统，该系统包括：

多路环视相机以及与所述多路环视相机中的各路相机均存在通信连接的上位机；其中，所述多路环视相机中的各路相机均包括图像采集模块、惯性测量模块和微控模块，所述图像采集模块包括图像处理单元；其中，

所述微控模块，被配置为在接收到上位机发送的起始采集信号时，获取所述图像处理单元输出的场同步信号和所述惯性测量模块采集的惯性测量数据；当检测到中断事件发生时，如果判断出所述中断事件为惯性测量中断事件，则对所述惯性测量数据的时间戳进行标定，并将标定后的惯性测量数据发送给所述上位机；如果判断出所述中断事件为场同步信号中断事件，则将所述场同步信号对应的图像时间戳数据发送到所述上位机；

所述上位机，被配置为轮询接收所述多路环视相机中的各微控模块传输的数据，如果接收到所述标定后的惯性测量数据，则将所述标定后的惯性测量数据上传到应用模块；如果接收到所述图像时间戳数据，则利用目标图像数据的曝光中心点对所述图像时间戳数据进行校准，并基于所述目标图像数据与所述图像时间戳数据之间的传输映射关系，将完成校准后的图像时间戳数据及其对应的目标图像数据上传到所述应用模块。

可选的，各路相机与所述上位机之间通过GMSL或FPD-Link建立通信连接。

可选的，对于任意一路相机，所述目标图像数据与所述图像时间戳数据之间的传输映射关系是通过所述上位机向该相机发送帧率变化指令，以使该相机用于发送图像数据的通道与用于发送图像时间戳数据的通道之间建立映射关系。

第二方面，本发明实施例还公开了一种传感器数据的传输方法，应用于上位机，该方法包括：

轮询接收多路环视相机分别传输的传感器数据；

对于任意一路相机传输的传感器数据，如果判断出该传感器数据是惯性测量数据，则将所述惯性测量数据进行上传，其中，所述惯性测量数据是在相机端已完成时间戳标定后的传感器数据；

如果判断出该传感器数据是图像时间戳数据，则利用目标图像数据的曝光中心点对所述图像时间戳数据进行校准，其中，所述目标图像数据是相机端发送的与所述图像时间戳数据存在传输映射关系的数据；

基于所述传输映射关系，将完成校准后的图像时间戳数据和其对应的目标图像数据进行上传。

可选的，所述利用目标图像数据的曝光中心点对所述图像时间戳数据进行校准，包括：

读取单行像素的单行曝光时间；

根据所述单行曝光时间和读取到的所有行像素的时间间隔，计算目标图像数据的曝光中心点，其中，所述所有行像素的时间间隔是通过有效行数和像素时钟计算得到的；

将所述曝光中心点作为校准后的图像时间戳数据。

可选的，根据所述单行曝光时间和读取到的所有行像素的时间间隔，计算目标图像数据的曝光中心点，包括：

将所有行像素的时间间隔与所述单行曝光时间作差，并计算差值的二分之一值；

将未校准的图像时间戳数据所对应的时刻与所述差值的二分之一值作和，得到目标图像数据的曝光中心点。

第三方面，本发明实施例还公开了一种传感器数据的传输方法，应用于相机，该方法包括：

在接收到上位机发送的起始采集信号时，采集图像处理单元输出的场同步信号和惯性测量模块采集的惯性测量数据；

当检测到中断事件发生时，如果判断出所述中断事件为惯性测量中断事件，则对所述惯性测量数据的时间戳进行标定，并将标定后的惯性测量数据发送到所述上位机；

如果判断出所述中断事件为场同步信号中断事件，则将所述场同步信号对应的图像时间戳数据发送到所述上位机，以供上位机利用目标图像数据的曝光中心点对所述图像时间戳数据进行校准，其中，所述目标图像数据是上位机接收到的与所述图像时间戳数据存在传输映射关系的数据。

第四方面，本发明实施例还提供了一种传感器数据的传输装置，应用于上位机，该装置包括：

数据接收模块，被配置为轮询接收多路环视相机分别传输的传感器数据；

惯性测量数据上传模块，被配置为对于任意一路相机传输的传感器数据，如果判断出该传感器数据是惯性测量数据，则将所述惯性测量数据进行上传，其中，所述惯性测量数据是在相机端已完成时间戳标定后的传感器数据；

图像时间戳校准模块，被配置为如果判断出该传感器数据是图像时间戳数据，则利用目标图像数据的曝光中心点对所述图像时间戳数据进行校准，其中，所述目标图像数据是相机端发送的与所述图像时间戳数据存在传输映射关系的数据；

图像上传模块，被配置为基于所述传输映射关系，将完成校准后的图像时间戳数据和其对应的目标图像数据进行上传。

可选的，所述图像时间戳校准模块，包括：

单行曝光时间读取单元，被配置为读取单行像素的单行曝光时间时间；

曝光中心点计算单元，被配置为根据所述单行曝光时间和读取到的所有行像素的时间间隔，计算目标图像数据的曝光中心点，其中，所述所有行像素的时间间隔是通过有效行数和像素时钟计算得到的；

图像时间戳校准单元，被配置为将所述曝光中心点作为校准后的图像时间戳数据。

可选的，所述曝光中心点计算单元，具体被配置为：

将所有行像素的时间间隔与所述单行曝光时间作差，并计算差值的二分之一值；

将未校准的图像时间戳数据所对应的时刻与所述差值的二分之一值作和，得到目标图像数据的曝光中心点。

第五方面，本发明实施例还公开了一种传感器数据的传输装置，应用于相机，该装置包括：

数据获取模块，被配置为在接收到上位机发送的起始采集信号时，采集图像处理单元输出的场同步信号和惯性测量模块采集的惯性测量数据；

惯性测量数据上传模块，被配置为当检测到中断事件发生时，如果判断出所述中断事件为惯性测量中断事件，则对所述惯性测量数据的时间戳进行标定，并将标定后的惯性测量数据发送到所述上位机；

图像时间戳数据上传模块，被配置为如果判断出所述中断事件为场同步信号中断事件，则将所述场同步信号对应的图像时间戳数据发送到所述上位机，以供上位机利用目标图像数据的曝光中心点对所述图像时间戳数据进行校准，其中，所述目标图像数据是上位机接收到的与所述图像时间戳数据存在传输映射关系的数据。

第六方面，本发明实施例还提供了一种相机，包括：

存储有可执行程序代码的存储器；

与所述存储器耦合的处理器；

图像采集模块，与所述处理器相连，用于采集图像数据；

惯性测量模块，与所述处理器相连，用于采集惯性测量数据；

所述处理器调用所述存储器中存储的所述可执行程序代码，执行本发明任意实施例所提供的应用于相机的传感器数据的传输方法的部分或全部步骤。

第七方面，本发明实时还提供了一种上位机，包括：

存储有可执行程序代码的存储器；

与所述存储器耦合的处理器；

所述处理器调用所述存储器中存储的所述可执行程序代码，执行本发明任意实施例所提供的应用于上位机的传感器数据的传输方法部分或全部步骤。

第八方面，本发明实施例还提供了一种计算机可读存储介质，其存储计算机程序，所述计算机程序包括用于执行本发明任意实施例所提供的应用于相机的传感器数据的传输方法的部分或全部步骤的指令。

第九方面，本发明实施例还提供了一种计算机可读存储介质，其存储计算机程序，所述计算机程序包括用于执行本发明任意实施例所提供的应用于上位机的传感器数据的传输方法的部分或全部步骤的指令。

第十方面，本发明实施例还提供了一种计算机程序产品，当所述计算机程序产品在计算机上运行时，使得所述计算机执行本发明任意实施例所提供的应用于相机的传感器数据的传输方法的部分或全部步骤。

第十一方面，本发明实施例还提供了一种计算机程序产品，当所述计算机程序产品在计算机上运行时，使得所述计算机执行本发明任意实施例所提供的应用于上位机的传感器数据的传输方法的部分或全部步骤。

本发明实施例提供的技术方案，通过在相机中集成IMU，实现了相机与IMU的刚性化。在相机端通过对IMU数据进行校准，并通过在上位机端对图像时间戳数据进行校准，实现了将IMU数据时间戳和图像数据时间戳在同一时间维度下进行对齐的功能，便于后续将图像数据和IMU数据进行融合以对车辆进行定位。

本发明的发明点包括：

1、将IMU集成到相机中，实现了相机与IMU的刚性化，以及图像数据与IMU数据的同步采集，是本发明的发明点之一；

2、采用Rolling Shutter(卷帘快门)图像传感器获取图像数据，但由于RollingShutter的曝光时间不固定，利用图像曝光中心点对所获取图像数据对应时间戳进行校准是本发明的发明点之一；

3、通过对IMU时间戳数据和图像时间戳数据进行校准，实现了图像数据和IMU数据在同一时间维度下的时间戳同步，是本发明的发明点之一。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1a是本发明实施例提供的一种传感器数据的传输系统的结构框图；

图1b是本发明实施例提供的MCU的工作流程图；

图1c是本发明实施例提供的上位机的工作流程图；

图1d为本发明实施例提供的一种传感器数据的传输系统的硬件原理图；

图2是本发明实施例提供的一种应用于相机的传感器数据的传输方法的流程示意图；

图3是本发明实施例提供的一种应用于上位机的传感器数据的传输方法的流程示意图；

图4为本发明一个实施例中使用卷帘快门图像传感器OV2718的曝光示意图；

图5是本发明实施例提供的一种应用于上位机的传感器数据的传输装置的结构示意图；

图6是本发明实施例提供的一种应用于相机的传感器数据的传输装置的结构示意图；

图7是本发明实施例提供的一种相机的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

需要说明的是，本发明实施例及附图中的术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。

实施例一

请参阅图1a，图1a是本发明实施例提供的一种传感器数据的传输系统的结构框图。该系统可应用于环视建图过程中，典型的是应用于车库建图、泊车等场景下。如图1a所示，本实施例提供的传感器数据的传输系统100具体包括：多路环视相机110(图1a中示出了四路环视相机110)以及与多路环视相机中的各路相机均存在通信连接的上位机120；其中，多路环视相机中的各路相机110均包括图像采集模块111、惯性测量模块112和微控模块(MCU)113，图像采集模块111包括图像处理单元1110；其中，微控模块113的具体工作流程通过图1b示出，上位机120的具体工作流程通过图1c示出。

如图1b所示，微控模块113，被配置为在接收到上位机120发送的起始采集信号时，获取图像处理单元1110输出的场同步信号和惯性测量模块112采集的惯性测量(Inertialmeasurement unit，IMU)数据；当检测到中断事件发生时，如果判断出中断事件为惯性测量中断事件，则对惯性测量数据的时间戳进行标定，并将标定后的惯性测量数据发送给上位机120；如果判断出中断事件为场同步信号中断事件，则将场同步信号对应的图像时间戳数据发送到上位机120。

如图1c所示，上位机120，被配置为轮询接收多路环视相机中的各微控模块113传输的数据，如果接收到标定后的惯性测量数据，则将标定后的惯性测量数据上传到应用模块；如果接收到图像时间戳数据，则利用目标图像数据的曝光中心点对图像时间戳数据进行校准，并基于目标图像数据与所述图像时间戳数据之间的传输映射关系，将完成校准后的图像时间戳数据及其对应的目标图像数据上传到应用模块。

示例性的，各路相机与上位机之间可通过GMSL(吉比特多媒体串行链路)或FPD-Link(视频串行通讯)等高速通道建立通信连接。

具体的，图1d为本发明实施例提供的一种传感器数据的传输系统的硬件原理图。如图1d所示，该系统包含上位机NVIDIA(PX2)/TI(TDA2SX)端和MCU集成模块端(MCU+Camera+IMU)，即相机端两部分。其中NVIDIA(PX2)/TI(TDA2SX)端主要功能是驱动各个硬件外设，管理硬件外设；通过自定义传输协议在NVIDIA(PX2)/TI(TDA2SX)端和MCU集成模块端进行通信，获取图像数据，IMU数据和时间戳数据。

本实施例基于NVIDIA(PX2)或TI(TDA2SX)平台，利用GMSL通信方案，使用RollingShutter(卷帘快门)相机，通过增加高性能、低成本的MCU与Rolling Shutter相机集成，采集了图像数据，400Hz IMU数据，实现了图像数据，IMU数据，在同一时间维度下的数据精确采集，各个传感数据的时间戳达到1毫秒级精度，取得了较佳的技术效果，是本发明的发明点所在。

本实施例提供的技术方案，通过在相机中集成了IMU，实现了相机与IMU的刚性化。在相机端通过对IMU数据进行校准，并通过在上位机端对图像时间戳数据进行校准，实现了将IMU数据时间戳和图像数据时间戳在同一时间维度下进行对齐的功能，便于后续将图像数据和IMU数据进行融合以对车辆进行定位。

实施例二

请参阅图2，图2是本发明实施例提供的一种传感器数据的传输方法的流程示意图。该方法可通过传感器数据的传输装置来执行，该装置可通过软件和/或硬件的方式实现，本实施例将其应用于相机端，由相机中的微控模块MCU来实现。本实施例中，在各路相机完成初始化，并接收到上位机发送的握手信号时，可接收到上位机发送的起始采集信号，开始传感器数据的采集和传输过程。如图2所示，本实施例提供的方法包括：

210、在接收到上位机发送的起始采集信号时，采集图像处理单元输出的场同步信号和惯性测量模块采集的惯性测量数据。

220、当检测到中断事件发生时，如果判断出中断事件为惯性测量中断事件，则对惯性测量数据的时间戳进行标定，并将标定后的惯性测量数据发送到上位机。

具体的，IMU时间戳标定原理如下：

对于IMU来说，配置IMU更新频率为需求频率；配置IMU中断后，IMU数据产生的时候会产生中断，MCU捕捉到IMU中断后对时间戳标定，然后读取数据，进行数据封装、上报。

230、如果判断出中断事件为场同步信号中断事件，则将场同步信号对应的图像时间戳数据发送到上位机，以供上位机利用目标图像数据的曝光中心点对图像时间戳数据进行校准。

其中，目标图像数据是上位机接收到的与图像时间戳数据存在传输映射关系的数据。利用上位机对图像时间戳数据进行校准的具体过程可参见实施例三的说明。

在具体实现时，在MCU侧为了实现高实时的要求，MCU处理所有事务都要求实时性高，不能有延迟，这就决定了不能在主函数中处理事件，一切靠中断，表1示出了一个实施例的中断列表，定义了事件优先级，以保证数据响应及时。

表1 MCU中断优先级列表

I2C是作为从设备响应NVIDIA PX2/TI TDA2SX通信的，优先级必须设置最高，保证稳定通信。MCU侧这么多中断，通过以下方式保证共享数据FIFO保护：首先对于IMU来说，数据更新频率最高，会调用merge(合并)方法将数据更新到FIFO中。为了防止图像(时间戳数据)、CAN数据也频繁调用merge方法，将图像、CAN数据做标记，IMU更新的时候将图像，CAN数据加入到自己的buffer(缓存)中，减少merge次数。I2C与IMU共享FIFO是通过双FIFO机制保存数据，如果极端情况下I2C占用了merge方法，IMU更新数据的时候，再单独开一个Cache保存数据，之后再把数据更新的双FIFO中。

本实施例提供的技术方案，通过在相机中集成IMU，可在相机端实现对图像数据和IMU数据的同步采集，并通过中断事件实现了对IMU数据时间戳的标定。此外，通过将图像时间戳数据上传到上位机，利用上位机对图像时间戳数据进行标定后，可达到图像数据与IMU数据在相同时间维度下进行对齐的功能。

实施例三

请参阅图3，图3是本发明实施例提供的一种传感器数据的传输方法的流程示意图。该方法可通过传感器数据的传输装置来执行，该装置可通过软件和/或硬件的方式实现。本实施例中，该装置可应用于如NVIDIA(PX)2或TI(TDA2SX)等上位机端。上位机端在应用层驱动加载，并循环与远端的各路环视相机中的MCU握手后，如果各路相机均响应，则可开始发送起始采集信号。下面对在上位机端执行传感器数据的传输方法进行详细介绍，如图3所示，该方法包括：

310、轮询接收多路环视相机分别传输的传感器数据。

320、对于任意一路相机传输的传感器数据，如果判断出该传感器数据是惯性测量数据，则将惯性测量数据进行上传。

其中，该惯性测量数据的时间戳在相机端已完成标定。

330、如果判断出该传感器数据是图像时间戳数据，则利用目标图像数据的曝光中心点对图像时间戳数据进行校准。

其中，从相机端传输的图像时间戳数据是图像处理单元输出场同步信号的时间，也就是图像输出第一数据Readout(单行数据读取)的时间。曝光中心点是一帧图像从曝光开始到曝光结束，曝光中心所处时刻的位置，即曝光中心点是一帧图像从曝光开始到曝光结束的中心时间点。曝光时间对于Rolling Shutter来说，是一个大小不变的时间，每一行开始曝光位置依次递增，对于Global Shutter(全局快门)来说，曝光时间是一个大小不变，每一行开始曝光位置都一样的概念。本领域技术人员可以理解的是，对图像时间戳进行校正即为计算曝光中心点的数值。

可选的，对时间戳数据进行校准可通过如下方式来实现：

读取单行像素的单行曝光时间，即通过I2C从ISP中获取到当前曝光时间。

根据单行曝光时间和读取到的所有行像素的时间间隔，计算目标图像数据的曝光中心点，将计算出的曝光中心点作为校准后的图像时间戳数据，其中，所有行像素的时间间隔是通过有效行数和像素时钟计算得到的。

可选的，根据单行曝光时间和读取到的所有行像素的时间间隔，计算目标图像数据的曝光中心点，可通过如下方式来实现：

将所有行像素的时间间隔与单行曝光时间作差，并计算差值的二分之一值；

将未校准的图像时间戳数据所对应的时刻与差值的二分之一值作和，得到目标图像数据的曝光中心点。

具体的，下面以卷帘快门相机为例来说对图像戳数据的校正方法进行说明，请参阅图4，,图4为本发明一个实施例中使用卷帘快门图像传感器OV2718的曝光示意图，如图4所示，横轴t为时间轴，纵轴ra为行地址轴，A-B为单行曝光时间t1，B为第一次Readout(读取感光芯片第一行)的时刻t0，即为从相机端传输到上位机端未进行校正的图像时间戳数据，B-C为所有Readout(读取感光芯片所有行像素的时间间隔)时间t2，比如1280*720分辨率，即为读取所有720行数据的时间。

在上位机对相机端发送的图像时间戳数据(即图5中的时刻t0)进行校正时的曝光中心点Tn的校正计算公式如下：

Tn＝B+(CB-BA)/2＝t0+(t2-t1)/2。

340、基于传输映射关系，将完成校准后的图像时间戳数据和其对应的目标图像数据进行上传。

需要说明的是，由于图像和图像时间戳是通过两个通道(GMSL(吉比特多媒体串行链路)高速通道和I2C低速通道)到NVIDIA(PX2)端，因此需要对两个通道的数据做映射。将传输通道映射关系建立之后，图像和图像时间戳之间也随之建立了映射关系。本实施例是通过上位机向该相机发送帧率变化指令，使得该相机用于发送图像数据的通道与用于发送图像时间戳数据的通道之间建立映射关系。

具体的，首先可将帧率设置为30fps，稳定后修改帧率为25Hz，在相机端和上位机端分别检测此次帧率变化，检测原理为两帧之间时间戳由33ms到40ms变化。对于卷帘快门图像传感器OV2718来说，帧率会渐进变化，30fps->27fps->25fps，具体实现上可以通过示波器测量确认。

本实施例提供的技术方案，通过上位机完成了对图像时间戳数据的校准，以实现将时间校准后的图像数据与时间戳校准后的IMU数据在同一时间维度下进行对齐。

实施例四

请参阅图5，图5是本发明实施例提供的一种应用于上位机的传感器数据的传输装置的结构示意图。如图5所示，该装置包括：数据接收模块410、惯性测量数据上传模块420、图像时间戳校准模块430和图像上传模块440，其中，

数据接收模410，被配置为轮询接收多路环视相机分别传输的传感器数据；

惯性测量数据上传模块420，被配置为对于任意一路相机传输的传感器数据，如果判断出该传感器数据是惯性测量数据，则将所述惯性测量数据进行上传，其中，所述惯性测量数据是在相机端已完成时间戳标定后的传感器数据；

图像时间戳校准模块430，被配置为如果判断出该传感器数据是图像时间戳数据，则利用目标图像数据的曝光中心点对所述图像时间戳数据进行校准，其中，所述目标图像数据是相机端发送的与所述图像时间戳数据存在传输映射关系的数据；

图像上传模块440，被配置为基于所述传输映射关系，将完成校准后的图像时间戳数据和其对应的目标图像数据进行上传。

本实施例提供的技术方案，通过上位机完成了对图像时间戳数据的校准，已实现将时间校准后的图像数据与时间戳校准后的IMU数据在同一时间维度下进行对齐。

在上述实施例的基础上，所述图像时间戳校准模块，包括：

单行曝光时间读取单元，被配置为读取单行像素的单行曝光时间；

曝光中心点计算单元，被配置为根据所述单行曝光时间和读取到的所有行像素的时间间隔，计算目标图像数据的曝光中心点，其中，所述所有行像素的时间间隔是通过有效行数和像素时钟计算得到的；

图像时间戳校准单元，被配置为将所述曝光中心点作为校准后的图像时间戳数据。

可选的，所述曝光中心点计算单元，具体被配置为：

将所有行像素的时间间隔与所述单行曝光时间作差，并计算差值的二分之一值；

将未校准的图像时间戳数据所对应的时刻与所述差值的二分之一值作和，得到目标图像数据的曝光中心点。

本发明实施例所提供的应用于上位机的传感器数据的传输装置可执行本发明任意实施例所提供的应用于上位机的传感器数据的传输方法，具备执行方法相应的功能模块和有益效果。未在上述实施例中详尽描述的技术细节，可参见本发明任意实施例所提供的应用于上位机的传感器数据的传输方法。

实施例五

请参阅图6，图6是本发明实施例提供的一种应用于相机的传感器数据的传输装置的结构示意图，如图6所示，该装置包括：数据获取模块510、惯性测量数据上传模块520和图像时间戳数据上传模块530，其中，

数据获取模块510，被配置为在接收到上位机发送的起始采集信号时，采集图像处理单元输出的场同步信号和惯性测量模块采集的惯性测量数据；

惯性测量数据上传模块520，被配置为当检测到中断事件发生时，如果判断出所述中断事件为惯性测量中断事件，则对所述惯性测量数据的时间戳进行标定，并将标定后的惯性测量数据发送到所述上位机；

图像时间戳数据上传模块530，被配置为如果判断出所述中断事件为场同步信号中断事件，则将所述场同步信号对应的图像时间戳数据发送到所述上位机，以供上位机利用目标图像数据的曝光中心点对所述图像时间戳数据进行校准，其中，所述目标图像数据是上位机接收到的与所述图像时间戳数据存在传输映射关系的数据。

本实施例提供的技术方案，通过在相机中集成IMU，可在相机端实现对图像数据和IMU数据的同步采集，并通过中断事件实现了对IMU数据时间戳的标定。此外，通过将图像时间戳数据上传到上位机，利用上位机对图像时间戳数据进行标定后，可达到图像数据与IMU数据在相同时间维度下进行对齐的功能。

实施例六

请参阅图7，图7是本发明实施例提供的一种相机的结构示意图。如图7所示，该相机可以包括：

存储有可执行程序代码的存储器701；

与存储器701耦合的处理器702；

图像采集模块703，与处理器相连，用于采集图像数据；

惯性测量模块704，与处理器相连，用于采集惯性测量数据；

其中，处理器702调用存储器701中存储的可执行程序代码，执行本发明任意实施例所提供的应用于相机的传感器数据的传输方法。

本发明实施例还提供了另外了一种上位机，包括存储有可执行程序代码的存储器；与存储器耦合的处理器；其中，处理器调用存储器中存储的可执行程序代码，执行本发明任意实施例所提供的应用于上位机的传感器数据的传输方法。

本发明实施例公开一种计算机可读存储介质，其存储计算机程序，其中，该计算机程序使得计算机执行本发明任意实施例所提供的应用于相机的传感器数据的传输方法。

本发明实施例还公开一种计算机可读存储介质，其存储计算机程序，其中，该计算机程序使得计算机执行本发明任意实施例所提供的应用于上位机的传感器数据的传输方法。

本发明实施例公开一种计算机程序产品，其中，当计算机程序产品在计算机上运行时，使得计算机执行本发明任意实施例所提供的应用于相机的传感器数据的传输方法的部分或全部步骤。

本发明实施例还公开一种计算机程序产品，其中，当计算机程序产品在计算机上运行时，使得计算机执行本发明任意实施例所提供的应用于上位机的传感器数据的传输方法的部分或全部步骤。

在本发明的各种实施例中，应理解，上述各过程的序号的大小并不意味着执行顺序的必然先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。

在本发明所提供的实施例中，应理解，“与A相应的B”表示B与A相关联，根据A可以确定B。但还应理解，根据A确定B并不意味着仅仅根据A确定B，还可以根据A和/或其他信息确定B。

另外，在本发明各实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

上述集成的单元若以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可获取的存储器中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或者部分，可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储器中，包括若干请求用以使得一台计算机设备(可以为个人计算机、服务器或者网络设备等，具体可以是计算机设备中的处理器)执行本发明的各个实施例上述方法的部分或全部步骤。

本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质包括只读存储器(Read-Only Memory，ROM)、随机存储器(Random Access Memory，RAM)、可编程只读存储器(Programmable Read-only Memory，PROM)、可擦除可编程只读存储器(Erasable Programmable Read Only Memory，EPROM)、一次可编程只读存储器(One-time Programmable Read-Only Memory，OTPROM)、电子抹除式可复写只读存储器(Electrically-Erasable Programmable Read-Only Memory，EEPROM)、只读光盘(CompactDisc Read-Only Memory，CD-ROM)或其他光盘存储器、磁盘存储器、磁带存储器、或者能够用于携带或存储数据的计算机可读的任何其他介质。

以上对本发明实施例公开的一种传感器数据的传输系统、方法和装置进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (10)

1.一种传感器数据的传输系统，其特征在于，包括：多路环视相机以及与所述多路环视相机中的各路相机均存在通信连接的上位机；其中，所述多路环视相机中的各路相机均包括图像采集模块、惯性测量模块和微控模块，所述图像采集模块包括图像处理单元；其中，

所述微控模块，被配置为在接收到上位机发送的起始采集信号时，采集所述图像处理单元输出的场同步信号和所述惯性测量模块采集的惯性测量数据；当检测到中断事件发生时，如果判断出所述中断事件为惯性测量中断事件，则对所述惯性测量数据的时间戳进行标定，并将标定后的惯性测量数据发送给所述上位机；如果判断出所述中断事件为场同步信号中断事件，则将所述场同步信号对应的图像时间戳数据发送到所述上位机；

所述上位机，被配置为轮询接收所述多路环视相机中的各微控模块传输的数据，如果接收到所述标定后的惯性测量数据，则将所述标定后的惯性测量数据上传到应用模块；如果接收到所述图像时间戳数据，则利用目标图像数据的曝光中心点对所述图像时间戳数据进行校准，并基于所述目标图像数据与所述图像时间戳数据之间的传输映射关系，将完成校准后的图像时间戳数据及其对应的目标图像数据上传到所述应用模块。

2.根据权利要求1所述的系统，其特征在于：

各路相机与所述上位机之间通过吉比特多媒体串行链路GMSL或视频串行通讯FPD-Link建立通信连接。

3.根据权利要求1或2所述的系统，其特征在于，对于任意一路相机，所述目标图像数据与所述图像时间戳数据之间的传输映射关系是通过如下方式建立的：

所述上位机向该相机发送帧率变化指令，以使该相机用于发送图像数据的通道与用于发送图像时间戳数据的通道之间建立映射关系。

4.一种传感器数据的传输方法，应用于上位机，其特征在于，包括：

轮询接收多路环视相机分别传输的传感器数据；

对于任意一路相机传输的传感器数据，如果判断出该传感器数据是惯性测量数据，则将所述惯性测量数据进行上传，其中，所述惯性测量数据是在相机端已完成时间戳标定后的传感器数据；

如果判断出该传感器数据是图像时间戳数据，则利用目标图像数据的曝光中心点对所述图像时间戳数据进行校准，其中，所述目标图像数据是相机端发送的与所述图像时间戳数据存在传输映射关系的数据；

基于所述传输映射关系，将完成校准后的图像时间戳数据和其对应的目标图像数据进行上传。

5.根据权利要求4所述的方法，其特征在于，所述利用目标图像数据的曝光中心点对所述图像时间戳数据进行校准，包括：

读取单行像素的单行曝光时间；

根据所述单行曝光时间和读取到的所有行像素的时间间隔，计算目标图像数据的曝光中心点，其中，所述所有行像素的时间间隔是通过有效行数和像素时钟计算得到的；

将所述曝光中心点作为校准后的图像时间戳数据。

6.根据权利要求5所述的方法，其特征在于，根据所述单行曝光时间和读取到的所有行像素的时间间隔，计算目标图像数据的曝光中心点，包括：

将所有行像素的时间间隔与所述单行曝光时间作差，并计算差值的二分之一值；

将未校准的图像时间戳数据所对应的时刻与所述差值的二分之一值作和，得到目标图像数据的曝光中心点。

7.一种传感器数据的传输方法，应用于相机，其特征在于，包括：

在接收到上位机发送的起始采集信号时，采集图像处理单元输出的场同步信号和惯性测量模块采集的惯性测量数据；

当检测到中断事件发生时，如果判断出所述中断事件为惯性测量中断事件，则对所述惯性测量数据的时间戳进行标定，并将标定后的惯性测量数据发送到所述上位机；

如果判断出所述中断事件为场同步信号中断事件，则将所述场同步信号对应的图像时间戳数据发送到所述上位机，以供上位机利用目标图像数据的曝光中心点对所述图像时间戳数据进行校准，其中，所述目标图像数据是上位机接收到的与所述图像时间戳数据存在传输映射关系的数据。

8.一种传感器数据的传输装置，应用于上位机，其特征在于，包括：

数据接收模块，被配置为轮询接收多路环视相机分别传输的传感器数据；

惯性测量数据上传模块，被配置为对于任意一路相机传输的传感器数据，如果判断出该传感器数据是惯性测量数据，则将所述惯性测量数据进行上传，其中，所述惯性测量数据是在相机端已完成时间戳标定后的传感器数据；

图像时间戳校准模块，被配置为如果判断出该传感器数据是图像时间戳数据，则利用目标图像数据的曝光中心点对所述图像时间戳数据进行校准，其中，所述目标图像数据是相机端发送的与所述图像时间戳数据存在传输映射关系的数据；

图像上传模块，被配置为基于所述传输映射关系，将完成校准后的图像时间戳数据和其对应的目标图像数据进行上传。

9.根据权利要求8所述的装置，其特征在于，所述图像时间戳校准模块，包括：

单行曝光时间读取单元，被配置为读取单行像素的单行曝光时间时间；

曝光中心点计算单元，被配置为根据所述单行曝光时间和读取到的所有行像素的时间间隔，计算目标图像数据的曝光中心点，其中，所述所有行像素的时间间隔是通过有效行数和像素时钟计算得到的；

图像时间戳校准单元，被配置为将所述曝光中心点作为校准后的图像时间戳数据。

10.一种传感器数据的传输装置，应用于相机，其特征在于，包括：

数据获取模块，被配置为在接收到上位机发送的起始采集信号时，采集图像处理单元输出的场同步信号和惯性测量模块采集的惯性测量数据；

惯性测量数据上传模块，被配置为当检测到中断事件发生时，如果判断出所述中断事件为惯性测量中断事件，则对所述惯性测量数据的时间戳进行标定，并将标定后的惯性测量数据发送到所述上位机；

图像时间戳数据上传模块，被配置为如果判断出所述中断事件为场同步信号中断事件，则将所述场同步信号对应的图像时间戳数据发送到所述上位机，以供上位机利用目标图像数据的曝光中心点对所述图像时间戳数据进行校准，其中，所述目标图像数据是上位机接收到的与所述图像时间戳数据存在传输映射关系的数据。