CN104112363A - 多传感数据时空同步方法及道路多传感数据车载采集系统 - Google Patents

Abstract

本发明提供了一种多传感数据时空同步方法及道路多传感数据车载采集系统；该发明提出了一种多传感数据的时空同步实现方法，多传感数据的时空同步指的是多路视频数据与行驶车辆的GPS位姿数据在单帧数据的时间维度上和不同采集设备的空间维度上实现一一对齐；同时该发明给出了一种道路交通环境多传感数据的车载采集系统，该系统可以实时记录行驶车辆的道路交通环境的多传感数据如多路视频数据和行驶车辆的GPS位姿数据；采集系统采集的杂乱的多传感数据由于无法实现不同种类数据之间的交互而只能单独使用，而经过时空同步的多传感数据则可以无缝衔接重现行车场景，可以为视觉场景理解、无人驾驶车辆环境认知等热点研究问题提供全面客观地真实数据和离线仿真验证数据。

Description

多传感数据时空同步方法及道路多传感数据车载采集系统

技术领域

本发明涉及信号处理、计算机视觉和道路交通环境等技术领域，特别涉及一种多传感数据时空同步方法及道路多传感数据车载采集系统。

背景技术

道路交通环境数据的采集是交通领域各项研究的基础，精确的交通数据的采集技术是人们永恒的研究课题。作为交通领域的重要研究项目，无人驾驶车辆是集环境认知，决策规划和自动控制功能于一体的“车辆-环境”闭环系统，具有识别所在的交通环境，实现车辆的自主驾驶的能力。但随着无人驾驶车研究的深入，一些相关的问题渐渐浮出了水面。唯一能验证算法的正确性以及系统对多种交通环境的适应性与鲁棒性的方法就是大量的实地试验。但由于无人驾驶技术的目前的局限性与不成熟性，决定了无人驾驶车辆的实地调试的种种困难。一旦无人驾驶车辆在实车调试中出现了异常情况，轻者会造成无人车辆的损坏和实验器材的报废，重则会造成严重的交通事故并且危及实验人员与道路上路人的人身生命安全。

针对以上遇到的问题，我们提出了无人驾驶车辆环境能力认知评估与离线测试平台。该项目是利用真实道路交通环境的多传感数据，旨在建立一种离线的测试环境，解决无人车辆道路环境认知算法研究中的测试以及认知能力客观评估问题。而本专利给出了多传感数据时空同步方法及道路多传感数据车载采集系统，为环境能力离线测试平台提供了时空同步一致性配准后的道路交通多传感数据。多传感数据的时空一致性配准就是将时域上不同步，空域上属于不同坐标系的多源观测数据进行时空对准，从而将多源数据纳入一个统一的参考框架中，为数据融合的后期工作进行铺垫。

对于某一段典型道路交通环境而言，数据采集车或无人驾驶车辆在三维空间中行驶，车载多传感器在时间维度上进行采样，最终每个传感器得到的每帧数据都是四维时空中的一个采样点。由于不同传感器在采集车上的安装位置和朝向不同，导致量测数据在空域上属于不同坐标系；同时由于不同传感器启动时刻和采集帧率的差异，量测数据在时域上也不同步。因此，这些多源异构的原始传感数据不能直接作为无人驾驶车辆环境认知和自主驾驶能力评估与离线测试的输入，必须对时空不一致的数据进行关联配准，将其纳入到一个统一的参考框架中。时空一致性配准之后的道路交通环境数据是无人驾驶车辆环境认知离线测试的基础，车载道路多传感数据的获取与时空同步实现方法为离线测试平台提供了大量的具有标准形式的真实场景多传感数据，以便用于无人车辆环境认知的离线测试。同样还为计算机视觉领域中的视觉场景理解、多视角几何成像、场景虚拟现实、图像拼接、图像分割、交通元素检测与识别、车辆行人检测与识别等热点研究问题提供全面客观的真实数据和离线仿真验证数据。

发明内容

为了解决上述现有技术上存在的问题，本发明的目的在于提供一种多传感数据时空同步方法及道路多传感数据车载采集系统，解决了多传感数据的时间和空间一致性配准问题。

为了达到以上目的，本发明采用如下技术方案：

道路多传感数据车载采集系统，包括多台摄像机、功能集成的芯片盒、主控制计算机、多台从计算机和GPS天线，所述多台摄像机根据用户需要选择两种摆放方式置于车顶：摆放方式1通过固定支架固定在车顶，相邻摄像机间的光轴夹角为45°，多台摄像机处在同一个水平面并且每台摄像机的中轴线延长交于圆心；摆放方式2通过活动支架固定在车顶，相邻摄像机间的光轴夹角为任意角度；所述功能集成的芯片盒、主控制计算机和多台从计算机均放置在车内，所述GPS天线放置在车顶正中间；所述功能集成的芯片盒内包括多个交换机、两个GPS芯片和一个同步触发芯片，所述每个交换机的输入端和多台摄像机连接，输出端和主控制计算机或从计算机连接，摄像机将所获取的视频数据通过交换机传输给主控制计算机或从计算机进行处理；所述主控制计算机通过同步触发芯片分别和多个摄像机连接，主控制计算机将触发信号发送至多台摄像机使其同时触发采集图像视频；所述GPS芯片的输入端和GPS天线连接，输出端和主控制计算机连接，GPS芯片将行驶车辆的GPS位姿数据传送至主控制计算机进行处理。

所述采集系统中单台摄像机采集帧率最大达15帧每秒，所述采集车辆时速最高达81km/h；多摄像机摆放方式1保证相邻摄像机具有10％的视场冗余，摄像机总视场固定为200.3度；多摄像机摆放方式2能够调整多摄像机朝向，具有灵活的视场，最大获得225度的无冗余总视场；所述采集系统在硬件设计上是能够扩充的，能够灵活增加或减少摄像机、交换机的数量以及摄像机、交换机、计算机的连接数目，来获得不同的视场角或者采集帧率的道路交通多传感视频数据。

上述所述的系统实现的多传感数据时空同步方法，包括如下步骤：

步骤1：多传感数据的采集

根据用户需求的不同，用户选择两种采集系统工作模式之一来驱动采集系统——“按照时间间隔触发”和“按照空间位置触发”；主控制计算机发出触发信号，通过功能集成的芯片盒中的同步触发芯片变成多路同步触发信号，发送至多路摄像机，以完成多路摄像机的时空同步触发；主控制计算机同时发出GPS芯片的启动信号至GPS芯片，以完成GPS芯片的启动；之后按照采集系统的硬件连接主控制计算机和从计算机接收到视频数据和行驶车辆的GPS位姿数据，进行处理、存储并记录数据接收的时间数据作为时间戳数据；

当用户选择“按照时间间隔触发”时，按照如下步骤来获取道路交通环境多传感数据：

(1)用户向主控制计算机输入摄像机采集帧率f，主控制计算机上的GPS连接端口M，GPS芯片的波特率BaudRate的初始化参数，主控制计算机按照用户输入设置采集系统参数；

(2)主控制计算机发出GPS芯片的启动信号至GPS芯片，GPS芯片通过与GPS卫星通信，按照输入的GPS波特率BaudRate以4帧每秒的速度把车辆的GPS位姿信号发至主控制计算机；

(3)主控制计算机接受车辆的GPS位姿信号，存储GPS位姿信号并把接收到每帧GPS位姿数据的时间作为时间戳数据存储到主控制计算机中；

(4)根据输入摄像机采集帧率f获取采集时间间隔T，由主控制计算机以CPU毫秒时钟为计时单位开始计时，每到间隔T时间主控制计算机便通过U盘口发送一个多路摄像机上升沿触发信号，并把触发信号发送时间作为触发时间戳记录到主控制计算机中；

(5)主控制计算机通过U盘口向功能集成的芯片盒发送摄像机触发电平信号，同步触发芯片接受电平触发信号并转成多路同步信号分别传送给多路摄像机，从而实现摄像机的同步触发同步采集图像；

(6)主控制计算机和从计算机接收多路视频数据，进行视频压缩和存储工作，并把视频数据的每帧接收时间作为时间戳数据存储到计算机中；

当用户选择“按照空间位置触发”时，按照如下步骤来获取道路交通环境多传感数据：

(1)用户向主控制计算机输入空间位置间隔参数H，主控制计算机上的GPS连接端口M，GPS芯片的波特率BaudRate的初始化参数，主控制计算机按照用户输入设置采集系统参数；

(2)主控制计算机发出GPS芯片的启动信号至GPS芯片，GPS芯片通过与GPS卫星通信，按照输入的GPS波特率BaudRate以4帧每秒的速度把车辆的GPS位姿信号发至主控制计算机；

(3)主控制计算机接受车辆的GPS位姿信号，存储GPS位姿信号并把接收到每帧GPS位姿数据的时间作为时间戳数据存储到主控制计算机中；

(4)主控制计算机根据获取的当前GPS位姿信号，计算采集车辆当前车速，进行车辆行驶距离估计，采集车辆每行驶固定距离H就由主控制计算机通过U盘口发送一个多路摄像机上升沿触发信号；

(5)主控制计算机通过U盘口向功能集成的芯片盒发送摄像机触发电平信号，同步触发芯片接受电平触发信号并转成多路同步信号分别传送给多路摄像机，从而实现摄像机的同步触发同步采集图像；

(6)主控制计算机和从计算机接收多路视频数据，进行视频压缩和存储工作，并把视频数据的每帧接收时间作为时间戳数据存储到计算机中；

步骤2：多传感数据的丢失补偿

由于车辆行驶过程中造成的线路接触问题会出现视频数据的少量丢帧，并且车辆行驶到卫星信号较弱的路段会出现GPS数据的短暂丢失；在步骤1中获取了道路交通环境多传感数据之后，用以下步骤实现多传感器数据的丢帧检测与补偿；

(1)把摄像机或GPS芯片i获得的第j帧数据表示为d_i,j，d_i,j为一帧图像或一帧GPS数据，数据d_i,j对应的采集时刻为t_i,j，此时的车体位姿为p_i,j；

(2)在ENU即东-北-天坐标系下，使用匀加速模型来描述车体的运动；公式(1)和公式(2)分别给出了车体位姿数据相应的状态方程与量测方程；由状态方程和量测方程可以看出，ENU三个方向的状态相互独立，将车体状态拆分为和三个状态分别进行估计以降低运算量；

x_k+1＝F_kx_k+Γ_kv_k  (1)

z_k＝H_kx_k+w_k  (2)

$x_k=\left[\begin{array}{c}{e}_k\\ {\stackrel{\·}{e}}_k\\ {\stackrel{\·\·}{e}}_k\\ n_k\\ {\stackrel{\·}{n}}_k\\ {\stackrel{\·\·}{n}}_k\\ u_k\\ {\stackrel{\·}{u}}_k\\ {\stackrel{\·\·}{u}}_k\end{array}\right],F_k=\left[\begin{array}{ccccccccc}1& T& {\frac{1}{2}T}^2& 0& 0& 0& 0& 0& 0\\ 0& 1& T& 0& 0& 0& 0& 0& 0\\ 0& 0& 1& 0& 0& 0& 0& 0& 0\\ 0& 0& 0& 1& T& {\frac{1}{2}T}^2& 0& 0& 0\\ 0& 0& 0& 0& 1& T& 0& 0& 0\\ 0& 0& 0& 0& 0& 1& 0& 0& 0\\ 0& 0& 0& 0& 0& 0& 1& T& {\frac{1}{2}T}^2\\ 0& 0& 0& 0& 0& 0& 0& 1& T\\ 0& 0& 0& 0& 0& 0& 0& 0& 1\end{array}\right],{\mathrm{\Γ}}_k=\left[\begin{array}{ccc}{\frac{1}{2}T}^2& 0& 0\\ T& 0& 0\\ 1& 0& 0\\ 0& {\frac{1}{2}T}^2& 0\\ 0& T& 0\\ 0& 1& 0\\ 0& 0& {\frac{1}{2}T}^2\\ 0& 0& T\\ 0& 0& 1\end{array}\right],$

$v_k=\left[\begin{array}{c}{v}_k^e\\ v_k^n\\ v_k^u\end{array}\right],Q_k=E\left[\left({\mathrm{\Γ}}_k{v}_k\right){\left({\mathrm{\Γ}}_k{v}_k\right)}^T\right]={\mathrm{\Γ}}_k\left[\begin{array}{ccc}{\mathrm{\σ}}_{v,e}^2& 0& 0\\ 0& {\mathrm{\σ}}_{v,n}^2& 0\\ 0& 0& {\mathrm{\σ}}_{v,u}^2\end{array}\right]{\mathrm{\Γ}}_k^T;z_k=\left[\begin{array}{c}{e}_k\\ n_k\\ u_k\end{array}\right],$

$H_k=\left[\begin{array}{ccccccccc}1& 0& 0& 0& 0& 0& 0& 0& 0\\ 0& 0& 0& 1& 0& 0& 0& 0& 0\\ 0& 0& 0& 0& 0& 0& 1& 0& 0\end{array}\right],w_k=\left[\begin{array}{c}{w}_k^e\\ w_k^n\\ w_k^u\end{array}\right],R_k=\left[\begin{array}{ccc}{\mathrm{\σ}}_{w,e}^2& 0& 0\\ 0& {\mathrm{\σ}}_{w,n}^2& 0\\ 0& 0& {\mathrm{\σ}}_{w,u}^2\end{array}\right];$

x_k表示数据序列中第k个车体位姿数据，F_k为状态方程，Γ_k为加速度矩阵，T为相邻数据序列的间隔时间，v_k为ENU三个方向的速度矢量，Q_k为过程噪声的协方差矩阵，z_k为车辆位姿数据的量测矢量，H_k为量测矩阵，w_k为测量造成，R_k为测量噪声协方差矩阵；

(3)根据公式(1)和公式(2)所给的状态方程与量测方程，使用基于Kalman Filter的固定区间平滑算法进行车体状态估计；固定区间平滑算法包括前向滤波与后向滤波两个基本过程，公式(3)和(4)分别给出了前向滤波过程中的一步预测和量测校正计算方法；

${\hat{x}}_{k+1|k}=F_k{\hat{x}}_{k|k}$

                                         (3)

$P_{k+1|k}=F_k{P}_{k|k}{F}_k^T+Q_k$

其中表示前k个数据为已知条件下预测得到的第k个数据值，表示前k个数据为已知条件下预测得到的第k+1个数据值；P_k|k和P_k+1|k均表示量测校正后的协方差矩阵；

$S_{k+1}=H_{k+1}{P}_{k+1|k}{H}_{k+1}^T+R_{k+1}$

$W_{k+1}=P_{k+1|k}{H}_{k+1}^T{S}_{k+1}^{-1}$

                                         (4)

${\hat{x}}_{k+1|k+1}={\hat{x}}_{k+1|k}+W_{k+1}(z_{k+1}-H_{k+1}{\hat{x}}_{k+1|k})$

P_k+1|k+1＝(I-W_k+1H_k+1)P_k+1|k

其中S_k+1为第k+1个数据量一步预测后的协方差矩阵，W_k+1为第k+1个数据的Kalman滤波增益，为前k+1个数据为已知条件下预测得到的第k+1个数据值，P_k+1|k+1为前k+1个数据为已知条件下预测得到的第k+1个数据的量测校正后的协方差矩阵；

(4)经过前向滤波得到第k个数据的估计结果和状态方程即协方差矩阵为其中k＝1,2,…,N，利用上述估计结果和状态方程，按照公式(5)进行后向滤波，最终得到估计结果其中k＝1,2,…,N；运动车辆的GPS位姿数据估计值包含了车体的位置与朝向信息；

$C_k=P_{k|k}{F}_k^T{P}_{k+1|k}^{-1}$

${\hat{x}}_{k|N}={\hat{x}}_{k|k}+C_k({\hat{x}}_{k+1|N}-{\hat{x}}_{k+1|k})---\left(5\right)$

$P_{k|N}=P_{k|k}+C_k(P_{k+1|N}-P_{k+1|N})C_k^T$

其中，C_k为第k个数据后向滤波增益矩阵，为N个数据均已知条件下预测得到的第k个数据值，P_k|N为N个数据均已知条件下预测得到的第k个数据量测校正后的协方差矩阵；

(5)按照以上步骤对所有数据d_i,j进行预测估计，如该处数据丢失，则使用作为丢失补偿数据；

步骤3：多传感数据的离线时间一致性配准

多传感数据的时间一致性配准就是把各摄像机和GPS芯片在时间维度上不同步的量测信息同步到同一时刻；具体配准步骤如下:

(1)当摄像机i获取一帧图像d_i,j，需要估计数据帧d_i,j对应采集时刻t_i,j的车体位姿信息；由于采集装置实现了多路摄像机的同步触发，即t_1,j＝t_2,j＝…＝t_n-1,j＝t_n,j，其中：i＝1,2,…,n分别表示n路摄像机，只需估计其中一路摄像机的视频帧对应的车体位姿即可；

(2)假设视频帧的采集时刻为t，步骤2中经过一步预测和量测校正后的视频序列中与t时刻其最邻近的上一时刻和下一时刻分别为t₁和t₂，其中：t₁≤t≤t₂，t、t₁和t₂所对应的车体位姿数据和状态协方差矩阵分别表示为和其中和已由公式(3)、(4)、(5)计算得到；

(3)根据公式(3)中的状态方程和t₁时刻的状态估计t时刻的车体位姿数据可得估计方法如公式(6)所示；

${\hat{x}}_t^1=F_1{\hat{x}}_{t1}$

                                         (6)

$P_t^1=F_1{P}_{t1}{F}_1^T+Q_1$

其中，F₁,Q₁与公式(1)中的定义一致，T＝t-t₁；

(4)根据公式(5)中的状态方程和t₂时刻的状态估计t时刻的车体位姿数据可得估计方法如公式(7)所示；

${\hat{x}}_t^2=F_2^{-1}{\hat{x}}_{t2}$

                                         (7)

$P_t^2=F_2^{-1}(P_{t2}+Q_2)F_2^{-T}$

其中，F₂,Q₂与公式(1)中的定义一致，T＝t₂-t；

(5)使用简单凸组合融合算法将对t时刻的状态的两个估计结果和进行融合，得到t时刻的状态估计最终结果即t时刻的车体位姿数据；所述的简单凸组合融合算法如公式(8)所示：

${\left(P_t\right)}^{-1}{\hat{x}}_t={\left(P_t^1\right)}^{-1}{\hat{x}}_t^1+{\left(P_t^2\right)}^{-1}{\hat{x}}_t^2$

                                         (8)

${\left(P_t\right)}^{-1}={\left(P_t^1\right)}^{-1}+{\left(P_t^2\right)}^{-1}$

步骤4：多传感数据的离线空间一致性配准

多传感数据的离线空间一致性配准就是将每台摄像机的自坐标系下的视频数据和行驶车辆的GPS位姿信号所采用的坐标系转换成统一的车体坐标系下的数据；通过对摄像机和GPS天线的标定操作获得多摄像机和GPS天线关于车体坐标系的变换矩阵，把自坐标系数据转换到车体坐标系下，再统一到ENU坐标系下；经过离线时间一致性对齐的多路摄像机的视频数据和其对应GPS位姿信号的空间坐标系都统一到ENU坐标系下，即完成了多传感数据的离线空间一致性配准。

步骤1所述的当用户选择“按照空间位置触发”时步骤(4)中所述的车辆行驶距离估计方法，其具体步骤如下：

(1)主控制计算机向同步触发芯片发送一个触发信号，使多路摄像机进行一次拍摄之后便开始等待新的GPS位姿信号；

(2)当接收到一个新的GPS位姿信号之后，便会由主控制计算机提取GPS位姿信号中的经纬度坐标，通过与之前接收到的GPS位姿信号进行计算得到当前的采集车辆的速度；

(3)假设在下一个GPS位姿信号到来之前，中间的这一段时间采集车辆保持车速不变，这样根据速度和设定距离来计算下一次启动触发的时间，具体的计算策略如下；

1)如果当时的车速较快，在下一个GPS位姿信号到来之前按照规定距离能触发多次，那么就按照当前车速和设定距离计算的时间间隔发送触发信号，直到下一次GPS位姿信号到来；

2)当新的GPS位姿信号到达时，根据GPS位姿信号会计算出新的速度，但是不会立即更新下一触发时间；如果上一次的触发时间间隔小于GPS位姿信号更新间隔，则按照上一次GPS位姿信号计算得出的时间间隔进行一次触发后再更新时间间隔，按照新的速度来生成新的触发时间；

3)如果当时的车速较慢，以致新的GPS位姿信号计算出来的时间间隔大于两次GPS位姿信号的接收时间间隔，则根据新的GPS位姿信号算出新的时间间隔与触发时间。

步骤4所述将每台摄像机的自坐标系下的视频数据和行驶车辆的GPS位姿信号所采用的坐标系转换成统一的车体坐标系下的数据，具体实施方法如下：

(1)通过摄像机和GPS天线的标定将所有摄像机和GPS天线所在的坐标系对齐到车体坐标系下；

由于摄像机和GPS天线一旦安装在采集车上，其自体坐标系与车体坐标系的变换关系保持不变，所以在同一次采集过程中只需对各摄像机和GPS天线进行一次标定即可，具体标定方法如下：

1)GPS天线在车体坐标系下的坐标表示为[a,b,c]^T，a,b,c通过简单的测量就能得到；

2)对于多路摄像机的标定，首先使用张正友的基于2D棋盘的摄像机标定算法得到各摄像机3×3的内参数矩阵{K_i|i＝1,…,n}；

3)然后利用三线法标定中间一路或两路摄像机，得到该摄像机与车体坐标系的变换关系，包括3×3的旋转矩阵和3×1的平移向量

4)由于相邻摄像机之间的视场存在部分重叠，通过两两标定可以得到任意相邻摄像机坐标系之间的变换关系，进而计算得到中间一路或两路摄像机到其它摄像机坐标系的变换关系

5)最后综合上述标定结果计算各摄像机在车体坐标系下的外参数，即旋转矩阵与平移向量 $\{R_i=R_{\left[\frac{n}{2}\right],i}{R}_{\left[\frac{n}{2}\right]};t_i=R_{\left[\frac{n}{2}\right],i}{t}_{\left[\frac{n}{2}\right]}+t_{\left[\frac{n}{2}\right],i})|i=1,\·\·\·,n\};$

(2)由于摄像机标定的坐标系为ENU坐标，而GPS芯片获取的行驶车辆的GPS位姿数据是WGS84坐标，故在把多摄像机坐标和GPS天线坐标统一到车体坐标系后，还需要把GPS位姿数据转换成ENU坐标；

原始GPS数据为WGS84坐标，用表示；首先将其转化为地固地心即ECEF坐标(x,y,z)^T，进而变换为东北天即ENU坐标(e,n,u)^T；

公式(9)给出了从WGS84坐标系到ECEF坐标系的变换关系，公式(10)给出了从ECEF坐标系到ENU坐标系的变换关系；

$\left[\begin{array}{c}e\\ n\\ u\end{array}\right]=R\begin{array}{}\end{array}\left[\begin{array}{c}\mathrm{dx}\\ \mathrm{dy}\\ \mathrm{dz}\end{array}\right]=R\left[\begin{array}{c}x-x_0\\ y-y_0\\ z-z_0\end{array}\right]---\left(10\right)$

其中，a＝6378137.0m，e²＝6.69437999014×10^-3；ENU坐标系的原点(0,0,0)^T在ECEF坐标系中的对应坐标为(x₀,y₀,z₀)^T，在WGS84坐标系中的坐标为并且公式(10)中的变换矩阵

本发明和现有技术相比，具有以下优点：

1)本发明提出了一种多传感数据时空同步方法及道路多传感数据车载采集系统，解决了多传感数据的时间和空间一致性配准问题，并提供了一种车载道路交通环境多传感采集系统，可以实时的记录行车环境及各种交通元素的动态多传感多角度数据。多传感数据的时空一致性配准方法可以使多源异构的原始多传感数据在时间和空间两个角度都实现逐帧的对齐，纳入到一个统一的参考框架中，从而可以形成一个内在直接时空相关具有整体一致性的道路交通多传感数据集，以供无人车离线测试平台搭建虚拟交通环境。

2)多摄像机同步触发机理克服了一般多路视频采集系统轮询式摄像机无法达到完全同时拍摄的缺点，同步触发芯片保证了摄像机的同时拍摄，保证了路况的真实性并降低了离线图像处理的难度。

3)多传感数据丢失补偿方法解决了系统间或出现的由于传输与存储偶然异常造成的丢帧问题。

4)所述的道路交通采集系统通过合理的硬件配置是整个采集装置达到了较高的性能，在硬件和软件两方面可以最大的满足用户的使用需求。

附图说明

图1为道路多传感数据车载采集系统组成及硬件连接示意图。

图2为功能集成的芯片盒外部接口实物图与定义图。

图3为功能集成的芯片盒内部组成示意图。

图4为系统硬件工作原理流程图。

图5为多传感数据采集及时空同步方法总框图。

图6为系统触发方式-按时间间隔触发方式流程图。

图7为系统触发方式-按空间距离触发方式流程图。

图8为GPS距离计算原理示意图。

图9为固定区间平滑算法原理图。

图10为简单凸组合融合算法。

图11为车体坐标系定义与摄像机和GPS芯片安装位置。

图12为WGS84坐标系与ECEF坐标系、ENU坐标系。

具体实施方式

下面结合附图和具体实施方式，对本发明做进一步详细说明。

本发明提供了一套道路多传感数据车载采集系统，该系统可以车辆在行驶过程中实时的记录行车环境及各种交通元素的动态多传感多角度数据。

道路多传感数据车载采集系统组成及硬件连接示意图如图1所示，该道路交通多传感数据车载采集系统包括多台摄像机、功能集成的芯片盒、主控制计算机、多台从计算机和天线等组成部分。多台摄像机根据用户需要选择两种摆放方式置于车顶：摆放方式1通过固定支架固定在车顶，相邻摄像机间的光轴夹角为45°，多摄像机处在同一个水平面并且每个摄像机的中轴线延长交于圆心；摆放方式2通过活动支架固定在车顶，相邻摄像机间的光轴夹角为任意角度。所述功能集成的芯片盒、主控制计算机和多台从计算机均放置在车内，所述天线放置在车顶正中间。

为了整合采集系统，我们把除了多路摄像机和计算机之外的主要功能芯片集成到一个有着标准对外接口的功能集成的芯片盒中，采集装置关键的操作都芯片集成盒中实现。其标准对外接口定义如图2，其中1、2、3分别为三个千兆交换机网口，交换机背板带宽均为10兆每秒，每个交换机接2台摄像机以便可以达到最高采集帧率。4、5、6分别为交换机电源插口，10则为芯片盒主电源供应插口，为除交换机的其他部分供电。7、8分别为两个GPS芯片的USB接口和com接口，12为GPS芯片的天线引出口。9为多路摄像机的信号线，为摄像机供电及传输触发信号。11为触发信号入口，由计算机向同步触发芯片发送触发信号。

如图3所示，功能集成的芯片盒内部分为三层，第一层中位置1处为同步触发芯片，2处为3号交换机，3处为变压器用于给其他元件提供电源，4为触发信号入线，5为多路同步触发信号出线。第二层中6为2号交换机，7、8分别为两个GPS芯片。第三层中9为1号交换机，10为两个GPS芯片的天线。

如图1所示，三种信号流描述了采集系统的硬件连接以及信号流向。每个交换机的输入端和多个摄像机连接，输出端分别和主控制计算机或从计算机连接，摄像机将所获取的视频数据通过交换机传输给主控制计算机或从计算机进行处理(如图1中单点、单箭头视频数据流向)；主控制计算机通过同步触发芯片分别和多个摄像机连接，主控制计算机将触发信号发送至多台摄像机使其同时触发采集图像视频(如图1中双点、单箭头触发信号流向)；GPS芯片的输入端和天线连接，输出端和主控制计算机连接，GPS芯片将车辆位姿信号传送至主控制计算机进行处理(如图1中多点、双箭头GPS信号流向)。

如图4所示为系统硬件工作原理流程图，五路摄像机采集道路交通环境图像，利用6类网线传输，图像通过芯片集成盒中的交换机中转传输给终端电脑。电脑则进行多路图像的压缩，处理，存储等操作。同时主控制计算机根据选择的触发模式按照一定规律发送摄像机触发信号，摄像机触发信号由芯片集成盒中的同步触发芯片转换成五路同步的触发信号，实现多路摄像机的同步拍照。GPS芯片则从采集系统开始工作之后便持续不断的传送给主控制计算机行驶车辆的GPS位姿信息，主控制计算机进行一定的计算处理，最终把GPS位姿数据也存入计算机中。

利用实现的道路交通多传感数据车载采集系统，本发明提出了相应的多传感数据时空同步方法，其总体框图如附图5所示，包括如下步骤：

步骤1：多传感数据的采集

根据用户需求的不同，用户选择两种采集系统工作模式之一来驱动采集系统——“按照时间间隔触发”和“按照空间位置触发”；主控制计算机发出触发信号，通过功能集成的芯片盒中的同步触发芯片变成多路同步触发信号，发送至多路摄像机，以完成多路摄像机的时空同步触发；主控制计算机同时发出GPS芯片的启动信号至GPS芯片，以完成GPS芯片的启动；之后按照采集系统的硬件连接主控制计算机和从计算机接收到视频数据和GPS位姿数据，进行处理、存储并记录数据存储的时间数据作为时间戳数据。

当用户选择“按照时间间隔触发”时，系统工作流程图如图6所示：

(1)用户向主控制计算机输入摄像机采集帧率f，主控制计算机上的GPS连接端口M，GPS芯片的波特率BaudRate的初始化参数，主控制计算机按照用户输入设置采集系统参数；

(2)主控制计算机发出GPS芯片的启动信号至GPS芯片，GPS芯片通过与GPS卫星通信，按照输入的GPS波特率BaudRate以4帧每秒的速度把车辆的GPS位姿信号发至主控制计算机；

(3)主控制计算机接受车辆的GPS位姿信号，存储GPS位姿数据并把接收到每帧GPS位姿数据的时间作为时间戳数据存储到计算机中。

(4)根据输入摄像机采集帧率f获取采集时间间隔T，由主控制计算机以CPU毫秒时钟为计时单位开始计时，每到间隔T时间主控计算机便通过U盘口发送一个多路摄像机上升沿触发信号，并把触发信号发送时间作为触发时间戳记录到主控制计算机中；

(5)主控制计算机通过U盘口向功能集成的芯片盒发送摄像机触发电平信号，同步触发芯片接受电平触发信号并转成5路同步信号分别传送给五路摄像机，从而实现摄像机的同步触发同步采集图像；

(6)主控制计算机和从摄像机接收多路视频数据，进行视频压缩和存储工作，并把视频数据的每帧接收时间作为时间戳数据存储到计算机中；

当用户选择“按照空间位置触发”时，系统工作流程图如图7所示：

(1)用户向主控制计算机输入空间位置间隔参数H，主控制计算机上的GPS连接端口M，GPS芯片的波特率BaudRate的初始化参数，主控制计算机按照用户输入设置采集系统参数；

(2)主控制计算机发出GPS芯片的启动信号至GPS芯片，GPS芯片通过与GPS卫星通信，按照输入的GPS波特率BaudRate以4帧每秒的速度把车辆的GPS位姿信号发至主控制计算机；

(3)主控制计算机接受车辆的GPS位姿信号，存储GPS位姿数据并把接收到每帧GPS位姿数据的时间作为时间戳数据存储到计算机中。

(4)主控制计算机根据获取的当前GPS位姿信号，计算采集车辆当前车速，图8所示原理进行车辆行驶距离估计，采集车辆每行驶固定距离H就由主控制计算机通过U盘口发送一个多路摄像机上升沿触发信号。

在该过程中我们提出了基于不同车速多情况多策略的GPS固定间隔计算方法，方法具体步骤如下：

①触发线程向同步触发装置发送一个触发信号，使多路摄像机进行一次拍摄之后便开始等待GPS信号。

②当一个GPS信号接收到之后，便会由GPS计算线程提取GPS信号中的经纬度坐标，通过与之前接收到的GPS信号进行计算便可以得到当前的采集车辆的速度。

③假设在下一个GPS信号到来之前，中间的这一段时间采集车辆保持车速不变，这样便可以根据速度和设定距离来计算下一次启动触发的时间，具体计算策略如下：

a)如果当时的车速较快，在下一个GPS位姿信号到来之前按照规定距离能触发多次，那么就按照当前车速和设定距离计算的时间间隔不断地发送触发信号，直到下一次GPS信号到来，如图8中的1、4段

b)当新的GPS位姿信号到达时，根据GPS位姿信号会计算出新的速度，但是不会立即更新下一触发时间；如果上一次的触发时间间隔小于GPS位姿信号更新间隔，则按照上一次GPS位姿信号计算得出的时间间隔进行一次触发后再更新时间间隔，按照新的速度来生成新的触发时间(如图8中的1、2、3段的间隔，可见每一段的第一个触发信号是根据上一段的信息确定的)。

c)如果当时的车速较慢，以致新GPS位姿信号计算出来的时间间隔大于两次GPS信号的时间间隔，则根据新的GPS位姿信号算出新的时间间隔与触发时间。

(5)主控制计算机通过U盘口向功能集成的芯片盒发送摄像机触发电平信号，同步触发芯片接受电平触发信号并转成5路同步信号分别传送给五路摄像机，从而实现摄像机的同步触发同步采集图像；

(6)主控制计算机和从摄像机接收多路视频数据，进行视频压缩和存储工作，并把视频数据的每帧接收时间作为时间戳数据存储到计算机中；

步骤2：多传感数据的丢失补偿

针对系统间或会出现由于传输与存储偶然异常造成的丢帧现象以及GPS卫星的丢失现象，我们用以下步骤实现多传感器数据的丢帧检测与补偿。

(1)把传感器i获得的第j帧数据表示为d_i,j，d_i,j可以是一帧图像，也可以是一帧GPS数据数据d_i,j对应的采集时刻为t_i,j，此时的车体位姿为p_i,j。

(2)在ENU(东-北-天)坐标系下，我们使用匀加速模型(CA模型)来描述车体的运动。公式(1)和公式(2)分别给出了相应的状态方程与量测方程。由状态方程和量测方程可以看出，东-北-天三个方向的状态相互独立，可以将车体状态拆分为和三个状态分别进行估计以降低运算量。

x_k+1＝F_kx_k+Γ_kv_k  (1)

z_k＝H_kx_k+w_k  (2)

$x_k=\left[\begin{array}{c}{e}_k\\ {\stackrel{\·}{e}}_k\\ {\stackrel{\·\·}{e}}_k\\ n_k\\ {\stackrel{\·}{n}}_k\\ {\stackrel{\·\·}{n}}_k\\ u_k\\ {\stackrel{\·}{u}}_k\\ {\stackrel{\·\·}{u}}_k\end{array}\right],F_k=\left[\begin{array}{ccccccccc}1& T& {\frac{1}{2}T}^2& 0& 0& 0& 0& 0& 0\\ 0& 1& T& 0& 0& 0& 0& 0& 0\\ 0& 0& 1& 0& 0& 0& 0& 0& 0\\ 0& 0& 0& 1& T& {\frac{1}{2}T}^2& 0& 0& 0\\ 0& 0& 0& 0& 1& T& 0& 0& 0\\ 0& 0& 0& 0& 0& 1& 0& 0& 0\\ 0& 0& 0& 0& 0& 0& 1& T& {\frac{1}{2}T}^2\\ 0& 0& 0& 0& 0& 0& 0& 1& T\\ 0& 0& 0& 0& 0& 0& 0& 0& 1\end{array}\right],{\mathrm{\Γ}}_k=\left[\begin{array}{ccc}{\frac{1}{2}T}^2& 0& 0\\ T& 0& 0\\ 1& 0& 0\\ 0& {\frac{1}{2}T}^2& 0\\ 0& T& 0\\ 0& 1& 0\\ 0& 0& {\frac{1}{2}T}^2\\ 0& 0& T\\ 0& 0& 1\end{array}\right],$

$v_k=\left[\begin{array}{c}{v}_k^e\\ v_k^n\\ v_k^u\end{array}\right],Q_k=E\left[\left({\mathrm{\Γ}}_k{v}_k\right){\left({\mathrm{\Γ}}_k{v}_k\right)}^T\right]={\mathrm{\Γ}}_k\left[\begin{array}{ccc}{\mathrm{\σ}}_{v,e}^2& 0& 0\\ 0& {\mathrm{\σ}}_{v,n}^2& 0\\ 0& 0& {\mathrm{\σ}}_{v,u}^2\end{array}\right]{\mathrm{\Γ}}_k^T;z_k=\left[\begin{array}{c}{e}_k\\ n_k\\ u_k\end{array}\right],$

$H_k=\left[\begin{array}{ccccccccc}1& 0& 0& 0& 0& 0& 0& 0& 0\\ 0& 0& 0& 1& 0& 0& 0& 0& 0\\ 0& 0& 0& 0& 0& 0& 1& 0& 0\end{array}\right],w_k=\left[\begin{array}{c}{w}_k^e\\ w_k^n\\ w_k^u\end{array}\right],R_k=\left[\begin{array}{ccc}{\mathrm{\σ}}_{w,e}^2& 0& 0\\ 0& {\mathrm{\σ}}_{w,n}^2& 0\\ 0& 0& {\mathrm{\σ}}_{w,u}^2\end{array}\right];$

x_k表示数据序列中第k个车体位姿数据，F_k为状态方程，Γ_k为加速度矩阵，T为相邻数据序列的间隔时间，v_k为ENU三个方向的速度矢量，Q_k为过程噪声的协方差矩阵，z_k为车辆位姿数据的量测矢量，H_k为量测矩阵，w_k为测量造成，R_k为测量噪声协方差矩阵。

(3)根据公式(1)和公式(2)所给的状态方程与量测方程，使用基于Kalman Filter的固定区间平滑算法进行车体状态估计。固定区间平滑算法包括前向滤波与后向滤波两个基本过程。公式(3)和公式(4)分别给出了前向滤波过程中的一步预测和量测校正计算方法。前向滤波和后弦滤波原理图如图9所示。

${\hat{x}}_{k+1|k}=F_k{\hat{x}}_{k|k}$

                                         (3)

$P_{k+1|k}=F_k{P}_{k|k}{F}_k^T+Q_k$

其中表示前k个数据为已知条件下预测得到的第k个数据值，表示前k个数据为已知条件下预测得到的第k+1个数据值；P_k|k和P_k+1|k均表示量测校正后的协方差矩阵。

$S_{k+1}=H_{k+1}{P}_{k+1|k}{H}_{k+1}^T+R_{k+1}$

$W_{k+1}=P_{k+1|k}{H}_{k+1}^T{S}_{k+1}^{-1}$

                                         (4)

${\hat{x}}_{k+1|k+1}={\hat{x}}_{k+1|k}+W_{k+1}(z_{k+1}-H_{k+1}{\hat{x}}_{k+1|k})$

P_k+1|k+1＝(I-W_k+1H_k+1)P_k+1|k

其中S_k+1为第k+1个数据量一步预测后的协方差矩阵，W_k+1为第k+1个数据的Kalman滤波增益，为前k+1个数据为已知条件下预测得到的第k+1个数据值，P_k+1|k+1为前k+1个数据为已知条件下预测得到的第k+1个数据的量测校正后的协方差矩阵。

(4)经过前向滤波得到第k个数据的估计结果和状态方程即协方差矩阵为其中k＝1,2,…,N，利用上述估计结果和状态方程，按照公式(5)进行后向滤波，最终得到估计结果其中k＝1,2,…,N；运动车辆的GPS位姿数据估计值包含了车体的位置与朝向信息。

$C_k=P_{k|k}{F}_k^T{P}_{k+1|k}^{-1}$

${\hat{x}}_{k|N}={\hat{x}}_{k|k}+C_k({\hat{x}}_{k+1|N}-{\hat{x}}_{k+1|k})---\left(5\right)$

$P_{k|N}=P_{k|k}+C_k(P_{k+1|N}-P_{k+1|k})C_k^T$

其中，C_k为第k个数据后向滤波增益矩阵，为N个数据均已知条件下预测得到的第k个数据值，P_k|N为N个数据均已知条件下预测得到的第k个数据量测校正后的协方差矩阵。

(5)按照以上步骤对所有数据d_i,j进行预测估计，如该处数据丢失，则使用作为丢失补偿数据。

步骤3：多传感数据的离线时间一致性配准

多传感数据的时间一致性配准就是把各摄像机和GPS芯片在时间维度上不同步的量测信息同步到同一时刻。多路摄像机和GPS芯片对目标的量测是相互独立进行的，采样周期往往不同；同样由于通信网络的延迟不同，多路摄像机和GPS芯片传送信息所需的时间也各不相同，因此即使同步的多摄像机发送的视频数据到达计算机的时刻也会存在时间差。故需要对多传感器数据进行离线的时间一致性配准。时间一致性配准所使用的简单凸组合融合算法原理如图10所示，具体配准步骤如下:

(1)当摄像机i获取一帧图像d_i,j，需要估计数据帧d_i,j对应采集时刻t_i,j的车体位姿；由于采集装置实现了多路摄像机的同步触发，即t_1,j＝t_2,j＝t_3,j＝t_4,j＝t_5,j，其中：i＝1,2,…,5分别表示5路摄像机，只需估计其中一路摄像机的视频帧对应的车体位姿即可；

(2)假设视频帧的采集时刻为t，在多传感器数据丢失检测与补偿方法中，对应已估计状态对应的时刻中与其最邻近的上一时刻和下一时刻分别为t₁和t₂，其中：t₁≤t≤t₂，t₁和t₂所对应的车体状态和状态协方差分别表示为 和其中和已由公式(3)、(4)、(5)计算得到；

(3)根据公式(3)中的状态方程和t₁时刻的状态估计t时刻的车体位姿数据可得估计方法如公式(6)所示。

${\hat{x}}_t^1=F_1{\hat{x}}_{t1}$

                                         (6)

$P_t^1=F_1{P}_{t1}{F}_1^T+Q_1$

其中，F₁,Q₁与公式5中的定义一致，T＝t-t₁。

(4)根据公式(5)中的状态方程和t₂时刻的状态估计t时刻的状态可得估计方法如公式(7)所示。

${\hat{x}}_t^2=F_2^{-1}{\hat{x}}_{t2}$

                                         (7)

$P_t^2=F_2^{-1}(P_{t2}+Q_2)F_2^{-T}$

其中，F₂,Q₂与公式5中的定义一致，T＝t₂-t。

(5)使用简单凸组合融合算法将对t时刻的状态的两个估计结果和进行融合，得到t时刻的状态估计最终结果即t时刻的车体位姿。公式(8)给出了相应的估计算法。

${\left(P_t\right)}^{-1}{\hat{x}}_t={\left(P_t^1\right)}^{-1}{\hat{x}}_t^1+{\left(P_t^2\right)}^{-1}{\hat{x}}_t^2$

                                         (8)

${\left(P_t\right)}^{-1}={\left(P_t^1\right)}^{-1}+{\left(P_t^2\right)}^{-1}$

步骤4：多传感数据的离线空间一致性配准

多传感数据的离线空间一致性配准就是将每台摄像机的自坐标系下的视频数据和GPS位姿信号所采用的坐标系转换成统一的车体坐标系下的数据。对于同种传感器的自坐标系中的数据，必须将它们转换成同一坐标系中的数据。对于不同种类传感器所采用的坐标系是不同的，也需要将它们转换到同一量测坐标系中。采用如下步骤对多源异构的车载多传感数据进行空间一致性配准：

(1)通过摄像机和GPS天线的标定将所有摄像机和GPS天线所在的坐标系对齐到车体坐标系下。

对于该方法所实现的采集装置而言，需要对GPS和5路摄像机作相关标定或配准。由于传感器一旦安装固定在采集车上，其自体坐标系与车体坐标系的变换关系保持不变，所以在同一次采集过程中只需对各传感器进行一次标定。车体坐标系的定义，多路摄像机、GPS天线相对于采集车辆的位置关系如图11所示。

1)GPS天线在车体坐标系下的坐标可以表示为[a,b,c]^T，a,b,c通过简单的测量就能得到。

2)对于5路摄像机的标定，首先使用张正友的基于2D棋盘的摄像机标定算法得到各摄像机3×3的内参数矩阵{K_i|i＝1,…,5}。

3)然后利用三线法标定中间一路摄像机即3号摄像机，得到该摄像机在车体坐标系下的外参数，包括3×3的旋转矩阵R₃和3×1的平移向量t₃。

4)由于相邻摄像机之间的视场存在部分重叠，通过两两标定可以得到任意相邻摄像机坐标系之间的变换关系，进而计算得到3号摄像机到其它摄像机坐标系的变换关系{(R_3,i,t_3,i)|i＝1,…,5}。

5)最后综合上述标定结果计算各摄像机在车体坐标系下的外参数，即旋转矩阵与平移向量{R_i＝R_3,iR₃；t_i＝R_3,it₃+t_3,i)|i＝1,…,5}。

(2)由于摄像机标定的坐标系为ENU坐标，而GPS芯片获取的行驶车辆的GPS位姿数据是WGS84坐标，故在把多摄像机坐标和GPS天线坐标统一到车体坐标系后，还需要把GPS位姿数据转换成ENU坐标。

原始GPS数据为WGS84坐标，用表示。需要首先将其转化为地固地心(ECEF)坐标(x,y,z)^T，进而变换为东北天(ENU)坐标(e,n,u)^T。各坐标系关系如图12所示，图中o_e-x_ey_ez_e为ECEF坐标系，o-enu为ENU坐标系。

公式(9)给出了从WGS84坐标系到ECEF坐标系的变换关系，公式(10)给出了从ECEF坐标系到ENU坐标系的变换关系。

$\left[\begin{array}{c}e\\ n\\ u\end{array}\right]=R\begin{array}{}\end{array}\left[\begin{array}{c}\mathrm{dx}\\ \mathrm{dy}\\ \mathrm{dz}\end{array}\right]=R\left[\begin{array}{c}x-x_0\\ y-y_0\\ z-z_0\end{array}\right]---\left(10\right)$

其中，a＝6378137.0m，e²＝6.69437999014×10^-3；ENU坐标系的原点(0,0,0)^T在ECEF坐标系中的对应坐标为(x₀,y₀,z₀)^T，在WGS84坐标系中的坐标为它们之间的关系也满足公式(9)和(10)；并且公式(10)中的变换矩阵如下：

经过以上坐标系的变换，可以把经过离线时间一致性对齐的多路摄像机的视频数据和其对应GPS位姿信号的空间坐标系都统一到ENU坐标系下，完成了多传感数据的离线空间一致性配准。

Claims (5)

1.道路多传感数据车载采集系统，其特征在于：包括多台摄像机、功能集成的芯片盒、主控制计算机、多台从计算机和GPS天线，所述多台摄像机根据用户需要选择两种摆放方式置于车顶：摆放方式1通过固定支架固定在车顶，相邻摄像机间的光轴夹角为45°，多台摄像机处在同一个水平面并且每台摄像机的中轴线延长交于圆心；摆放方式2通过活动支架固定在车顶，相邻摄像机间的光轴夹角为任意角度；所述功能集成的芯片盒、主控制计算机和多台从计算机均放置在车内，所述GPS天线放置在车顶正中间；所述功能集成的芯片盒内包括多个交换机、两个GPS芯片和一个同步触发芯片，所述每个交换机的输入端和多台摄像机连接，输出端和主控制计算机或从计算机连接，摄像机将所获取的视频数据通过交换机传输给主控制计算机或从计算机进行处理；所述主控制计算机通过同步触发芯片分别和多个摄像机连接，主控制计算机将触发信号发送至多台摄像机使其同时触发采集图像视频；所述GPS芯片的输入端和GPS天线连接，输出端和主控制计算机连接，GPS芯片将行驶车辆的GPS位姿数据传送至主控制计算机进行处理。 

2.根据权利要求1所述的道路多传感数据车载采集系统，其特征在于：所述采集系统中单台摄像机采集帧率最大达15帧每秒，所述采集车辆时速最高达81km/h；多摄像机摆放方式1保证相邻摄像机具有10％的视场冗余，摄像机总视场固定为200.3度；多摄像机摆放方式2能够调整多摄像机朝向，具有灵活的视场，最大获得225度的无冗余总视场；所述采集系统在硬件设计上是能够扩充的，能够灵活增加或减少摄像机、交换机的数量以及摄像机、交换机、计算机的连接数目，来获得不同的视场角或者采集帧率的道路交通多传感视频数据。 

3.采用权利要求1所述的系统实现的多传感数据时空同步方法，其特征在 于：包括如下步骤： 

步骤1：多传感数据的采集 

根据用户需求的不同，用户选择两种采集系统工作模式之一来驱动采集系统——“按照时间间隔触发”和“按照空间位置触发”；主控制计算机发出触发信号，通过功能集成的芯片盒中的同步触发芯片变成多路同步触发信号，发送至多路摄像机，以完成多路摄像机的时空同步触发；主控制计算机同时发出GPS芯片的启动信号至GPS芯片，以完成GPS芯片的启动；之后按照采集系统的硬件连接主控制计算机和从计算机接收到视频数据和行驶车辆的GPS位姿数据，进行处理、存储并记录数据接收的时间数据作为时间戳数据； 

当用户选择“按照时间间隔触发”时，按照如下步骤来获取道路交通环境多传感数据： 

(1)用户向主控制计算机输入摄像机采集帧率f，主控制计算机上的GPS连接端口M，GPS芯片的波特率BaudRate的初始化参数，主控制计算机按照用户输入设置采集系统参数； 

(2)主控制计算机发出GPS芯片的启动信号至GPS芯片，GPS芯片通过与GPS卫星通信，按照输入的GPS波特率BaudRate以4帧每秒的速度把车辆的GPS位姿信号发至主控制计算机； 

(3)主控制计算机接受车辆的GPS位姿信号，存储GPS位姿信号并把接收到每帧GPS位姿数据的时间作为时间戳数据存储到主控制计算机中； 

(4)根据输入摄像机采集帧率f获取采集时间间隔T，由主控制计算机以CPU毫秒时钟为计时单位开始计时，每到间隔T时间主控制计算机便通过U盘口发送一个多路摄像机上升沿触发信号，并把触发信号发送时间作为触发时间戳记录到主控制计算机中； 

(5)主控制计算机通过U盘口向功能集成的芯片盒发送摄像机触发电平信号，同步触发芯片接受电平触发信号并转成多路同步信号分别传送给多路摄像机，从而实现摄像机的同步触发同步采集图像； 

(6)主控制计算机和从计算机接收多路视频数据，进行视频压缩和存储工作，并把视频数据的每帧接收时间作为时间戳数据存储到计算机中； 

当用户选择“按照空间位置触发”时，按照如下步骤来获取道路交通环境多传感数据： 

(1)用户向主控制计算机输入空间位置间隔参数H，主控制计算机上的GPS连接端口M，GPS芯片的波特率BaudRate的初始化参数，主控制计算机按照用户输入设置采集系统参数； 

(2)主控制计算机发出GPS芯片的启动信号至GPS芯片，GPS芯片通过与GPS卫星通信，按照输入的GPS波特率BaudRate以4帧每秒的速度把车辆的GPS位姿信号发至主控制计算机； 

(3)主控制计算机接受车辆的GPS位姿信号，存储GPS位姿信号并把接收到每帧GPS位姿数据的时间作为时间戳数据存储到主控制计算机中； 

(4)主控制计算机根据获取的当前GPS位姿信号，计算采集车辆当前车速，进行车辆行驶距离估计，采集车辆每行驶固定距离H就由主控制计算机通过U盘口发送一个多路摄像机上升沿触发信号； 

(5)主控制计算机通过U盘口向功能集成的芯片盒发送摄像机触发电平信号，同步触发芯片接受电平触发信号并转成多路同步信号分别传送给多路摄像机，从而实现摄像机的同步触发同步采集图像； 

(6)主控制计算机和从计算机接收多路视频数据，进行视频压缩和存储工作，并把视频数据的每帧接收时间作为时间戳数据存储到计算机中； 

步骤2：多传感数据的丢失补偿 

在步骤1中获取了道路交通环境多传感数据之后，用以下步骤实现多传感器数据的丢帧检测与补偿； 

(1)把摄像机或GPS芯片i获得的第j帧数据表示为d_i,j，d_i,j为一帧图像或一帧GPS数据，数据d_i,j对应的采集时刻为t_i,j，此时的车体位姿为p_i,j； 

(2)在ENU即东-北-天坐标系下，使用匀加速模型来描述车体的运动；公式(1)和公式(2)分别给出了车体位姿数据相应的状态方程与量测方程；由状态方程和量测方程可以看出，ENU三个方向的状态相互独立，将车体状态拆分为和三个状态分别进行估计以降低运算量； 

x_k+1＝F_kx_k+Γ_kv_k  (1) 

z_k＝H_kx_k+w_k  (2) 

x_k表示数据序列中第k个车体位姿数据，F_k为状态方程，Γ_k为加速度矩阵，T为 相邻数据序列的间隔时间，v_k为ENU三个方向的速度矢量，Q_k为过程噪声的协方差矩阵，z_k为车辆位姿数据的量测矢量，H_k为量测矩阵，w_k为测量造成，R_k为测量噪声协方差矩阵； 

(3)根据公式(1)和公式(2)所给的状态方程与量测方程，使用基于Kalman Filter的固定区间平滑算法进行车体状态估计；固定区间平滑算法包括前向滤波与后向滤波两个基本过程，公式(3)和公式(4)分别给出了前向滤波过程中的一步预测和量测校正计算方法； 

                                         (3) 

其中表示前k个数据为已知条件下预测得到的第k个数据值，表示前k个数据为已知条件下预测得到的第k+1个数据值；P_k|k和P_k+1|k均表示量测校正后的协方差矩阵； 

                                         (4) 

P_k+1|k+1＝(I-W_k+1H_k+1)P_k+1|k

其中S_k+1为第k+1个数据量一步预测后的协方差矩阵，W_k+1为第k+1个数据的Kalman滤波增益，为前k+1个数据为已知条件下预测得到的第k+1个数据值，P_k+1|k+1为前k+1个数据为已知条件下预测得到的第k+1个数据的量测校正后的协方差矩阵； 

(4)经过前向滤波得到第k个数据的估计结果和状态方程即协方差矩阵为 其中k＝1,2,…,N，利用上述估计结果和状态方程，按照公式(5)进行后向滤波，最终得到估计结果其中k＝1,2,…,N；运动车 辆的GPS位姿数据估计值包含了车体的位置与朝向信息； 

其中，C_k为第k个数据后向滤波增益矩阵，为N个数据均已知条件下预测得到的第k个数据值，P_k|N为N个数据均已知条件下预测得到的第k个数据量测校正后的协方差矩阵； 

(5)按照以上步骤对所有数据d_i,j进行预测估计，如该处数据丢失，则使用 作为丢失补偿数据； 

步骤3：多传感数据的离线时间一致性配准 

多传感数据的时间一致性配准就是把各摄像机和GPS芯片在时间维度上不同步的量测信息同步到同一时刻；具体配准步骤如下: 

(1)当摄像机i获取一帧图像d_i,j，需要估计数据帧d_i,j对应采集时刻t_i,j的车体位姿信息；由于采集装置实现了多路摄像机的同步触发，即t_1,j＝t_2,j＝…＝t_n-1,j＝t_n,j，其中：i＝1,2,…,n分别表示n路摄像机，只需估计其中一路摄像机的视频帧对应的车体位姿即可； 

(2)假设视频帧的采集时刻为t，步骤2中经过一步预测和量测校正后的视频序列中与t时刻其最邻近的上一时刻和下一时刻分别为t₁和t₂，其中：t₁≤t≤t₂，t、t₁和t₂所对应的车体位姿数据和状态协方差矩阵分别表示为和其中和已由公式(3)、(4)、(5)计算得到； 

(3)根据公式(3)中的状态方程和t₁时刻的状态估计t时刻的车体位姿数据可得估计方法如公式(6)所示； 

                                         (6) 

其中，F₁,Q₁与公式(1)中的定义一致，T＝t-t₁； 

(4)根据公式(5)中的状态方程和t₂时刻的状态估计t时刻的车体位姿数据可得估计方法如公式(7)所示； 

                                         (7) 

其中，F₂,Q₂与公式(1)中的定义一致，T＝t₂-t； 

(5)使用简单凸组合融合算法将对t时刻的状态的两个估计结果和 进行融合，得到t时刻的状态估计最终结果即t时刻的车体位姿数据；所述的简单凸组合融合算法如公式(8)所示： 

                                         (8) 

步骤4：多传感数据的离线空间一致性配准 

多传感数据的离线空间一致性配准就是将每台摄像机的自坐标系下的视频数据和行驶车辆的GPS位姿信号所采用的坐标系转换成统一的车体坐标系下的数据；通过对摄像机和GPS天线的标定操作获得多摄像机和GPS天线关于车体坐标系的变换矩阵，把自坐标系数据转换到车体坐标系下，再统一到ENU坐标系下；经过离线时间一致性对齐的多路摄像机的视频数据和其对应GPS位姿信号的空间坐标系都统一到ENU坐标系下，即完成了多传感数据的离线空间一致性配准。 

4.根据权利要求3所述的方法，其特征在于：步骤1所述的当用户选择“按照空间位置触发”时步骤(4)中所述的车辆行驶距离估计方法，其具体步骤如 下： 

(1)主控制计算机向同步触发芯片发送一个触发信号，使多路摄像机进行一次拍摄之后便开始等待新的GPS位姿信号； 

(2)当接收到一个新的GPS位姿信号之后，便会由主控制计算机提取GPS位姿信号中的经纬度坐标，通过与之前接收到的GPS位姿信号进行计算得到当前的采集车辆的速度； 

(3)假设在下一个GPS位姿信号到来之前，中间的这一段时间采集车辆保持车速不变，这样根据速度和设定距离来计算下一次启动触发的时间，具体的计算策略如下； 

1)如果当时的车速较快，在下一个GPS位姿信号到来之前按照规定距离能触发多次，那么就按照当前车速和设定距离计算的时间间隔发送触发信号，直到下一次GPS位姿信号到来； 

2)当新的GPS位姿信号到达时，根据GPS位姿信号会计算出新的速度，但是不会立即更新下一触发时间；如果上一次的触发时间间隔小于GPS位姿信号更新间隔，则按照上一次GPS位姿信号计算得出的时间间隔进行一次触发后再更新时间间隔，按照新的速度来生成新的触发时间； 

3)如果当时的车速较慢，以致新的GPS位姿信号计算出来的时间间隔大于两次GPS位姿信号的接收时间间隔，则根据新的GPS位姿信号算出新的时间间隔与触发时间。 

5.根据权利要求3所述的方法，其特征在于：步骤4所述将每台摄像机的自坐标系下的视频数据和行驶车辆的GPS位姿信号所采用的坐标系转换成统一的车体坐标系下的数据，具体实施方法如下： 

(1)通过摄像机和GPS天线的标定将所有摄像机和GPS天线所在的坐标 系对齐到车体坐标系下； 

由于摄像机和GPS天线一旦安装在采集车上，其自体坐标系与车体坐标系的变换关系保持不变，所以在同一次采集过程中只需对各摄像机和GPS天线进行一次标定即可，具体标定方法如下： 

1)GPS天线在车体坐标系下的坐标表示为[a,b,c]^T，a,b,c通过简单的测量就能得到； 

2)对于多路摄像机的标定，首先使用张正友的基于2D棋盘的摄像机标定算法得到各摄像机3×3的内参数矩阵{K_i|i＝1,…,n}； 

3)然后利用三线法标定中间一路或两路摄像机，得到该摄像机与车体坐标系的变换关系，包括3×3的旋转矩阵和3×1的平移向量

4)由于相邻摄像机之间的视场存在部分重叠，通过两两标定可以得到任意相邻摄像机坐标系之间的变换关系，进而计算得到中间一路或两路摄像机到其它摄像机坐标系的变换关系

5)最后综合上述标定结果计算各摄像机在车体坐标系下的外参数，即旋转矩阵与平移向量

(2)由于摄像机标定的坐标系为ENU坐标，而GPS芯片获取的行驶车辆的GPS位姿数据是WGS84坐标，故在把多摄像机坐标和GPS天线坐标统一到车体坐标系后，还需要把GPS位姿数据转换成ENU坐标； 

原始GPS数据为WGS84坐标，用表示；首先将其转化为地固地心即ECEF坐标(x,y,z)^T，进而变换为东北天即ENU坐标(e,n,u)^T； 

公式(9)给出了从WGS84坐标系到ECEF坐标系的变换关系，公式(10) 给出了从ECEF坐标系到ENU坐标系的变换关系； 

其中，a＝6378137.0m，e²＝6.69437999014×10^-3；ENU坐标系的原点(0,0,0)^T在ECEF坐标系中的对应坐标为(x₀,y₀,z₀)^T，在WGS84坐标系中的坐标为并且公式(10)中的变换矩阵 

。