CN103150748A - 倒车影像3d 场景重构方法和系统 - Google Patents

Abstract

本发明涉及一种倒车影像3D场景重构方法和系统。本发明公开了如下步骤：S100.采集车辆后部的连续多帧图像，提取每一帧图像的特征点；S200.对相邻两帧图像中的特征点进行跟踪匹配；S300.对匹配成功的特征点，使用外极几何原理推算所述两特征点的对应点在空间中的坐标；得到两视图无绝对尺度的3D重构影像；S400.重复步骤S100-S300完成对所述连续多帧图像的无绝对尺度的3D重构。能够弥补传统超声倒车系统在遇到小障碍物时，会产生盲区的问题以及传统视频2D倒车影像系统的距离感差问题，且对于出现在车辆后方的运动物体能够实时地提取提供重点报警，从而提供给用户更清晰、准确的视觉反馈，增加倒车时的安全性。而且整个系统都可基于现有的硬件设备，技术成熟，成本低廉，十分便于大范围推广和使用。

Description

倒车影像3D 场景重构方法和系统

技术领域

本发明涉及一种G06计算；推算；计数G06T一般的图像数据处理或产生G06T15/003D［三维］图像的加工。

背景技术

近年来，随着汽车保有量的增长，交通事故的数量也逐年递增。统计数据表明，在中国由于车辆后方盲区所导致的交通事故所占比例已达30%，在美国这一比例也高达20%。针对这一问题，近些年诞生了很多种倒车辅助装置用以帮助驾驶员判断车辆后方的环境，防止与车辆后方的人员、物体发生刮蹭、碰撞。目前，倒车辅助装置主要分为两种技术路线。一种是基于超声波测距技术的倒车雷达装置；另一种是基于图像传感器技术的倒车影像装置。

倒车雷达装置一般在汽车尾部后保险杠上安装若干对超声波发射器和接收探头，当倒车时，超声波发射器发射的超声波遇到障碍物时产生回波，再由响应的接受探头对回波进行捕获，经控制器处理，计算出障碍物与车尾的距离。当测量到的障碍物与车尾距离过近时，倒车雷达系统向驾驶员发出报警信息。一般单个超声波探头覆盖范围约为45度，误差在5厘米左右。受空间和成本约束，目前的倒车雷达系统通常采用2至4对探头的安装方案。安装倒车雷达装置后，驾驶员能够对车辆后方盲区内的障碍物进行粗略的方位和距离上的判断。受探头测量精度和覆盖范围的限制，倒车雷达装置存在较大的检测盲区，对于高度较低和距离车辆尾部较近的障碍物，如石块、沟壑、儿童等，倒车雷达可能无法发现和报警。驾驶员过度依赖于倒车雷达装置，经常导致事故的发生。

倒车影像装置是通过摄像头拍摄车辆后方的环境，并实时显示在车载显示单元上。部分倒车影像产品会在显示单元上显示出预计的倒车路径，以帮助驾驶员观察在倒车路径上是否存在障碍物。单个摄像头构成的倒车影像装置虽然覆盖面广、效果直观，但也存在较大的局限性，一方面受镜头视角、光学畸变、透视效应等影像，倒车影像显示与真实场景相比存在一定失真，可能导致驾驶员误判断；另一方面，倒车影像显示的仅仅是2D的平面图像，驾驶员难以从中获得真实的距离感，对于障碍物的高度也难以做出准确的判断。

发明内容

本发明针对以上问题的提出，而研制的一种倒车影像3D场景重构方法，具有如下步骤：

S100.采集车辆后部的连续多帧图像，提取每一帧图像的特征点；

S200.对相邻两帧图像中的特征点进行跟踪匹配；

S300.对匹配成功的特征点，使用外极几何原理推算所述两特征点的对应点在空间中的坐标；得到两视图无绝对尺度的3D重构影像；

S400.重复步骤S100-S300完成对所述连续多帧图像的无绝对尺度的3D重构，从而形成车辆后方一定空间内场景结构的3D重构。

还具有步骤S500.采用惯性测量单元（IMU）和数字罗盘输出的加速度、角速度、方向信息，进行真实环境尺度的估算。并应用扩展卡尔曼滤波（EKF）对多传感器数据进行融合。状态向量x_k由摄像头的位置坐标p_ec,k、速度v_ec,k、加速度a_ec,k、角速度ω_ec,k、比例因子s_k、摄像头方向q_e,k、加速度传感器偏移b_a,k和陀螺仪偏移b_w,k组成：

x_k＝{p_ec,k,v_ec,k,a_ec,k,ω_ec,k,s_k,q_e,k,b_a,k,b_ω,k}

真实世界和视觉世界比例因子由s_k表示，它在每个状态都会被重新评估。摄像头方向q_e,k由四元组{q_e0,k,q_ex,k,q_ey,k,q_ez,k}组成。

摄像头的运动状态估算是根据带输入噪音的加速度、角速度和实际测量结果z_k。其过程可表示为：

x_k＝f(x_k-1,u_k-1,n_k-1)

z_k＝hx_k+m_k

假设摄像头的运动是一个随机过程，则其中u_k-1为控制器向量输入为0。随机噪音n_k和m_k符合：

p(n)～N(0,Q)、p(m)～N(0,R)

假设摄像头在从k-1到k的变换过程中，具有匀加速度和匀角速度，且经历时间为T，则动态模型可以表示为：

$p_{\mathrm{ec},k}=p_{\mathrm{ec},k-1}+\frac{T}{s_{k-1}}{v}_{\mathrm{ec},k-1}+\frac{T^2}{2s_{k-1}}{a}_{\mathrm{ec},k-1}$

v_ec,_k＝v_ec,k-1+Ta_ec,k-1

$a_{\mathrm{ec},k}=a_{\mathrm{ec},k-1}+n_{k-1}^a$

${\mathrm{\ω}}_{\mathrm{ec},k}={\mathrm{\ω}}_{\mathrm{ec},k-1}+n_{k-1}^{\mathrm{\ω}}$

$s_{e,k}=s_{e,k-1}+n_{k-1}^s$

$q_{e,k}=\exp \left({\mathrm{\ω}}_{e,k-1}T\right)\⊗q_{e,k-1}$

$b_{a,k}=b_{a,k-1}+n_{k-1}^{\mathrm{ab}}$

$b_{\mathrm{\ω},k}=b_{\mathrm{\ω},k-1}+b_{k-1}^{\mathrm{\ωb}}$

其中定义

为四元数乘法，exp(ωT)为三轴的旋转矩阵，其定义为：

$\exp \left(\mathrm{\ωT}\right)=[\cos \frac{\left|\right|\mathrm{\ω}\left|\right|T}{2},\sin \frac{\left|\right|\mathrm{\ω}\left|\right|T}{2}\frac{{\mathrm{\ω}}^T}{\left|\right|\mathrm{\ω}\left|\right|}{]}^T$

$\left|\right|\mathrm{\ω}\left|\right|=\sqrt{{\left({\mathrm{\ω}}_x\right)}^2+{\left({\mathrm{\ω}}_y\right)}^2+{\left({\mathrm{\ω}}_z\right)}^2}$

为随机噪音。以此为基础构建的扩展卡尔曼滤波器经过若干次迭代后，得到的s_k将会接近真实值s，从而为重构空间添加了真实的尺度信息。所述步骤S100-S400.得到的3D重构各顶点的坐标除以缩放比例因子s，将步骤S300中得到的无绝对尺度的3D重构影像转化为带有真实空间比例的3D重构影像。

所述步骤S100中，使用Harris角点检测器提取每一帧图像的特征点。

所述步骤S200采用的特征点匹配算法为Kanade-Lucas-Tomasi算法。

所述步骤S300具体包括：

定义M为空间内一点，其坐标为M＝[x y z 1]^T，R和R’为连续两帧图像的拍摄平面；M点在两幅图像平面上的投影点分别为m＝[u v 1]^T和m'＝[u' v' 1]^T；

根据外极几何原理空间中M点坐标与两平面内m和m’点坐标存在关系：

m＝PM

m'＝P'M

其中，P和P’为两平面的投影矩阵，其定义为：

P＝A[R T]

A称为摄像头的内参数矩阵，代表摄像头自身的性质，R和T是摄像头的旋转矩阵和平移矢量，代表摄像头拍摄时所在的位置；A的定义为：

$A=\left(\begin{array}{ccc}\mathrm{\α}& c& u_0\\ 0& \mathrm{\β}& v_0\\ 0& 0& 1\end{array}\right)$

α和β是由镜头焦距确定的比例系数，c是像素偏歪因子，一般近似为0；(u₀,v₀)是摄像头主点坐标；

在外极几何中，存在关系

mFm'＝0

F＝[T]_×R

其中F称为基础矩阵，可通过Hartley的八点算法求解，[T]_×是平移向量T的矩阵表示，其定义为：

$T_{\×}=\left[\begin{array}{ccc}0& -T_z& T_y\\ T_z& 0& -T_x\\ -T_y& T_x& 0\end{array}\right]$

根据F、T、R的关系通过SVD分解的方法，即可解出T和R，从而求出另一副图像的投影矩阵P’。

由m和m’推算出F，再根据F、T、R的关系通过SVD分解的方法，即可解出T和R，从而求出另一副图像的投影矩阵P’。

通过P和P’，结合m，m’和M的关系式，解出M在空间中的坐标，当对连续两幅图像中所有匹配点坐标的求解，完成两视图无绝对尺度的3D重构。

一种倒车影像3D场景重构系统，具有：

安装在车辆尾部，获取车辆后方视频图像的图像采集单元、

获取车辆在多方向上的行驶方向、速度、加速度和角速度的惯性测量单元、

接收所述摄像头和惯性测量单元传输的车尾图像、行驶方向、速度、加速度和角速度信息，生成并推测车辆行驶轨迹信息；提取车尾视频图像中的特征点并且根据车辆的行驶方向、速度、加速度和角速度信息生成车尾环境的3D重构图像的主控单元；

接收并显示所述主控单元的生成的3D重构影像的显示单元。

所述惯性测量单元包括：三轴加速度传感器和三轴陀螺仪。

还具有：报警单元：所述主控单元根据生成的车辆行驶轨迹和3D重构信息，设定车辆与车尾物体距离阈值，当超过距离阈值时，向该报警单元和所述显示单元发出报警信息；报警单元发出警告。

由于采用了上述技术方案，本发明提供的倒车影像3D场景重构方法和系统，能够弥补传统超声倒车系统在遇到小障碍物时，会产生盲区的问题以及传统视频2D倒车影像系统的距离感差问题，且对于出现在车辆后方的运动物体能够实时地提取提供重点报警，从而提供给用户更清晰、准确的视觉反馈，增加倒车时的安全性。而且整个系统都可基于现有的硬件设备，技术成熟，成本低廉，十分便于大范围推广和使用。

附图说明

为了更清楚的说明本发明的实施例或现有技术的技术方案，下面将对实施例或现有技术描述中所需要使用的附图做一简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明的流程图

图2为本发明的3D重构流程图

图3为本发明的两视图重构原理示意图

图4为本发明的视点、惯性测量单元和静态环境的坐标变换关系

图5为本发明的系统模块示意图

具体实施方式

为使本发明的实施例的目的、技术方案和优点更加清楚，下面结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚完整的描述：

如图1和图2所示：一种倒车影像3D场景重构方法，将传统的超声波倒车雷达和车尾的倒车摄像头采集的2D图像结合起来，主要包括如下步骤：

S100.通过车辆后方的摄像头采集车辆后部的连续多帧图像，提取每一帧图像的特征点。

作为一个较佳的实施方式，本发明中采用Harris角点检测器作为每一帧图像中的特征点，用于提取图像中的主要障碍物，用于后面的算法处理。

由于车辆在倒车情况下，通常都会有角度和位置的变化，相邻两帧图像中同一物体的特征点位置可能会发生一定的位置变化，所以需要设置步骤S200.对相邻两帧图像中的特征点进行跟踪匹配，用于确定两个位于两帧图像中的特征点是否对应实际空间中的同一个点。

作为一个较佳的实施方式，本发明中采用LKT(Lucas-Kanade-Tomasi)算法完成对相连两帧中的所有特征点的追踪和匹配。

S300.完成特征点的追踪后，本发明使用外极几何的原理推算所述连续两帧图中的对应的两特征点所对应空间点在空间中的坐标，以便在完成对所有特征点的匹配后，能够得到两帧视图的无绝对尺度的3D重构影像。

如图3所示：M为空间内一点，其坐标为M＝[x y z 1]^T，R和R’为连续两帧图像的拍摄平面。则M点在两幅图像平面上的投影点分别为m＝[u v 1]^T和m'＝[u' v' 1]^T。则根据外极几何原理空间中M点坐标与两平面内m和m’点坐标存在关系。

m＝PM

m'＝P'M

其中，P和P’为两平面的投影矩阵，其定义为：

P＝A[R T]

A称为摄像头的内参数矩阵，代表摄像头自身的性质，R和T是两帧图像间摄像头的旋转矩阵和平移矢量，代表摄像头拍摄时所在的位置。A的定义为：

$A=\left(\begin{array}{ccc}\mathrm{\α}& c& u_0\\ 0& \mathrm{\β}& v_0\\ 0& 0& 1\end{array}\right)$

α和β是由镜头焦距确定的比例系数，c是像素偏歪因子，一般近似为0。(u₀,v₀)是摄像头主点坐标。

对于R和T的估计，一般以其中一副图像作为参照，设其投影矩阵为P＝A[I 0]；

其中，I为3阶单位矩阵。

对于另一幅图像的投影矩阵为P'＝A[RT]；

在外极几何中，存在关系：

mFm'＝0

F＝[T]_×R

其中F称为基础矩阵可通过Hartley的八点算法求解，[T]_×是平移向量T的矩阵表示，其定义为：

$T_{\×}=\left[\begin{array}{ccc}0& -T_z& T_y\\ T_z& 0& -T_x\\ -T_y& T_x& 0\end{array}\right]$

根据F、T、R的关系通过SVD分解的方法，即可解出T和R，从而求出另一副图像的投影矩阵P’。

通过计算得到的P和P’，再结合m，m’和M的关系式，可以解出M在空间中的坐标，当对连续两幅图像中所有匹配点坐标的求解，即完成了两视图无绝对尺度的3D重构。

S400.在完成相邻两帧图像的3D重构后，重复步骤S100-S300完成对所述连续多帧图像的无绝对尺度的3D重构。

稍有不同的是，不同的是，每两帧图像重构结果的参考坐标系是不同的，需要通过旋转和平移将其统一到相同坐标系中。其方法如下：

对于空间中一点M，在坐标系C₁中重构结果为M₁，在坐标系C₂中重构的结果为M₂，如果坐标系C₂到C₁的旋转矩阵和平移矢量分别为R和T，那么将空间坐标M₂变换到空间坐标M₁的公式为：

M₁=RM₂+T

进一步的，所述步骤S100-S400.得到的3D重构，由于运动恢复结构过程中尺度信息的缺失，按此方法的3D重构与真实场景结构差一个缩放比例。本实施例根据惯性测量单元输出的加速度、角速度信息，进行真实环境尺度的估算。考虑在实际过程中，会有旋转矢量引入。惯性测量单元自身也存在误差积累、零点漂移和温度漂移等问题。本实施例采用扩展卡尔曼滤波（EKF）解决上述工程问题。如图4所示，c，s和e分别对应的摄像头、传感器和地球坐标系。每两帧之间的相对转换都可以用一组四元数表示。其中：

地球坐标系（e）的x_e坐标固定指向地球磁场的北极，z_e轴指向与地球重力加速度g的反方向。

摄像头坐标系（c）和视觉传感器关联，z_c的指向和视觉的光心相同。从当前的摄像头位姿到地球帧e的变换要经历旋转向量

和转换向量

传感器坐标系（s）和惯性测量单元相关联，从传感器读取的数据（加速度、角速度、地磁）组成传感器帧。它与地球帧e变换要经历旋转向量

和转换向量

应用扩展卡尔曼滤波的多传感器融合建立在地球坐标系下。状态向量x_k由摄像头的位置坐标p_ec,k、速度v_ec,k、加速度a_ec,k、角速度ω_ec,k、比例因子s_k、摄像头方向q_e,k、加速度传感器偏移b_a,k和陀螺仪偏移b_w,k组成：

x_k＝{p_ec,k,v_ec,k,a_ec,k,ω_ec,k,s_k,q_e,k,b_a,k,b_ω,k}

一方面，在地球坐标系中，摄像头的位置坐标p_ec,k是一个包含摄像头坐标的四元向量；另一方面，p_ec,k也可以从视觉图像中重构。通过它可以计算出真实世界尺度和视觉世界的比例关系。v_ec,k是摄像头在真实世界中的速度。摄像头的角速度ω_ec,k向量由各坐标轴的角度组成{ω_ex,k,ω_ey,k,ω_ez,k}。真实世界和视觉世界比例因子由s_k表示，它在每个状态都会被重新评估。摄像头方向q_e,k由四元组{q_e0,k,q_ex,k,q_ey,k,q_ez,k}组成。

摄像头的运动状态估算是根据带输入噪音的加速度、角速度和实际测量结果z_k。其过程可表示为：

x_k＝f(x_k-1,u_k-1,n_k-1)

z_k＝hx_k+m_k

假设摄像头的运动是一个随机过程，则其中u_k-1为控制器向量输入为0。随机噪音n_k和m_k符合：

p(n)～N(0,Q)、p(m)～N(0,R)

假设摄像头在从k-1到k的变换过程中，具有匀加速度和匀角速度，且经历时间为T，则动态模型可以表示为：

$p_{\mathrm{ec},k}=p_{\mathrm{ec},k-1}+\frac{T}{s_{k-1}}{v}_{\mathrm{ec},k-1}+\frac{T^2}{2s_{k-1}}{a}_{\mathrm{ec},k-1}$

v_ec,k＝v_ec,k-1+Ta_ec,k-1

$a_{\mathrm{ec},k}=a_{\mathrm{ec},k-1}+n_{k-1}^a$

${\mathrm{\ω}}_{\mathrm{ec},k}={\mathrm{\ω}}_{\mathrm{ec},k-1}+n_{k-1}^{\mathrm{\ω}}$

$s_{e,k}=s_{e,k-1}+n_{k-1}^s$

$q_{e,k}=\exp \left({\mathrm{\ω}}_{e,k-1}T\right)\⊗q_{e,k-1}$

$b_{a,k}=b_{a,k-1}+n_{k-1}^{\mathrm{ab}}$

$b_{\mathrm{\ω},k}=b_{\mathrm{\ω},k-1}+b_{k-1}^{\mathrm{\ωb}}$

其中定义

为四元数乘法，exp(ωT)为三轴的旋转矩阵，其定义为：

$\exp \left(\mathrm{\ωT}\right)=[\cos \frac{\left|\right|\mathrm{\ω}\left|\right|T}{2},\sin \frac{\left|\right|\mathrm{\ω}\left|\right|T}{2}\frac{{\mathrm{\ω}}^T}{\left|\right|\mathrm{\ω}\left|\right|}{]}^T$

$\left|\right|\mathrm{\ω}\left|\right|=\sqrt{{\left({\mathrm{\ω}}_x\right)}^2+{\left({\mathrm{\ω}}_y\right)}^2+{\left({\mathrm{\ω}}_z\right)}^2}$

为随机噪音。以此为基础构建的扩展卡尔曼滤波器经过若干次迭代后，得到的s_k将会接近真实值s，从而为重构空间添加了真实的尺度信息。所述步骤S100-S400.得到的3D重构各顶点的坐标除以缩放比例因子s，即可获得具有真实尺度的3D重构。

如图5所示：一种倒车影像3D场景重构系统，主要包括：

图像采集单元：安装在车辆尾部，获取车辆后方视频图像的图像的图像采集单元。本发明采用摄像头中图像传感器为OV7949CMOS图像传感器，在选择NTSC制式输出时，分辨率为510×496，摄像头镜头采用视角为170°的广角镜头。摄像头安装在车辆尾部，在安装时摄像头角度调整以拍摄到的图像中可以看到车辆尾部边缘为准。

摄像头输出的NTSC视频信号连接到主控模块中的视频编码芯片上，并由其转换为数字图像格式。所述视频编码芯片型号为TVP5146，其输出接口与主控模块中微处理器的视频输入接口相连接。

惯性测量单元：用于感知车辆在以车辆运动路径为平面的全向360°的速度、加速度和角速度等车辆行驶数据。在本发明中，惯性测量单元中惯性测量单元中主要包含：3轴陀螺仪MPU-3050和3轴加速度计ADXL345组成惯性测量单元，对车辆的加速度和角速度进行测量，采用数字罗盘HMC5883L对摄像头方向进行测量。这几种传感器都使用I2C接口与主控单元即微处理器进行通信。

主控单元为本发明系统中的核心部件，使用的是cortex-A8内核的ARM处理器，运行频率为600MHz。其外部连接128MB DDR2SDRAM作为随机存储器，连接256MB NAND Flash作为程序存储器。

当车辆以低于阈值的速度行驶一段距离后，主控模块可以在结构上完成对车辆后方一定范围内环境完整的3D重构，并在车辆运动时根据最新获取的图像信息动态更新此3D重构。重构环境中空间尺度的估计来源于惯性测量单元的测量结果。主控模块从惯性测量单元采集到的加速度、角速度信息，经过运算处理，能够推理出车辆自身在空间中的运动轨迹、车辆后方物体真实的尺寸、以及车自身在空间环境中所处的具体位置。

显示单元，用于接收并显示所述主控单元的生成的3D重构影像的显示单元。显示单元能够以三种形式显示3D重构信息可视图像：第一种是车辆及其后方环境中各个物体位置关系的俯视图像；第二种是从车辆尾部斜上方向车辆尾部观察视角图像；第三种是在摄像头拍摄的车辆后方环境的实时图像上，以透明的色彩叠加在出可能与车辆发生碰撞的障碍物或可能导致车辆损坏的沟壑上。

本发明还提供了能够发出声光报警信息的报警单元，当主控单元判断车辆与后方障碍物可能发生碰撞或出现可能导致车辆损坏的情况时发出相应的报警信号传输至该报警单元，以声音、灯光变化等方式向驾驶员发出警告。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。

Claims (9)

1.一种倒车影像3D场景重构方法，具有如下步骤：

S100.使用车辆后部摄像头采集车辆后部的连续多帧图像，提取每一帧图像的特征点；

S200.对相邻两帧图像中的特征点进行跟踪匹配；

S300.对匹配成功的一对特征点，使用外极几何原理推算所述两特征点的对应点在空间中的坐标；遍历所述两帧图像中所有匹配成功的特征点，得到每对特征点对应的空间点的坐标，得到两视图无绝对尺度的3D重构影像；

S400.重复步骤S100-S300完成对所述连续多帧图像的无绝对尺度的3D重构，形成车辆后方一定空间内场景结构的3D重构。

2.根据权利要求1所述的一种倒车影像3D场景重构方法，其特征还在于具有步骤

S500.使用惯性测量单元和数字罗盘获取所述摄像头在每一个时刻的位置、速度、加速度、角速度和方向信息，使用扩展卡尔曼滤波算法对所述的加速度、角速度和方向信息进行融合，计算真实世界和视觉世界比例因子S_k；

将所述步骤S300和S400中所述的重构成功的特征点除以所述比例因子S_k，得到带有真实空间比例的3D重构影像。

3.根据权利要求2所述的一种倒车影像3D场景重构方法，其特征还在于：所述步骤S500具体包括：

设定状态向量x_k由摄像头的位置坐标p_ec,k、速度v_ec,k、加速度a_ec,k、角速度ω_ec,k、比例因子s_k、摄像头方向q_e,k、加速度传感器偏移b_a,k和陀螺仪偏移b_w,k组成：

x_k＝{p_ec,k,v_ec,k,a_ec,k,ω_ec,k,s_k,q_e,k,b_a,k,b_ω,k}

所述摄像头方向qe,k由四元组{q_e0,k,q_ex,k,q_ey,k,q_ez,k}组成；

摄像头的运动状态估算是根据带输入噪音的加速度、角速度和实际测量结果z_k。其过程可表示为：

x_k＝f(x_k-1,u_k-1,n_k-1)

z_k＝hx_k+m_k

假设摄像头的运动是一个随机过程，则其中uk-1为控制器向量输入为0，随机噪音n_k和m_k符合：

p(n)～N(0,Q)、p(m)～N(0,R)

假设摄像头在从k-1到k的变换过程中，具有匀加速度和匀角速度，且经历时间为T，则动态模型可以表示为：

$p_{\mathrm{ec},k}=p_{\mathrm{ec},k-1}+\frac{T}{s_{k-1}}{v}_{\mathrm{ec},k-1}+\frac{T^2}{2s_{k-1}}{a}_{\mathrm{ec},k-1}$

v_ec,k＝v_ec,k-1+Ta_ec,k-1

$a_{\mathrm{ec},k}=a_{\mathrm{ec},k-1}+n_{k-1}^a$

${\mathrm{\ω}}_{\mathrm{ec},k}={\mathrm{\ω}}_{\mathrm{ec},k-1}+n_{k-1}^{\mathrm{\ω}}$

$s_{e,k}=s_{e,k-1}+n_{k-1}^s$

$q_{e,k}=\exp \left({\mathrm{\ω}}_{e,k-1}T\right)\⊗q_{e,k-1}$

$b_{a,k}=b_{a,k-1}+n_{k-1}^{\mathrm{ab}}$

$b_{\mathrm{\ω},k}=b_{\mathrm{\ω},k-1}+b_{k-1}^{\mathrm{\ωb}}$

其中定义

为四元数乘法，exp(ωT)为三轴的旋转矩阵，其定义为：

$\exp \left(\mathrm{\ωT}\right)=[\cos \frac{\left|\right|\mathrm{\ω}\left|\right|T}{2},\sin \frac{\left|\right|\mathrm{\ω}\left|\right|T}{2}\frac{{\mathrm{\ω}}^T}{\left|\right|\mathrm{\ω}\left|\right|}{]}^T$

$\left|\right|\mathrm{\ω}\left|\right|=\sqrt{{\left({\mathrm{\ω}}_x\right)}^2+{\left({\mathrm{\ω}}_y\right)}^2+{\left({\mathrm{\ω}}_z\right)}^2}$

为随机噪音。

4.根据权利要求1所述的一种倒车影像3D场景重构方法，其特征还在于：所述步骤S100中，使用Harris角点检测器提取每一帧图像的特征点。

5.根据权利要求1所述的一种倒车影像3D场景重构方法，其特征还在于：所述步骤S200采用的特征点匹配算法为Kanade-Lucas-Tomasi算法。

6.根据上述任意权利要求所述的一种倒车影像3D场景重构方法，其特征还在于所述步骤S300具体包括：

定义M为空间内一点，其坐标为M＝[x y z 1]^T，R和R’为连续两帧图像的拍摄平面；M点在两幅图像平面上的投影点分别为m＝[u v 1]^T和m'＝[u' v' 1]^T；

根据外极几何原理空间中M点坐标与两平面内m和m’点坐标存在关系：

m＝PM

m'＝P'M

其中，P和P’为两平面的投影矩阵，其定义为：

P＝A[R T]

A称为摄像头的内参数矩阵，代表摄像头自身的性质，R和T是摄像头的旋转矩阵和平移矢量，代表摄像头拍摄时所在的位置；A的定义为：

$A=\left(\begin{array}{ccc}\mathrm{\α}& c& u_0\\ 0& \mathrm{\β}& v_0\\ 0& 0& 1\end{array}\right)$

α和β是由镜头焦距确定的比例系数，c是像素偏歪因子，一般近似为0；(u₀,v₀)是摄像头主点坐标；

在外极几何中，存在关系

mFm'＝0

F＝[T]_×R

其中F称为基础矩阵，可通过Hartley的八点算法求解，[T]_×是平移向量T的矩阵表示，其定义为：

$T_{\×}=\left[\begin{array}{ccc}0& -T_z& T_y\\ T_z& 0& -T_x\\ -T_y& T_x& 0\end{array}\right]$

由m和m’推算出F，再根据F、T、R的关系通过SVD分解的方法，即可解出T和R，从而求出另一副图像的投影矩阵P’。

通过P和P’，结合m，m’和M的关系式，解出M在空间中的坐标，当对连续两幅图像中所有匹配点坐标的求解，完成两视图无绝对尺度的3D重构。

7.一种倒车影像3D场景重构系统，具有：

安装在车辆尾部，获取车辆后方视频图像的图像采集单元、

获取车辆在多方向上的行驶方向、速度、加速度和角速度的惯性测量单元、

接收所述摄像头和惯性测量单元传输的车尾图像、行驶方向、速度、加速度和角速度信息，生成并推测车辆行驶轨迹信息；提取车尾视频图像中的特征点并且根据车辆的行驶方向、速度、加速度和角速度信息生成车尾环境的3D重构图像的主控单元；

接收并显示所述主控单元的生成的3D重构影像的显示单元。

8.根据权利要求7所述的一种倒车影像3D场景重构系统，其特征还在于：所述惯性测量单元至少具有一个三轴加速度传感器和一个三轴陀螺仪。

9.根据权利要求7或8所述的一种倒车影像3D场景重构系统，其特征在于还具有：报警单元：所述主控单元根据生成的车辆行驶轨迹和3D重构信息，设定车辆与车尾物体距离阈值，当超过距离阈值时，向该报警单元和所述显示单元发出报警信息；报警单元发出警告。

Images