CN108805956B - 实时倒车轨迹显示系统及等宽轨迹线绘制方法 - Google Patents

Abstract

本发明涉及一种实时倒车轨迹显示系统及等宽轨迹线绘制方法，本实时倒车成像显示系统，包括：处理器模块、用于拍摄倒车影像的摄像头，以及由该处理器模块控制的屏幕；其中所述处理器模块适于根据倒车影像计算倒车轨迹线，并将该倒车轨迹线实时地绘制在屏幕上；本实时倒车轨迹显示系统首先避免对后视摄像头图像视点变化用查找表(LUT)的依赖，扩展了适用范围和场合，并且可以在占用较少的CPU处理能力资源的前提下，绘制高质量的倒车轨迹，解决了使用轨迹数据库带来的轨迹线跃变、边缘锯齿、内存消耗等问题，进而可以根据方向盘角度实时连续地更新倒车轨迹线，保证倒车轨迹的模拟准确性。

Description

实时倒车轨迹显示系统及等宽轨迹线绘制方法

本申请是分案申请，原申请的申请号为201710811254.5，申请日为：2017.9.11，发明创造名称：实时倒车轨迹显示方法、系统及等宽轨迹线绘制方法。

技术领域

本发明属于汽车领域，具体涉及一种实时倒车轨迹显示方法、系统及等宽轨迹线绘制方法。

背景技术

倒车辅助系统较早主要使用语音报警提示和超声波雷达，这两种方式都不能帮助驾驶者观察到车后盲区的实际情况，之后出现的由车载显示屏和车载后视摄像头及相应控制器构成的可视倒车辅助系统可以帮助车辆驾驶者在倒车时观察到车后盲区，但是倒车方向和车后障碍物的距离任然需要驾驶者根据经验判断。

因此，为了解决上述问题，需要设计一种实时倒车轨迹显示方法及显示系统

发明内容

本发明的目的是提供一种实时倒车轨迹显示方法及实时倒车成像显示系统。

为了解决上述技术问题，本发明提供了一种实时倒车轨迹显示方法，包括：

先建立结合二阶径向畸变模型的世界坐标系到图像坐标系的映射模型，以求解相机内外参数；以及再通过相机内外参数计算轮胎转向角预测的倒车轨迹线。

进一步，所述建立结合二阶径向畸变模型的世界坐标系到图像坐标系的映射模型的方法包括：

设定世界坐标系与相机坐标系的转换关系，即

定义世界坐标系为二维坐标系，其包括x_w、y_w；以及所述世界坐标系经透视变换得到的相机坐标系定义为x_c、y_c；

将像素坐标系定义x_p、y_p，为经畸变后实际显示在屏幕上的坐标；

所述映射模型包括：

对于相机坐标为x_c、y_c，即

以及

结合二阶径向畸变模型，所述像素坐标与相机坐标关系为：

上式中，f、s和k₁均为相机内参数，即

f为相机坐标中y轴方向的相机焦距，s为相机坐标中x轴方向与纵向的相机焦距之比，即f·s等于横向的相机焦距，k₁为二阶径向畸变系数；

r₁₁、r₁₂、r₂₁、r₂₂、r₃₁、r₃₂分别为从世界坐标系到相机坐标系作几何变换的旋转矩阵R中的各旋转参量；

t₁、t₂、t₃分别为从世界坐标系到相机坐标系作几何变换的平移矩阵t中的平移参量；以及

x₀、y₀为在像素坐标中的畸变中心点坐标。

进一步，通过映射模型求解相机内外参数的方法包括：

针对二维坐标系，将所述映射模型按照Tsai氏标定法的第一步，求解出旋转矩阵R和平移矩阵t中的部分参量，作为相机外参数；

然后按照Tsai氏标定法的第二步，通过误差函数利用梯度下降法求解剩余参数，即获得相机内参数。

进一步，在通过误差函数利用梯度下降法求解剩余参数的过程中，

设定s的初始值为1，以及(x₀,y₀)的初始值为(0,0)；或

使用迭代方法，在Tsai氏标定法第二步中应用较大的迭代阈值以控制循环次数，按误差函数减小的方向，以±0.005的步长迭代s，逐步缩小至±0.001的步长迭代(x₀,y₀)，获得使误差函数最小的参数s和(x₀,y₀)；并应用最小的迭代阈值，获取相机内外参数。

进一步，所述通过相机内外参数计算轮胎转向角预测的倒车轨迹线的方法包括：

构建倒车轨迹线数学模型，根据实时获取的轮胎转向角计算动态倒车轨迹的世界坐标；

根据摄像头参数标定算法，基于之前标定得到的相机内外参数将所述倒车轨迹的世界坐标代入到所述映射模型中，以转化为像素坐标后绘图，并与倒车摄像头影像叠加后显示在屏幕上。

进一步，所述倒车轨迹线数学模型包括：

其中，l为轴距，w为车宽，a_r为转向时的外侧后车轮的转向角，a_l为转向时的内侧后车轮的转向角，γ为车体的转向角，以及lcotα_l、lcotα_r分别是内侧、外侧后轮轨迹对应的圆弧半径。

又一方面，本发明还提供了一种实时倒车成像显示系统。

所述实时倒车成像显示系统包括：

处理器模块、用于拍摄倒车影像的摄像头，以及由该处理器模块控制的屏幕；其中所述处理器模块适于根据倒车影像计算倒车轨迹线，并将该倒车轨迹线实时地绘制在屏幕上。

进一步，所述处理器模块适于计算倒车轨迹线，即

所述处理器模块适于先建立结合二阶径向畸变模型的世界坐标系到图像坐标系的映射模型，以求解相机内外参数；以及

再通过相机内外参数计算轮胎转向角预测的倒车轨迹线。

进一步，所述处理器模块还适于采集后车轮的转向角，并构建倒车轨迹线数学模型，根据实时获取的轮胎转向角计算动态倒车轨迹的世界坐标；以及

再根据摄像头参数标定算法原理，基于之前标定得到的相机内外参数将上一步得到的倒车轨迹的世界坐标代入所述映射模型中，转化为像素坐标后绘图，并与倒车摄像头影像叠加后显示在屏幕上。

第三方面，本发明还提供了一种等宽轨迹线的绘制方法，包括：

计算近宽远窄的轨迹线的中心线各点的切线斜率；通过斜率变换绘制透视变换后等宽轨迹线。

本发明的有益效果如下：本实时倒车轨迹显示方法及实时倒车成像显示系统首先避免对后视摄像头图像视点变化用查找表(LUT)的依赖，扩展了适用范围和场合，并且可以在占用较少的CPU处理能力资源的前提下，绘制高质量的倒车轨迹，解决了使用轨迹数据库带来的轨迹线跃变、边缘锯齿、内存消耗等问题，进而可以根据方向盘角度实时连续地更新倒车轨迹线，保证倒车轨迹的模拟准确性。

附图说明

下面结合附图和实施例对本发明进一步说明。

图1是本发明的实时倒车轨迹显示方法的方法流程图；

图2是本发明的求解相机内外参数的方法流程图；

图3是本发明的倒车轨迹线的方法流程图；

图4是本发明的倒车轨迹线数学模型中汽车及轨迹线示意图；

图5是本发明的实时倒车成像显示系统的原理框图；

图6是本发明的等宽轨迹线的绘制方法的流程图；

图7是本发明的等宽轨迹线的绘制方法中轨迹线示意图；

图中：轨迹线1、中心线101、中心点102、切线103。

具体实施方式

现在结合附图对本发明作进一步详细的说明。这些附图均为简化的示意图，仅以示意方式说明本发明的基本结构，因此其仅显示与本发明有关的构成。

本系统基于倒车用摄像头和镜头二阶径向畸变模型，采用Tsai氏两步标定法，先建立结合二阶径向畸变模型的世界坐标系到图像坐标系的映射模型，回避了对后视摄像头图像视点变化用查找表(LUT)的依赖，再通过跨平台图形程序接口OpenGL将根据轮胎转向角预测的倒车轨迹线实时地绘制在屏幕上。

具体实现方案如实施例1和实施例2所述。

实施例1

图1是本发明的实时倒车轨迹显示方法的方法流程图。

如图1所示，本实施例提供了一种实时倒车轨迹显示方法，包括：

步骤S101，先建立结合二阶径向畸变模型的世界坐标系到图像坐标系的映射模型，以求解相机内外参数；以及

步骤S102，再通过相机内外参数计算轮胎转向角预测的倒车轨迹线。

图2是本发明的求解相机内外参数的方法流程图。

获得相机内外参数的具体的步骤如下：

使用摄像头拍摄黑白棋盘格图像，将黑白棋盘格图像作为标定靶，可以选用OpenCV库函数提供的方法findChessboardCorners()获取棋盘格角点。

通过比对已知坐标的黑白棋盘格图案标定靶，计算摄像头内外参数，其中，作为相机外参数包括：

齐次变换矩阵：

其中

为从世界坐标系到相机坐标系作几何变换的旋转矩阵，由于本实时倒车轨迹显示方法仅对世界坐标系下的Z₀平面感兴趣，即可认为在本方法中，z_w≡0，故可以对上述二阶径向畸变模型进行优化，即省略z坐标对应的旋转向量(r₃₁ r₃₂r₃₃)；

为从世界坐标系到相机坐标系作几何变换的平移矩阵。

f、s和k₁均为相机内参数，即

f为相机坐标中y轴方向的相机焦距，s为相机坐标中x轴方向与纵向的相机焦距之比，即f·s等于横向的相机焦距，k₁为二阶径向畸变系数；

r₁₁、r₁₂、r₂₁、r₂₂、r₃₁、r₃₂分别为从世界坐标系到相机坐标系作几何变换的旋转矩阵R中的各旋转参量；

t₁、t₂、t₃分别为从世界坐标系到相机坐标系作几何变换的平移矩阵t中的平移参量。

所述建立结合二阶径向畸变模型的世界坐标系到图像坐标系的映射模型的方法包括：设定世界坐标系与相机坐标系的转换关系，即定义世界坐标系为二维坐标系，其包括x_w、y_w；以及所述世界坐标系经透视变换得到的相机坐标系定义为x_c、y_c；将像素坐标系定义x_p、y_p，为经畸变后实际显示在屏幕上的坐标；所述映射模型包括：对于相机坐标为x_c、y_c，即

以及

结合二阶径向畸变模型，所述像素坐标与相机坐标关系为：

上式中，x₀、y₀为在像素坐标中的畸变中心点坐标。

通过映射模型求解相机内外参数的方法包括：针对二维坐标系，将所述映射模型按照Tsai氏标定法的第一步，求解出旋转矩阵R和平移矩阵t中的部分参量；

具体的，按照Tsai氏标定法第一步，根据径向约束，将上述像素坐标与相机坐标关系对应的方程式移项相除，得：

假设s、x₀、y₀已知，上式可化简为：

记作：

a₁·s·x_w·(y_p-y₀)+a₂·s·y_w·(y_p-y₀)+a₃·s·(y_p-y₀)＝a₄·x_w·(x_p-x₀)+a₅·y_w·(x_p-x₀)+(x_p-x₀)

其中：

若获得3个以上的标定参考点及其坐标，通过线性优化，可以求解上述方程中的5个系数，结合R矩阵的正交性约束，即：

可列写多项式方程为：

由上式可以求得t₂，t₂可能有多种取值，在某一类相似的视图下只有一种取值方式是合理的，本方法中针对倒车摄像图像，经验证后取t₂如下：

进而可解出其他参数：

然后按照Tsai氏标定法的第二步，通过误差函数利用梯度下降法求解剩余参数，即获得相机内参数。

具体的，按照Tsai氏标定法第二步，通过梯度下降法求剩余参数。

设初始值k₁＝0，则

即：

使用线性优化的方法可求解参数f、t₃的初始值。

以上述步骤求得的参数值为初始值，利用误差函数通过梯度下降法求解参数k₁、f、t₃：

在通过误差函数利用梯度下降法求解剩余参数的过程中，设定参数s的初始值为1，以及(x₀,y₀)的初始值为(0,0)；或使用迭代方法，在Tsai氏标定法第二步中应用较大的迭代阈值以控制循环次数，按误差函数减小的方向，以±0.005的步长迭代s，逐步缩小至±0.001的步长迭代(x₀,y₀)，获得使误差函数最小的参数s和(x₀,y₀)；并应用最小的迭代阈值，获取相机内外参数。

图3是本发明的倒车轨迹线的方法流程图；

如图3所示，所述倒车轨迹线的完整绘制方法包括：

使用Linux通用视频设备接口V4L2获取YUV格式的原始摄像头影像，即包括：

初始化绘图环境；

初始化静态倒车辅助线参考点；

初始化摄像头。

创建OpenGL纹理，即

按照指定的帧率获取摄像头影像，使用OpenGL GL_VIV_direct_texture扩展接口通过纹理贴图的方式绘制在屏幕上。

构建倒车轨迹线数学模型，根据实时获取的轮胎转向角计算动态倒车轨迹的世界坐标，即

所述通过相机内外参数计算轮胎转向角预测的倒车轨迹线的方法包括：获取后车轮转向角；根据后车车轮转向角计算动态倒车轨迹参考点，进而构建倒车轨迹线数学模型，根据实时获取的轮胎转向角计算动态倒车轨迹的世界坐标；根据摄像头参数标定算法，基于之前标定得到的相机内外参数将所述倒车轨迹的世界坐标代入到所述映射模型中，以转化为像素坐标后绘图，即使用相机内外参数在OpenGL着色器程序中将倒车轨迹参考点的世界坐标转化为屏幕图像坐标，最后与倒车摄像头影像叠加后显示在屏幕上，即绘制静态/动态倒车轨迹线叠加到倒车图像上。

图4是本发明的倒车轨迹线数学模型中汽车及轨迹线示意图；

如图4所示，所述倒车轨迹线数学模型包括：

其中，l为轴距，w为车宽，a_r为转向时的外侧后车轮的转向角，a_l为转向时的内侧后车轮的转向角，γ为车体的转向角，以及lcotα_l、lcotα_r分别是内侧、外侧后轮轨迹对应的圆弧半径。

实施例2

图5是本发明的实时倒车成像显示系统的原理框图。

如图5所示，在实施例1基础上，本实施例提供了一种实时倒车成像显示系统，包括：

处理器模块、用于拍摄倒车影像的摄像头，以及由该处理器模块控制的屏幕；其中

所述处理器模块适于根据倒车影像计算倒车轨迹线，并将该倒车轨迹线实时地绘制在屏幕上。

所述处理器模块适于计算倒车轨迹线，即所述处理器模块适于先建立结合二阶径向畸变模型的世界坐标系到图像坐标系的映射模型，以求解相机内外参数；以及再通过相机内外参数计算轮胎转向角预测的倒车轨迹线。

所述处理器模块还适于采集后车轮的转向角，并构建倒车轨迹线数学模型，根据实时获取的轮胎转向角计算动态倒车轨迹的世界坐标；以及再根据摄像头参数标定算法原理，基于之前标定得到的相机内外参数将上一步得到的倒车轨迹的世界坐标代入所述映射模型中，转化为像素坐标后绘图，并与倒车摄像头影像叠加后显示在屏幕上。

关于映射模型的构建方法，以及计算倒车轨迹线的具体方法详见上述实施例1，此处不再赘述。

本实时倒车成像显示系统可以采用飞思卡尔平台下的GPU硬件加速接口，减小CPU的处理压力，从而解决了现有技术中使用轨迹数据库带来的轨迹线跃变、边缘锯齿、内存消耗等问题，达到了显示效果和性能的平衡。

实施例3

图6是本发明的等宽轨迹线的绘制方法的流程图。

请参见图6，在实施例1基础上，本实施例提供了一种等宽轨迹线的绘制方法，包括：

步骤S201，计算近宽远窄的轨迹线的中心线各点的切线斜率；以及

步骤S202，通过斜率变换绘制透视变换后等宽轨迹线。

图7是本发明的等宽轨迹线的绘制方法中轨迹线示意图；

具体计算切线斜率的方法如下：

在世界坐标下绘制的等宽轨迹线，经透视变换后，会映射为近宽远窄的轨迹线。若要在屏幕上绘制等宽轨迹线，需要求取屏幕上绘制的轨迹线每一点的切线斜率。以下图中描绘的中心线对应的一中心点为例：

设中心点的图像坐标为(u v)，则把坐标分别为

和

的点作为轨迹线的边缘点，可以绘制得到宽度为w的等宽轨迹线。

本方法基于透视变换的原理，由世界坐标下的切线斜率换算图像坐标下的切线斜率。

根据之前获得的齐次变换矩阵

可将透视变换方程列为：

设世界坐标下的轨迹线切线斜率为k_w，即

则图像坐标下的轨迹线切线斜率：

特别地，当世界坐标x_w＝0的平面与图像坐标x_c＝0的平面重合，且摄像头参数左右对称(包括畸变中心点坐标x₀＝0)，即下列条件恒成立时：

当(x_w y_w)的映射点为(x_c y_c)时，(x_w y_w)映射点为(-x_c y_c)。

将

代入上述条件可得：

化简得：

要使上述恒等式对于任意x_w，y_w恒成立，需使x_w，y_w的各多项式系数恒等于0，即r₁₂＝r₂₁＝r₃₁＝t₁＝0，代入轨迹线切线斜率方程式可得：

以上述依据本发明的理想实施例为启示，通过上述的说明内容，相关工作人员完全可以在不偏离本项发明技术思想的范围内，进行多样的变更以及修改。本项发明的技术性范围并不局限于说明书上的内容，必须要根据权利要求范围来确定其技术性范围。

Claims (6)

1.一种实时倒车成像显示系统，其特征在于，包括：

处理器模块、用于拍摄倒车影像的摄像头，以及由该处理器模块控制的屏幕；其中

所述处理器模块适于根据倒车影像计算倒车轨迹线，并将该倒车轨迹线实时地绘制在屏幕上；

所述处理器模块适于计算倒车轨迹线，即

所述处理器模块适于先建立结合二阶径向畸变模型的世界坐标系到图像坐标系的映射模型，以求解相机内外参数；以及

再通过相机内外参数计算轮胎转向角预测的倒车轨迹线；

所述处理器模块还适于采集后车轮的转向角，并构建倒车轨迹线数学模型，根据实时获取的轮胎转向角计算动态倒车轨迹的世界坐标；以及

再根据摄像头参数标定算法原理，基于之前标定得到的相机内外参数将上一步得到的倒车轨迹的世界坐标代入所述映射模型中，转化为像素坐标后绘图，并与倒车摄像头影像叠加后显示在屏幕上；

所述处理器模块适于先建立结合二阶径向畸变模型的世界坐标系到图像坐标系的映射模型，即

设定世界坐标系与相机坐标系的转换关系，即

定义世界坐标系为二维坐标系，其包括x_w、y_w；以及所述世界坐标系经透视变换得到的相机坐标系定义为x_c、y_c；

将像素坐标系定义x_p、y_p，为经畸变后实际显示在屏幕上的坐标；

所述映射模型包括：

对于相机坐标为x_c、y_c，即

以及

结合二阶径向畸变模型，所述像素坐标与相机坐标关系为：

上式中，f、s和k₁均为相机内参数，即

f为相机坐标中y轴方向的相机焦距，s为相机坐标中x轴方向与纵向的相机焦距之比，即f·s等于横向的相机焦距，k₁为二阶径向畸变系数；

r₁₁、r₁₂、r₂₁、r₂₂、r₃₁、r₃₂分别为从世界坐标系到相机坐标系作几何变换的旋转矩阵R中的各旋转参量；

t₁、t₂、t₃分别为从世界坐标系到相机坐标系作几何变换的平移矩阵t中的平移参量；以及

x₀、y₀为在像素坐标中的畸变中心点坐标。

2.根据权利要求1所述的实时倒车成像显示系统，其特征在于，

通过映射模型求解相机内外参数，即

针对二维坐标系，将所述映射模型按照Tsai氏标定法的第一步，求解出旋转矩阵R和平移矩阵t中的部分参量，作为相机外参数；其中

部分参量为：r₁₁、r₁₂、r₂₁、r₂₂、r₃₁、r₃₂和t₁；以及

然后按照Tsai氏标定法的第二步，通过误差函数利用梯度下降法求解剩余参数k₁、f、t₃，即获得相机内参数。

3.根据权利要求2所述的实时倒车成像显示系统，其特征在于，

在通过误差函数利用梯度下降法求解剩余参数的过程中，

设定s的初始值为1，以及(x₀,y₀)的初始值为(0,0)；或

使用迭代方法，在Tsai氏标定法第二步中应用较大的迭代阈值以控制循环次数，按误差函数减小的方向，以±0.005的步长迭代s，逐步缩小至±0.001的步长迭代(x₀,y₀)，获得使误差函数最小的参数s和(x₀,y₀)；并应用最小的迭代阈值，获取相机内外参数。

4.根据权利要求3所述的实时倒车成像显示系统，其特征在于，

通过相机内外参数计算轮胎转向角预测的倒车轨迹线，即

构建倒车轨迹线数学模型，根据实时获取的轮胎转向角计算动态倒车轨迹的世界坐标；

根据摄像头参数标定算法，基于之前标定得到的相机内外参数将所述倒车轨迹的世界坐标代入到所述映射模型中，以转化为像素坐标后绘图，并与倒车摄像头影像叠加后显示在屏幕上。

5.根据权利要求4所述的实时倒车成像显示系统，其特征在于，

所述倒车轨迹线数学模型包括：

其中，l为轴距，w为车宽，α_r为转向时的外侧后车轮的转向角，α_l为转向时的内侧后车轮的转向角，γ为车体的转向角，以及lcotα_l、lcotα_r分别是内侧、外侧后轮轨迹对应的圆弧半径。

6.一种应用如权利要求1所述的实时倒车成像显示系统的等宽轨迹线绘制方法，包括：

计算近宽远窄的轨迹线的中心线各点的切线斜率；

通过斜率变换绘制透视变换后等宽轨迹线。

Images