CN106250893A - 一种基于后视单目相机的多列车铰接角测量方法 - Google Patents

Abstract

本发明公开了一种基于后视单目相机的多列车铰接角测量方法，本方法利用单目视觉系统，通过对挂车前平面或侧平面的特征点提取与分析，获取相机的旋转运动信息，并转化为相应铰接角信息输出。本方法中，相机安装在牵引车的后平面朝向挂车，是可集成于牵引车的传感系统，无需改变安装位置即可可以适用于不同的挂车系统。本方案适用于所有的多列车辆。

Description

一种基于后视单目相机的多列车铰接角测量方法

技术领域

本发明涉及车辆控制领域，尤其是涉及一种基于后视单目相机的多列车铰接角测量方法。

背景技术

铰接角是多列车的重要动力学状态，准确的测量多列车辆铰接角可以有利于此类车辆主动安全系统的应用欲开发，如多列车主动转向与多列车倒车系统等。与本发明相关的现有技术分为如下两类：

1.接触式测量传感器：如旋转电位器安装在重型车第五轮位置。

2.非接触式测量传感器：如超声波传感器和视觉传感器等。

接触式测量传感器或超声波传感器只适用于某种特定的铰接形式(如第五轮铰接)；已有的视觉传感器只适用于特定的牵引车-挂车连接，并不是一个独立于挂车的系统，更换挂车会使传感器失效。

发明内容

本发明主要是解决现有技术所存在的适用范围小的技术问题，提供一种不局限于特定的铰接形式、具有较广的适用范围、更换挂车仍然可以正常工作的基于后视单目相机的多列车铰接角测量方法。

本发明针对上述技术问题主要是通过下述技术方案得以解决的：一种基于后视单目相机的多列车铰接角测量方法，包括以下步骤：

S1、从单目相机获取当前时刻的原始图像，单目相机安装在牵引车后端并朝向挂车；

S2、对原始图像进行预处理；

S3、确定预处理后原始图像的感兴趣区域；

S4、对预处理后图像的感兴趣区域进行FAST特征点提取；

S5、基于步骤S4所提取的FAST特征点，生成SURF特征向量；

S6、对于所提取的SURF特征向量，利用FLANN特征匹配库对当前时刻的原始图像和参考图像进行特征匹配；

S7、利用RANSAC选取正确匹配样本，计算Homography矩阵；

S8、对计算所得Homography矩阵进行奇异值分解，获得相机转动信息R，即为多列车的铰接角。

作为优选，所述参考图像为由单目相机获得的铰接角为0°、+90°和-90°三种情况下的图像，对此三种情况下的图像按以下方式处理：

A1、对参考图像进行预处理；

A2、确定预处理后的参考图像的感兴趣区域；

A3、对参考图像的感兴趣区域进行FAST特征点提取；

A4、基于步骤A3所提取的FAST特征点，生成SURF特征向量；

A5、将SURF特征向量存入内存。

作为优选，所述预处理包括灰度化处理和除畸变处理。

作为优选，所述图像的感兴趣区域为潜在挂车前平面与侧平面部分，确定方法为根据参考图片中对应挂车前平面与侧平面对应矩形区域为基准按比例系数k放大，比例系数k为预设参数。

作为优选，步骤S6中，若前一时刻铰接角大于45°，则选用90°的参考图像的SURF特征向量进行匹配；若前一时刻铰接角小于-45°，则选用-90°的参考图像的SURF特征向量进行匹配；若前一时刻铰接角为45°到-45°，则选用0°的参考图像的SURF特征向量进行匹配。

作为优选，所述步骤S7具体为：

通过m个循环，随机选取4个匹配特征，计算Homography矩阵，对剩余特征按该矩阵匹配结果进行打分，像素点匹配距离小于某阈值M，则视为正确匹配，选取打分最高的Homography矩阵，利用其对应的所有正确匹配特征对，重新计算得到最终Homography矩阵；中循环数m与距离阈值M均为预设值。

作为优选，所述Homography矩阵表示为：其中，R为相机平动信息，T为相机转动信息，d为图像平面对应的深度，N为图像平面对应的法向信息，K为相机内部参数矩阵，α为比例系数，α取决于相机安装高度，步骤S7具体为：对计算所得Homography矩阵进行奇异值分解，获得相机平动信息T与转动信息R；令：

Σ＝diag(σ1,σ2,σ3)，V＝[v1,v2,v3]

这是对奇异值分解结果，Σ为对角矩阵，V为向量，σ1,σ2,σ3以及v1,v2,v3为对应数值；

$u_1=\frac{\sqrt{{\mathrm{\σ}}_1^2-1}{v}_3+\sqrt{1-{\mathrm{\σ}}_3^2}{v}_1}{\sqrt{{\mathrm{\σ}}_1^2-{\mathrm{\σ}}_3^2}},u_2=\frac{\sqrt{1-{\mathrm{\σ}}_3^2}{v}_1-\sqrt{{\mathrm{\σ}}_1^2-1}{v}_3}{\sqrt{{\mathrm{\σ}}_1^2-{\mathrm{\σ}}_3^2}}$

$U_1=\[v_2,u_1,\widehat{v_2}{u}_1\],U_2=\[v_2,u_2,\widehat{v_2}{u}_2\]$

上述奇异值分解理论上有四组解，如下所示：

解1：

$R_1=W_1{U}_1^T,N_1=\widehat{v_2}{u}_1,\frac{1}{d}{T}_1=(\stackrel{\‾}{H}-R_1)N_1$

解2：

$R_2=W_2{U}_2^T,N_2=\widehat{v_2}{u}_2,\frac{1}{d}{T}_2=(\stackrel{\‾}{H}-R_2)N_2$

解3：

R₃＝R₁,N₃＝-N₁,

解4：

R₄＝R₂,N₄＝-N₂,

选择方向最接近于上一时刻法向量N′的法向量N对应的该组解，N′的初始法向量为[0，0，1]。

本方案主要解决了以下几个方面的问题：

1.单目图像预处理–通过测量单目相机参数，对所采集图像进行除畸变。

2.图像感兴趣区域确定–确定图像中挂车前表面与侧表面区域。

3.挂车平面特征点提取–利用FAST特征点，提取挂车前表面或侧表面平面特征，并用SURF特征点进行描述。

4.挂车平面特征点匹配–利用FLANN特征匹配算法库对当前图片所提取的特征点与已知角度图片库表面特征进行特征匹配，并计算Homography矩阵。

5.铰接角信息提取–通过对Homography矩阵进行奇异值分解，获取相机的旋转运动信息，即为拖挂车辆的铰接角信息。

本发明带来的实质性效果是，相机安装于牵引车后部，成本较低，实时性较好，并且独立于挂车单元，可集成于牵引车的传感系统，无需改变安装位置即可以适用于不同的挂车系统，应用性较广。

附图说明

图1是本发明的一种流程图；

图2是本发明的一种系统结构示意图；

图中：1、牵引车，2、挂车，3、单目后视相机。

具体实施方式

下面通过实施例，并结合附图，对本发明的技术方案作进一步具体的说明。

实施例：本实施例的一种基于后视单目相机的多列车铰接角测量方法，流程图如图1所示。单目后视相机图像为本系统的输入，多列集装箱车辆铰接角为本系统的输出。详细的算法模块功能介绍如下：

1.通过单目后视相机3获取RGB格式图像，如图2所示，单目后视相机安装在牵引车1后端并朝向挂车2。

2.对图像进行预处理，主要包括灰度化以及除畸变。

3.获取参考图片，即0°与±90°铰接角对应的挂车图片，并进行预处理(步骤2)以及特征提取(步骤5和6)并存入内存。

4.确定图像感兴趣区域(ROI)，即潜在挂车前平面与侧平面部分，根据牵引车几何信息以及前一时刻铰接角估算可得。

5.对图像感兴趣区域进行FAST特征点提取。

6.基于所提取的FAST特征点，生成SURF特征向量。

7.对于所提取的SURF特征向量，利用FLANN特征匹配库对当前时刻图片与参考图片感兴趣区域进行特征匹配。若前一时刻铰接角绝对值大于45°，与挂车相应侧平面(±90°)参考特征进行比较；反之，则与挂车前平面(0°)特征进行比较。

8.利用RANSAC选取正确匹配样本，计算Homography矩阵。

9.对计算所得Homography矩阵进行奇异值分解，获得相机转动信息R，即为重型拖挂车辆的铰接角。

本发明基于FAST特征点与SURF特征描述进行图像特征运算。此特征描述方法不受旋转缩放等因素的影响，并且可进行实时运算。此方法只应用单目相机，硬件成本较低，且安装位置方便易调节。此外，该方法是基于牵引车的铰接角测量系统，因而适用于不同挂车单元。

此外，还可以利用SIFT特征提取等方法代替FAST特征提取；

可以通过旋转参考图片生成参考图片特征库(-90°到90°)，然后利用基于模板的匹配方法，通过相关运算(correlation)选取最接近匹配角度而获得铰接角。

本方案所涉及的部分技术名称解释如下：

FAST：此特征检测算法来源于corner的定义，采用机器学习的方法，按如下标准定义特征点：对于某像素点p，以其为中心的16个像素点，若其中有n个连续的像素点亮度值均大于p点亮度加上某阈值t(或小于p点亮度减去某阈值t)，则p为特征点；可设置参数为像素点数n，亮度阈值t以及是否使用非极大值抑制(Non-Maximum Suppression)。此特征点检测是公认的比较快速的特征点检测方法，只利用周围像素比较的信息就可以得到特征点，简单，有效。该方法多用于角点检测。

SURF：一种具有尺度与旋转特征不变性的特征描述算法，描述性强，速度快。过程包括基于上述特征圆的特征向量方向分配以及基于4*4子集的二维哈尔小波求和的特征值分配。

FLANN：一种快速近似最近邻搜索函数库，自动选择两个近似最近邻算法(K-d决策树以及优先搜索K-均值决策树)中最优的算法。

RANSAC：一种鲁棒的回归方法，用于排除不匹配特征信息。

Homography:两张图像中对应匹配特征点的投影变换矩阵。

SIFT：尺度不变特征转换(SIFT)算法是一种特征提取的方法。它在尺度空间中寻找极值点，并提取出其位置、尺度、旋转不变量，并以此作为特征点并利用特征点的邻域产生特征向量。SIFT算法对于光线、噪声、和微小视角改变的容忍度相当高，且对于部分遮挡的物体也有较高的识别相率。

本文中所描述的具体实施例仅仅是对本发明精神作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。

尽管本文较多地使用了牵引车、Homography矩阵、挂车等术语，但并不排除使用其它术语的可能性。使用这些术语仅仅是为了更方便地描述和解释本发明的本质；把它们解释成任何一种附加的限制都是与本发明精神相违背的。

Claims (7)

1.一种基于后视单目相机的多列车铰接角测量方法，其特征在于，包括以下步骤：

S1、从单目相机获取当前时刻的原始图像，单目相机安装在牵引车后端并朝向挂车；

S2、对原始图像进行预处理；

S3、确定预处理后原始图像的感兴趣区域；

S4、对预处理后图像的感兴趣区域进行FAST特征点提取；

S5、基于步骤S4所提取的FAST特征点，生成SURF特征向量；

S6、对于所提取的SURF特征向量，利用FLANN特征匹配库对当前时刻的原始图像和参考图像进行特征匹配；

S7、利用RANSAC选取正确匹配样本，计算Homography矩阵；

S8、对计算所得Homography矩阵进行奇异值分解，获得相机转动信息R，即为多列车的铰接角。

2.根据权利要求1所述的一种基于后视单目相机的多列车铰接角测量方法，其特征在于，所述参考图像为由单目相机获得的铰接角为0°、+90°和-90°三种情况下的图像，对此三种情况下的图像按以下方式处理：

A1、对参考图像进行预处理；

A2、确定预处理后的参考图像的感兴趣区域；

A3、对参考图像的感兴趣区域进行FAST特征点提取；

A4、基于步骤A3所提取的FAST特征点，生成SURF特征向量；

A5、将SURF特征向量存入内存。

3.根据权利要求1或2所述的一种基于后视单目相机的多列车铰接角测量方法，其特征在于，所述预处理包括灰度化处理和除畸变处理。

4.根据权利要求1或2所述的一种基于后视单目相机的多列车铰接角测量方法，其特征在于，所述图像的感兴趣区域为潜在的挂车前平面与侧平面部分，确定方法为根据参考图片中对应挂车前平面与侧平面对应矩形区域为基准按比例系数k放大，比例系数k为预设参数。

5.根据权利要求2所述的一种基于后视单目相机的多列车铰接角测量方法，其特征在于，步骤S6中，若前一时刻铰接角大于45°，则选用90°的参考图像的SURF特征向量进行匹配；若前一时刻铰接角小于-45°，则选用-90°的参考图像的SURF特征向量进行匹配；若前一时刻铰接角为45°到-45°，则选用0°的参考图像的SURF特征向量进行匹配。

6.根据权利要求5所述的一种基于后视单目相机的多列车铰接角测量方法，其特征在于，所述步骤S7具体为：

通过m个循环，随机选取4个匹配特征，计算Homography矩阵，对剩余特征按该矩阵匹配结果进行打分，像素点匹配距离小于某阈值M，则视为正确匹配，选取打分最高的Homography矩阵，利用其对应的所有正确匹配特征对，重新计算得到最终Homography矩阵；中循环数m与距离阈值M均为预设值。

7.根据权利要求6所述的一种基于后视单目相机的多列车铰接角测量方法，其特征在于，所述Homography矩阵表示为：其中，R为相机平动信息，T为相机转动信息，d为图像平面对应的深度，N为图像平面对应的法向信息，K为相机内部参数矩阵，α为比例系数，步骤S7具体为：对计算所得Homography矩阵进行奇异值分解，获得相机平动信息T与转动信息R；令：

Σ＝diag(σ1,σ2,σ3)，V＝[v1,v2,v3]

$u_1=\frac{\sqrt{{\mathrm{\σ}}_1^2-1}{v}_3+\sqrt{1-{\mathrm{\σ}}_3^2}{v}_1}{\sqrt{{\mathrm{\σ}}_1^2-{\mathrm{\σ}}_3^2}},u_2=\frac{\sqrt{1-{\mathrm{\σ}}_3^2}{v}_1-\sqrt{{\mathrm{\σ}}_1^2-1}{v}_3}{\sqrt{{\mathrm{\σ}}_1^2-{\mathrm{\σ}}_3^2}}$

$U_1=\[v_2,u_1,\widehat{v_2}{u}_1\],U_2=\[v_2,u_2,\widehat{v_2}{u}_2\]$

$W_1=\[\stackrel{\‾}{H}{v}_2,\stackrel{\‾}{H}{u}_1,\stackrel{\‾}{H}\widehat{v_2}{\mathrm{Hu}}_1\],W_2=\[\stackrel{\‾}{H}{v}_2,\stackrel{\‾}{H}{u}_2,\stackrel{\‾}{H}\widehat{v_2}{\mathrm{Hu}}_2\]$

上述奇异值分解理论上有四组解，如下所示：

解1：

$R_1=W_1{U}_1^T,N_1=\widehat{v_2}{u}_1,\frac{1}{d}{T}_1=(\stackrel{\‾}{H}-R_1)N_1$

解2：

$R_2=W_2{U}_2^T,N=\widehat{v_2}{u}_2,\frac{1}{d}{T}_2=(\stackrel{\‾}{H}-R_2)N_2$

解3：

R₃＝R₁,N₃＝-N₁,

解4：

R₄＝R₂,N₄＝-N₂,

选择方向最接近于上一时刻法向量N′的法向量N对应的该组解，N′的初始法向量为[0，0，1]。