CN115205397A - 一种基于计算机视觉和位姿估计的车辆时空信息识别方法 - Google Patents

Abstract

本发明提出了一种基于计算机视觉和位姿估计的车辆时空信息识别方法，包括：确定相机内参，其中相机坐标系、图像坐标系和像素坐标系之间的变换矩阵称为相机内参；以车辆为目标构造世界坐标系；选取目标点并确定目标点的世界坐标和像素坐标；根据目标点的世界坐标和像素坐标，求解相机相对于车辆的位置；依据相机相对于车辆的位置，计算车辆的行驶轨迹；本发明提供的方法，同传统的车辆定位方法相比，基于位姿估计计算车辆位置，无需知道环境先验情况，具有广大的适用范围，适用于在运营环境未知下识别车辆位置。

Description

一种基于计算机视觉和位姿估计的车辆时空信息识别方法

技术领域

本发明涉及工程结构健康监测领域，特别是指一种基于计算机视觉和位姿估计的车辆时空信息识别方法。

背景技术

近年来，计算机视觉技术被引入到结构健康监测领域。现有技术中提出了一种非接触式B-WIM系统，用于称量通过桥梁的车辆，而无需在桥梁上安装任何传感器。也有学者介绍了一种创新的称重方法，通过目视估计车辆轮胎的接触压力和接触面积。随后，研究了各种方法，如背景减法、时间差分法和高斯混合模型法来检测车辆，并使用光流法和匹配模板法来识别车辆时空信息。然而，这些方法对环境条件高度敏感，使得车辆时空信息获取的鲁棒性较差。随着深度学习技术的迅速发展，卷积神经网络(CNN)在图像处理中强大的识别能力得到了认可。因此，时空信息的识别变得高效可靠。近年来出现了一些基于深度学习的车辆时空信息获取方法。例如，有提出一种基于DCNN技术和图像校准方法获取桥梁上车辆时空信息的方法、以及使用训练过的更快的R-CNN模型来检测车辆，并使用卡尔曼滤波器来跟踪其位置；再有，开发一种能够自动识别车辆重量和速度的交通感应方法以及一种针对复杂交通场景的交通监控方法。此外，也有学者构建了基于YOLO-v3机器视觉的全桥交通负荷分布监控框架。事实上，利用双目标检测模型可以获得车辆的空间信息，还可以检测出车辆的轮廓和尾部以及视觉原理。在此基础上，使用YOLO-v4探测器检测车辆并获得3D边界盒。

虽然深度学习技术提供了一种稳定、高效的车辆检测方法，使复杂场景中的多车辆检测成为可能，但在车辆空间识别方面，车辆检测仍然存在一些问题。例如，使用摄像头记录车辆运动需要在路面坐标和图像坐标之间建立坐标转换。通常的做法是使用摄像机校准技术或标记几个特殊点，以在现场建立投影矩阵。虽然可以取得令人满意的效果，但在大跨度、大交通流量的桥面上难以应用。之后提出一种无需现场标记的坐标转换方法，但由于该方法采用了简化和近似，精度较低。一方面，在长期监测中，环境振动会引起摄像机扰动。摄像机位置的变化也使得坐标转换不准确，因此需要再次标定摄像机，这很耗时。另一方面，坐标转换技术不能用于曲线桥梁。因此，很难获取全桥车辆的时空信息，影响桥梁健康状况的评估。

发明内容

本发明的主要目的在于克服现有技术中的上述缺陷，提出一种基于计算机视觉和位姿估计的车辆时空信息识别方法，能够在环境先验信息未知情况下，有效地估计出车辆的位置信息，并通过视频连续帧计算得出车辆的行驶轨迹，具有强大的鲁棒性，因此在实际应用中具有广阔的前景。

本发明采用如下技术方案：

一种基于计算机视觉和位姿估计车的辆时空信息识别方法，包括：

确定相机内参，其中相机坐标系、图像坐标系和像素坐标系之间的变换矩阵称为相机内参；

以车辆为目标构造世界坐标系；

选取目标点并确定目标点的世界坐标和像素坐标；

根据目标点的世界坐标和像素坐标，求解相机相对于车辆的位置；

依据相机相对于车辆的位置，计算车辆的行驶轨迹。

具体地，所述确定相机内参，其中相机坐标系、图像坐标系和像素坐标系之间的变换矩阵称为相机内参，具体包括：

相机内参确定三维空间坐标到二维图像坐标变换的过程，通过相机标定获得相机内参系数。

具体地，以车辆为目标构造世界坐标系，具体为：

以车辆左前方底部作为三维坐标系的原点，沿车辆的边缘为轴线，建立坐标系；

若只有两个面，则坐标系其中一轴垂直于相机平面。

具体地，选取目标点并确定目标点的世界坐标和像素坐标，具体为：

以车辆边框交点作为特征点，当车辆尺寸信息确定，即得到特征点在世界坐标中的坐标信息，若存在特征点在车辆背靠相机一侧，利用几何估计得出特征点的坐标信息，同时在图像中找到对应特征点，确定特征点的像素坐标，其中世界坐标和像素坐标一一对应。

具体地，根据目标点的世界坐标和像素坐标，求解相机相对于车辆的位置，具体为：

设一个特征点的世界坐标为Pw(X，Y，Z)，其对应的像素坐标为P(x，y)，已知相机内参K，要求的是旋转矩阵R和平移矩阵t：

等号两边同时左乘K^-1，同时定义变换矩阵T＝[R|t],展开如下：

则K^-1＝Xr₃₁+Yr₃₂+Zr₃₃+t₃，代入前两行化简得到两个约束：

这里定义变换矩阵T的行向量：

上述两个约束方程化简为：T_t1P_w-T_t3P_wx＝0

T_t2P_w-T_t3P_wy＝0

且：

整理得：

根据4对特征点，采用最小二乘解出变换矩阵T；

当确定变换矩阵T，则可以得出旋转矩阵R和平移矩阵t，R和t表示以相机坐标系和世界坐标系之间的位置关系，且相机坐标系建立在相机上，世界坐标系建立在车辆上，因此R和t反应相机相对于车辆的位置关系。

具体地，依据相机相对于车辆的位置，计算车辆的行驶轨迹，具体为：

在视频中逐帧计算相机与车辆的位置信息，将相机的视觉里程信息转化为车辆的运动信息，将每帧车辆信息拼接，得到车辆连续的运动信息。

由上述对本发明的描述可知，与现有技术相比，本发明具有如下有益效果：

(1)本发明提出了一种基于计算机视觉和位姿估计的车辆时空信息识别方法，包括：确定相机内参，其中相机坐标系、图像坐标系和像素坐标系之间的变换矩阵称为相机内参；以车辆为目标构造世界坐标系；选取目标点并确定目标点的世界坐标和像素坐标；根据目标点的世界坐标和像素坐标，求解相机相对于车辆的位置；依据相机相对于车辆的位置，计算车辆的行驶轨迹；本发明提供的方法，同传统的车辆定位方法相比，基于位姿估计计算车辆位置，无需知道环境先验情况，具有广大的适用范围，适用于在运营环境未知下识别车辆位置。

(2)本发明提供的方法，相比现有的车辆追踪方法，该方法具有较强的鲁棒性，可以有效地克服相机扰动带来的影响，并准识别出车辆连续的运动轨迹，在结构健康检测中具有广阔的应用前景。

附图说明

图1为本发明实施例提供的相机内参标定所用棋盘；

图2为本发明实施例提供的相机坐标系、图像坐标系和像素坐标系的关系示意图；

图3为本发明实施例提供的室内模型车和相机拍摄实拍；

图4为本发明实施例提供的模型车世界坐标系的建立和特征点的选取；

图5为本发明实施例提供的模型车二维图像运动记录；

图6为本发明实施例提供的模型车运动轨迹；

图7为本发明实施例提供的现场试验实拍；

图8为本发明实施例提供的相机拍摄的实际运动车辆；

图9为本发明实施例提供的现场车辆的运动轨迹。

以下结合附图和具体实施例对本发明作进一步详述。

具体实施方式

以下通过具体实施方式对本发明作进一步的描述。

本发明提出结构健康监测系统下基于计算机视觉和位姿估计的车辆时空信息识别方法，主要包括以下几个步骤：

步骤S1，相机内参的确定

对于一个计算机视觉系统，存在四个坐标系，即世界坐标系、相机坐标系、图像坐标系和像素坐标系。

相机坐标系、图像坐标系和像素坐标系之间的变换矩阵称为相机内参，相机内参是相机的固有性质，从出厂后不会改变，相机内参确定了三维空间坐标到二维图像坐标变换的过程，通过相机标定获得相机内参系数，以便后续使用，如图1所示为本发明实施例提供的相机内参标定所用棋盘，图2为本发明实施例提供相机坐标系、图像坐标系和像素坐标系的关系示意图。

步骤S2，以车辆为目标构造世界坐标系

在道路中选择目标车辆，沿路相机和车辆通常存在俯仰关系，故至少可以看到车辆两个面，大部分情况可以看到三个面，因此，行驶的车辆大体边框可以确定，以车辆左前方底部作为三维坐标系的原点，沿车辆的边缘为轴线，建立坐标系，若只识得两个面，则坐标系其中一轴垂直于相机平面，如图2所示。

步骤S3，选取目标点并确定世界坐标和像素坐标

以车辆边框交点做为特征点，当车辆尺寸信息确定，即可得到特征点在世界坐标中的坐标信息，即使某些点在车辆背靠相机一侧，但由于车辆是规则立方体，可利用几何估计得出遮挡点的坐标信息，同时在图像中找到对应目标点，确定目标点的像素坐标，其中世界坐标和像素坐标要一一对应。

步骤S4，求解相机相对于车辆的位姿

像素坐标到世界坐标的关系如下，设一个空间特征点的世界坐标为Pw(X，Y，Z)，其对应的像素坐标为P(x，y)，已知相机内参K，要求的是旋转矩阵R和平移矩阵t：

等号两边同时左乘K^-1，同时定义变换矩阵T＝[R|t],展开如下：

则K^-1＝Xr₃₁+Yr₃₂+Zr₃₃+t₃，代入前两行化简得到两个约束：

这里定义变换矩阵T的行向量：

上述两个约束方程化简为：T_t1P_w-T_t3P_wx＝0

T_t2P_w-T_t3P_wy＝0

未知量是变换矩阵T，其他已知，一个特征点提供两个方程，变换矩阵有12个参数，因此需要至少6对特征匹配点才能求出线性解，但由于R是一个旋转矩阵，事实上，它是一个行列式为1的正交矩阵，其内部存在约束RRT＝I，det(R)＝1，实际只需要三个变量就能表示，这三个变量就是旋转向量。旋转向量和旋转矩阵可以使用罗德里格斯公式转换。根据这一约束，可以额外提供6个方程：

整理得：

所以再加上3对点得6个方程，即可解出变换矩阵T。为了提高精度，选用4对点，使用最小二乘解出变换矩阵T。当确定了变换矩阵T，则可以得出旋转矩阵R和平移矩阵t，R和t表示了以相机坐标系和世界坐标系之间的位置关系，由于相机坐标系建立在相机上，世界坐标系建立在车辆上，因此R和t也反应了相机相对于车辆的位置关系。

步骤S5，计算车辆的行驶轨迹

在上一步中我们的到了相机在世界坐标系中的位置信息，而世界坐标系建立在车辆上，因此得出了相机相对于车辆的位置估计，由于在正常交通道路中，相机的位置不变，车辆沿途行驶，因此在视频中逐帧计算两者的位置信息，将相机的视觉里程信息转化为车辆的运动信息，将每帧车辆信息拼接，得到车辆连续的运动信息。

实施算例1：室内模型车时空分布识别

在室内搭设一段玻璃桥，模型车在桥上运动，利用标定好的相机对模型车进行运动追踪，如图3所示，室内实验的优点是可以严格把控模型车的运动位置，并做好标记。在实验中，模型车沿桥面直线行驶，如图5每间隔一段距离相机提取一次图像信息，并计算图像中模型车的位置，将连续几张图像计算出的位置连接，形成车辆的运动轨迹。

相机放在玻璃桥起始段，从斜后方拍摄，相机的摆放会存在安装误差，在后续计算中需要消除安装误差的影响。以车箱上平面4个点作为特征点，如图4，由于车辆尺寸已知，4个特征点的距离信息可以确定，使用X、Y、Z表示特征点世界坐标，下面的表格1中分别记录了位姿估计所需要的四个特征点的像素坐标，将像素坐标和世界坐标点匹配，估计相机位姿后反推车辆的位置，并画出轨迹，展示于图6，将估计的位置信息和用标尺记录的准确信息进行对比，可以看到，车辆在沿着前进方向行驶时，Y方向误差可控制在较低水平，而X方向上无剧烈颠簸，符合车辆直线行驶时的运动特征。需要注意的是，在轨迹图中，原点是相机的位置。实验结果表明，该方法在室内的最大相对误差仅为1.07％，表明该方法能够准确地识别过往车辆的时空信息。

表1.模型车时空识别计算的数据

实施算例2：现场车辆时空分布识别

为了进一步验证所提出的方法，还进行了现场测量。现场摆设如图7所示，摄像头设置在一座人行天桥上。测量在早上进行，当时交通状况良好，没有环境干扰。桥下有六条车道。识别车辆在右侧三条车道上的位置。

摄像机在测量前经过校准，用于拍摄视频。从图8中选择目标车辆进行跟踪，并识别时空信息。选择车辆底部阴影区域的四个点作为特征点，建立世界坐标系。尽管有一个点被车辆本身遮挡，但由于底部是一个规则矩形，因此遮挡点的像素坐标可以近似。

将每个时刻车辆的位置信息连接，显示现场测量中车辆的轨迹，如图9所示。原点是相机的位置，X轴是道路的横向，Y轴是道路的纵向。

上述仅为本发明的具体实施方式，但本发明的设计构思并不局限于此，凡利用此构思对本发明进行非实质性的改动，均应属于侵犯本发明保护范围的行为。

Claims (6)

1.一种基于计算机视觉和位姿估计的车辆时空信息识别方法,其特征在于，包括：

确定相机内参，其中相机坐标系、图像坐标系和像素坐标系之间的变换矩阵称为相机内参；

以车辆为目标构造世界坐标系；

选取目标点并确定目标点的世界坐标和像素坐标；

根据目标点的世界坐标和像素坐标，求解相机相对于车辆的位置；

依据相机相对于车辆的位置，计算车辆的行驶轨迹。

2.根据权利要求1所述的一种基于计算机视觉和位姿估计的车辆时空信息识别方法,其特征在于，所述确定相机内参，其中相机坐标系、图像坐标系和像素坐标系之间的变换矩阵称为相机内参，具体包括：

相机内参确定三维空间坐标到二维图像坐标变换的过程，通过相机标定获得相机内参系数。

3.根据权利要求1所述的一种基于计算机视觉和位姿估计的车辆时空信息识别方法,其特征在于，以车辆为目标构造世界坐标系，具体为：

以车辆左前方底部作为三维坐标系的原点，沿车辆的边缘为轴线，建立坐标系；

若只有两个面，则坐标系其中一轴垂直于相机平面。

4.根据权利要求1所述的一种基于计算机视觉和位姿估计的车辆时空信息识别方法,其特征在于，选取目标点并确定目标点的世界坐标和像素坐标，具体为：

以车辆边框交点作为特征点，当车辆尺寸信息确定，即得到特征点在世界坐标中的坐标信息，若存在特征点在车辆背靠相机一侧，利用几何估计得出特征点的坐标信息，同时在图像中找到对应特征点，确定特征点的像素坐标，其中世界坐标和像素坐标一一对应。

5.根据权利要求1所述的一种基于计算机视觉和位姿估计的车辆时空信息识别方法,其特征在于，根据目标点的世界坐标和像素坐标，求解相机相对于车辆的位置，具体为：

设一个特征点的世界坐标为Pw(X，Y，Z)，其对应的像素坐标为P(x，y)，已知相机内参K，要求的是旋转矩阵R和平移矩阵t：

等号两边同时左乘K^-1，同时定义变换矩阵T＝[R|t],展开如下：

则K^-1＝Xr₃₁+Yr₃₂+Zr₃₃+t₃，代入前两行化简得到两个约束：

这里定义变换矩阵T的行向量：

上述两个约束方程化简为：T_t1P_w-T_t3P_wx＝0

T_t2P_w-T_t3P_wy＝0

且：

整理得：

根据4对特征点，采用最小二乘解出变换矩阵T；

当确定变换矩阵T，则可以得出旋转矩阵R和平移矩阵t，R和t表示以相机坐标系和世界坐标系之间的位置关系，且相机坐标系建立在相机上，世界坐标系建立在车辆上，因此R和t反应相机相对于车辆的位置关系。

6.根据权利要求1所述的一种基于计算机视觉和位姿估计的车辆时空信息识别方法,其特征在于，依据相机相对于车辆的位置，计算车辆的行驶轨迹，具体为：

在视频中逐帧计算相机与车辆的位置信息，将相机的视觉里程信息转化为车辆的运动信息，将每帧车辆信息拼接，得到车辆连续的运动信息。

Images