CN112598705B - 一种基于双目视觉的车身姿态检测方法 - Google Patents

Abstract

本发明公开了一种基于双目视觉的车身姿态检测方法，属于计算机视觉技术领域。通过车载双目摄像机采集车辆运行过程中的动态视频，对动态视频进行图像预处理，检测参照物特征信息；然后通过双目图像立体匹配计算出参照物的质心三维坐标，从而反推车身姿态信息。本发明实现了基于双目视觉的车身姿态自感知检测，不需要附加额外硬件设备的支持，降低了检测车身姿态的实施成本。

Description

一种基于双目视觉的车身姿态检测方法

技术领域

本发明属于计算机视觉与车辆状态监测技术领域，具体涉及一种基于双目视觉的车身姿态检测方法。

背景技术

车辆运动状态检测对于车辆底盘故障检测、整车维护保养及交通安全有着至关重要的作用。实现智能化车身运动姿态检测，对于降低人工检测与维护成本，提高行车可靠性与确保交通安全有着举足轻重的意义。

现有的车身姿态检测方法，一般是基于硬件的检测方法。比如，专利CN103171561A及专利CN106769084A中，均是基于传感器终端(加速度传感器、陀螺仪)测得车身的姿态参数然后通过微处理单元判断姿态参数，并将姿态参数提供给中控电脑,以进行对应的调整,从而提高驾驶的安全性。但是这种基于传感器的检测方法，当其应用在恶劣工况时，传感器终端极易被煤尘、泥污、油泥等影响，且提前预知能力不足、智能化集成程度较低，还需专职人员对其进行定期维护，使用成本与应用可靠性均有待改善。

现有的车身姿态检测方法，虽然在一定程度上起到了监测管理作用，但由于硬件检测系统存在着诸多受制因素，因此迫切需要一种采用智能化检测、运行可靠、便于实施、维护成本低的车身姿态检测方法。

发明内容

针对现有技术中存在的上述技术问题，本发明提出了一种基于双目视觉的车身姿态检测方法，弥补了现有技术的短板。

为了实现上述目的，本发明采用如下技术方案：

一种基于双目视觉的车身姿态监测方法，本发明采用的技术方案是：

步骤1：标定车载双目摄像机，将车载双目摄像机拍摄的视频数据流传输至处理单元并进行视频分帧处理；

步骤2：逐帧进行图像预处理并提取视频中参照物特征信息；

步骤3：通过立体匹配获取参照物三维立体坐标；

步骤4：结合车载陀螺仪与参照物三维立体坐标来反推车身姿态信息。

进一步的，在所述步骤1中，具体包括如下步骤：

步骤1.1：基于针孔成像理论进行车载双目摄像机标定来获取摄像机内部的光学和几何特性，以及摄像机相对于世界坐标系的位置关系；

步骤1.2：从车载双目摄像机捕获的视频数据流中逐帧裁剪获得左摄像机与右摄像机图像数据流。

进一步的，所述步骤2中的具体步骤为：

步骤2.1：引入图像差分法从左摄像机图像数据流分离出待检测的参照物；

步骤2.2：对分离出的参照物在视频中的具体位置划定一个感兴趣区域作为检测区域，并对感兴趣区域进行二值化处理；

步骤2.3：对二值化处理后的感兴趣区域通过图像形态学操作来获取参照物质心二维像素坐标。

进一步的，所述步骤3中的具体步骤为：

步骤3.1，通过光学和几何特性以及摄像机相对于世界坐标系的位置关系，对左摄像机与右摄像机图像数据流进行立体匹配并获取视差图；

步骤3.2，根据参照物的质心二维像素坐标通过视差图可得到参照物质心三维立体坐标。

进一步的，所述步骤4的具体步骤为：

步骤4.1，通过参照物质心三维立体坐标来反推车身姿态信息，车身姿态信息同时包含有车身垂向跳动与俯仰运动；

步骤4.2，根据陀螺仪同步采集的车身姿态角信息，计算出因车身俯仰引起的参照物质心三维立体坐标偏移量，即计算出车身俯仰运动，最终可以实现车身垂向跳动与俯仰运动的解耦计算。

本发明所带来的有益效果是，本发明通过双目视觉技术，实现了对车身姿态的智能化检测，对车辆运行工况具有一定的预知能力，在车身运动状态的检测上不会出现现有技术中因车辆运行工况而影响检测结果的问题，并且融合了深度学习、计算机视觉以及整车动力学等技术，因此智能化集成程度较高，同时也减少了基于硬件检测车身运动状态的维护成本。

附图说明

图1是本发明的基本流程图。

图2是实施本发明的场景示意图。

图3是本发明基于参照物三维坐标求取车身姿态信息的原理图。

具体实施方式

下面结合附图以及具体实施方式对本发明作进一步详细说明：

一种基于计算机视觉的车身姿态检测方法，其流程如图1所示，包括以下步骤：

步骤1：标定车载双目摄像机，将车载双目摄像机拍摄的视频数据流传输至处理单元并进行视频分帧处理。具体包括如下步骤：

步骤1.1：基于针孔成像理论进行车载双目摄像机标定来获取摄像机内部的光学和几何特性，以及摄像机相对于世界坐标系的位置关系；

步骤1.2：从车载双目摄像机捕获的视频数据流中逐帧裁剪获得左摄像机与右摄像机图像数据流；

步骤2：逐帧进行图像预处理并提取视频中参照物特征信息；具体包括如下步骤：

步骤2.1：引入图像差分法从左摄像机图像数据流分离出待检测的参照物；

步骤2.2：对分离出的参照物在视频中的具体位置划定一个感兴趣区域作为检测区域，并对感兴趣区域进行二值化处理；

步骤2.3：对二值化处理后的感兴趣区域通过图像形态学操作来获取参照物质心二维像素坐标。

步骤3：通过立体匹配获取参照物三维立体坐标；具体包括如下步骤：

步骤3.1：通过光学和几何特性以及摄像机相对于世界坐标系的位置关系，对左摄像机与右摄像机图像数据流进行立体匹配并获取视差图；

步骤3.2：根据参照物的质心二维像素坐标通过视差图可得到参照物质心三维立体坐标。

步骤4：结合车载陀螺仪与三维立体坐标来反推车身姿态信息。具体包括如下步骤：

步骤4.1：建立如图3所示的坐标系，其中：轴代表车辆长度方向，Y轴代表车辆高度方向，X轴代表车辆宽度方向；(a)为车辆即将要经过如图2所示减速带时的时刻，(b)为车辆经过如图2所示减速带时的时刻；L为(a)时刻车载双目摄像机到参照物的直线距离，为(a)时刻参照物质心在视频数据流中的三维立体坐标，并且/>L′为(b)时刻车载双目摄像机到参照物的直线距离，/>为(b)时刻水平于车载双目摄像机光心、垂直于车载双目摄像机光心的点，并且/>并且θ为车载双目摄像机视野中参照物质心在(a)与(b)时刻间的夹角，/>为车载陀螺仪实测所得车身俯仰角，ΔP为车身由(a)运动至(b)时刻时在摄像机视野中参照物质心三维立体坐标发生的偏移量，ΔP₁为因车身跳动引起的参照物质心三维立体坐标偏移量，ΔP₂为因车身俯仰引起的参照物质心三维立体坐标偏移量；

步骤4.2：根据车载陀螺仪同步采集的车身俯仰角结合P₀、P₁、P₂点三维立体坐标，通过式1、式2来解耦计算车身俯仰及跳动信息。

以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。

Claims (1)

1.一种基于双目视觉的车身姿态检测方法，其特征在于：包括以下步骤：

步骤1，标定车载双目摄像机，将车载双目摄像机拍摄的视频数据流传输至处理单元并进行视频分帧处理；

在步骤1中，具体包括如下步骤：

步骤1.1，基于针孔成像理论进行车载双目摄像机标定来获取摄像机内部的光学和几何特性，以及摄像机相对于世界坐标系的位置关系；

步骤1.2，从车载双目摄像机捕获的视频数据流中逐帧裁剪获得左摄像机与右摄像机图像数据流；

步骤2，逐帧进行图像预处理并提取视频中参照物特征信息；

在步骤2中，具体包括如下步骤：

步骤2.1，引入图像差分法从左摄像机图像数据流中分离出待检测的参照物；

步骤2.2，对分离出的参照物在视频中的具体位置划定检测区域，并对其进行二值化处理；

步骤2.3，对二值化处理后的感兴趣区域通过图像形态学操作来获取参照物的质心二维像素坐标；

步骤3，通过立体匹配获取参照物三维立体坐标；

在步骤3中，具体包括如下步骤：

步骤3.1，通过光学和几何特性以及摄像机相对于世界坐标系的位置关系，对左摄像机与右摄像机图像数据流进行立体匹配并获取视差图；

步骤3.2，根据参照物的质心二维像素坐标通过视差图可得到参照物质心三维立体坐标；

步骤4，结合车载陀螺仪与参照物三维立体坐标来反推车身姿态信息；

在步骤4中，具体包括如下步骤：

步骤4.1，通过参照物质心三维立体坐标来反推车身姿态信息，车身姿态信息同时包含有车身垂向跳动与俯仰运动；

步骤4.2，根据陀螺仪同步采集的车身姿态角信息，计算出因车身俯仰引起的参照物质心三维立体坐标偏移量，即计算出车身俯仰运动，最终可以实现车身垂向跳动与俯仰运动的解耦计算。