CN111623776B - 使用近红外视觉传感器和陀螺仪进行目标测距的方法 - Google Patents

Abstract

本发明公开了一种使用近红外视觉传感器和陀螺仪进行目标测距的方法，使用近红外视觉传感器与陀螺仪实现在任意驾驶条件下排除车身抖动的影响进行精确目标测距的方法，创新性的采用近红外成像设备作为感知单元，构建深度学习模型，检测目标物体；采用陀螺仪参数作为摄像头校正参数，实时检测车辆行驶时的摄像头角度的变化，并排除车身抖动的影响实时计算主车与目标物体的距离，使得智能辅助驾驶系统能够精确匹配视觉传感器的识别信息与其他传感器的感知信息，提升系统对环境的感知准确性。

Description

使用近红外视觉传感器和陀螺仪进行目标测距的方法

技术领域

本发明涉及一种测距的方法，尤其涉及一种使用近红外视觉传感器和陀螺仪进行目标测距的方法。

背景技术

目前，越来越多的车辆搭载了智能辅助驾驶系统，提高了车辆的驾乘安全性与舒适性，而传感器对于更多外界信息的直接或间接获取的能力决定了高级智能辅助驾驶系统的功能上限。摄像头作为唯一的视觉传感器被广泛应用于智能辅助驾驶系统中，利用摄像头进行目标测距作为智能驾驶辅助系统中最重要的功能之一，关系到多传感器感知结果融合、驾驶控制决策等重要系统，故需要保证摄像头目标测距的实时精准性。由于车辆行驶条件多种多样，车辆在不平整的路面行驶时车身的抖动会对摄像头的测距结果产生影响，因此需要一种排除此类影响的精准测距的方法。

发明内容

为了克服上述缺陷，本发明提供了一种使用近红外视觉传感器和陀螺仪进行目标测距的方法，用近红外视觉传感器与陀螺仪，基于深度学习和数字图像处理技术，在车辆行驶过程中，检测道路上的车辆、行人等目标，计算目标到主车车身的横向距离和横向距离，且测距精确度不会受到主车车身抖动的影响。

本发明为了解决其技术问题所采用的技术方案是：

一种使用近红外视觉传感器和陀螺仪进行目标测距的方法，包括以下步骤：

步骤1，部件安装：将近红外摄像头与陀螺仪固定在一起并安装在主车挡风玻璃的中间位置，调整摄像头角度，使摄像头水平朝前，再将激光发射装置安装在主车大灯位置，调整角度，保持激光发射器水平向前；

步骤2，摄像头参数测量与标定：摄像头安装固定后，将主车停于水平路面，并将陀螺仪的俯仰角变化率、横摆角变化率和旋转角变化率进行参数初始化，并分别用陀螺仪输出的俯仰角速度、横摆角速度和旋转角速度对时间进行积分来获取实时俯仰角度θ′_p、实时横摆角度θ′_y和实时旋转角度θ′_r，测量摄像头的镜头中心到地面的竖直距离h，并用棋盘格标定板对摄像头的三个安装角度进行标定，分别为安装俯仰角θ_p、安装横摆角θ_y、安装旋转角θ_r；

步骤3，图像参数校正：在主车正常行驶时，使用近红外摄像头采集图像，由标定到的安装旋转角θ_r与陀螺仪实时输出的实时旋转角θ′_r，将图像内的坐标矩阵

校正为摄像头无旋转角情况下的坐标矩阵

其中，x′与y′为采集图像上某点对应的横坐标值和纵坐标值，x与y为该点在校正为摄像头无旋转角情况下的图像上对应的横坐标值和纵坐标值，

与

为坐标系旋转变换的结果，满足关系：

步骤4，目标检测：将校正后的图像输入训练好的目标检测模型，目标检测模型会对图像进行卷积处理并根据模型置信度计算目标物位置与类型，然后输出表示目标物位置的识别矩形框信息，在已知镜头标定的安装俯仰角θ_p和陀螺仪输出的实时俯仰角θ′_p的情况下，获取模型输出的识别矩形框下边界中心点在校正后图像上的纵坐标值y₁；

步骤5、目标纵向测距：由于摄像头的分辨率固定，因此图像中心水平线的纵坐标y₀为固定值，且由于摄像头视场角固定，因此镜头焦距对应像素值f也为固定值，因此，目标距摄像头的纵向距离d为：

步骤6，目标横向距离测距：根据识别信息获得目标纵向距离d后，根据纵向距离d、识别矩形框底边中心点在图像上的横坐标值x₁、横摆角的安装标定值θ_y、陀螺仪实时输出的横摆角θ′_y和图像垂直中心线横坐标值x₀来推算目标对于主车的横向距离L，公式如下：

步骤7，根据上述步骤，实时计算视觉传感器识别到的目标与车辆的纵向与横向距离。

本发明的有益效果是：本发明提出了一种使用近红外视觉传感器与陀螺仪实现在任意驾驶条件下排除车身抖动的影响进行精确目标测距的方法，创新性的采用近红外成像设备作为感知单元，构建深度学习模型，检测目标物体；采用陀螺仪参数作为摄像头校正参数，实时检测车辆行驶时的摄像头角度的变化，并排除车身抖动的影响实时计算主车与目标物体的距离，使得智能辅助驾驶系统能够精确匹配视觉传感器的识别信息与其他传感器的感知信息，提升系统对环境的感知准确性。

附图说明

图1为本发明实施例所述步骤1示意图；

图2为本发明实施例所述步骤2、3示意图；

图3为本发明实施例所述步骤4示意图；

图4为本发明实施例所述步骤6结构示意图；

图5为本发明流程框架示意图；

图6为本发明实施例所述模型输出的结果图片。

具体实施方式

以下结合附图，对本发明的一个较佳实施例作详细说明。

一种使用近红外视觉传感器和陀螺仪进行目标测距的方法，包括以下步骤：

步骤1，部件安装：将近红外摄像头1与陀螺仪2固定在一起并安装在主车3挡风玻璃的中间位置，调整摄像头角度，使摄像头水平朝前，再将激光发射装置4安装在主车大灯位置，调整角度，保持激光发射器水平向前，参阅图1；

步骤2，摄像头参数测量与标定：摄像头安装固定后，将主车停于水平路面，并将陀螺仪的俯仰角变化率、横摆角变化率和旋转角变化率参数初始化，并分别用陀螺仪输出的俯仰角速度、横摆角速度和旋转角速度对时间进行积分来获取实时俯仰角度θ′_p、实时横摆角度θ′_y和实时旋转角度θ′_r，测量摄像头的镜头中心到地面的竖直距离h(单位：米)，并用棋盘格标定板对摄像头的三个安装角度进行标定，分别为安装俯仰角θ_p、安装横摆角θ_y、安装旋转角θ_r(单位：弧度)，参阅图2；

步骤3，图像参数校正：在主车正常行驶时，使用近红外摄像头采集图像，由标定到的安装旋转角θ_r与陀螺仪实时输出的实时旋转角θ′_r，将图像内的坐标矩阵

(x′与y′为该点在图像上对应的横纵坐标值)校正为摄像头无旋转角情况下的坐标矩阵

(x与y为该点在图像上对应的横纵坐标值)，参阅图2，P与P′为坐标系旋转变换的结果，满足关系：

步骤4，目标检测：将校正后的图像输入训练好的目标检测模型，目标检测模型会对图像进行卷积处理并根据模型置信度计算目标物位置与类型，之后输出表示目标物位置的识别矩形框信息，在已知镜头标定的俯仰角θ_p和陀螺仪输出的实时俯仰角θ′_p的情况下，获取模型输出的识别矩形框下边界中心点(即目标与地面接触点)在校正后图像上的纵坐标值y₁，参阅图3；

步骤5、目标纵向测距：由于摄像头的分辨率固定，因此图像中心水平线的纵坐标y₀为固定值，且由于摄像头视场角固定，因此镜头焦距对应像素值f(单位：像素)也为固定值，因此，目标距摄像头的纵向距离d(单位：米)为：

步骤6，目标横向距离测距：根据识别信息获得目标纵向距离d后，根据纵向距离d、识别矩形框底边中心点(即目标与地面接触点)在图像上的横坐标值x₁、横摆角的安装标定值θ_y、陀螺仪实时输出的横摆角θ′_y和图像垂直中心线横坐标值x₀来推算目标对于主车的横向距离L(单位：米)，示意图如图4所示，公式如下

步骤7，根据上述步骤，实时计算视觉传感器识别到的目标与车辆的纵向与横向距离。

本发明的流程框图参阅图5，以下通过一个具体实施例进行说明。

1、按照标准将近红外摄像头安装固定后，测量得到摄像头的安装高度为1.48米，摄像头的焦距对应像素值为1831。摄像头标准参数测量完成后用棋盘格对摄像头的三个安装角度进行标定。标定获取的安装角度分别为：安装俯仰角0.0322弧度，安装横摆角0.0131弧度，安装旋转角0.0007弧度。

2、车辆行驶时，根据陀螺仪信息处理得到实时角度信息：实时俯仰角0.0012弧度，实时横摆角0.0001弧度，实时旋转角0.0001弧度。将近红外摄像头获取的图片进行校正，将校正后的图片输入目标检测模型，获取模型输出的结果图片，如图6所示。

3、分别获取识别矩形框下边中心点的横、纵坐标值，并计算其相对于摄像头的横、纵距离。以图6中前方白色车辆为例，识别矩形框下边中心点横、纵值分别为991和616，代入公式得摄像头到白车纵向距离为19.7米，横向距离为-0.18米，即摄像头光轴靠右0.18米。

由此可见，本发明使用近红外视觉传感器与陀螺仪实现在任意驾驶条件下排除车身抖动的影响进行精确目标测距的方法，创新性的采用近红外成像设备作为感知单元，构建深度学习模型，检测目标物体；采用陀螺仪参数作为摄像头校正参数，实时检测车辆行驶时的摄像头角度的变化，并排除车身抖动的影响实时计算主车与目标物体的距离，使得智能辅助驾驶系统能够精确匹配视觉传感器的识别信息与其他传感器的感知信息，提升系统对环境的感知准确性。

在以上的描述中阐述了很多具体细节以便于充分理解本发明。但是以上描述仅是本发明的较佳实施例而已，本发明能够以很多不同于在此描述的其它方式来实施，因此本发明不受上面公开的具体实施的限制。同时任何熟悉本领域技术人员在不脱离本发明技术方案范围情况下，都可利用上述揭示的方法和技术内容对本发明技术方案做出许多可能的变动和修饰，或修改为等同变化的等效实施例。凡是未脱离本发明技术方案的内容，依据本发明的技术实质对以上实施例所做的任何简单修改、等同变化及修饰，均仍属于本发明技术方案保护的范围内。

Claims (1)

1.一种使用近红外视觉传感器和陀螺仪进行目标测距的方法，其特征在于，包括以下步骤：

步骤1，部件安装：将近红外摄像头与陀螺仪固定在一起并安装在主车挡风玻璃的中间位置，调整摄像头角度，使摄像头水平朝前，再将激光发射装置安装在主车大灯位置，调整角度，保持激光发射器水平向前；

步骤2，摄像头参数测量与标定：摄像头安装固定后，将主车停于水平路面，并将陀螺仪的俯仰角变化率、横摆角变化率和旋转角变化率进行参数初始化，并分别用陀螺仪输出的俯仰角速度、横摆角速度和旋转角速度对时间进行积分来获取实时俯仰角度θ′_p、实时横摆角度θ′_y和实时旋转角度θ′_r，测量摄像头的镜头中心到地面的竖直距离h，并用棋盘格标定板对摄像头的三个安装角度进行标定，分别为安装俯仰角θ_p、安装横摆角θ_y、安装旋转角θ_r；

步骤3，图像参数校正：在主车正常行驶时，使用近红外摄像头采集图像，由标定到的安装旋转角θ_r与陀螺仪实时输出的实时旋转角θ′_r，将图像内的坐标矩阵

校正为摄像头无旋转角情况下的坐标矩阵

其中，x′与y′为采集图像上某点对应的横坐标值和纵坐标值，x与y为该点在校正为摄像头无旋转角情况下的图像上对应的横坐标值和纵坐标值，

与

为坐标系旋转变换的结果，满足关系：

步骤4，目标检测：将校正后的图像输入训练好的目标检测模型，目标检测模型会对图像进行卷积处理并根据模型置信度计算目标物位置与类型，然后输出表示目标物位置的识别矩形框信息，在已知镜头标定的安装俯仰角θ_p和陀螺仪输出的实时俯仰角θ′_p的情况下，获取模型输出的识别矩形框下边界中心点在校正后图像上的纵坐标值y₁；

步骤5、目标纵向测距：由于摄像头的分辨率固定，因此图像中心水平线的纵坐标y₀为固定值，且由于摄像头视场角固定，因此镜头焦距对应像素值f也为固定值，因此，目标距摄像头的纵向距离d为：

步骤6，目标横向距离测距：根据识别信息获得目标纵向距离d后，根据纵向距离d、识别矩形框底边中心点在图像上的横坐标值x₁、横摆角的安装标定值θ_y、陀螺仪实时输出的横摆角θ′_y和图像垂直中心线横坐标值x₀来推算目标对于主车的横向距离L，公式如下：

步骤7，根据上述步骤，实时计算视觉传感器识别到的目标与车辆的纵向与横向距离。

Images