CN110865366A - 一种智能驾驶雷达和图像融合的人机交互方法 - Google Patents

Abstract

本发明公开了一种智能驾驶雷达和图像融合的人机交互方法，包括以下的步骤：雷达目标数据采集及处理，雷达目标坐标变换，图像数据采集及处理，视频图像的二次绘图，多媒体屏幕显示。本发明将汽车前向毫米波雷达检测的目标通过坐标变换的方法绘制在视频图像上，最终显示在车载多媒体屏幕，实现了雷达数据与视频图像数据的融合，完成了数据的可视化人机交互过程；为用户观察智能驾驶系统运行状况提供依据；为开发人员检查传感器数据及其处理过程的实效性、准确性提供依据；快速变换易于实现，在保证数据准确性的同时，节约CPU资源及研发成本。

Description

一种智能驾驶雷达和图像融合的人机交互方法

技术领域

本发明涉及车辆智能探测障碍物技术领域，具体涉及一种智能驾驶雷达和图像融合的人机交互方法。

背景技术

随着智能汽车科技的快速发展，智能驾驶系统也在不断推陈出新，如何使智能驾驶系统做到驾乘更安全、用户体验更佳一直都是业界努力的方向。现在的智能驾驶系统越来越依靠对数据进行分析处理实现车辆控制，数据处理是十分复杂的过程，尤其是雷达检测的数据，其数据量大、变化速度快，却难以让用户直观感知判断，另一方面，通过摄像头采集的视频图像数据虽可让用户直观感知，却缺乏更精准的距离、坐标等数据支持。如果可将雷达检测的数据和视频图像数据进行二者融合，相信用户和开发人员就可通过智能驾驶系统更直观了解雷达检测的目标情况，使操作更便捷、驾乘更安全，也会让开发人员系统更有效地开发智能驾驶系统。

目前，虽也有基于雷达和图像数据融合通过深度学习对车载障碍物检测方法，但其方法是通过融合雷达点云数据和摄像头数据，对真实数据进行测试确定了适合真实情况的通道配置，达到利用Yolo深度卷积神经网络模型处理融合数据，实现道路场景的目标障碍物检测。该方法涉及的设备实施成本较高，不利于快速推广，基于深度学习的融合数据检测方法还需要有足够数量的样本数据作为支持，短期内很难达到理想的检测效果，同时，也缺乏更好的人机交互，用户和开发人员难以直接可视化地利用这些数据进行观察智能驾驶系统的运行状况。

发明内容

本发明的目的在于针对上述现有技术的不足，提供一种智能驾驶雷达和图像融合的人机交互方法。

为实现上述目的，本发明提供以下的技术方案：

一种智能驾驶雷达和图像融合的人机交互方法，包括以下的步骤：

雷达目标数据采集及处理，通过毫米波雷达探测采集雷达目标，采集雷达原始点数据，计算出坐标并标记时间，对多个目标数据进行存储，通过时间有效性筛选掉过时数据；

雷达目标坐标变换，根据几何光学模型建立的快速坐标换算，通过对采集到的雷达目标物体平面数据纵向几何光路换算、横向几何光路换算、俯仰方向快速修正换算成屏幕上影像平面数据；

图像数据采集及处理，通过域控制器采集摄像头实时视频图像，经过对比度优化、矫正畸变、感兴趣区域提取处理过程，形成视频图像；

视频图像的二次绘图，利用域控制器的绘图组件，将雷达目标的影像平面数据绘制在实时所述视频图像上，合成影像平面数据；

多媒体屏幕显示，将所述影像平面数据显示于多媒体屏幕，并显示纵向标尺、直线行驶轨迹、坐标数值、实时车速及方向盘角度。

进一步地，所述纵向几何光路换算包括如下步骤：

目标物体在物平面的相对高度(h_i/h_m)与其在像平面的相对高度(h′_i/h′_m)相等，如式(1)所示：

当摄像头水平向前时，能拍摄到的可观测的最近地点物体视野高度h_m等于摄像头高度h的两倍，如式(2)所示：

h_m＝2h (2)；

目标物体i在物面上的投影高度h_i，可根据物体的纵向距离y_i计算得到，如式(3)所示：

其中，y₀为可观测的最近地点物体到摄像头的距离，可根据垂直方向最大视场角度α计算，如式(4)所示：

则地平面上的物体纵向距离y_i可变换为屏幕上的像素高度h′_i，如式(5)所示：

其中，h′_m为屏幕高度。

进一步地，所述横向几何光路换算包括如下步骤：

目标物体在物平面的相对宽度(k_i/k_m)与其在像平面的相对高度(k′_i/k′_m)相等，如式(6)所示：

当摄像头水正向前时，能拍摄到的可观测的最近地点物体视野宽度k_m根据水平方向视场角度β和y₀计算,如式(7)所示：

目标物体在物平面上的投影宽度k_i，可根据物体到摄像头的横向距离x_i以及y_i、y₀计算得到,如式(8)所示：

则地面上的物体横向距离x_i可变换为屏幕上的像素宽度k′_i,如式(9)所示

其中，y₀为可观测的最近地点物体到摄像头的距离，y_i为物体的纵向距离，k′_m为屏幕宽度，(x_i,y_i)为通过毫米波雷达采集的数据。

进一步地，所述俯仰方向快速修正换算包括如下步骤：

可旋转摄像头俯仰方向旋转后，目标物体在物面上的投影点与旋转前距离很近，将两个投影点近似为同一点，简化计算复杂度，目标物体在俯仰方向旋转后屏幕上的影像高度H′_i按照如式(10)所示计算:

其中，y₀为可观测的最近地点物体到摄像头的距离，γ为摄像头俯仰方向旋转角度。

进一步地，所述雷达目标数据采集及处理还包括如下步骤：多次采样的数据ID号相同时，则覆盖历史数据，并更新采样时间；数据ID号不同时，新建数据并标记采样时间。

采用以上技术方案的有益效果是：采用本发明将汽车前向毫米波雷达检测的目标通过坐标变换的方法绘制在视频图像上，最终显示在车载多媒体屏幕，实现了雷达数据与视频图像数据的融合，完成了数据的可视化人机交互过程；为用户观察智能驾驶系统运行状况提供依据；为开发人员检查传感器数据及其处理过程的实效性、准确性提供依据；快速变换易于实现，在保证数据准确性的同时，节约CPU资源及研发成本。

附图说明

下面结合附图对本发明的具体实施方式作进一步详细的描述。

图1是本发明实施例提供的雷达目标与图像融合的总体流程图；

图2是本发明实施例提供的雷达目标数据处理原理图；

图3是本发明实施例提供的纵向几何光路坐标变换过程图；

图4是本发明实施例提供的横向几何光路坐标变换过程图；

图5是本发明实施例提供的俯仰方向几何光路快速修正过程图；

图6是本发明实施例提供的多媒体屏幕的人机交互显示示意图；

图中：1、摄像头；2、毫米波雷达；3、可观测的最近地点物体；4、目标物体；5、可旋转摄像头；6、纵向标尺；7、行驶轨迹；8、雷达目标框图；9、当前车速值和方向盘角度值显示区。

具体实施方式

下面对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员所获得的所有其他实施例，都属于本发明保护的范围。

如图1至2所示，本实施一种智能驾驶雷达和图像融合的人机交互方法，包括以下的步骤：雷达目标数据采集及处理，通过毫米波雷达2探测采集雷达目标，采集雷达原始点数据，计算出坐标并标记时间，对多个目标数据进行存储，多次采样的数据ID号相同时，则覆盖历史数据，并更新采样时间；数据ID号不同时，新建数据并标记采样时间，通过时间有效性筛选掉过时数据。

雷达目标坐标变换，根据几何光学模型建立的快速坐标换算，通过对采集到的雷达目标物体4平面数据纵向几何光路换算、横向几何光路换算、俯仰方向快速修正换算成屏幕上影像平面数据；

如图3所示，所述纵向几何光路换算包括如下步骤：

目标物体4在物平面的相对高度(h_i/h_m)与其在像平面的相对高度(h′_i/h′_m)相等，如式(1)所示：

当摄像头1水平向前时，能拍摄到的可观测的最近地点物体3视野高度h_m等于摄像头1高度h的两倍，如式(2)所示：

h_m＝2h (2)；

目标物体4i在物面上的投影高度h_i，可根据物体的纵向距离y_i计算得到，如式(3)所示：

其中，y₀为可观测的最近地点物体3到摄像头1的距离，可根据垂直方向最大视场角度α计算，如式(4)所示：

则地平面上的物体纵向距离y_i可变换为屏幕上的像素高度h′_i，如式(5)所示：

其中，h′_m为屏幕高度。

如图4所示，所述横向几何光路换算包括如下步骤：

目标物体4在物平面的相对宽度(k_i/k_m)与其在像平面的相对高度(k′_i/k′_m)相等，如式(6)所示：

当摄像头1水正向前时，能拍摄到的可观测的最近地点物体3视野宽度k_m根据水平方向视场角度β和y₀计算,如式(7)所示：

目标物体4在物平面上的投影宽度k_i，可根据物体到摄像头1的横向距离x_i以及y_i、y₀计算得到,如式(8)所示：

则地面上的物体横向距离x_i可变换为屏幕上的像素宽度k′_i,如式(9)所示

其中，y₀为可观测的最近地点物体3到摄像头1的距离，y_i为物体的纵向距离，k′_m为屏幕宽度，(x_i,y_i)为通过毫米波雷达2采集的数据。

如图5所示，所述俯仰方向快速修正换算包括如下步骤：

可旋转摄像头5俯仰方向旋转后，目标物体4在物面上的投影点与旋转前距离很近，将两个投影点近似为同一点，简化计算复杂度，目标物体4在俯仰方向旋转后屏幕上的影像高度H′_i按照如式(10)所示计算:

其中，h为摄像头1、5距离地面高度，α为摄像头1、5垂直方向最大视场角度，y₀为可观测的最近地点物体3到摄像头1、5的距离，y₀、y_i分别为目标物体4到摄像头1、5的纵向距离，h_m为物体所在物平面的视野高度，h_i目标物体4在W0物平面上的投影高度，h′_m为屏幕高度(像素)，h′_i为目标物体4在屏幕上的影像高度(像素)，β为摄像头水平方向最大视场角度，x_i为目标物体4到摄像头的横向距离，k_m为目为标物体4在物平面的视野宽度，k_i为目为标物体4在物平面的投影宽度，k′_m为屏幕宽度(像素)，k′_i为目标物体4在屏幕上的影像宽度(像素)，h_i为目标物体4在俯仰方向旋转后的物平面上的投影高度，H′_i为目标物体4在俯仰方向旋转后屏幕上的影像高度(像素)，γ为摄像头俯仰方向旋转角度。

图像数据采集及处理，通过域控制器采集摄像头1实时视频图像，所述域控制器为ADAS(Advanced Driving Assistant System)域控制器，是实现自动驾驶功能的控制器，作为整车电子电器架构的一部分，设置于车辆上，负责接收分析和处理雷达及摄像头等传感器信号，与整车控制器通信，根据不同场景进行纵向横向的决策控制，实现自动驾驶功能，经过对所述摄像头1拍摄的原始视频图像进行对比度优化、矫正畸变、感兴趣区域提取处理过程，形成视频图像，所述视频图像是下一步骤“视频图像的二次绘图”的作用对象；

视频图像的二次绘图，利用域控制器的绘图组件，将雷达目标的影像平面数据绘制在实时所述视频图像上，合成影像平面数据，所述影像平面数据为多媒体屏幕显示图像；

如图6所示，多媒体屏幕显示，将所述影像平面数据显示于多媒体屏幕，并显示有多媒体屏幕中心位置绘制纵向标尺6，标尺两侧绘制一定宽度的直线行驶轨迹7，绘制雷达目标框图8并在下方显示坐标数值，显示当前车速值和方向盘角度值显示区9。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (5)

1.一种智能驾驶雷达和图像融合的人机交互方法，其特征在于，包括以下的步骤：

雷达目标数据采集及处理，通过毫米波雷达探测采集雷达目标，采集雷达原始点数据，计算出坐标并标记时间，对多个目标数据进行存储，通过时间有效性筛选掉过时数据；

雷达目标坐标变换，根据几何光学模型建立的快速坐标换算，通过对采集到的雷达目标物体平面数据纵向几何光路换算、横向几何光路换算、俯仰方向快速修正换算成屏幕上影像平面数据；

图像数据采集及处理，通过域控制器采集摄像头实时视频图像，经过对比度优化、矫正畸变、感兴趣区域提取处理过程，形成视频图像；

视频图像的二次绘图，利用域控制器的绘图组件，将雷达目标的影像平面数据绘制在实时所述视频图像上，合成影像平面数据；

多媒体屏幕显示，将所述影像平面数据显示于多媒体屏幕，并显示纵向标尺、直线行驶轨迹、坐标数值、实时车速值及方向盘角度值。

2.根据权利要求1所述的智能驾驶雷达和图像融合的人机交互方法，其特征在于，所述纵向几何光路换算包括如下步骤：

目标物体在物平面的相对高度(h_i/h_m)与其在像平面的相对高度(h′_i/h′_m)相等，如式(1)所示：

当摄像头水平向前时，能拍摄到的可观测的最近地点物体视野高度h_m等于摄像头高度h的两倍，如式(2)所示：

h_m＝2h (2)；

目标物体i在物面上的投影高度h_i，可根据物体的纵向距离y_i计算得到，如式(3)所示：

其中，y₀为可观测的最近地点物体到摄像头的距离，可根据垂直方向最大视场角度α计算，如式(4)所示：

则地平面上的物体纵向距离y_i可变换为屏幕上的像素高度h′_i，如式(5)所示：

其中，h′_m为屏幕高度。

3.根据权利要求1所述的智能驾驶雷达和图像融合的人机交互方法，其特征在于，所述横向几何光路换算包括如下步骤：

目标物体在物平面的相对宽度(k_i/k_m)与其在像平面的相对高度(k′_i/k′_m)相等，如式(6)所示：

当摄像头水正向前时，能拍摄到的可观测的最近地点物体视野宽度k_m根据水平方向视场角度β和y₀计算,如式(7)所示：

目标物体在物平面上的投影宽度k_i，可根据物体到摄像头的横向距离x_i以及y_i、y₀计算得到,如式(8)所示：

则地面上的物体横向距离x_i可变换为屏幕上的像素宽度k′_i,如式(9)所示

其中，y₀为可观测的最近地点物体到摄像头的距离，y_i为物体的纵向距离，k′_m为屏幕宽度，(x_i,y_i)为通过毫米波雷达采集的数据。

4.根据权利要求1所述的智能驾驶雷达和图像融合的人机交互方法，其特征在于，所述俯仰方向快速修正换算包括如下步骤：

可旋转摄像头俯仰方向旋转后，目标物体在物面上的投影点与旋转前距离很近，将两个投影点近似为同一点，简化计算复杂度，

目标物体在俯仰方向旋转后屏幕上的影像高度H′_i按照如式(10)所示计算:

其中，y₀为可观测的最近地点物体到摄像头的距离，γ为摄像头俯仰方向旋转角度。

5.根据权利要求1所述的智能驾驶雷达和图像融合的人机交互方法，其特征在于：所述雷达目标数据采集及处理还包括如下步骤：多次采样的数据ID号相同时，则覆盖历史数据，并更新采样时间；数据ID号不同时，新建数据并标记采样时间。

Images