CN112989978A - 基于高精度地图的驾驶辅助识别方法 - Google Patents

Abstract

本发明提出了基于高精度地图的驾驶辅助识别方法，步骤1，汽车启动前，车内摄像头对驾驶员采集人脸图像，把图像传到MCU进行身份确认,同时判断驾驶人员是否是酒后驾驶，行车途中随机拍摄照片，检查判断驾驶员人脸状态，判断是否为疲劳驾驶；步骤2，通过卷积神经网络获取主干道路中车辆行驶状态信息、周围车辆状态信息和道路信息，实现像素级别端到端的语义分割，利用条件随机场优化语义分割将车辆、道路的彩色图像和深度图像转换为点云数据；所述主干道路车辆状态信息有速度、加速度和位置信息；周围车辆状态信息包括速度、加速度和位置信息；通过实验发现本发明识别精度高效果好。

Description

基于高精度地图的驾驶辅助识别方法

技术领域

本发明涉及GIS应用技术领域，具体涉及基于高精度地图的驾驶辅助识别方法。

背景技术

车辆辅助系统是利用安装在车上的各式各样传感器(毫米波雷达、激光雷达、单\双目 摄像头以及卫星导航)，在汽车行驶过程中随时来感应周围的环境，收集数据，进行静态、 动态物体的辨识、侦测与追踪，并结合导航地图数据，进行系统的运算与分析，从而预先 让驾驶者察觉到可能发生的危险，有效增加汽车驾驶的舒适性和安全性。然而国内汽车生 产厂家受资金与研发实力的限制，在先进驾驶辅助系统研发方面的投入较少，该项技术的 发展有待进一步提高。

发明内容

本发明的目的在于克服上述现有技术的缺陷，提出一种基于高精度地图的驾驶辅助识 别方法。

本发明采用的技术方案如下：基于高精度地图的驾驶辅助识别方法，包括以下步骤：

步骤1，汽车启动前，车内摄像头对驾驶员采集人脸图像，把图像传到MCU进行身份确 认,同时判断驾驶人员是否是酒后驾驶，行车途中随机拍摄照片，检查判断驾驶员人脸状态， 判断是否为疲劳驾驶；

步骤2，GIS集成学习模块通过卷积神经网络获取主干道路中车辆行驶状态信息、周围 车辆状态信息和道路信息，实现像素级别端到端的语义分割，利用条件随机场优化语义分 割将车辆、道路的彩色图像和深度图像转换为点云数据；所述主干道路车辆状态信息有速 度、加速度和位置信息；周围车辆状态信息包括速度、加速度和位置信息；所述道路信息 包括道路交通网、当前道路限速、道路警示牌、道路标志信息。

步骤1驾驶员采集人脸图像过程中，用于扫描人脸，采集人脸图像特征并将特征信息送入 主控模块；车载控制模块根据主控模块送入的判断信息，生成车辆控制指令；驾驶账号等信 息包括驾驶身份、借车人账号、时间戳、绑定账号口令。

行车途中随机拍摄照片，检查判断驾驶员人脸状态，判断是否为疲劳驾驶的具体过程为：

摄像头采集的人脸图像，设定车内j中有N_j个特征属于人脸，设

其中o表示乘客人员，z表示潜在的主题，t表示每个座位信息所对应向量中的位置，且

t:

将{1,2,…,N_j}采取随机置换τ(g)，并令i∈{τ(1),...,τ(N_j)}，那么对于人脸特征 (w_ji,v_ji)的一次识别过程如下：

将车内所有人脸特征(w_ji,v_ji)从它当前所属的类别中剔除：

主题分布：

通过学习对车内所有人脸选取其新的所属主题：

然后将特征重新加入它所属新的主题中：

固定

更新特征向量，构建约束：

几何约束满足高斯分布

其中χ_j表示高斯分布的均值，Ξ_j表示方差，重 复(1)-(5)，经过多次迭代循环之后，得到车内人脸检测模型，人脸与非人脸对应不同分布

如果面部表情，尤其是眼睛处在长时间的眨眼或者闭眼过程，则判断为疲劳驾驶。

进一步，还包括，调整摄像头摆放位置，使其尽可能在复杂场景下可以获取人脸较正面 图像的视频，对目标人脸图像进行质量评估时，使用加权和归一人脸图像正面性、清晰度、 光照强度、尺寸、运动变化强度的方式来作为综合评价依据，直观的选择较高质量的多帧来 进行多帧超分辨率重建，进行多帧超分辨率重建时，可以将配准参数、模糊参数和超分辨率 图像进行联合求解，提高重建的准确性；通过最小化重建图像和相应的高分辨率图像之间的 损失函数来实现，得到需要的估计参数，最终实现了对监控视频中人脸图像的超分辨率重建。

进一步，通过卷积神经网络获取主干道路中车辆行驶状态信息、周围车辆状态信息和 道路信息的具体过程为：

采用全卷积神经网络FCN，实现像素级别端到端的语义分割，然后利用条件随机场优化 语义分割结果，区分彩色图像中的道路与道路两边景物、天空等无关特征，每个像素都有 一个类别标签，以每个像素点作为节点，像素与像素间的联系作为边，就构成了一个条件 随机场，通过观测变量x来推测像素对应的类别标签y，最大化条件概率函数：

式中x_ij是单个像素点的观测变量，y_ij是单个像素点的类别标签， y_(i+1)j，y_(i-1)j，y_i(j+1)，y_i(j+1)是相邻四个像素点的类别标签，Z是归一化因子；得到彩色 图像像素级别的分割后，遍历彩色图像只保留彩色图像中的车辆、行人、道路、警示牌信 息，然后遍历彩色图像对应的深度图像，只保留深度图像中车辆、行人、道路、警示牌的 深度信息，然后读取车辆、行人、道路、警示牌的颜色信息和距离信息，计算出像素在相 机坐标系下的坐标，根据相机内参计算一对彩色图像和深度图像对应的点云。

本发明的有益效果是：本发明解决了传统图像需要为每种姿态分别建立模型，以及由于 姿态、光线、环境等因素造成模型识别率低的问题，能够有效地提高多姿态行人、道路、 警示牌图像识别的准确率。

具体实施方式

1、基于高精度地图的驾驶辅助识别方法，其特征在于，包括以下步骤：

步骤1，汽车启动前，车内摄像头对驾驶员采集人脸图像，把图像传到MCU进行身份确 认，同时判断驾驶人员是否是酒后驾驶，行车途中随机拍摄照片，检查判断驾驶员人脸状态， 判断是否为疲劳驾驶；

步骤1驾驶员采集人脸图像过程中，用于扫描人脸，采集人脸图像特征并将特征信息送入 主控模块；车载控制模块根据主控模块送入的判断信息，生成车辆控制指令；驾驶账号等信 息包括驾驶身份、借车人账号、时间戳、绑定账号口令。

行车途中随机拍摄照片，检查判断驾驶员人脸状态，判断是否为疲劳驾驶的具体过程为：

摄像头采集的人脸图像，设定车内j中有N_j个特征属于人脸，设

其中o表示乘客人员，z表示潜在的主题，t表示每个座位信息所对应向量中的位置，且

t:

将{1,2,…,N_j}采取随机置换τ(g)，并令i∈{τ(1),...,τ(N_j)}，那么对于人脸特征 (w_ji,v_ji)的一次识别过程如下：

将车内所有人脸特征(w_ji,v_ji)从它当前所属的类别中剔除：

主题分布：

通过学习对车内所有人脸选取其新的所属主题：

然后将特征重新加入它所属新的主题中：

固定

更新特征向量，构建约束：

几何约束满足高斯分布

其中χ_j表示高斯分布的均值，Ξ_j表示方差，重 复(1)-(5)，经过多次迭代循环之后，得到车内人脸检测模型，人脸与非人脸对应不同分布

如果面部表情，尤其是眼睛处在长时间的眨眼或者闭眼过程，则判断为疲劳驾驶。

还包括，调整摄像头摆放位置，使其尽可能在复杂场景下可以获取人脸较正面图像的视 频，对目标人脸图像进行质量评估时，使用加权和归一人脸图像正面性、清晰度、光照强度、 尺寸、运动变化强度的方式来作为综合评价依据，直观的选择较高质量的多帧来进行多帧超 分辨率重建，进行多帧超分辨率重建时，可以将配准参数、模糊参数和超分辨率图像进行联 合求解，提高重建的准确性；通过最小化重建图像和相应的高分辨率图像之间的损失函数来 实现，得到需要的估计参数，最终实现了对监控视频中人脸图像的超分辨率重建。

步骤2，GIS集成学习模块通过卷积神经网络获取主干道路中车辆行驶状态信息、周围 车辆状态信息和道路信息，实现像素级别端到端的语义分割，利用条件随机场优化语义分 割将车辆、道路的彩色图像和深度图像转换为点云数据；所述主干道路车辆状态信息有速 度、加速度和位置信息；周围车辆状态信息包括速度、加速度和位置信息；所述道路信息 包括道路交通网、当前道路限速、道路警示牌、道路标志信息。

通过卷积神经网络获取主干道路中车辆行驶状态信息、周围车辆状态信息和道路信息 的具体过程为：

采用全卷积神经网络FCN，实现像素级别端到端的语义分割，然后利用条件随机场优化 语义分割结果，区分彩色图像中的道路与道路两边景物、天空等无关特征，每个像素都有 一个类别标签，以每个像素点作为节点，像素与像素间的联系作为边，就构成了一个条件 随机场，通过观测变量x来推测像素对应的类别标签y，最大化条件概率函数：

式中x_ij是单个像素点的观测变量，y_ij是单个像素点的类别标签，y_(i+1)j，y_(i-1)j，y_i(j+1)，y_i(j+1)是相邻四个像素点的类别标签，Z是归一化因子；得到彩色 图像像素级别的分割后，遍历彩色图像只保留彩色图像中的车辆、行人、道路、警示牌信 息，然后遍历彩色图像对应的深度图像，只保留深度图像中车辆、行人、道路、警示牌的 深度信息，然后读取车辆、行人、道路、警示牌的颜色信息和距离信息，计算出像素在相 机坐标系下的坐标，根据相机内参计算一对彩色图像和深度图像对应的点云。

本发明说明书中未作详细描述的内容属于本领域专业技术人员公知的现有技术。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示意性实施例”、“示 例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结 构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语 的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

尽管已经示出和描述了本发明的实施例，本领域的普通技术人员可以理解：在不脱离 本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发 明的范围由权利要求及其等同物限定。

Claims (5)

1.基于高精度地图的驾驶辅助识别方法，其特征在于，包括以下步骤：

步骤1，汽车启动前，车内摄像头对驾驶员采集人脸图像，把图像传到MCU进行身份确认,同时判断驾驶人员是否是酒后驾驶，行车途中随机拍摄照片，检查判断驾驶员人脸状态，判断是否为疲劳驾驶；

步骤2，GIS集成学习模块通过卷积神经网络获取主干道路中车辆行驶状态信息、周围车辆状态信息和道路信息，实现像素级别端到端的语义分割，利用条件随机场优化语义分割将车辆、道路的彩色图像和深度图像转换为点云数据；所述主干道路车辆状态信息有速度、加速度和位置信息；周围车辆状态信息包括速度、加速度和位置信息；所述道路信息包括道路交通网、当前道路限速、道路警示牌、道路标志信息。

2.根据权利要求1所述的基于高精度地图的驾驶辅助识别方法，其特征在于，步骤1驾驶员采集人脸图像过程中，用于扫描人脸，采集人脸图像特征并将特征信息送入主控模块；车载控制模块根据主控模块送入的判断信息，生成车辆控制指令；驾驶账号等信息包括驾驶身份、借车人账号、时间戳、绑定账号口令。

3.根据权利要求1所述的基于高精度地图的驾驶辅助识别方法，其特征在于，行车途中随机拍摄照片，检查判断驾驶员人脸状态，判断是否为疲劳驾驶的具体过程为：

摄像头采集的人脸图像，设定车内j中有N_j个特征属于人脸，设

其中o表示乘客人员，z表示潜在的主题，t表示每个座位信息所对应向量中的位置，且

将{1,2,…,N_j}采取随机置换τ(g)，并令i∈{τ(1),...,τ(N_j)}，那么对于人脸特征(w_ji,v_ji)的一次识别过程如下：

将车内所有人脸特征(w_ji,v_ji)从它当前所属的类别中剔除：

主题分布：

通过学习对车内所有人脸选取其新的所属主题：

然后将特征重新加入它所属新的主题中：

固定

更新特征向量，构建约束：

几何约束满足高斯分布

其中χ_j表示高斯分布的均值，Ξ_j表示方差，重复(1)-(5)，经过多次迭代循环之后，得到车内人脸检测模型，人脸与非人脸对应不同分布

如果面部表情，尤其是眼睛处在长时间的眨眼或者闭眼过程，则判断为疲劳驾驶。

4.根据权利要求3所述的基于高精度地图的驾驶辅助识别方法，其特征在于，还包括，调整摄像头摆放位置，使其尽可能在复杂场景下可以获取人脸较正面图像的视频，对目标人脸图像进行质量评估时，使用加权和归一人脸图像正面性、清晰度、光照强度、尺寸、运动变化强度的方式来作为综合评价依据，直观的选择较高质量的多帧来进行多帧超分辨率重建，进行多帧超分辨率重建时，可以将配准参数、模糊参数和超分辨率图像进行联合求解，提高重建的准确性；通过最小化重建图像和相应的高分辨率图像之间的损失函数来实现，得到需要的估计参数，最终实现了对监控视频中人脸图像的超分辨率重建。

5.根据权利要求1所述的基于高精度地图的驾驶辅助识别方法，其特征在于，通过卷积神经网络获取主干道路中车辆行驶状态信息、周围车辆状态信息和道路信息的具体过程为：

采用全卷积神经网络FCN，实现像素级别端到端的语义分割，然后利用条件随机场优化语义分割结果，区分彩色图像中的道路与道路两边景物、天空等无关特征，每个像素都有一个类别标签，以每个像素点作为节点，像素与像素间的联系作为边，就构成了一个条件随机场，通过观测变量x来推测像素对应的类别标签y，最大化条件概率函数：

式中x_ij是单个像素点的观测变量，y_ij是单个像素点的类别标签，y_(i+1)j，y_(i-1)j，y_i(j+1)，y_i(j+1)是相邻四个像素点的类别标签，Z是归一化因子；得到彩色图像像素级别的分割后，遍历彩色图像只保留彩色图像中的车辆、行人、道路、警示牌信息，然后遍历彩色图像对应的深度图像，只保留深度图像中车辆、行人、道路、警示牌的深度信息，然后读取车辆、行人、道路、警示牌的颜色信息和距离信息，计算出像素在相机坐标系下的坐标，根据相机内参计算一对彩色图像和深度图像对应的点云。