CN117367438A - 一种基于双目视觉的智能驾驶方法及系统 - Google Patents

Abstract

本发明涉及计算机视觉技术领域，具体为一种基于双目视觉的智能驾驶方法及系统，包括以下步骤：基于双目摄像头，采用图像校正算法消除畸变，生成校正后的双目图像数据。本发明中，通过采用图像校正算法，本方法消除了双目摄像头的镜头畸变，确保图像数据准确性，增强深度卷积神经网络进行目标检测与分类精确率。利用SIFT特征匹配与深度估计相结合，为驾驶员构建了准确的三维环境地图，提升行车安全。结合循环神经网络和卡尔曼滤波，对动态目标的轨迹预测更为准确，降低碰撞风险。通过Haar特征与支持向量机的结合，实时判断驾驶员疲劳状况，降低由疲劳引发的事故风险。考虑动态目标与驾驶员状态，A*路径规划算法为驾驶员提供了智能化的导航决策建议。

Description

一种基于双目视觉的智能驾驶方法及系统

技术领域

本发明涉及计算机视觉技术领域，尤其涉及一种基于双目视觉的智能驾驶方法及系统。

背景技术

计算机视觉是研究如何通过计算机科学和工程技术实现对图像和视频的理解的一门学科。它旨在使机器能够模仿人类视觉系统，通过提取、分析和理解图像或视频中的信息，从而实现对物体、场景和动作的识别和理解。

其中，基于双目视觉的智能驾驶方法是指利用双目(双摄像头)成像系统进行图像采集，并结合计算机视觉和机器学习算法，实现智能驾驶功能的方法。双目视觉系统可以模拟人类的双眼视觉，通过两个相机同时拍摄场景，从而获取深度信息和立体视觉效果。其目的是为了提高自动驾驶汽车的感知和理解能力，使车辆能够准确地识别和理解道路上的交通标志、车辆、行人、障碍物等。通过双目视觉的应用，可以实现车道保持、交通信号识别、前方车辆检测、行人识别等功能，提高驾驶安全性和自动驾驶的可靠性。基于双目视觉的智能驾驶方法通过深度感知和立体视觉、物体识别和检测、路径规划和决策等手段实现。双目视觉系统可以模拟人类双眼视觉，通过获取两个视角的图像，并通过计算机视觉算法推断出物体间的距离和形状，实现对道路和周围环境的感知。结合机器学习和路径规划算法，该方法可以确定车辆的最佳行驶路径、速度和操控指令，以实现自动驾驶的决策和行动。综上所述，基于双目视觉的智能驾驶方法能够提供准确的感知能力，使车辆能够更好地理解道路环境，并做出相应的驾驶决策，从而提高驾驶安全性和行车效率。

在现有基于双目视觉的智能驾驶方法中，部分现有方法仍采用传统的目标检测技术，相比深度卷积神经网络，其准确率和速度可能较低。缺乏对三维环境地图的精确重建，可能导致驾驶员对路况的判断存在误差，增加行车风险。不具备对驾驶员状态的及时和准确的检测功能，可能导致驾驶员在疲劳状态下长时间驾驶，增加事故风险。对于动态目标的轨迹预测可能不够准确，增加了与动态目标的碰撞风险。现有的导航决策可能没有充分考虑到动态目标和驾驶员状态，导致导航建议可能不够智能和安全。

发明内容

本发明的目的是解决现有技术中存在的缺点，而提出的一种基于双目视觉的智能驾驶方法及系统。

为了实现上述目的，本发明采用了如下技术方案：一种基于双目视觉的智能驾驶方法，包括以下步骤：

S1：基于双目摄像头，采用图像校正算法消除畸变，生成校正后的双目图像数据；

S2：基于所述校正后的双目图像数据，采用深度卷积神经网络进行目标检测与分类，生成目标检测报告；

S3：基于所述目标检测报告，使用SIFT特征匹配技术进行深度估计和三维场景重建，生成三维环境地图；

S4：基于所述三维环境地图，结合循环神经网络和卡尔曼滤波，对目标轨迹进行预测，生成动态目标预测轨迹；

S5：基于所述校正后的双目图像数据，采用Haar特征和支持向量机判断驾驶员疲劳状态，生成驾驶员状态报告；

S6：基于所述动态目标预测轨迹和驾驶员状态报告，使用A*路径规划算法进行导航决策，生成智能导航路径与决策建议。

作为本发明的进一步方案，基于双目摄像头，采用图像校正算法消除畸变，生成校正后的双目图像数据的步骤具体为：

S101：采用摄像头标定算法进行双目摄像头参数获取，生成摄像头参数报告；

S102：基于所述摄像头参数报告，采用畸变纠正算法进行初步图像纠正，生成初步校正的图像数据；

S103：基于所述初步校正的图像数据，采用图像增强技术提升图像质量，生成增强后的图像数据；

S104：基于所述增强后的图像数据，采用图像对齐技术保证双目图像对齐，生成对齐的双目图像数据；

S105：基于所述对齐的双目图像数据，进行深度估计初始化以提供深度信息，生成深度估计图；

S106：基于所述深度估计图，采用图像校正算法进行畸变纠正，生成校正后的双目图像数据。

作为本发明的进一步方案，基于所述校正后的双目图像数据，采用深度卷积神经网络进行目标检测与分类，生成目标检测报告的步骤具体为：

S201：基于所述校正后的双目图像数据，采用图像金字塔构建技术，提升目标检测的尺度适应性，生成多尺度图像金字塔；

S202：基于所述多尺度图像金字塔，采用滑动窗口技术进行初步目标定位，生成初步目标定位框；

S203：基于所述初步目标定位框，采用深度卷积神经网络进行目标特征提取，生成目标特征数据；

S204：基于所述目标特征数据，采用非极大值抑制算法优化目标框位置，生成优化后的目标定位框；

S205：基于所述优化后的目标定位框，采用Softmax分类器进行目标分类识别，生成目标分类标签；

S206：结合所述目标分类标签与优化后的目标定位框，形成完整的目标检测结果，生成目标检测报告。

作为本发明的进一步方案，基于所述目标检测报告，使用SIFT特征匹配技术进行深度估计和三维场景重建，生成三维环境地图的步骤具体为：

S301：基于所述目标检测报告，采用FAST角点检测算法在双目图像中找到特征点，生成角点特征集；

S302：基于所述角点特征集，采用SIFT特征描述器计算特征描述，生成特征描述数据；

S303：基于所述特征描述数据，采用BF匹配器进行双目图像间特征匹配，生成特征匹配对；

S304：基于所述特征匹配对，使用三角测量法计算三维坐标，生成三维坐标数据；

S305：基于所述三维坐标数据，采用点云融合技术整合为完整三维场景，生成初步三维点云场景；

S306：基于所述初步三维点云场景，使用点云平滑算法进行优化处理，生成三维环境地图。

作为本发明的进一步方案，基于所述三维环境地图，结合循环神经网络和卡尔曼滤波，对目标轨迹进行预测，生成动态目标预测轨迹的步骤具体为：

S401：基于所述三维环境地图，提取动态目标的初始位置和速度信息，生成动态目标初始状态；

S402：基于所述动态目标初始状态，采用循环神经网络模型预测短期内目标的行为，生成短期行为预测；

S403：基于所述短期行为预测，采用卡尔曼滤波算法对预测的结果进行优化和滤波，生成优化后的行为预测；

S404：结合所述三维环境地图与优化后的行为预测，生成目标的三维轨迹信息，生成三维预测轨迹；

S405：基于所述三维预测轨迹，绘制动态目标的预期移动路径，生成动态目标预测轨迹。

作为本发明的进一步方案，基于所述校正后的双目图像数据，采用Haar特征和支持向量机判断驾驶员疲劳状态，生成驾驶员状态报告的步骤具体为：

S501：基于所述校正后的双目图像数据，定位驾驶员面部区域，生成驾驶员面部图像；

S502：基于所述驾驶员面部图像，采用Haar特征提取算法获取面部特征，生成面部Haar特征；

S503：基于所述面部Haar特征，使用支持向量机判断驾驶员的眼部状态，生成眼部状态报告；

S504：结合所述眼部状态报告及面部Haar特征，综合判断驾驶员的疲劳程度，生成驾驶员状态报告。

作为本发明的进一步方案，基于所述动态目标预测轨迹和驾驶员状态报告，使用A*路径规划算法进行导航决策，生成智能导航路径与决策建议的步骤具体为：

S601：基于所述三维环境地图，构建导航的初始网格地图，生成导航网格地图；

S602：结合所述导航网格地图与动态目标预测轨迹，标注潜在碰撞风险区域，生成风险评估地图；

S603：基于所述风险评估地图和驾驶员状态报告，确定安全导航约束条件，生成导航约束条件；

S604：基于所述导航约束条件，采用A*路径规划算法搜索最优导航路径，生成初步导航路径；

S605：基于所述初步导航路径，进行路径平滑处理并综合考虑实时交通信息进行调整，生成优化后的导航路径；

S606：结合所述优化后的导航路径与驾驶员状态报告，提供驾驶决策建议，生成智能导航路径与决策建议。

一种基于双目视觉的智能驾驶系统用于执行上述基于双目视觉的智能驾驶方法，所述基于双目视觉的智能驾驶系统包括图像处理模块、目标检测模块、三维场景构建模块、行为预测与导航模块、驾驶员状态监测模块。

作为本发明的进一步方案，所述图像处理模块基于双目图像采集数据，采用摄像头标定算法获取摄像头参数，并应用畸变纠正算法对图像进行校正，利用图像增强技术提升图像质量，生成校正后的双目图像数据；

所述目标检测模块基于校正后的双目图像数据，利用图像金字塔构建技术和滑动窗口方法，采用深度卷积神经网络进行目标检测，并采用非极大值抑制算法优化检测结果，生成目标检测报告；

所述三维场景构建模块基于目标检测报告，通过特征点检测算法和特征描述器计算特征描述，利用特征匹配算法进行双目图像间的特征匹配，采用三角测量法计算三维坐标，进而生成三维环境地图；

所述行为预测与导航模块基于三维环境地图，提取动态目标的状态信息，采用循环神经网络模型进行短期行为预测，并利用卡尔曼滤波对预测结果进行优化，结合安全导航约束条件进行路径规划和优化，生成智能导航路径与决策建议；

所述驾驶员状态监测模块基于校正后的双目图像数据，通过面部定位技术定位驾驶员的面部区域，并利用Haar特征提取算法获取面部特征，使用支持向量机判断驾驶员的眼部状态，综合判断驾驶员的疲劳程度，生成驾驶员状态报告。

作为本发明的进一步方案，所述图像处理模块包括摄像头标定子模块、图像校正子模块、图像增强子模块；

所述目标检测模块包括多尺度图像构建子模块、深度卷积神经网络子模块、目标优化子模块；

所述三维场景构建模块包括特征点检测子模块、特征描述子模块、特征匹配子模块；

所述行为预测与导航模块包括动态目标状态提取子模块、行为预测子模块、路径规划子模块；

所述驾驶员状态监测模块包括面部定位子模块、特征提取子模块、疲劳判断子模块。

与现有技术相比，本发明的优点和积极效果在于：

本发明中，通过采用图像校正算法，有效消除了双目摄像头因镜头畸变带来的影响，使得图像数据更加准确，从而提高了目标检测与分类的准确性。利用深度卷积神经网络进行目标检测与分类，大幅提升了目标检测的准确率和速度。SIFT特征匹配技术结合深度估计和三维场景重建，为驾驶员提供了一个更为真实和准确的三维环境地图，提高了行车安全。结合循环神经网络和卡尔曼滤波预测目标轨迹，使得对于动态目标的预测更为准确，避免了与动态目标的碰撞风险。通过Haar特征和支持向量机判断驾驶员疲劳状态，及时警告驾驶员或做出相应的驾驶决策，大大降低了由驾驶员疲劳引发的交通事故的风险。结合动态目标预测轨迹和驾驶员状态报告，A*路径规划算法为驾驶员提供了更为智能和安全的导航决策。

附图说明

图1为本发明的工作流程示意图；

图2为本发明的S1细化流程图；

图3为本发明的S2细化流程图；

图4为本发明的S3细化流程图；

图5为本发明的S4细化流程图；

图6为本发明的S5细化流程图；

图7为本发明的S6细化流程图；

图8为本发明的系统流程图；

图9为本发明的系统框架示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

在本发明的描述中，需要理解的是，术语“长度”、“宽度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，在本发明的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。

实施例一

请参阅图1，本发明提供一种技术方案：一种基于双目视觉的智能驾驶方法，包括以下步骤：

S1：基于双目摄像头，采用图像校正算法消除畸变，生成校正后的双目图像数据；

S2：基于校正后的双目图像数据，采用深度卷积神经网络进行目标检测与分类，生成目标检测报告；

S3：基于目标检测报告，使用SIFT特征匹配技术进行深度估计和三维场景重建，生成三维环境地图；

S4：基于三维环境地图，结合循环神经网络和卡尔曼滤波，对目标轨迹进行预测，生成动态目标预测轨迹；

S5：基于校正后的双目图像数据，采用Haar特征和支持向量机判断驾驶员疲劳状态，生成驾驶员状态报告；

S6：基于动态目标预测轨迹和驾驶员状态报告，使用A*路径规划算法进行导航决策，生成智能导航路径与决策建议。

通过使用双目摄像头进行图像校正和深度卷积神经网络进行目标检测与分类，可以实现高质量的目标检测和分类，有助于提高驾驶辅助系统的性能和安全性。基于目标检测报告和SIFT特征匹配技术进行深度估计和三维场景重建，以及使用循环神经网络和卡尔曼滤波进行目标轨迹预测，可以实现对道路和周围环境的精确建模和动态目标的准确追踪。使用Haar特征和支持向量机判断驾驶员疲劳状态，有助于提高驾驶员的安全性和警觉性，减少交通事故的风险。使用Haar特征和支持向量机判断驾驶员疲劳状态，有助于提高驾驶员的安全性和警觉性，减少交通事故的风险。

请参阅图2，基于双目摄像头，采用图像校正算法消除畸变，生成校正后的双目图像数据的步骤具体为：

S101：采用摄像头标定算法进行双目摄像头参数获取，生成摄像头参数报告；

S102：基于摄像头参数报告，采用畸变纠正算法进行初步图像纠正，生成初步校正的图像数据；

S103：基于初步校正的图像数据，采用图像增强技术提升图像质量，生成增强后的图像数据；

S104：基于增强后的图像数据，采用图像对齐技术保证双目图像对齐，生成对齐的双目图像数据；

S105：基于对齐的双目图像数据，进行深度估计初始化以提供深度信息，生成深度估计图；

S106：基于深度估计图，采用图像校正算法进行畸变纠正，生成校正后的双目图像数据。

使用S101和S102步骤，摄像头参数获取和畸变校正可以消除图像中的畸变，提供更准确的视觉信息，特别是对于测量和分析物体的尺寸和距离非常重要。S103和S104阶段的图像增强和对齐技术提高了图像质量和准确性。这有助于提高目标检测、物体识别以及立体视觉任务的性能。S105步骤的深度估计初始化基于对齐的双目图像数据，为深度感知任务提供了重要的起点。这对于三维重建和场景理解至关重要。最后，S106步骤的图像校正进一步提高了图像质量，确保了生成的校正后双目图像数据准确、清晰。这有助于提高各种视觉任务的精度和可靠性。

请参阅图3，基于校正后的双目图像数据，采用深度卷积神经网络进行目标检测与分类，生成目标检测报告的步骤具体为：

S201：基于校正后的双目图像数据，采用图像金字塔构建技术，提升目标检测的尺度适应性，生成多尺度图像金字塔；

S202：基于多尺度图像金字塔，采用滑动窗口技术进行初步目标定位，生成初步目标定位框；

S203：基于初步目标定位框，采用深度卷积神经网络进行目标特征提取，生成目标特征数据；

S204：基于目标特征数据，采用非极大值抑制算法优化目标框位置，生成优化后的目标定位框；

S205：基于优化后的目标定位框，采用Softmax分类器进行目标分类识别，生成目标分类标签；

S206：结合目标分类标签与优化后的目标定位框，形成完整的目标检测结果，生成目标检测报告。

使用S201中的图像金字塔构建技术，可以生成多尺度图像金字塔，使系统具有适应不同目标尺度的能力。这有助于检测不同大小的目标。通过S202的滑动窗口技术，系统可以在多尺度图像金字塔上进行初步目标定位。这有助于快速找到可能包含目标的区域。S203步骤采用深度卷积神经网络来提取目标的特征数据，这些特征有助于识别目标并区分不同类别的目标。通过S204的非极大值抑制算法，可以优化目标框的位置，去除冗余的框，确保最终的目标定位结果更加精确。S205阶段使用Softmax分类器对提取的目标特征进行分类，从而确定目标的类别。最终，S206整合目标分类标签与优化后的目标定位框，生成完整的目标检测结果报告，包括目标位置和类别信息。

请参阅图4，基于目标检测报告，使用SIFT特征匹配技术进行深度估计和三维场景重建，生成三维环境地图的步骤具体为：

S301：基于目标检测报告，采用FAST角点检测算法在双目图像中找到特征点，生成角点特征集；

S302：基于角点特征集，采用SIFT特征描述器计算特征描述，生成特征描述数据；

S303：基于特征描述数据，采用BF匹配器进行双目图像间特征匹配，生成特征匹配对；

S304：基于特征匹配对，使用三角测量法计算三维坐标，生成三维坐标数据；

S305：基于三维坐标数据，采用点云融合技术整合为完整三维场景，生成初步三维点云场景；

S306：基于初步三维点云场景，使用点云平滑算法进行优化处理，生成三维环境地图。

使用S301和S302步骤，角点特征被检测出来，并计算出它们的SIFT描述子。这些描述子具有独特性，有助于在不同图像间匹配相同的特征点。通过S303的BF匹配器，特征点在双目图像中进行匹配，生成特征匹配对。这有助于确定在两个视角之间共享的特征点，从而计算它们的深度信息。基于特征匹配对，S304步骤使用三角测量法来计算特征点的三维坐标。这为每个特征点提供了在三维空间中的位置信息。使用计算得到的三维坐标数据，S305步骤将它们整合成初步的三维点云场景。这表示物体和环境的初步结构。最后，在S306步骤中，采用点云平滑算法对初步的三维点云场景进行优化处理，以去除噪声并提高场景的质量和准确性。

请参阅图5，基于三维环境地图，结合循环神经网络和卡尔曼滤波，对目标轨迹进行预测，生成动态目标预测轨迹的步骤具体为：

S401：基于三维环境地图，提取动态目标的初始位置和速度信息，生成动态目标初始状态；

S402：基于动态目标初始状态，采用循环神经网络模型预测短期内目标的行为，生成短期行为预测；

S403：基于短期行为预测，采用卡尔曼滤波算法对预测的结果进行优化和滤波，生成优化后的行为预测；

S404：结合三维环境地图与优化后的行为预测，生成目标的三维轨迹信息，生成三维预测轨迹；

S405：基于三维预测轨迹，绘制动态目标的预期移动路径，生成动态目标预测轨迹。

通过S401步骤，从三维环境地图中提取动态目标的初始位置和速度信息，为轨迹预测提供了起始点。使用S402的循环神经网络模型，系统可以进行短期内目标行为的预测，例如目标的移动方向和速度。这有助于在短时间内理解目标的行为趋势。通过S403的卡尔曼滤波算法，对短期行为预测进行优化和滤波。这可以帮助系统更准确地估计目标的位置和速度，考虑到观测误差和不确定性。结合三维环境地图和优化后的行为预测，S404步骤生成目标的三维轨迹信息，这是目标预测的关键结果。最后，在S405步骤中，基于三维预测轨迹，系统可以绘制出动态目标的预期移动路径，提供了对目标未来行动的可视化表示。

请参阅图6，基于校正后的双目图像数据，采用Haar特征和支持向量机判断驾驶员疲劳状态，生成驾驶员状态报告的步骤具体为：

S501：基于校正后的双目图像数据，定位驾驶员面部区域，生成驾驶员面部图像；

S502：基于驾驶员面部图像，采用Haar特征提取算法获取面部特征，生成面部Haar特征；

S503：基于面部Haar特征，使用支持向量机判断驾驶员的眼部状态，生成眼部状态报告；

S504：结合眼部状态报告及面部Haar特征，综合判断驾驶员的疲劳程度，生成驾驶员状态报告。

通过S501步骤，从校正后的双目图像数据中定位并提取驾驶员的面部区域。这是检测的起始点，因为疲劳通常在面部特征中表现出来，特别是眼睛。使用S502的Haar特征提取算法，系统可以获取面部特征，特别是眼睛的位置和状态。这些特征有助于识别疲劳的迹象，如闭眼或眼睑下垂。基于面部Haar特征，S503步骤采用支持向量机等机器学习方法，对驾驶员的眼部状态进行判断，例如是否闭眼或频繁眨眼。这是疲劳检测的核心部分。最后，在S504步骤中，系统综合眼部状态报告及面部Haar特征，来判断驾驶员的疲劳程度，并生成驾驶员状态报告，用于提醒驾驶员或系统操作。

请参阅图7，基于动态目标预测轨迹和驾驶员状态报告，使用A*路径规划算法进行导航决策，生成智能导航路径与决策建议的步骤具体为：

S601：基于三维环境地图，构建导航的初始网格地图，生成导航网格地图；

S602：结合导航网格地图与动态目标预测轨迹，标注潜在碰撞风险区域，生成风险评估地图；

S603：基于风险评估地图和驾驶员状态报告，确定安全导航约束条件，生成导航约束条件；

S604：基于导航约束条件，采用A*路径规划算法搜索最优导航路径，生成初步导航路径；

S605：基于初步导航路径，进行路径平滑处理并综合考虑实时交通信息进行调整，生成优化后的导航路径；

S606：结合优化后的导航路径与驾驶员状态报告，提供驾驶决策建议，生成智能导航路径与决策建议。

通过S601步骤，基于三维环境地图，构建初始的网格地图，为导航做准备。这个地图将用于路径规划的基础。结合导航网格地图和动态目标预测轨迹，S602步骤标注潜在碰撞风险区域，生成风险评估地图。这有助于避免碰撞风险，提高导航的安全性。基于风险评估地图和驾驶员状态报告，S603步骤确定安全导航的约束条件，确保导航过程中考虑驾驶员状态和潜在风险。基于导航约束条件，S604步骤采用A*路径规划算法搜索最优导航路径。这个路径考虑了地图信息、动态目标轨迹和约束条件。在S605步骤，对初步导航路径进行平滑处理，同时综合实时交通信息，以生成优化后的导航路径，确保路径的流畅性和实时性。最后，在S606步骤中，结合优化后的导航路径和驾驶员状态报告，系统提供驾驶决策建议，例如变道、减速或继续前行，生成智能导航路径与决策建议。

请参阅图8，一种基于双目视觉的智能驾驶系统用于执行上述基于双目视觉的智能驾驶方法，基于双目视觉的智能驾驶系统包括图像处理模块、目标检测模块、三维场景构建模块、行为预测与导航模块、驾驶员状态监测模块。

图像处理模块基于双目图像采集数据，采用摄像头标定算法获取摄像头参数，并应用畸变纠正算法对图像进行校正，利用图像增强技术提升图像质量，生成校正后的双目图像数据；

目标检测模块基于校正后的双目图像数据，利用图像金字塔构建技术和滑动窗口方法，采用深度卷积神经网络进行目标检测，并采用非极大值抑制算法优化检测结果，生成目标检测报告；

三维场景构建模块基于目标检测报告，通过特征点检测算法和特征描述器计算特征描述，利用特征匹配算法进行双目图像间的特征匹配，采用三角测量法计算三维坐标，进而生成三维环境地图；

行为预测与导航模块基于三维环境地图，提取动态目标的状态信息，采用循环神经网络模型进行短期行为预测，并利用卡尔曼滤波对预测结果进行优化，结合安全导航约束条件进行路径规划和优化，生成智能导航路径与决策建议；

驾驶员状态监测模块基于校正后的双目图像数据，通过面部定位技术定位驾驶员的面部区域，并利用Haar特征提取算法获取面部特征，使用支持向量机判断驾驶员的眼部状态，综合判断驾驶员的疲劳程度，生成驾驶员状态报告。

通过双目图像校正和增强，该模块有助于提高图像的清晰度和质量。这有利于更准确地捕捉环境信息，减少图像畸变，提高系统的感知能力。

利用深度卷积神经网络进行目标检测，结合非极大值抑制算法进行结果优化，有助于系统高效准确地检测道路上的车辆、行人和其他障碍物。这提供了关键的环境感知能力，帮助系统做出正确的决策。

基于目标检测结果生成三维环境地图，使系统能够理解环境的空间结构。这有助于提供更准确的导航路径和决策，尤其是在需要避免障碍物或进行复杂的道路交互时。

利用三维环境地图和目标状态信息进行行为预测，再结合卡尔曼滤波进行结果优化，使系统能够更好地预测其他交通参与者的行为。这有助于提前采取适当的决策，确保驾驶的安全性和流畅性。

通过监测驾驶员的面部区域和眼部状态，系统可以检测到疲劳驾驶等危险行为。这有助于提醒驾驶员，减少事故的风险，提高驾驶安全性。

请参阅图9，图像处理模块包括摄像头标定子模块、图像校正子模块、图像增强子模块；

目标检测模块包括多尺度图像构建子模块、深度卷积神经网络子模块、目标优化子模块；

三维场景构建模块包括特征点检测子模块、特征描述子模块、特征匹配子模块；

行为预测与导航模块包括动态目标状态提取子模块、行为预测子模块、路径规划子模块；

驾驶员状态监测模块包括面部定位子模块、特征提取子模块、疲劳判断子模块。

首先，图像处理模块提供了对车辆周围环境的高效处理和优化。摄像头标定子模块确保摄像头的准确性和一致性，从而提供可靠的视觉输入。图像校正子模块纠正了图像中的畸变，使得车辆周围的物体显示更加真实。图像增强子模块进一步提高了图像的清晰度和对比度，有助于更好地识别目标和环境特征。

其次，目标检测模块通过多尺度图像构建子模块创建了多尺度的图像表示，这有助于检测不同大小的目标。深度卷积神经网络子模块提供了强大的目标检测能力，可以高效地识别车辆周围的物体和障碍物。目标优化子模块进一步提高了目标检测的准确性和稳定性，确保车辆能够准确感知周围环境。

第三，三维场景构建模块的特征点检测子模块可以识别场景中的关键特征点，特征描述子模块生成这些特征点的描述，而特征匹配子模块将不同帧之间的特征点相匹配，从而实现了高精度的三维场景构建。这有助于车辆理解周围环境的三维结构，支持导航和路径规划。

进一步，行为预测与导航模块包括了动态目标状态提取子模块，该模块有助于捕捉其他交通参与者的状态信息。行为预测子模块使用这些信息来预测其他车辆和行人的行为，帮助车辆做出智能驾驶决策。路径规划子模块则将这些决策翻译为安全的路径，以实现车辆的导航。

最后，驾驶员状态监测模块通过面部定位子模块和特征提取子模块来监测驾驶员的面部表情和姿态，以检测疲劳或分心驾驶。疲劳判断子模块则分析这些信息，及时警示驾驶员或采取措施以提高驾驶安全性。

以上，仅是本发明的较佳实施例而已，并非对本发明作其他形式的限制，任何熟悉本专业的技术人员可能利用上述揭示的技术内容加以变更或改型为等同变化的等效实施例应用于其他领域，但是凡是未脱离本发明技术方案内容，依据本发明的技术实质对以上实施例所做的任何简单修改、等同变化与改型，仍属于本发明技术方案的保护范围。

Claims (10)

1.一种基于双目视觉的智能驾驶方法，其特征在于，包括以下步骤：

基于双目摄像头，采用图像校正算法消除畸变，生成校正后的双目图像数据；

基于所述校正后的双目图像数据，采用深度卷积神经网络进行目标检测与分类，生成目标检测报告；

基于所述目标检测报告，使用SIFT特征匹配技术进行深度估计和三维场景重建，生成三维环境地图；

基于所述三维环境地图，结合循环神经网络和卡尔曼滤波，对目标轨迹进行预测，生成动态目标预测轨迹；

基于所述校正后的双目图像数据，采用Haar特征和支持向量机判断驾驶员疲劳状态，生成驾驶员状态报告；

基于所述动态目标预测轨迹和驾驶员状态报告，使用A*路径规划算法进行导航决策，生成智能导航路径与决策建议。

2.根据权利要求1所述的基于双目视觉的智能驾驶方法，其特征在于，基于双目摄像头，采用图像校正算法消除畸变，生成校正后的双目图像数据的步骤具体为：

采用摄像头标定算法进行双目摄像头参数获取，生成摄像头参数报告；

基于所述摄像头参数报告，采用畸变纠正算法进行初步图像纠正，生成初步校正的图像数据；

基于所述初步校正的图像数据，采用图像增强技术提升图像质量，生成增强后的图像数据；

基于所述增强后的图像数据，采用图像对齐技术保证双目图像对齐，生成对齐的双目图像数据；

基于所述对齐的双目图像数据，进行深度估计初始化以提供深度信息，生成深度估计图；

基于所述深度估计图，采用图像校正算法进行畸变纠正，生成校正后的双目图像数据。

3.根据权利要求1所述的基于双目视觉的智能驾驶方法，其特征在于，基于所述校正后的双目图像数据，采用深度卷积神经网络进行目标检测与分类，生成目标检测报告的步骤具体为：

基于所述校正后的双目图像数据，采用图像金字塔构建技术，提升目标检测的尺度适应性，生成多尺度图像金字塔；

基于所述多尺度图像金字塔，采用滑动窗口技术进行初步目标定位，生成初步目标定位框；

基于所述初步目标定位框，采用深度卷积神经网络进行目标特征提取，生成目标特征数据；

基于所述目标特征数据，采用非极大值抑制算法优化目标框位置，生成优化后的目标定位框；

基于所述优化后的目标定位框，采用Softmax分类器进行目标分类识别，生成目标分类标签；

结合所述目标分类标签与优化后的目标定位框，形成完整的目标检测结果，生成目标检测报告。

4.根据权利要求1所述的基于双目视觉的智能驾驶方法，其特征在于，基于所述目标检测报告，使用SIFT特征匹配技术进行深度估计和三维场景重建，生成三维环境地图的步骤具体为：

基于所述目标检测报告，采用FAST角点检测算法在双目图像中找到特征点，生成角点特征集；

基于所述角点特征集，采用SIFT特征描述器计算特征描述，生成特征描述数据；

基于所述特征描述数据，采用BF匹配器进行双目图像间特征匹配，生成特征匹配对；

基于所述特征匹配对，使用三角测量法计算三维坐标，生成三维坐标数据；

基于所述三维坐标数据，采用点云融合技术整合为完整三维场景，生成初步三维点云场景；

基于所述初步三维点云场景，使用点云平滑算法进行优化处理，生成三维环境地图。

5.根据权利要求1所述的基于双目视觉的智能驾驶方法，其特征在于，基于所述三维环境地图，结合循环神经网络和卡尔曼滤波，对目标轨迹进行预测，生成动态目标预测轨迹的步骤具体为：

基于所述三维环境地图，提取动态目标的初始位置和速度信息，生成动态目标初始状态；

基于所述动态目标初始状态，采用循环神经网络模型预测短期内目标的行为，生成短期行为预测；

基于所述短期行为预测，采用卡尔曼滤波算法对预测的结果进行优化和滤波，生成优化后的行为预测；

结合所述三维环境地图与优化后的行为预测，生成目标的三维轨迹信息，生成三维预测轨迹；

基于所述三维预测轨迹，绘制动态目标的预期移动路径，生成动态目标预测轨迹。

6.根据权利要求1所述的基于双目视觉的智能驾驶方法，其特征在于，基于所述校正后的双目图像数据，采用Haar特征和支持向量机判断驾驶员疲劳状态，生成驾驶员状态报告的步骤具体为：

基于所述校正后的双目图像数据，定位驾驶员面部区域，生成驾驶员面部图像；

基于所述驾驶员面部图像，采用Haar特征提取算法获取面部特征，生成面部Haar特征；

基于所述面部Haar特征，使用支持向量机判断驾驶员的眼部状态，生成眼部状态报告；

结合所述眼部状态报告及面部Haar特征，综合判断驾驶员的疲劳程度，生成驾驶员状态报告。

7.根据权利要求1所述的基于双目视觉的智能驾驶方法，其特征在于，基于所述动态目标预测轨迹和驾驶员状态报告，使用A*路径规划算法进行导航决策，生成智能导航路径与决策建议的步骤具体为：

基于所述三维环境地图，构建导航的初始网格地图，生成导航网格地图；

结合所述导航网格地图与动态目标预测轨迹，标注潜在碰撞风险区域，生成风险评估地图；

基于所述风险评估地图和驾驶员状态报告，确定安全导航约束条件，生成导航约束条件；

基于所述导航约束条件，采用A*路径规划算法搜索最优导航路径，生成初步导航路径；

基于所述初步导航路径，进行路径平滑处理并综合考虑实时交通信息进行调整，生成优化后的导航路径；

结合所述优化后的导航路径与驾驶员状态报告，提供驾驶决策建议，生成智能导航路径与决策建议。

8.一种基于双目视觉的智能驾驶系统，其特征在于，所述基于双目视觉的智能驾驶系统用于执行权利要求1-7任一所述的基于双目视觉的智能驾驶方法，所述基于双目视觉的智能驾驶系统包括图像处理模块、目标检测模块、三维场景构建模块、行为预测与导航模块、驾驶员状态监测模块。

9.根据权利要求8所述的基于双目视觉的智能驾驶系统，其特征在于，所述图像处理模块基于双目图像采集数据，采用摄像头标定算法获取摄像头参数，并应用畸变纠正算法对图像进行校正，利用图像增强技术提升图像质量，生成校正后的双目图像数据；

所述目标检测模块基于校正后的双目图像数据，利用图像金字塔构建技术和滑动窗口方法，采用深度卷积神经网络进行目标检测，并采用非极大值抑制算法优化检测结果，生成目标检测报告；

所述三维场景构建模块基于目标检测报告，通过特征点检测算法和特征描述器计算特征描述，利用特征匹配算法进行双目图像间的特征匹配，采用三角测量法计算三维坐标，进而生成三维环境地图；

所述行为预测与导航模块基于三维环境地图，提取动态目标的状态信息，采用循环神经网络模型进行短期行为预测，并利用卡尔曼滤波对预测结果进行优化，结合安全导航约束条件进行路径规划和优化，生成智能导航路径与决策建议；

所述驾驶员状态监测模块基于校正后的双目图像数据，通过面部定位技术定位驾驶员的面部区域，并利用Haar特征提取算法获取面部特征，使用支持向量机判断驾驶员的眼部状态，综合判断驾驶员的疲劳程度，生成驾驶员状态报告。

10.根据权利要求8所述的基于双目视觉的智能驾驶系统，其特征在于，所述图像处理模块包括摄像头标定子模块、图像校正子模块、图像增强子模块；

所述目标检测模块包括多尺度图像构建子模块、深度卷积神经网络子模块、目标优化子模块；

所述三维场景构建模块包括特征点检测子模块、特征描述子模块、特征匹配子模块；

所述行为预测与导航模块包括动态目标状态提取子模块、行为预测子模块、路径规划子模块；

所述驾驶员状态监测模块包括面部定位子模块、特征提取子模块、疲劳判断子模块。