CN112180605B - 一种基于增强现实的辅助驾驶系统 - Google Patents

一种基于增强现实的辅助驾驶系统 Download PDF

Info

Publication number
CN112180605B
CN112180605B CN202011122820.XA CN202011122820A CN112180605B CN 112180605 B CN112180605 B CN 112180605B CN 202011122820 A CN202011122820 A CN 202011122820A CN 112180605 B CN112180605 B CN 112180605B
Authority
CN
China
Prior art keywords
vehicle
early warning
driving
driver
real
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011122820.XA
Other languages
English (en)
Other versions
CN112180605A (zh
Inventor
李学钧
戴相龙
蒋勇
王晓鹏
何成虎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiangsu Haohan Information Technology Co ltd
Original Assignee
Jiangsu Haohan Information Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jiangsu Haohan Information Technology Co ltd filed Critical Jiangsu Haohan Information Technology Co ltd
Priority to CN202011122820.XA priority Critical patent/CN112180605B/zh
Publication of CN112180605A publication Critical patent/CN112180605A/zh
Application granted granted Critical
Publication of CN112180605B publication Critical patent/CN112180605B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • B60K35/213—
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q9/00—Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type

Abstract

本发明提供了一种基于增强现实的辅助驾驶系统。包括：前视场景采集模块：用于在轨道车辆前方和路侧预设的传感器和摄像头，并在在行驶时采集前视场景信息，同时发送至模拟显示模块；行驶场景采集模块：用于在轨道车辆两侧预设识别摄像头和车辆MVB系统，并在行驶时采集车辆状态信息，同时发送至模拟显示模块；模拟显示模块：用于接收所述前视场景信息，在驾驶员的智能眼镜上生成前视场景影像，并接收所述车辆状态信息，在驾驶员的智能眼镜上生成轨道车辆的实时行驶场景影像；辅助模块：用于对所述前视场景影像和实时行驶场景影像进行分析，并根据分析结果对所述驾驶员进行语音播报。

Description

一种基于增强现实的辅助驾驶系统
技术领域
本发明涉及辅助驾驶技术领域，特别涉及一种基于增强现实的辅助驾驶系统。
背景技术
目前，轨道车辆在运输量、舒适度、抗特殊天气，还是最优的选择，但是，在汽车车辆在不断推陈出新的今天，轨道车辆在驾驶上也是一个急需要改变的方向。在驾驶方面，现有的轨道车辆因为事故少，在驾驶环境上，驾驶员的作用只是监测数据，进行制动和牵引和观察车辆的实施数据，对于轨道两侧可能存在障碍物等，只能靠驾驶员的前视才能观察到，没有驾驶辅助系统(Advanced Driving Assistance System)。因此，现有的虚拟现实系统作为增强现实的一种技术，利用安装在车上的各式各样传感器，在列车行驶过程中随时来感应周围的环境，收集数据，进行静态、动态物体的辨识、侦测与追踪，并结合导航地图数据，进行系统的运算与分析，从而预先让驾驶者察觉到可能发生的危险，有效增加列车驾驶的舒适性和安全性是在高铁或火车等提速越来越快、里程越来越长的大环境下需要进行研发的方向。
但是，现有的虚拟现实系统一般只能够在游戏中，模拟行驶环境对于驾驶环境时无法模拟的，而且对于驾驶场景的增强现实，在现有技术中，增强现实的辅助驾驶系统存在数据获取不全面。
发明内容
本发明提供一种基于增强现实的辅助驾驶系统，用以解决现有的增强现实技术只是对行驶环境的进行增强显示，而且数据获取不全面的问题的情况。
一种基于增强现实的辅助驾驶系统，其特征在于，包括：
前视场景采集模块：用于在轨道车辆前方和路侧预设的传感器和摄像头，并在在行驶时采集前视场景信息，同时发送至模拟显示模块；
行驶场景采集模块：用于在轨道车辆两侧预设识别摄像头和车辆 MVB系统，并在行驶时采集车辆状态信息，同时发送至模拟显示模块；
模拟显示模块：用于接收所述前视场景信息，在驾驶员的智能眼镜上生成前视场景影像，并接收所述车辆状态信息，在驾驶员的智能眼镜上生成轨道车辆的实时行驶场景影像；
辅助模块：用于对所述前视场景影像和实时行驶场景影像进行分析，并根据分析结果对所述驾驶员进行语音播报。
作为本发明的一种实施例，所述前视场景采集模块包括：
车道采集单元：用于通过车辆上预设GPS装置，确定车辆行驶时的位置信息；其中，
所述位置信息包括经纬度信息和车道信息；
轨道单元：用于通过车辆正前方设置的CCD探测相机，确定前视轨道图片；
路况采集单元：用于通过路侧预设的CCD探测相机，获取路侧图片，并确定行驶时的实时路况；其中，
所述实时路况包括：路面障碍物信息、路侧行人信息、路侧交通标志信息和路面轨道岔道信息；
场景生成单元：用于接收所述位置信息、前视轨道图片和实时路况，生成前视场景信息。
作为本发明的一种实施例，所述行驶场景采集模块包括：
路侧采集单元：用于通过轨道车辆两侧设置的人脸识别摄像头、车速识别摄像头、异常捕捉摄像头，获取路侧的实时路况；
行驶采集单元：用于通过所述轨道车辆两侧设置传感器，确定不同轨道的车距和路侧障碍物的障碍距离；
车速采集单元：用于通过所述驾驶室内的显示屏，获取实时车速数据；
角度采集单元：用于通过所述驾驶室内的显示屏，获取车辆行驶方向的角度数据；
里程采集单元：用于通过所述驾驶室内的显示屏，获取实时里程数据。
作为本发明的一种实施例，所述模拟显示模块包括：
行驶模拟单元：用于将所述前视场景信息车辆状态信息通过AR 仿真技术处理，生成前视场景影像和实时行驶场景影像；其中，
所述实时行驶影像包括：路面影像、车距影像、车辆侧面行人影像、路侧的交通标志信息；
智能眼镜单元：用于接收所述前视场景影像和实时行驶场景影像，并形成虹膜可控的广角视觉影像；其中，
所述广角视觉影像包括：前视广角影像、左侧场景广角影像、右侧广角影像和车体的广角影像。
作为本发明的一种实施例，所述模拟显示模块还包括：
车道显示单元：用于根据所述前视场景影像，通过对不同的轨道进行轨道标记；其中，
在所述轨道标记包括路线标记和分叉标记；
车辆近距显示单元：用于根据所述模拟行驶影像，通过智能眼镜显示车辆行驶时左车距离和右车距离；
行人显示单元：用于根据所述模拟行驶影像，通过智能眼镜显示车辆行驶时的行人数量和行人位置；
盲区显示单元：用于根据所述模拟行驶影像，在通过智能眼镜显示车辆的行驶场景时，对车辆的显示盲区进行区域标记；
虚拟保险杠显示单元：用于根据所述模拟行驶影像，通过智能眼镜在车辆前侧模拟显示车辆的保险杠；
交通标识显示单元：用于根据所述模拟行驶影像，通过智能眼镜显示在路侧的交通标志；其中，
所述交通标志包括：交通指示牌和测速摄像设备。
作为本发明的一种实施例，所述辅助模块包括：
阻力采集单元：用于预设单位时间，并在两个连续的单位时间内获取车辆的实时车速，确定车辆的阻力；
湿滑状态采集单元：用于根据车辆的阻力，确定车辆的湿滑系数；
滑行预测单元：用于根据就所述湿滑系数，判断在不同速度下，车辆的滑行距离，并生成动态滑行距离曲线；
第一预警标准设定单元：用于根据所述动态滑行距离曲线，通过预测算法预测车辆发生故障的第一预警限值，并生成动态的第一预警标准；其中，
所述预警标准包括：车道偏离预警标准、车辆近距预警标准、车辆碰撞预警标准、行人距离预警标准和盲区分布预警标准。
作为本发明的一种实施例，所述辅助模块还包括：
语音提醒单元：用于根据所述前视场景影像和实时行驶场景影像，通过预设的语音播报系统对驾驶员进行导航播报和异常播报；
事故判断单元：用于根据所述异常播报，判断驾驶员的驾驶状态和发生驾驶事故的关联度；其中，
所述关联度包括：驾驶员的位姿与发生驾驶事故的关联度、驾驶员的眼睛睁开状态与发生驾驶事故的关联度和驾驶员的情绪与发生驾驶事故的关联度；
第一预警标准设定单元：用于根据所述驾驶员的驾驶状态和发生驾驶事故的关联度，通过预测算法预测车辆发生故障的的第二预警限值，并生成第二预警标准；
预警标准单元：用于通过所述第一预警标准和第二预警标准，生成预警标准。
作为本发明的一种实施例，所述辅助模块还包括：
车道偏离预警：用于根据所述前视场景影像和所述预警标准，判断轨道车辆在岔道时的，若车道偏离预设路线，执行车道偏离报警；
近距报警：用于根据所述前视场景影像、实时行驶场景影像和所述预警标准，判断左右的车辆距离或障碍物距离是否超过预警标准，并在车辆可能发生事故时，执行近距报警；
碰撞预警：用于根据所述模拟行驶影像和所述预警标准，判断车辆是否会发生碰撞，并在碰撞前，打出碰撞预警；
行人预警：用于根据所述前视场景影像、实时行驶场景影像和所述预警，判断车辆是否会碰撞到行人，执行行人报警；
盲区报警：用于根据所前视场景影像、实时行驶场景影像和所述预警标准，判断盲区分布的区域，根据所述盲区分布区域，执行盲区分布报警；
驾驶员状态报警：用于根据所述前视场景影像和实时行驶场景影像，判断驾驶员的驾驶状态是否符合预警标准，并执行驾驶状态报警。
作为本发明的一种实施例，所述辅助模块还包括：
报警顺序单元：用于根据所述预警标准，判断超过所述预警标准时，发生事故对车辆驾驶员的影响度，并根据所述影响度，判断所述预警标准的优先度，并根据所述优先度，对所述报警标准进行分级，确定报警顺序；
语音报警单元：用于根据所述报警顺序，在不同的报警状态下执行报警，并通过调取预设在报警数据库的报警语音，进行语音报警。
声光报警单元：用于在驾驶员的驾驶状态不足以根据语音报警调整车辆状态时，控制所述车辆执行自动控制，并通过车辆外部的灯和车辆的喇叭执行声光报警。
作为本发明的一种实施例，所述辅助模块根据所述预警标准执行预警报警包括以下步骤：
步骤1：获取前视场景影像和实时行驶场景影像，并确定场景特征W；
Figure DEST_PATH_686076DEST_PATH_IMAGE002
其中，所述θt表示t时刻轨道的角度；所述A表示车辆的行驶特征；所述δt表示t时刻车辆的状态；所述B表示车辆的驾驶特征；所述n表示行驶特征数；所述m表示驾驶特征数；
步骤2：根据实时路况信息，确定车辆的路况特征L；
Figure GDA0003000479610000071
其中，所述ζ表示路段长度；所述Mt表示t时刻路面的车辆密度；所述qt表示t时刻路面的路况；所述Bt表示t时刻路面的车辆密度的变化量；所述Zt表示t时刻路面红灯数量；
步骤4：根据所述环境状态，确定环境特征H：
Figure GDA0003000479610000072
其中，所述Tt表示t时刻路面的天气参数；所述Kt表示t时刻可见度；
步骤5：根据所述驾驶状态，确定驾驶员的驾驶特征J：
Figure GDA0003000479610000073
其中，所述ρ表示身体素质参数；所述Y表示驾驶员已经驾驶的里程；所述S表示驾驶员已经驾驶的时常；所述G(t)表示t时刻驾驶员的驾驶状态；所述G(t-1)表示t-1时刻驾驶员的驾驶状态；所述
Figure GDA0003000479610000074
其中，所述yi表示第i张驾驶者图像中驾驶者的眼睛状态参数；所述yl表示驾驶者的正常眼睛状态参数；所述 bi表示第i张驾驶者图像中驾驶者的脸部状态参数；所述bl表示驾驶者的脸部状态参数；
步骤6：融合所述驾驶特征、环境特征、路况特征和位置特征，判断是否执行预警报警：
Figure GDA0003000479610000081
所述κi表示第i张驾驶者图像中预警标准的预警特征；
其中，当
Figure GDA0003000479610000082
时，表示不执行预警报警；当
Figure GDA0003000479610000083
时，表示执行预警报警。
本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书以及附图中所特别指出的结构来实现和获得。
下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。
附图说明
附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。
在附图中：
图1为本发明实施例中一种基于增强现实的辅助驾驶系统的系统组成图。
具体实施方式
以下结合附图对本发明的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明。
如附图1所示，本发明为一种基于增强现实的辅助驾驶系统，包括：
前视场景采集模块：用于在轨道车辆前方和路侧预设的传感器和摄像头，并在在行驶时采集前视场景信息，同时发送至模拟显示模块；
行驶场景采集模块：用于在轨道车辆两侧预设识别摄像头和车辆 MVB系统，并在行驶时采集车辆状态信息，同时发送至模拟显示模块；
模拟显示模块：用于接收所述前视场景信息，在驾驶员的智能眼镜上生成前视场景影像，并接收所述车辆状态信息，在驾驶员的智能眼镜上生成轨道车辆的实时行驶场景影像；
辅助模块：用于对所述前视场景影像和实时行驶场景影像进行分析，并根据分析结果对所述驾驶员进行语音播报。
上述技术方案的原理在于：本发明基于外部场景采集模块、行驶场景采集模块、模拟显示模块和辅助模块：通过采集驾驶员在行驶时行驶环境的行驶数据以及驾驶员的实时驾驶状态数据，通过构建虚拟的驾驶影像和行驶影像，构建虚拟的驾驶场景，增强驾驶员在驾驶时从环境到自身的整个驾驶体系的现实观感，进而通过本发明的辅助驾驶系统，根据整个驾驶体系的现实观感，会在具有实时的驾驶场景和行驶场景超过预设的驾驶标准时，会执行报警。
上述技术方案的有益效果在于：本发明通过采集车辆在行驶时的驾驶场景和行驶场景，基于车辆的行驶状态，通过虚拟现实技术，构建车辆的实时行驶状态和驾驶员的实时驾驶状态的实时影像，并将这些实时影像通过驾驶员佩戴的智能眼镜进行显示，智能眼镜基于VR 识别技术，在显示的同时，不断进行语音提示，而且在超过设定的预警阈值的情况下，还能够执行预警报警。不仅能够实时提醒驾驶者注意路况，更加能够根据实时场景和驾驶员状态进行报警，防止出现意外事件。
在一个实施例中：所述前视场景采集模块包括：
车道采集单元：用于通过车辆上预设GPS装置，确定车辆行驶时的位置信息；其中，
所述位置信息包括经纬度信息和车道信息；
轨道单元：用于通过车辆正前方设置的CCD探测相机，确定前视轨道图片；
路况采集单元：用于通过路侧预设的CCD探测相机，获取路侧图片，并确定行驶时的实时路况；其中，
所述实时路况包括：路面障碍物信息、路侧行人信息、路侧交通标志信息和路面轨道岔道信息；
场景生成单元：用于接收所述位置信息、前视轨道图片和实时路况，生成前视场景信息。所述实时路况包括：路面障碍物信息(例如路面的垃圾、滚石等)、路侧行人信息(路面的行人，道路施工人员等)、路侧交通标志信息(路侧的限速牌、方向、里程)和路面交通线道信息(轨道上的岔道标志)。
上述技术方案的有益效果在于：本发明可以通过GPS信息确定车辆在路面的位置，从而在进行虚拟影像设置时，可以仿真车辆在路面的车道，行人、障碍物和其他车，确定车道信息，使得驾驶员便于在驾驶时，防止撞到其他车辆，也可以防止违反交通规则。
在一个实施例中：所述行驶场景采集模块包括：
路侧采集单元：用于通过轨道车辆两侧设置的人脸识别摄像头、车速识别摄像头、异常捕捉摄像头，获取路侧的实时路况；
行驶采集单元：用于通过所述轨道车辆两侧设置传感器，确定不同轨道的车距和路侧障碍物的障碍距离；
车速采集单元：用于通过所述驾驶室内的显示屏，获取实时车速数据；角度采集单元：用于通过所述驾驶室内的显示屏，获取车辆行驶方向的角度数据；
里程采集单元：用于通过所述驾驶室内的显示屏，获取实时里程数据。
在一个实施例中：所述模拟显示模块包括：
行驶模拟单元：用于将所述前视场景信息车辆状态信息通过AR 仿真技术处理，生成前视场景影像和实时行驶场景影像；其中，
所述实时行驶影像包括：路面影像、车距影像、车辆侧面行人影像、路侧的交通标志信息；
智能眼镜单元：用于接收所述前视场景影像和实时行驶场景影像，并形成虹膜可控的广角视觉影像；其中，
所述广角视觉影像包括：前视广角影像、左侧场景广角影像、右侧广角影像和车体的广角影像。
上述技术方案的有益效果在于：本发明通过对驾驶员的实时行驶影像(即路面影像、车辆前后和左右的车辆的车距影像、车辆前后和左右的行人影像、路侧的交通标志信息、路面的行驶轨迹信息)增强了驾驶员对路面的观感。通过人像位姿可一提醒驾驶员保持一个良好的驾驶姿态，通过视角姿态可以提醒驾驶员注意看前方车辆。通过表情模拟可以提醒用户如果适合驾驶，就主动驾驶，如果不适合驾驶，就提醒驾驶员路边停止开车。
在一个实施例中：所述模拟显示模块还包括：
车道显示单元：用于根据所述前视场景影像，通过对不同的轨道进行轨道标记；其中，
在所述轨道标记包括路线标记和分叉标记；
车辆近距显示单元：用于根据所述模拟行驶影像，通过智能眼镜显示车辆行驶时左车距离和右车距离；
行人显示单元：用于根据所述模拟行驶影像，通过智能眼镜显示车辆行驶时的行人数量和行人位置；
盲区显示单元：用于根据所述模拟行驶影像，在通过车辆内部的显示器显示车辆的行驶场景时，对车辆的显示盲区进行区域标记；
虚拟保险杠显示单元：用于根据所述模拟行驶影像，通过智能眼镜在车辆前侧模拟显示车辆的保险杠；
交通标识显示单元：用于根据所述模拟行驶影像，通过车辆内部的显示器显示在路侧的交通标志；其中，
所述交通标志包括：交通指示牌和测速摄像设备。
上述技术方案的有益效果在于：本发明通过车道实时显示，包括行驶轨迹和岔道线路，火车或高铁，存在岔道口进行分道，本发明防止驾驶者的火车行驶偏离路线，进入别的岔道。通过车距显示，防止车辆和其他车辆相距太近(火车的轨道侧可能存在巡检的巡检车，这些巡检车存在轨道车和非轨道车两种)，可能导致车辆相撞，通过行人显示单元，显示行人位置，从而提醒用户附近有人，进而撞到行人。通过盲区提醒，防止驾驶员盲区无法观察到，虚拟保险杠显示单元可以防止驾驶员撞到其他车辆，通过交通标识显示单元可以实时显示交通标识，防止驾驶者违规。
在一个实施例中：所述辅助模块包括：
阻力采集单元：用于预设单位时间，并在两个连续的单位时间内获取车辆的实时车速，确定车辆的阻力；
湿滑状态采集单元：用于根据车辆的阻力，确定车辆的湿滑系数；
滑行预测单元：用于根据就所述湿滑系数，判断在不同速度下，车辆的滑行距离，并生成动态滑行距离曲线；
第一预警标准设定单元：用于根据所述动态滑行距离曲线，通过预测算法预测车辆发生故障的第一预警限值，并生成动态的第一预警标准；其中，
所述预警标准包括：车道偏离预警标准、车辆近距预警标准、车辆碰撞预警标准、行人距离预警标准和盲区分布预警标准。
上述技术方案的有益效果：第一预警标准设置单元设置的是驾驶员驾驶环境的预警标准，通过设置预警标准，可以防止用户超过预警的限值。出现基于行驶环境的意外事故，例如东北地区或者高寒的西藏，会存在火车轨道比较滑的问题。
在一个实施例中：所述辅助模块还包括：
语音提醒单元：用于根据所述前视场景影像和实时行驶场景影像，通过预设的语音播报系统对驾驶员进行导航播报和异常播报；
事故判断单元：用于根据所述异常播报，判断驾驶员的驾驶状态和发生驾驶事故的关联度；其中，
所述关联度包括：驾驶员的位姿与发生驾驶事故的关联度、驾驶员的眼睛睁开状态与发生驾驶事故的关联度和驾驶员的情绪与发生驾驶事故的关联度；
第一预警标准设定单元：用于根据所述驾驶员的驾驶状态和发生驾驶事故的关联度，通过预测算法预测车辆发生故障的第二预警限值，并生成第二预警标准；
预警标准单元：用于通过所述第一预警标准和第二预警标准，生成预警标准。
上述技术方案的有益效果在于：本发明通过设置语音提醒的功能，通过提醒，加强驾驶员的状态标准，也能判断驾驶员的实时状态是不是适合驾驶员开车，在不适合驾驶员开车的时候，提醒驾驶员停止开车，适合驾驶员开车，则不做提醒。防止因为驾驶原自身状态而发生事故。
在一个实施例中：所述辅助模块还包括：
车道偏离预警：用于根据所述模拟行驶影像和所述预警标准，判断车辆行驶的车道是否偏离，并在车道偏离时，执行车道偏离报警；
近距报警：用于根据所述模拟行驶影像和所述预警标准，判断左右的车辆距离是否超过预警标准，并在车辆可能发生事故时，执行近距报警；
碰撞预警：用于根据所述模拟行驶影像和所述预警标准，判断车辆是否会发生碰撞，并在碰撞前，打出碰撞预警；
行人预警：用于根据所述模拟行驶影像和所述预警标准，判断车辆是否会碰撞到行人，执行行人报警；
盲区报警：用于根据所述模拟行驶影像和所述预警标准，判断盲区分布的区域，根据所述盲区分布区域，执行盲区分布报警；
驾驶员状态报警：用于根据所述模拟驾驶影像，判断驾驶员的驾驶状态是否符合预警标准，并执行驾驶状态报警。
在一个实施例中：所述辅助模块还包括：
报警顺序单元：用于根据所述预警标准，判断超过所述预警标准时，发生事故对车辆驾驶员的影响度，并根据所述影响度，判断所述预警标准的优先度，并根据所述优先度，对所述报警标准进行分级，确定报警顺序；
语音报警单元：用于根据所述报警顺序，在不同的报警状态下执行报警，并通过调取预设在报警数据库的报警语音，进行语音报警。
声光报警单元：用于在驾驶员的驾驶状态不足以根据语音报警调整车辆状态时，控制所述车辆执行自动控制，并通过车辆外部的灯和车辆的喇叭执行声光报警。
上述技术方案的有益效果在于：本发明在报警方面，语音报警和声光报警分别对应不同的优先度对应的预警等级，例如发生车祸，会执行声光报警，而发生尾骨，会执行语音报警。
在一个实施例中：所述辅助模块根据所述预警标准执行预警报警包括以下步骤：
步骤1：获取前视场景影像和实时行驶场景影像，并确定场景特征W；
Figure 229092DEST_PATH_686076DEST_PATH_IMAGE002
其中，所述θt表示t时刻轨道的角度；所述A表示车辆的行驶特征；所述δt表示t时刻车辆的状态；所述B表示车辆的驾驶特征；所述n表示行驶特征数；所述m表示驾驶特征数；
步骤2：根据实时路况信息，确定车辆的路况特征L；
Figure GDA0003000479610000152
其中，所述ζ表示路段长度；所述Mt表示t时刻路面的车辆密度；所述qt表示t时刻路面的路况；所述Bt表示t时刻路面的车辆密度的变化量；所述Zt表示t时刻路面红灯数量；
步骤4：根据所述环境状态，确定环境特征H：
Figure GDA0003000479610000161
其中，所述Tt表示t时刻路面的天气参数；所述Kt表示t时刻可见度；
步骤5：根据所述驾驶状态，确定驾驶员的驾驶特征J：
Figure GDA0003000479610000162
其中，所述ρ表示身体素质参数；所述Y表示驾驶员已经驾驶的里程；所述S表示驾驶员已经驾驶的时常；所述G(t)表示t时刻驾驶员的驾驶状态；所述G(t-1)表示t-1时刻驾驶员的驾驶状态；所述
Figure GDA0003000479610000163
其中，所述yi表示第i张驾驶者图像中驾驶者的眼睛状态参数；所述yl表示驾驶者的正常眼睛状态参数；所述 bi表示第i张驾驶者图像中驾驶者的脸部状态参数；所述bl表示驾驶者的脸部状态参数；
步骤6：融合所述驾驶特征、环境特征、路况特征和位置特征，判断是否执行预警报警：
Figure GDA0003000479610000164
所述κi表示第i张驾驶者图像中预警标准的预警特征；
其中，当
Figure GDA0003000479610000165
时，表示不执行预警报警；当
Figure GDA0003000479610000166
时，表示执行预警报警。
上述技术方案的原理和有益效果在于：本发明在判断是否需要进行预警报警时，首先会根据车辆实时的前视场景影像和实时行驶场景影像，确定车辆的实时行驶特征，而在实时的路况确定之后，会基于路况，判断得到实时路况的特征，再通过环境即当天的天气和时间，确定了行驶环境的环境特征。通过驾驶员身体状态，确定了驾驶元的驾驶状态，最后基于预警标准实现是否进行报警的判断，当可能发生异常事件时，通过预警报警执行报警程序。但是不发生异常时，就会处于系统的默认状态，不执行操作，只显示驾驶员的实时场景。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (9)

1.一种基于增强现实的辅助驾驶系统，其特征在于，包括：
前视场景采集模块：用于在轨道车辆前方和路侧预设的传感器和摄像头，并在行驶时采集前视场景信息，同时发送至模拟显示模块；
行驶场景采集模块：用于在轨道车辆两侧预设识别摄像头和车辆MVB系统，并在行驶时采集车辆状态信息，同时发送至模拟显示模块；
模拟显示模块：用于接收所述前视场景信息，在驾驶员的智能眼镜上生成前视场景影像，并接收所述车辆状态信息，在驾驶员的智能眼镜上生成轨道车辆的实时行驶场景影像；
辅助模块：用于对所述前视场景影像和实时行驶场景影像进行分析，并根据分析结果对所述驾驶员进行语音播报；
所述辅助模块根据预警标准执行预警报警包括以下步骤：
步骤1：获取前视场景影像和实时行驶场景影像，并确定场景特征
Figure 144237DEST_PATH_IMAGE001
；
Figure 686076DEST_PATH_IMAGE002
；
其中，所述
Figure 919612DEST_PATH_IMAGE003
表示
Figure 156689DEST_PATH_IMAGE004
时刻轨道的角度；所述
Figure 133872DEST_PATH_IMAGE005
表示车辆的行驶特征；所述
Figure 264639DEST_PATH_IMAGE006
表示
Figure 669076DEST_PATH_IMAGE004
时刻车辆的状态；所述
Figure 636858DEST_PATH_IMAGE007
表示车辆的驾驶特征；所述
Figure 152153DEST_PATH_IMAGE008
表示行驶特征数；所述
Figure 403005DEST_PATH_IMAGE009
表示驾驶特征数；
步骤2：根据实时路况信息，确定车辆的路况特征
Figure 978343DEST_PATH_IMAGE010
；
Figure 190013DEST_PATH_IMAGE011
；
其中，所述
Figure 774578DEST_PATH_IMAGE012
表示路段长度；所述
Figure 879937DEST_PATH_IMAGE013
表示
Figure 750810DEST_PATH_IMAGE004
时刻路面的车辆密度；所述
Figure 308830DEST_PATH_IMAGE014
表示
Figure 431507DEST_PATH_IMAGE004
时刻路面的路况；所述
Figure 391373DEST_PATH_IMAGE015
表示
Figure 183879DEST_PATH_IMAGE004
时刻路面的车辆密度的变化量；所述
Figure 494775DEST_PATH_IMAGE016
表示
Figure 155564DEST_PATH_IMAGE004
时刻路面红灯数量；
步骤4：根据环境状态，确定环境特征
Figure 969936DEST_PATH_IMAGE017
：
Figure 448191DEST_PATH_IMAGE018
；
其中，所述
Figure 980803DEST_PATH_IMAGE019
表示
Figure 445282DEST_PATH_IMAGE004
时刻路面的天气参数；所述
Figure 114161DEST_PATH_IMAGE020
表示
Figure 514050DEST_PATH_IMAGE004
时刻可见度；
步骤5：根据驾驶状态，确定驾驶员的驾驶特征
Figure 533958DEST_PATH_IMAGE021
：
Figure 536549DEST_PATH_IMAGE022
；
其中，所述
Figure 325514DEST_PATH_IMAGE023
表示身体素质参数；所述
Figure 145571DEST_PATH_IMAGE024
表示驾驶员已经驾驶的里程；所述
Figure 387197DEST_PATH_IMAGE025
表示驾驶员已经驾驶的时常；所述
Figure 193479DEST_PATH_IMAGE026
表示
Figure 102529DEST_PATH_IMAGE004
时刻驾驶员的驾驶状态；所述
Figure 578641DEST_PATH_IMAGE027
表示
Figure 573141DEST_PATH_IMAGE028
时刻驾驶员的驾驶状态；所述
Figure 917535DEST_PATH_IMAGE029
；其中，所述
Figure 681092DEST_PATH_IMAGE030
表示第
Figure 187159DEST_PATH_IMAGE031
张驾驶者图像中驾驶者的眼睛状态参数；所述
Figure 59169DEST_PATH_IMAGE032
表示驾驶者的正常眼睛状态参数；所述
Figure 207254DEST_PATH_IMAGE033
表示第
Figure 825317DEST_PATH_IMAGE031
张驾驶者图像中驾驶者的脸部状态参数；所述
Figure 908811DEST_PATH_IMAGE034
表示驾驶者的脸部状态参数；
步骤6：融合所述驾驶特征、环境特征、路况特征和位置特征，判断是否执行预警报警：
Figure 346745DEST_PATH_IMAGE035
；
所述
Figure 32942DEST_PATH_IMAGE036
表示第
Figure 771090DEST_PATH_IMAGE031
张驾驶者图像中预警标准的预警特征；
其中，当
Figure 884540DEST_PATH_IMAGE037
时，表示不执行预警报警；当
Figure 199984DEST_PATH_IMAGE038
时，表示执行预警报警。
2.根据权利要求1所述的一种基于增强现实的辅助驾驶系统，其特征在于，所述前视场景采集模块包括：
车道采集单元：用于通过车辆上预设GPS装置，确定车辆行驶时的位置信息；其中，
所述位置信息包括经纬度信息和车道信息；
轨道单元：用于通过车辆正前方设置的CCD探测相机，确定前视轨道图片；
路况采集单元：用于通过路侧预设的CCD探测相机，获取路侧图片，并确定行驶时的实时路况；其中，
所述实时路况包括：路面障碍物信息、路侧行人信息、路侧交通标志信息和路面轨道岔道信息；
场景生成单元：用于接收所述位置信息、前视轨道图片和实时路况，生成前视场景信息。
3.根据权利要求1所述的一种基于增强现实的辅助驾驶系统，其特征在于，所述行驶场景采集模块包括：
路侧采集单元：用于通过轨道车辆两侧设置的人脸识别摄像头、车速识别摄像头、异常捕捉摄像头，获取路侧的实时路况；
行驶采集单元：用于通过所述轨道车辆两侧设置传感器，确定不同轨道的车距和路侧障碍物的障碍距离；
车速采集单元：用于通过驾驶室内的显示屏，获取实时车速数据；
角度采集单元：用于通过驾驶室内的显示屏，获取车辆行驶方向的角度数据；
里程采集单元：用于通过驾驶室内的显示屏，获取实时里程数据。
4.根据权利要求1所述的一种基于增强现实的辅助驾驶系统，其特征在于，所述模拟显示模块包括：
行驶模拟单元：用于将所述前视场景信息车辆状态信息通过AR仿真技术处理，生成前视场景影像和实时行驶场景影像；其中，
所述实时行驶场景影像包括：路面影像、车距影像、车辆侧面行人影像、路侧的交通标志信息；
智能眼镜单元：用于接收所述前视场景影像和实时行驶场景影像，并形成虹膜可控的广角视觉影像；其中，
所述广角视觉影像包括：前视广角影像、左侧场景广角影像、右侧广角影像和车体的广角影像。
5.根据权利要求1所述的一种基于增强现实的辅助驾驶系统，其特征在于，所述模拟显示模块还包括：
车道显示单元：用于根据所述前视场景影像，通过对不同的轨道进行轨道标记；其中，
在所述轨道标记包括路线标记和分叉标记；
车辆近距显示单元：用于根据所述前视场景影像，通过智能眼镜显示车辆行驶时左车距离和右车距离；
行人显示单元：用于根据所述前视场景影像，通过智能眼镜显示车辆行驶时的行人数量和行人位置；
盲区显示单元：用于根据所述前视场景影像，在通过智能眼镜显示车辆的行驶场景时，对车辆的显示盲区进行区域标记；
虚拟保险杠显示单元：用于根据所述前视场景影像，通过智能眼镜在车辆前侧模拟显示车辆的保险杠；
交通标识显示单元：用于根据所述前视场景影像，通过智能眼镜显示在路侧的交通标志；其中，
所述交通标志包括：交通指示牌、测速摄像设备。
6.根据权利要求1所述的一种基于增强现实的辅助驾驶系统，其特征在于，所述辅助模块包括：
阻力采集单元：用于预设单位时间，并在两个连续的单位时间内获取车辆的实时车速，确定车辆的阻力；
湿滑状态采集单元：用于根据车辆的阻力，确定车辆的湿滑系数；
滑行预测单元：用于根据就所述湿滑系数，判断在不同速度下，车辆的滑行距离，并生成动态滑行距离曲线；
第一预警标准设定单元：用于根据所述动态滑行距离曲线，通过预测算法预测车辆发生故障的第一预警限值，并生成动态的第一预警标准；其中，
所述预警标准包括：车道偏离预警标准、车辆近距预警标准、车辆碰撞预警标准、行人距离预警标准和盲区分布预警标准。
7.根据权利要求6所述的一种基于增强现实的辅助驾驶系统，其特征在于，所述辅助模块还包括：
语音提醒单元：用于根据所述前视场景影像和实时行驶场景影像，通过预设的语音播报系统对驾驶员进行导航播报和异常播报；
事故判断单元：用于根据所述异常播报，判断驾驶员的驾驶状态和发生驾驶事故的关联度；其中，
所述关联度包括：驾驶员的位姿与发生驾驶事故的关联度、驾驶员的眼睛睁开状态与发生驾驶事故的关联度和驾驶员的情绪与发生驾驶事故的关联度；
第一预警标准设定单元：用于根据所述驾驶员的驾驶状态和发生驾驶事故的关联度，通过预测算法预测车辆发生故障的第二预警限值，并生成第二预警标准；
预警标准单元：用于通过所述第一预警标准和第二预警标准，生成预警标准。
8.根据权利要求7所述的一种基于增强现实的辅助驾驶系统，其特征在于，所述辅助模块还包括：
车道偏离预警：用于根据所述前视场景影像和预警标准，判断轨道车辆在岔道时的，并在车道偏离时，执行车道偏离报警；
近距报警：用于根据所述前视场景影像、实时行驶场景影像和所述预警标准，判断左右的车辆距离或障碍物距离是否超过预警标准，并在车辆可能发生事故时，执行近距报警；
碰撞预警：用于根据所述实时行驶场景影像和所述预警标准，判断车辆是否会发生碰撞，并在碰撞前，打出碰撞预警；
行人预警：用于根据所述前视场景影像、实时行驶场景影像和所述预警，判断车辆是否会碰撞到行人，执行行人报警；
盲区报警：用于根据所前视场景影像、实时行驶场景影像和所述预警标准，判断盲区分布的区域，根据所述盲区分布区域，执行盲区分布报警；
驾驶员状态报警：用于根据所述前视场景影像和实时行驶场景影像，判断驾驶员的驾驶状态是否符合预警标准，并执行驾驶状态报警。
9.根据权利要求7所述的一种基于增强现实的辅助驾驶系统，其特征在于，所述辅助模块还包括：
报警顺序单元：用于根据所述预警标准，判断超过所述预警标准时，发生事故对车辆驾驶员的影响度，并根据所述影响度，判断所述预警标准的优先度，并根据所述优先度，对报警标准进行分级，确定报警顺序；
语音报警单元：用于根据所述报警顺序，在不同的报警状态下执行报警，并通过调取预设在报警数据库的报警语音，进行语音报警；
声光报警单元：用于在驾驶员的驾驶状态不足以根据语音报警调整车辆状态时，控制所述车辆执行自动控制，并通过车辆外部的灯和车辆的喇叭执行声光报警。
CN202011122820.XA 2020-10-20 2020-10-20 一种基于增强现实的辅助驾驶系统 Active CN112180605B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011122820.XA CN112180605B (zh) 2020-10-20 2020-10-20 一种基于增强现实的辅助驾驶系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011122820.XA CN112180605B (zh) 2020-10-20 2020-10-20 一种基于增强现实的辅助驾驶系统

Publications (2)

Publication Number Publication Date
CN112180605A CN112180605A (zh) 2021-01-05
CN112180605B true CN112180605B (zh) 2021-06-15

Family

ID=73923636

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011122820.XA Active CN112180605B (zh) 2020-10-20 2020-10-20 一种基于增强现实的辅助驾驶系统

Country Status (1)

Country Link
CN (1) CN112180605B (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113011260B (zh) * 2021-02-08 2022-05-10 湖南中研智创轨道交通装备有限公司 一种结合线路实景的高速动车模拟驾驶仿真实训系统
CN112861725A (zh) * 2021-02-09 2021-05-28 深圳市慧鲤科技有限公司 一种导航提示方法、装置、电子设备及存储介质
CN113147781A (zh) * 2021-05-31 2021-07-23 重庆工程职业技术学院 一种汽车智能驾驶信息展示系统
CN113247015A (zh) * 2021-06-30 2021-08-13 厦门元馨智能科技有限公司 一种基于体感操作一体眼镜的车辆驾驶辅助系统及其方法
CN113569826B (zh) * 2021-09-27 2021-12-28 江苏濠汉信息技术有限公司 一种辅助驾驶的视角补偿系统
CN113989466B (zh) * 2021-10-28 2022-09-20 江苏濠汉信息技术有限公司 一种基于事态认知的超视距辅助驾驶系统
CN113989775B (zh) * 2021-10-28 2022-08-05 江苏濠汉信息技术有限公司 一种视觉引导的辅助驾驶系统
CN114337072B (zh) * 2021-12-30 2023-02-28 安徽玖邦驱动科技有限公司 一种抗电磁干扰的微型电机

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102910130B (zh) * 2012-10-24 2015-08-05 浙江工业大学 一种现实增强型的驾驶辅助预警系统
CN105513358B (zh) * 2016-01-04 2018-07-03 烟台中正新技术有限公司 驾驶行为评估和车辆行驶状态监测预警系统及方法
US9919648B1 (en) * 2016-09-27 2018-03-20 Robert D. Pedersen Motor vehicle artificial intelligence expert system dangerous driving warning and control system and method
DE102017222534B3 (de) * 2017-12-12 2019-06-13 Volkswagen Aktiengesellschaft Verfahren, computerlesbares Speichermedium mit Instruktionen, Vorrichtung und System zum Einmessen einer Augmented-Reality-Brille in einem Fahrzeug, für das Verfahren geeignetes Fahrzeug und für das Verfahren geeignete Augmented-Reality-Brille
CN110807436B (zh) * 2019-11-07 2022-10-18 深圳鼎然信息科技有限公司 危险驾驶行为识别与危险事件预测方法、装置及存储介质

Also Published As

Publication number Publication date
CN112180605A (zh) 2021-01-05

Similar Documents

Publication Publication Date Title
CN112180605B (zh) 一种基于增强现实的辅助驾驶系统
US10332401B2 (en) Running vehicle alerting system and method
JP7188394B2 (ja) 画像処理装置及び画像処理方法
CN105459907B (zh) 车辆安全系统、盲区监测方法及装置
TWI691927B (zh) 移動載具用外部座標即時三維路況輔助裝置及該系統
CN105197011B (zh) 车辆用驾驶员危险指数管理系统及其方法
CN101652802B (zh) 安全驾驶支持装置
US11634150B2 (en) Display device
KR102133913B1 (ko) 딥러닝 기반의 객체인식을 이용한 객체별 맞춤 정보제공 안내전광판 시스템 및 그 제어 방법
GB2604514A (en) Systems and methods for determining road safety
US20220327406A1 (en) Systems and methods for classifying driver behavior
CN110316198A (zh) 一种用于高速公路提速的安全保障系统及运行方法
CN107449440A (zh) 行车提示信息的显示方法及显示装置
US10522041B2 (en) Display device control method and display device
CN112498343A (zh) 车辆转向控制系统及方法
US20230118619A1 (en) Parking-stopping point management device, parking-stopping point management method, and vehicle device
CN111260915B (zh) 一种高速公路交通异常区域行人逗留的预警提醒方法
CN113022441A (zh) 一种车辆盲区的检测方法、装置、电子设备及存储介质
CN112606831A (zh) 一种用于客车的防碰撞警示信息对外交互方法及系统
JP2008135070A (ja) 道路交通管制システム
JP2019016278A (ja) 車両の走行支援装置
CN111243291B (zh) 一种对高速公路急弯路段交通异常点后方车辆进行预警的方法
CN113126294B (zh) 一种多层次成像系统
CN115019514B (zh) 一种基于车联网的公路巡查系统
JP7276276B2 (ja) 危険運転検出装置、危険運転検出システム、及び危険運転検出プログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
PE01 Entry into force of the registration of the contract for pledge of patent right

Denomination of invention: An assistant driving system based on Augmented Reality

Effective date of registration: 20211207

Granted publication date: 20210615

Pledgee: Nantong Jiangsu rural commercial bank Limited by Share Ltd.

Pledgor: JIANGSU HAOHAN INFORMATION TECHNOLOGY Co.,Ltd.

Registration number: Y2021980014300

PE01 Entry into force of the registration of the contract for pledge of patent right
PC01 Cancellation of the registration of the contract for pledge of patent right

Date of cancellation: 20221102

Granted publication date: 20210615

Pledgee: Nantong Jiangsu rural commercial bank Limited by Share Ltd.

Pledgor: JIANGSU HAOHAN INFORMATION TECHNOLOGY Co.,Ltd.

Registration number: Y2021980014300

PC01 Cancellation of the registration of the contract for pledge of patent right
PE01 Entry into force of the registration of the contract for pledge of patent right

Denomination of invention: An assistant driving system based on augmented reality

Effective date of registration: 20221207

Granted publication date: 20210615

Pledgee: Jiangsu Nantong Rural Commercial Bank Co.,Ltd. Si'an Sub branch

Pledgor: JIANGSU HAOHAN INFORMATION TECHNOLOGY Co.,Ltd.

Registration number: Y2022980025338

PE01 Entry into force of the registration of the contract for pledge of patent right
PC01 Cancellation of the registration of the contract for pledge of patent right

Date of cancellation: 20231017

Granted publication date: 20210615

Pledgee: Jiangsu Nantong Rural Commercial Bank Co.,Ltd. Si'an Sub branch

Pledgor: JIANGSU HAOHAN INFORMATION TECHNOLOGY Co.,Ltd.

Registration number: Y2022980025338

PC01 Cancellation of the registration of the contract for pledge of patent right
PE01 Entry into force of the registration of the contract for pledge of patent right

Denomination of invention: An augmented reality based assisted driving system

Effective date of registration: 20231020

Granted publication date: 20210615

Pledgee: Jiangsu Nantong Rural Commercial Bank Co.,Ltd. Si'an Sub branch

Pledgor: JIANGSU HAOHAN INFORMATION TECHNOLOGY Co.,Ltd.

Registration number: Y2023980061751

PE01 Entry into force of the registration of the contract for pledge of patent right