CN113851017A - 一种基于路侧rsu的行人车辆识别预警多功能系统 - Google Patents

一种基于路侧rsu的行人车辆识别预警多功能系统 Download PDF

Info

Publication number
CN113851017A
CN113851017A CN202110952809.4A CN202110952809A CN113851017A CN 113851017 A CN113851017 A CN 113851017A CN 202110952809 A CN202110952809 A CN 202110952809A CN 113851017 A CN113851017 A CN 113851017A
Authority
CN
China
Prior art keywords
vehicle
early warning
information
pedestrian
detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110952809.4A
Other languages
English (en)
Inventor
曾新华
冒严晶
宋梁
庞成鑫
张冠华
倪伟
蒋林华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fudan University
Original Assignee
Fudan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fudan University filed Critical Fudan University
Priority to CN202110952809.4A priority Critical patent/CN113851017A/zh
Publication of CN113851017A publication Critical patent/CN113851017A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/164—Centralised systems, e.g. external to vehicles
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0108—Measuring and analyzing of parameters relative to traffic conditions based on the source of data
    • G08G1/0116—Measuring and analyzing of parameters relative to traffic conditions based on the source of data from roadside infrastructure, e.g. beacons
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0125—Traffic data processing
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/017—Detecting movement of traffic to be counted or controlled identifying vehicles
    • G08G1/0175—Detecting movement of traffic to be counted or controlled identifying vehicles by photographing vehicles, e.g. when violating traffic rules
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/042—Detecting movement of traffic to be counted or controlled using inductive or magnetic detectors
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes

Abstract

本发明属于通信工程与计算机技术领域，具体为一种基于路侧RSU的行人车辆识别预警多功能系统。本发明系统通过摄像头与雷达等路侧感知终端识别行人车辆的位置、朝向信息，经过分析这些信息，预判可能有的冲突，完成预警；实现全过程、全方位的路况高精度决策；包括多设备组成的路侧RSU系统，以及路侧端行人车辆检测、潜在车人冲突检测、交通违规检测、禁止通过预警、交叉路口碰撞警告和前向碰撞预警等功能模块。本发明能将行人车辆信号等信息全方位实时识别预测出来，与混合交通、多变天气环境进行交互，从而确保车辆尽可能多的掌握所在时空信息；可取代现有自动驾驶技术在同等路况下的保守算法策略，实现复杂路况下的安全自动驾驶。

Description

一种基于路侧RSU的行人车辆识别预警多功能系统
技术领域
本发明属于通信工程与计算机技术领域，具体涉及一种基于路侧RSU的行人车辆识别预警多功能系统。
背景技术
目前，自动驾驶在人口稠密、混合交通、野蛮驾驶的现实环境下无法准确感知、识别行人车辆，使得自动驾驶倾向保守的算法决策而无法真正适应复杂交通环境并做出最佳决策。
通信工程与计算机技术的结合技术主要是通过集中式的架构实现车辆与环境交互。
上述处理方式结果均是以摄像头、雷达等路侧感知终端和包含路侧单元RSU、路侧计算设备RSS、V2X Server来实现自动驾驶的路况处理与决策。
现有技术存在的缺点主要是无法对混合交通环境做出全面的决策，通过特定环境训练后，使得行驶过程倾向保守。
发明内容
本发明的目的在于提供一个复杂路况下，能够实现安全自动驾驶的行人车辆识别预警多功能系统。
本发明提供的行人车辆识别预警多功能系统，通过摄像头与雷达等路侧感知终端识别出行人车辆的位置、朝向等等信息，系统分析接收到的路况信息后，预判出可能有的冲突，并完成预警；结合地面信息和高空路牌信息完成全过程、全方位的路况高精度决策。
本发明提供的行人车辆识别预警多功能系统，包括多设备组成的路侧RSU（RSU指速率传感器装置，安装在路侧）系统；以及路侧端行人车辆检测、潜在车人冲突检测、交通违规检测、禁止通过预警、交叉路口碰撞警告和前向碰撞预警等功能模块；后者各功能模块也称为控制执行系统；其中：
所述路侧RSU系统，用于搜集行人车辆等多信息识别需要的两大类信息：车道信息和对象信息；其中，车道信息包含道路几何、车辆几何、功能类、坡度、曲率、朝向、车道数、车道类型、拓扑结构、车道宽度、车道标识、车道限速、车道开始、交换区域、车辆联通等；对象信息包含路牙、障碍物、立交桥、隧道、交通标志、测速、消防栓、树、轮廓标、收费站、电话亭、电线杆、建筑物、信号灯、公交站、箭头、管道、停车场等。
各功能模块根据这些信息，最终实现路侧端行人车辆检测、潜在车人冲突检测、交通违规检测、禁止通过预警、交叉路口碰撞警告和前向碰撞预警。
所述路侧端行人车辆检测功能模块，用于识别出行人车辆的位置、朝向、历史轨迹、预测轨迹等信息。
所述潜在车人冲突检测功能模块，根据路侧端行人车辆检测结果分析接收到的行人车辆信息，筛选出可能发生的车人冲突。
所述交通违规检测功能模块，根据路侧端行人车辆检测和交通标识实时信息，对是否违反交通规则进行决策识别，实现闯红灯、超速等常见违法行为进行智能检测。
所述禁止通过预警功能模块，当后方车辆想超过前方车辆会临时占用对向车道，如果有碰撞隐患，则立即发出提醒。
所述交叉路口碰撞警告功能模块，用于通过获取当前路况信息，如有他车违规或行为异常可能碰撞，则提前发出预警。
所述前向碰撞预警功能模块，用于预测前方车辆减速，提示碰撞风险，提前减速避让。
本发明技术方案的优点主要体现在：
Figure 536953DEST_PATH_IMAGE001
本发明可以将地面、空中行人车辆信号等多对象信息全方位实时识别预测出来，与混合交通、多变天气环境进行交互，从而确保车辆尽可能多的掌握所在时空信息。
②本发明通过全方位掌握路况信息进行车人冲突的预测筛选，确保车辆的实时决策正确与规划成功。
③本发明将交通违规检测、禁止通过检测、交叉路口碰撞警告和前向碰撞预警溶为一体，完美实现两车或多车的行驶博弈，确保双方或多方顺利通过路况。
④本发明通过新的车辆计算和网络体系架构，完美适应现实中复杂的交通环境问题，取代现有自动驾驶技术在同等路况下倾向保守的算法策略。
⑤本发明可广泛应用于各种真实路况，取缔现有自动驾驶技术均在特定的封闭园区进行实验，同时规避由于信息量不足、预测能力少弱时所体现的激进算法策略。
附图说明
图1为基于路侧RSU行人车辆识别预警系统总体示意图。
具体实施方式
基于路侧RSU行人车辆识别预警系统由路侧感知系统和控制执行系统两大部分组成；其中：
路侧感知系统，包含雷达、摄像头、交通信号灯与指示牌、环境传感器等设备，利用视觉传感器、毫米波雷达和激光雷达等多种传感器，结合边缘计算设备，可以实现对当前道路交通参与者和路况信息的实时获取。为路侧端行人车辆检测和潜在车人冲突检测提供行人车辆的位置、朝向、历史轨迹等信息，为交通违规检测提供闯红灯、超速等常见违法行为信息，为禁止通过预警、交叉路口碰撞预警和前向碰撞预警提供周围前后左右车辆的速度、朝向等信息，有效地弥补了车辆的感知盲区。
控制执行系统，主要包含车人行为识别和预警决策执行。基于路侧感知设备提供的数据采用梯度方向直方图特征和支持向量机的方法识别周围车人，并用长短时记忆网络算法（LSTM）建立连续观测变量的时序模型，完成对目标车人当前行为的初步识别。以上内容完成路侧车辆检测。再建立轨迹片段坐标系，融合初步识别结果以及行为可行性的条件信息后，利用卷积社会长短时记忆网络算法（Convolutional Social LSTM）进行车人轨迹预测并计算对应的风险评估因子，最后将风险评估因子引入碰撞预警评估系统。由此可实现潜在车人冲突检测、交通违规检测、禁止通过预警、前向碰撞预警。在路侧感知设备所覆盖路段，及时上传该路段已有违规或预警车辆信息，反馈给预备通过该路段的车辆，实现碰撞或违规警告。
由于使用高分辨率相机、高出两倍以上的帧率和最新的检测系统，highD数据集具有更好的数据质量。超过99%的车辆被正确检测并精确定位，精度达到像素级，且highD的公开数据集使用多个后处理步骤平滑了提取的轨迹，因此无需对轨迹作进一步的处理，所以选择highD数据集进行预警多功能系统的训练。

Claims (3)

1.一种基于路侧RSU的行人车辆识别预警多功能系统，其特征在于，通过摄像头与雷达等路侧感知终端识别出行人车辆的位置、朝向信息，分析接收到的路况信息，预判可能有的冲突，并完成预警；结合地面信息和高空路牌信息实现全过程、全方位的路况高精度决策；包括多设备组成的路侧RSU系统；以及路侧端行人车辆检测、潜在车人冲突检测、交通违规检测、禁止通过预警、交叉路口碰撞警告和前向碰撞预警等功能模块，后者各功能模块也称为控制执行系统；其中：
所述路侧RSU系统，用于搜集行人车辆等多信息识别需要的两大类信息：车道信息和对象信息；其中，车道信息包含道路几何、车辆几何、功能类、坡度、曲率、朝向、车道数、车道类型、拓扑结构、车道宽度、车道标识、车道限速、车道开始、交换区域、车辆联通；对象信息包含路牙、障碍物、立交桥、隧道、交通标志、测速、消防栓、树、轮廓标、收费站、电话亭、电线杆、建筑物、信号灯、公交站、箭头、管道、停车场；
各功能模块根据这些信息，最终实现路侧端行人车辆检测、潜在车人冲突检测、交通违规检测、禁止通过预警、交叉路口碰撞警告和前向碰撞预警；其中：
所述路侧端行人车辆检测功能模块，用于识别出行人车辆的位置、朝向、历史轨迹、预测轨迹信息；
所述潜在车人冲突检测功能模块，根据路侧端行人车辆检测结果分析接收到的行人车辆信息，筛选出可能发生的车人冲突；
所述交通违规检测功能模块，根据路侧端行人车辆检测和交通标识实时信息，对是否违反交通规则进行决策识别，实现闯红灯、超速常见违法行为进行智能检测；
所述禁止通过预警功能模块，当后方车辆想超过前方车辆会临时占用对向车道，如果有碰撞隐患，则立即发出提醒；
所述交叉路口碰撞警告功能模块，用于通过获取当前路况信息，如有他车违规或行为异常可能碰撞，则提前发出预警；
所述前向碰撞预警功能模块，用于预测前方车辆减速，提示碰撞风险，提前减速避让。
2.根据权利要求1所述的基于路侧RSU的行人车辆识别预警多功能系统，其特征在于，所述路侧感知系统，包含雷达、摄像头、交通信号灯与指示牌、环境传感器；利用视觉传感器、毫米波雷达和激光雷达多种传感器，结合边缘计算设备，实现对当前道路交通参与者和路况信息的实时获取。
3.根据权利要求2所述的基于路侧RSU的行人车辆识别预警多功能系统，其特征在于，所述控制执行系统，主要包含车人行为识别和预警决策执行；基于路侧感知设备提供的数据采用梯度方向直方图特征和支持向量机的方法识别周围车人，并用长短时记忆网络算法建立连续观测变量的时序模型，完成对目标车人当前行为的初步识别，完成路侧车辆检测；再建立轨迹片段坐标系，融合初步识别结果以及行为可行性的条件信息后，利用卷积社会长短时记忆网络算法，进行车人轨迹预测，并计算对应的风险评估因子，最后将风险评估因子引入碰撞预警评估系统；由此可实现潜在车人冲突检测、交通违规检测、禁止通过预警、前向碰撞预警；在路侧感知设备所覆盖路段，及时上传该路段已有违规或预警车辆信息，反馈给预备通过该路段的车辆，实现碰撞或违规警告。
CN202110952809.4A 2021-08-19 2021-08-19 一种基于路侧rsu的行人车辆识别预警多功能系统 Pending CN113851017A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110952809.4A CN113851017A (zh) 2021-08-19 2021-08-19 一种基于路侧rsu的行人车辆识别预警多功能系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110952809.4A CN113851017A (zh) 2021-08-19 2021-08-19 一种基于路侧rsu的行人车辆识别预警多功能系统

Publications (1)

Publication Number Publication Date
CN113851017A true CN113851017A (zh) 2021-12-28

Family

ID=78976027

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110952809.4A Pending CN113851017A (zh) 2021-08-19 2021-08-19 一种基于路侧rsu的行人车辆识别预警多功能系统

Country Status (1)

Country Link
CN (1) CN113851017A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114889621A (zh) * 2022-06-08 2022-08-12 武汉城市职业学院 一种基于环境-行人-驾驶员行为的辅助驾驶评价及交互方法
CN115346370A (zh) * 2022-08-10 2022-11-15 重庆大学 基于智能交通的路口防碰撞系统及方法
CN115376344A (zh) * 2022-07-20 2022-11-22 安徽电信规划设计有限责任公司 一种基于无线5g技术的智能驾驶控制方法及系统
CN115649198A (zh) * 2022-11-03 2023-01-31 中科天极(新疆)空天信息有限公司 一种车辆自动驾驶方法及系统
CN116246489A (zh) * 2023-02-06 2023-06-09 云控智行科技有限公司 一种行人保护方法、装置及设备

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102765365A (zh) * 2011-05-06 2012-11-07 香港生产力促进局 基于机器视觉的行人检测方法及行人防撞预警系统
CN106157694A (zh) * 2016-07-29 2016-11-23 深圳市元征科技股份有限公司 一种交叉路口的行人防碰撞预警方法及装置
CN109756867A (zh) * 2018-12-29 2019-05-14 广州中国科学院软件应用技术研究所 一种基于lte-v的车路协同车载终端应用系统
CN111489585A (zh) * 2020-03-04 2020-08-04 昆明理工大学 一种基于边缘计算的车辆行人碰撞避免方法
CN111540237A (zh) * 2020-05-19 2020-08-14 河北德冠隆电子科技有限公司 基于多数据融合的车辆安全行驶保障方案自动生成的方法
CN113112802A (zh) * 2021-04-13 2021-07-13 长安大学 一种路侧车辆避让行人时防追尾碰撞预警系统及方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102765365A (zh) * 2011-05-06 2012-11-07 香港生产力促进局 基于机器视觉的行人检测方法及行人防撞预警系统
CN106157694A (zh) * 2016-07-29 2016-11-23 深圳市元征科技股份有限公司 一种交叉路口的行人防碰撞预警方法及装置
CN109756867A (zh) * 2018-12-29 2019-05-14 广州中国科学院软件应用技术研究所 一种基于lte-v的车路协同车载终端应用系统
CN111489585A (zh) * 2020-03-04 2020-08-04 昆明理工大学 一种基于边缘计算的车辆行人碰撞避免方法
CN111540237A (zh) * 2020-05-19 2020-08-14 河北德冠隆电子科技有限公司 基于多数据融合的车辆安全行驶保障方案自动生成的方法
CN113112802A (zh) * 2021-04-13 2021-07-13 长安大学 一种路侧车辆避让行人时防追尾碰撞预警系统及方法

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114889621A (zh) * 2022-06-08 2022-08-12 武汉城市职业学院 一种基于环境-行人-驾驶员行为的辅助驾驶评价及交互方法
CN115376344A (zh) * 2022-07-20 2022-11-22 安徽电信规划设计有限责任公司 一种基于无线5g技术的智能驾驶控制方法及系统
CN115346370A (zh) * 2022-08-10 2022-11-15 重庆大学 基于智能交通的路口防碰撞系统及方法
CN115346370B (zh) * 2022-08-10 2023-11-03 重庆大学 基于智能交通的路口防碰撞系统及方法
CN115649198A (zh) * 2022-11-03 2023-01-31 中科天极(新疆)空天信息有限公司 一种车辆自动驾驶方法及系统
CN116246489A (zh) * 2023-02-06 2023-06-09 云控智行科技有限公司 一种行人保护方法、装置及设备

Similar Documents

Publication Publication Date Title
CN113851017A (zh) 一种基于路侧rsu的行人车辆识别预警多功能系统
CN112700470B (zh) 一种基于交通视频流的目标检测和轨迹提取方法
US11380105B2 (en) Identification and classification of traffic conflicts
KR101696881B1 (ko) 교통 정보 분석 방법 및 장치
CN110446278A (zh) 基于v2i的智能驾驶汽车传感器盲区安全控制方法及系统
CN112106124A (zh) 用于使用v2x和传感器数据的系统和方法
KR102453627B1 (ko) 딥러닝 기반 교통 흐름 분석 방법 및 시스템
CN111243274A (zh) 面向非网联交通个体的道路碰撞预警系统及方法
CN108460968A (zh) 一种基于车联网获取交通路况信息的方法及装置
US11914041B2 (en) Detection device and detection system
CN110837800A (zh) 一种面向港口恶劣天气的目标检测和识别的方法
KR102282800B1 (ko) 라이다와 영상카메라를 이용한 멀티 표적 추적 방법
CN108154146A (zh) 一种基于图像识别的车辆追踪方法
CN108932849B (zh) 一种记录多台机动车低速行驶违法行为的方法及装置
CN114419874B (zh) 基于路侧感知设备数据融合的目标行车安全风险预警方法
EP3806062A1 (en) Detection device and detection system
CN112381014A (zh) 一种基于城市道路的违停车辆检测及管理方法及系统
US20240046787A1 (en) Method And System For Traffic Clearance At Signalized Intersections Based On Lidar And Trajectory Prediction
CN109670431A (zh) 一种行为检测方法及装置
CN114387785A (zh) 一种基于智慧公路的安全管控方法、系统及可存储介质
CN111951548B (zh) 一种车辆驾驶风险确定方法、装置、系统及介质
CN111422202B (zh) 智能驾驶考试评判方法
CN111882924A (zh) 车辆测试系统、驾驶行为判断控制方法及事故预警方法
CN113870551A (zh) 一种能够鉴别危险和非危险驾驶行为的路侧监控系统
CN113111876A (zh) 一种用于交通违章取证的方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination