CN112991733A - 一种公交车智能网联碰撞优化系统及方法 - Google Patents

一种公交车智能网联碰撞优化系统及方法 Download PDF

Info

Publication number
CN112991733A
CN112991733A CN202110230451.4A CN202110230451A CN112991733A CN 112991733 A CN112991733 A CN 112991733A CN 202110230451 A CN202110230451 A CN 202110230451A CN 112991733 A CN112991733 A CN 112991733A
Authority
CN
China
Prior art keywords
bus
data
data transmission
information
transmission module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110230451.4A
Other languages
English (en)
Inventor
陈可禹
王春燕
张自宇
赵万忠
朱耀鎏
曹铭纯
于博洋
孟琦康
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Aeronautics and Astronautics
Original Assignee
Nanjing University of Aeronautics and Astronautics
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Aeronautics and Astronautics filed Critical Nanjing University of Aeronautics and Astronautics
Priority to CN202110230451.4A priority Critical patent/CN112991733A/zh
Publication of CN112991733A publication Critical patent/CN112991733A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0125—Traffic data processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G06F30/20—Design optimisation, verification or simulation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/0967—Systems involving transmission of highway information, e.g. weather, speed limits
    • G08G1/096708—Systems involving transmission of highway information, e.g. weather, speed limits where the received information might be used to generate an automatic action on the vehicle control
    • G08G1/096725—Systems involving transmission of highway information, e.g. weather, speed limits where the received information might be used to generate an automatic action on the vehicle control where the received information generates an automatic action on the vehicle control
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/123—Traffic control systems for road vehicles indicating the position of vehicles, e.g. scheduled vehicles; Managing passenger vehicles circulating according to a fixed timetable, e.g. buses, trains, trams
    • G08G1/127—Traffic control systems for road vehicles indicating the position of vehicles, e.g. scheduled vehicles; Managing passenger vehicles circulating according to a fixed timetable, e.g. buses, trains, trams to a central station ; Indicators in a central station
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/167—Driving aids for lane monitoring, lane changing, e.g. blind spot detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W24/00—Supervisory, monitoring or testing arrangements
    • H04W24/02—Arrangements for optimising operational condition
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W24/00—Supervisory, monitoring or testing arrangements
    • H04W24/06—Testing, supervising or monitoring using simulated traffic
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/30—Services specially adapted for particular environments, situations or purposes
    • H04W4/40—Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P]
    • H04W4/42—Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P] for mass transport vehicles, e.g. buses, trains or aircraft
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/30—Services specially adapted for particular environments, situations or purposes
    • H04W4/40—Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P]
    • H04W4/48—Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P] for in-vehicle communication
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2111/00—Details relating to CAD techniques
    • G06F2111/04—Constraint-based CAD

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Multimedia (AREA)
  • Computer Hardware Design (AREA)
  • Geometry (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Atmospheric Sciences (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明公开了一种公交车智能网联碰撞优化系统及方法，包括：车载终端与边缘服务器；所述车载终端包括：数据采集模块、第一数据传输模块、车载数据处理模块及交互模块；所述边缘服务器包括：物体检测模块、决策优化模块及第二数据传输模块；本发明将辅助驾驶技术应用于公交车上，并将边缘服务器安置在公交车线路上的站台内部，实时处理公交车行驶场景中传感器收集到的数据，并根据数据进行协作处理，在公交车可能发生碰撞的情况下，为驾驶员提供最优驾驶决策，不仅实现了公交车碰撞损失的最小化，而且通过网联计算大大降低了数据分析处理的时延，使决策信息具有高实时性。

Description

一种公交车智能网联碰撞优化系统及方法
技术领域
本发明属于车辆智能网联安全技术领域，具体涉及一种公交车智能网联碰撞优化系统及方法。
背景技术
近年来，随着我国的经济发展，人们生活水平不断提高，国内汽车保有量持续上升，这也导致了道路交通系统的复杂性日益增加，公交车驾驶事故频发。对于公交车这种城市大型公共交通工具，如何才能尽可能的保证驾驶的安全性成为一个不可忽视的社会性问题。
目前学术界对于智能网联汽车提出了许多的驾驶辅助方案，诸如多传感器数据融合、视觉感知以及协作驾驶等技术被广泛应用在车辆的自动驾驶领域。例如[1]谢志萍,雷莉萍.智能网联汽车环境感知技术的发展和研究现状[J].成都工业学院学报,2016,19(04):87-92.一文中提出利用多传感器融合进行环境感知。[2]朱小天.面向物体识别与检测的高效率深度神经网络模型研究[D].中国科学技术大学,2020.一文中提出利用深度神经网络模型进行物体识别与检测。
然而，自动驾驶或者辅助驾驶所产生的传感器数据量是海量的，目标检测、场景理解方面利用到的深度神经网络所需要的计算资源以及存储资源也是巨大的。目前仅车辆上部署的5G移动通信系统难以满足上述计算量，远端部署的集中式云服务器与车辆进行通信并提供的计算服务也会产生较大的通信时延，车辆的大规模接入也会为云计算中心带来巨大的压力。
与此同时，尽管学术界目前对于车辆防撞方面的研究已经十分深入，相关技术也比较成熟，但当前研究大多只考虑如何避免碰撞发生。若发生极端情况，车辆碰撞不可避免，如何辅助驾驶员进行决策使碰撞损失最小，仍然是一个待解决的问题。
发明内容
针对于上述现有技术的不足，本发明的目的在于提供一种公交车智能网联碰撞优化系统及方法，本发明将辅助驾驶技术应用于公交车上，并将边缘服务器安置在公交车线路上的站台内部，利用移动边缘计算技术，寻找离公交车距离最近的边缘服务器，构建公交车-边缘协作的网联计算平台，实时处理公交车行驶场景中传感器收集到的数据，并根据数据进行协作处理，在公交车可能发生碰撞的情况下，为驾驶员提供最优驾驶决策，不仅实现了公交车碰撞损失的最小化，而且通过网联计算大大降低了数据分析处理的时延，使决策信息具有高实时性。
为达到上述目的，本发明采用的技术方案如下：
本发明的一种公交车智能网联碰撞优化系统，包括：车载终端与边缘服务器；
所述车载终端包括：数据采集模块、第一数据传输模块、车载数据处理模块及交互模块；
所述数据采集模块，用于采集公交车周围物体的视频图像信息、运动信息以及公交车自车的地理位置信息；
所述车载数据处理模块，用于根据上述采集到的视频图像信息进行车道线检测；
所述第一数据传输模块，用于将上述车道线检测结果、公交车周围物体的视频图像信息及运动信息，发送给离公交车自车最近的边缘服务器；
所述交互模块，用于实现实时的人机交互；
所述边缘服务器包括：物体检测模块、决策优化模块及第二数据传输模块；
所述第二数据传输模块，用于接收上述第一数据传输模块传输的数据；
所述物体检测模块，用于根据上述公交车周围物体的视频图像信息来识别公交车周围物体类别信息；
所述决策优化模块，用于根据上述识别得到的周围物体类别信息、车道线信息及公交车周围物体的运动信息进行优化计算，得出最优驾驶决策信息，并通过第二数据传输模块将得到的最优驾驶决策信息发送给第一数据传输模块。
进一步地，所述数据采集模块包括：车载移动摄像头、GPS模块、车载雷达，其中，所述车载移动摄像头用于采集公交车周围物体的视频图像数据，所述GPS模块用于采集公交车自车的地理位置信息，所述车载雷达用于测量公交车与周围物体的相对距离、相对速度、相对方位角。
进一步地，所述车载雷达包括HDL-64E激光雷达及77GHz频段毫米波雷达，用于采集周围物体的运动信息。
进一步地，所述第一数据传输模块与第二数据传输模块之间通过蜂窝网络或者无线局域网进行数据传输。
进一步地，所述物体检测模块利用Darknet深度学习框架初始化后的物体检测模型识别公交车周围物体类别信息。
进一步地，所述交互模块包括：车载显示单元以及音频单元，所述车载显示单元用于向驾驶员显示最优驾驶决策信息，所述音频单元用于向驾驶员发送语言，提示最优驾驶决策信息。
本发明还提供了一种公交车智能网联碰撞优化方法，基于上述系统，包括以下步骤：
(1)采集公交车周围物体的视频图像信息、运动信息及自车的地理位置信息；
(2)根据上述采集到的信息运用OpenCV图像处理技术实现车道线检测；
(3)根据步骤(1)中的自车的地理位置信息找到离自车最近的边缘服务器，将步骤(1)中采集到的物体视频图像信息、运动信息及步骤(2)中检测到的车道线检测结果信息传输至距离自车最近的边缘服务器；
(4)物体检测模块对公交车周围物体类别信息进行识别；
(5)将步骤(1)中公交车周围物体的运动信息与步骤(4)中物体类型检测识别结果一一对应，得到公交车周围物体的类别信息及相应的运动信息；
(6)决策优化模块利用优化模型进行求解，得到最优驾驶决策信息；
(7)将上述得到的最优驾驶决策信息发送给车载终端，以通知驾驶员采取相应的驾驶动作。
进一步地，所述步骤(3)具体包括利用移动边缘计算方法实现车载终端的数据发送以及边缘服务器数据接收两个过程，具体步骤如下：
(31)车载终端发送过程，具体步骤如下：
(311)在系统初始化阶段，车载终端中的第一数据传输模块在ConnectThread线程中创建Socket类的对象，传入边缘服务器中的第二数据传输模块指定的IP地址以及端口号，并且向第二数据传输模块发送连接请求；
(312)连接成功后，第一数据传输模块开启ConnectedThread线程，为JSONObject类创建对象，将第一数据传输模块特有标识IMEI号以及JSON数据格式发送到第二数据传输模块，第一数据传输模块为OutputStream类创建对象mOutStream，之后将收集到的数据打包进JSON信息中，写入mOutStream对象中并进行发送；
(313)经过整合的数据包发送完毕后，第一数据传输模块关闭ConnectedThread线程，停止发送；
(32)边缘服务器接收过程，具体步骤如下：
(321)在系统初始化阶段，边缘服务器中的第二数据传输模块创建并且开启接收和发送两个线程，R和S，保持第二数据传输模块和第一数据传输模块的连接状态；
(322)在R线程中，声明传输端口号，再创建并且开启专门用于接收传输数据的线程RT，对第一数据传输模块上传的数据进行接收、存储；
(323)第二数据传输模块接收到与其相连第一数据传输模块的IMEI号，并且根据IMEI号为每个联网公交车上传的数据开辟独立的通信线程、数据存储空间和图像处理线程；
(324)第二数据传输模块对数据进行接收并进行存储。
进一步地，所述步骤(4)的具体步骤如下：
(41)选择基于YOLOv3物体检测算法的物体检测模型进行训练，其具体结构如下：
(411)网络模型结果共有112层，前70层中包括42个负责特征提取的卷积层和28个用于控制梯度、防止梯度消失情况发生的残差层；
(412)70-112层经过组合分别构成小、中、大尺度的yolo网络特征交互层；包括23个卷积层，通过卷积核运算实现局部的特征交互；
(413)设置训练参数：模型训练总轮数为210000，训练初始学习率为0.001，随着迭代至70000，140000，210000，学习率调整至初始学习率的0.1倍，0.01倍，0.001倍；
(42)在用于物体检测的公开数据集基础上，对获得的公交车周围物体的视频图像信息进行人工标注，并将数据集放入模型进行训练，得到物体检测模型；
(43)利用Darknet深度学习框架对物体检测模型进行初始化，再利用物体检测模型分析公交车周围物体的视频图像信息，得出视频图像中物体的中心位置以及边界框并进一步判断出物体类型。
进一步地，所述步骤(6)中得到最优驾驶决策信息的具体步骤如下：
(61)建立碰撞优化模型：
(611)确定目标函数，使碰撞可能产生的人员伤亡最小，财产损失最小，对道路交通的影响最小；
目标函数：
min(w1×casualties+w2×pdamage+w3×impact)
其中，casualties为人员伤亡，由公交车内部乘客人数、周围行人人数以及可能发生碰撞的车辆最大载客人数决定；pdamage为财产损失，由可能与公交车发生碰撞的车辆价值决定；impact为对道路交通的影响程度，由公交车转向角度及其速度决定，w1、w2、w3为前三者各自的权重，由层次分析法提前决定；
(612)根据公交车自身的限制以及道路情况确定约束条件，分别约束车辆的转向角度，车辆的速度；
约束条件：
Figure BDA0002957624380000041
其中，w为公交车的转向角度；v为公交车的速度；maxangle为最大转向角度，即公交车的最大转向角，由自车地理位置信息以及车道线检测结果决定；maxspeed、minspeed分别为公交车限制的最大和最小速度，由公交车自身规定的合理行驶速度范围以及周围物体的运动信息决定决定；
(62)将步骤(3)和步骤(5)中得到的信息整合，传入优化模型之中，调用Lingo软件进行求解，得出最优驾驶决策信息。
进一步地，所述步骤(7)中利用移动边缘计算方法将信息传递给第一数据传输模块的具体步骤如下：
(71)第二数据传输模块整合回传数据到JSON格式的信息中，并且开启发送信息的端口号；
(72)第一数据传输模块新建一个Socket对象，对应第二数据传输模块用于发送数据的端口号，并且与第二数据传输模块进行通信；
(73)通信链路连接成功后，第一数据传输模块开启接收数据线程；
(74)第一数据传输模块将步骤(63)中相应的最优驾驶决策信息传递到车载显示屏以及麦克风，提示驾驶员采取相应措施。
进一步地，所述步骤(73)中接收步骤具体如下：
(731)向第二数据传输模块发送JSON数据格式的IMEI号，告知所需要的数据标识；
(732)通过Socket的getInputStream()方法，依次对第二数据传输模块传输回来的JSON数据包中的数据进行解析。
本发明的有益效果：
(1)本发明提出的公交车智能网联碰撞优化系统，利用了移动边缘计算大幅度提高了系统的数据处理速度，为公交车提供了兼具精确性和实时性的信息。
(2)本发明提出的公交车智能网联碰撞优化系统及其优化方法，利用了最优化模型对公交车驾驶场景进行建模，面对可能发生的碰撞，计算得出最优驾驶决策。既能完成目前常见碰撞预警系统的防撞功能，又能在发生多次不可避免的碰撞事故中选择最优碰撞策略，从而尽可能减少碰撞损失。
(3)本发明为后续的公交车L4级别及以上的自动驾驶提供了一种处理感知数据的方法，应用移动边缘计算技术，海量数据能被有效分配计算，数据计算效率与速度大幅度提升，通信时延得到有效降低，这也代表着智能公交车向大规模自动驾驶所要求的大宽带、低时延、高可靠通信的目标迈出了巨大的一步。
附图说明
图1为本发明系统的结构图。
图2为本发明优化方法流程图。
图3为第一数据传输模块发送数据给第二数据传输模块的流程图。
图4为第二数据传输模块接收第一数据传输模块数据的流程图。
具体实施方式
为了便于本领域技术人员的理解，下面结合实施例与附图对本发明作进一步的说明，实施方式提及的内容并非对本发明的限定。
参照图1所示，本发明的一种公交车智能网联碰撞优化系统，包括：车载终端与边缘服务器；
所述车载终端包括：数据采集模块、第一数据传输模块、车载数据处理模块及交互模块；
所述数据采集模块，用于采集公交车周围物体的视频图像信息、运动信息以及公交车自车的地理位置信息；所述数据采集模块包括：车载移动摄像头、GPS模块、车载雷达，其中，所述车载移动摄像头用于采集公交车周围物体的视频图像数据，所述GPS模块用于采集公交车自车的地理位置信息，所述车载雷达用于测量公交车与周围物体的相对距离、相对速度、相对方位角。
其中，所述车载雷达包括HDL-64E激光雷达及77GHz频段毫米波雷达，用于采集周围物体的运动信息。
所述车载数据处理模块，用于根据上述采集到的视频图像信息进行车道线检测；
所述第一数据传输模块，用于将上述车道线检测结果、公交车周围物体的视频图像信息及运动信息，发送给离公交车自车最近的边缘服务器；
所述交互模块，用于实现实时的人机交互；
所述边缘服务器包括：物体检测模块、决策优化模块及第二数据传输模块；
所述第二数据传输模块，用于接收上述第一数据传输模块传输的数据；
所述物体检测模块，用于根据上述公交车周围物体的视频图像信息来识别公交车周围物体类别信息；所述物体检测模块利用Darknet深度学习框架初始化后的物体检测模型识别公交车周围物体类别信息。
所述决策优化模块，用于根据上述识别得到的周围物体类别信息、车道线信息及公交车周围物体的运动信息进行优化计算，得出最优驾驶决策信息，并通过第二数据传输模块将得到的最优驾驶决策信息发送给第一数据传输模块。
其中，所述第一数据传输模块与第二数据传输模块之间通过蜂窝网络或者无线局域网进行数据传输。
所述交互模块包括：车载显示单元以及音频单元，所述车载显示单元用于向驾驶员显示最优驾驶决策信息，所述音频单元用于向驾驶员发送语言，提示最优驾驶决策信息。
参照图2所示，本发明还提供了一种公交车智能网联碰撞优化方法，基于上述系统，包括以下步骤：
(1)采集公交车周围物体的视频图像信息、运动信息及自车的地理位置信息；
(2)根据上述采集到的信息运用OpenCV图像处理技术实现车道线检测；
(3)根据步骤(1)中的自车的地理位置信息找到离自车最近的边缘服务器，将步骤(1)中采集到的物体视频图像信息、运动信息及步骤(2)中检测到的车道线检测结果信息传输至距离自车最近的边缘服务器；
所述步骤(3)具体包括利用移动边缘计算方法实现车载终端的数据发送以及边缘服务器数据接收两个过程，具体步骤如下：
(31)车载终端发送过程，参照图3所示，具体步骤如下：
(311)在系统初始化阶段，车载终端中的第一数据传输模块在ConnectThread线程中创建Socket类的对象，传入边缘服务器中的第二数据传输模块指定的IP地址以及端口号，并且向第二数据传输模块发送连接请求；
(312)连接成功后，第一数据传输模块开启ConnectedThread线程，为JSONObject类创建对象，将第一数据传输模块特有标识IMEI号以及JSON数据格式发送到第二数据传输模块，第一数据传输模块为OutputStream类创建对象mOutStream，之后将收集到的数据打包进JSON信息中，写入mOutStream对象中并进行发送；
(313)经过整合的数据包发送完毕后，第一数据传输模块关闭ConnectedThread线程，停止发送；
(32)边缘服务器接收过程，参照图4所示，具体步骤如下：
(321)在系统初始化阶段，边缘服务器中的第二数据传输模块创建并且开启接收和发送两个线程，R和S，保持第二数据传输模块和第一数据传输模块的连接状态；
(322)在R线程中，声明传输端口号，再创建并且开启专门用于接收传输数据的线程RT，对第一数据传输模块上传的数据进行接收、存储；
(323)第二数据传输模块接收到与其相连第一数据传输模块的IMEI号，并且根据IMEI号为每个联网公交车上传的数据开辟独立的通信线程、数据存储空间和图像处理线程；
(324)第二数据传输模块对数据进行接收并进行存储。
(4)物体检测模块对公交车周围物体类别信息进行识别；具体包括：
(41)选择基于YOLOv3物体检测算法的物体检测模型进行训练，其具体结构如下：
(411)网络模型结果共有112层，前70层中包括42个负责特征提取的卷积层和28个用于控制梯度、防止梯度消失情况发生的残差层；
(412)70-112层经过组合分别构成小、中、大尺度的yolo网络特征交互层；包括23个卷积层，通过卷积核运算实现局部的特征交互；
(413)设置训练参数：模型训练总轮数为210000，训练初始学习率为0.001，随着迭代至70000，140000，210000，学习率调整至初始学习率的0.1倍，0.01倍，0.001倍；
(42)在用于物体检测的公开数据集基础上，对获得的公交车周围物体的视频图像信息进行人工标注，并将数据集放入模型进行训练，得到物体检测模型；
(43)利用Darknet深度学习框架对物体检测模型进行初始化，再利用物体检测模型分析公交车周围物体的视频图像信息，得出视频图像中物体的中心位置以及边界框并进一步判断出物体类型。
(5)将步骤(1)中公交车周围物体的运动信息与步骤(4)中物体类型检测识别结果一一对应，得到公交车周围物体的类别信息及相应的运动信息；
(6)决策优化模块利用优化模型进行求解，得到最优驾驶决策信息；
最优驾驶决策信息的具体步骤如下：
(61)建立碰撞优化模型：
(611)确定目标函数，使碰撞可能产生的人员伤亡最小，财产损失最小，对道路交通的影响最小；
目标函数：
min(w1×casualties+w2×pdamage+w3×impact)
其中，casualties为人员伤亡，由公交车内部乘客人数、周围行人人数以及可能发生碰撞的车辆最大载客人数决定；pdamage为财产损失，由可能与公交车发生碰撞的车辆价值决定；impact为对道路交通的影响程度，由公交车转向角度及其速度决定，w1、w2、w3为前三者各自的权重，由层次分析法提前决定；
(612)根据公交车自身的限制以及道路情况确定约束条件，分别约束车辆的转向角度，车辆的速度；
约束条件：
Figure BDA0002957624380000081
其中，w为公交车的转向角度；v为公交车的速度；maxangle为最大转向角度，即公交车的最大转向角，由自车地理位置信息以及车道线检测结果决定；maxspeed、minspeed分别为公交车限制的最大和最小速度，由公交车自身规定的合理行驶速度范围以及周围物体的运动信息决定决定；
(62)将步骤(3)和步骤(5)中得到的信息整合，传入优化模型之中，调用Lingo软件进行求解，得出最优驾驶决策信息。
(7)将上述得到的最优驾驶决策信息发送给车载终端，以通知驾驶员采取相应的驾驶动作；
利用移动边缘计算方法将信息传递给第一数据传输模块的具体步骤如下：
(71)第二数据传输模块整合回传数据到JSON格式的信息中，并且开启发送信息的端口号；
(72)第一数据传输模块新建一个Socket对象，对应第二数据传输模块用于发送数据的端口号，并且与第二数据传输模块进行通信；
(73)通信链路连接成功后，第一数据传输模块开启接收数据线程；
(74)第一数据传输模块将步骤(63)中相应的最优驾驶决策信息传递到车载显示屏以及麦克风，提示驾驶员采取相应措施。
所述步骤(73)中接收步骤具体如下：
(731)向第二数据传输模块发送JSON数据格式的IMEI号，告知所需要的数据标识；
(732)通过Socket的getInputStream()方法，依次对第二数据传输模块传输回来的JSON数据包中的数据进行解析。
本发明具体应用途径很多，以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以作出若干改进，这些改进也应视为本发明的保护范围。

Claims (10)

1.一种公交车智能网联碰撞优化系统，其特征在于，包括：车载终端与边缘服务器；
所述车载终端包括：数据采集模块、第一数据传输模块、车载数据处理模块及交互模块；
所述数据采集模块，用于采集公交车周围物体的视频图像信息、运动信息以及公交车自车的地理位置信息；
所述车载数据处理模块，用于根据上述采集到的视频图像信息进行车道线检测；
所述第一数据传输模块，用于将上述车道线检测结果、公交车周围物体的视频图像信息及运动信息，发送给离公交车自车最近的边缘服务器；
所述交互模块，用于实现实时的人机交互；
所述边缘服务器包括：物体检测模块、决策优化模块及第二数据传输模块；
所述第二数据传输模块，用于接收上述第一数据传输模块传输的数据；
所述物体检测模块，用于根据上述公交车周围物体的视频图像信息来识别公交车周围物体类别信息；
所述决策优化模块，用于根据上述识别得到的周围物体类别信息、车道线信息及公交车周围物体的运动信息进行优化计算，得出最优驾驶决策信息，并通过第二数据传输模块将得到的最优驾驶决策信息发送给第一数据传输模块。
2.根据权利要求1所述的公交车智能网联碰撞优化系统，其特征在于，所述数据采集模块包括：车载移动摄像头、GPS模块、车载雷达，其中，所述车载移动摄像头用于采集公交车周围物体的视频图像数据，所述GPS模块用于采集公交车自车的地理位置信息，所述车载雷达用于测量公交车与周围物体的相对距离、相对速度、相对方位角。
3.根据权利要求1所述的公交车智能网联碰撞优化系统，其特征在于，所述物体检测模块利用Darknet深度学习框架初始化后的物体检测模型识别公交车周围物体类别信息。
4.根据权利要求1所述的公交车智能网联碰撞优化系统，其特征在于，所述交互模块包括：车载显示单元以及音频单元，所述车载显示单元用于向驾驶员显示最优驾驶决策信息，所述音频单元用于向驾驶员发送语言，提示最优驾驶决策信息。
5.一种公交车智能网联碰撞优化方法，基于权利要求1-4中任意一项所述系统，其特征在于，包括以下步骤：
(1)采集公交车周围物体的视频图像信息、运动信息及自车的地理位置信息；
(2)根据上述采集到的信息运用OpenCV图像处理技术实现车道线检测；
(3)根据步骤(1)中的自车的地理位置信息找到离自车最近的边缘服务器，将步骤(1)中采集到的物体视频图像信息、运动信息及步骤(2)中检测到的车道线检测结果信息传输至距离自车最近的边缘服务器；
(4)物体检测模块对公交车周围物体类别信息进行识别；
(5)将步骤(1)中公交车周围物体的运动信息与步骤(4)中物体类型检测识别结果一一对应，得到公交车周围物体的类别信息及相应的运动信息；
(6)决策优化模块利用优化模型进行求解，得到最优驾驶决策信息；
(7)将上述得到的最优驾驶决策信息发送给车载终端，以通知驾驶员采取相应的驾驶动作。
6.根据权利要求5所述的公交车智能网联碰撞优化方法，其特征在于，所述步骤(3)具体包括利用移动边缘计算方法实现车载终端的数据发送以及边缘服务器数据接收两个过程，具体步骤如下：
(31)车载终端发送过程，具体步骤如下：
(311)在系统初始化阶段，车载终端中的第一数据传输模块在ConnectThread线程中创建Socket类的对象，传入边缘服务器中的第二数据传输模块指定的IP地址以及端口号，并且向第二数据传输模块发送连接请求；
(312)连接成功后，第一数据传输模块开启ConnectedThread线程，为JSONObject类创建对象，将第一数据传输模块特有标识IMEI号以及JSON数据格式发送到第二数据传输模块，第一数据传输模块为OutputStream类创建对象mOutStream，之后将收集到的数据打包进JSON信息中，写入mOutStream对象中并进行发送；
(313)经过整合的数据包发送完毕后，第一数据传输模块关闭ConnectedThread线程，停止发送；
(32)边缘服务器接收过程，具体步骤如下：
(321)在系统初始化阶段，边缘服务器中的第二数据传输模块创建并且开启接收和发送两个线程，R和S，保持第二数据传输模块和第一数据传输模块的连接状态；
(322)在R线程中，声明传输端口号，再创建并且开启专门用于接收传输数据的线程RT，对第一数据传输模块上传的数据进行接收、存储；
(323)第二数据传输模块接收到与其相连第一数据传输模块的IMEI号，并且根据IMEI号为每个联网公交车上传的数据开辟独立的通信线程、数据存储空间和图像处理线程；
(324)第二数据传输模块对数据进行接收并进行存储。
7.根据权利要求5所述的公交车智能网联碰撞优化方法，其特征在于，所述步骤(4)的具体步骤如下：
(41)选择基于YOLOv3物体检测算法的物体检测模型进行训练，其具体结构如下：
(411)网络模型结果共有112层，前70层中包括42个负责特征提取的卷积层和28个用于控制梯度、防止梯度消失情况发生的残差层；
(412)70-112层经过组合分别构成小、中、大尺度的yolo网络特征交互层；包括23个卷积层，通过卷积核运算实现局部的特征交互；
(413)设置训练参数：模型训练总轮数为210000，训练初始学习率为0.001，随着迭代至70000，140000，210000，学习率调整至初始学习率的0.1倍，0.01倍，0.001倍；
(42)在用于物体检测的公开数据集基础上，对获得的公交车周围物体的视频图像信息进行人工标注，并将数据集放入模型进行训练，得到物体检测模型；
(43)利用Darknet深度学习框架对物体检测模型进行初始化，再利用物体检测模型分析公交车周围物体的视频图像信息，得出视频图像中物体的中心位置以及边界框并进一步判断出物体类型。
8.根据权利要求5所述的公交车智能网联碰撞优化方法，其特征在于，所述步骤(6)中得到最优驾驶决策信息的具体步骤如下：
(61)建立碰撞优化模型：
(611)确定目标函数，使碰撞可能产生的人员伤亡最小，财产损失最小，对道路交通的影响最小；
目标函数：
min(w1×casualties+w2×pdamage+w3×impact)
其中，casualties为人员伤亡，由公交车内部乘客人数、周围行人人数以及可能发生碰撞的车辆最大载客人数决定；pdamage为财产损失，由可能与公交车发生碰撞的车辆价值决定；impact为对道路交通的影响程度，由公交车转向角度及其速度决定，w1、w2、w3为前三者各自的权重，由层次分析法提前决定；
(612)根据公交车自身的限制以及道路情况确定约束条件，分别约束车辆的转向角度，车辆的速度；
约束条件：
Figure FDA0002957624370000031
其中，w为公交车的转向角度；v为公交车的速度；maxangle为最大转向角度，即公交车的最大转向角，由自车地理位置信息以及车道线检测结果决定；maxspeed、minspeed分别为公交车限制的最大和最小速度，由公交车自身规定的合理行驶速度范围以及周围物体的运动信息决定决定；
(62)将步骤(3)和步骤(5)中得到的信息整合，传入优化模型之中，调用Lingo软件进行求解，得出最优驾驶决策信息。
9.根据权利要求5所述的公交车智能网联碰撞优化方法，其特征在于，所述步骤(7)中利用移动边缘计算方法将信息传递给第一数据传输模块的具体步骤如下：
(71)第二数据传输模块整合回传数据到JSON格式的信息中，并且开启发送信息的端口号；
(72)第一数据传输模块新建一个Socket对象，对应第二数据传输模块用于发送数据的端口号，并且与第二数据传输模块进行通信；
(73)通信链路连接成功后，第一数据传输模块开启接收数据线程；
(74)第一数据传输模块将步骤(63)中相应的最优驾驶决策信息传递到车载显示屏以及麦克风，提示驾驶员采取相应措施。
10.根据权利要求9所述的公交车智能网联碰撞优化方法，其特征在于，所述步骤(73)中接收步骤具体如下：
(731)向第二数据传输模块发送JSON数据格式的IMEI号，告知所需要的数据标识；
(732)通过Socket的getInputStream()方法，依次对第二数据传输模块传输回来的JSON数据包中的数据进行解析。
CN202110230451.4A 2021-03-02 2021-03-02 一种公交车智能网联碰撞优化系统及方法 Pending CN112991733A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110230451.4A CN112991733A (zh) 2021-03-02 2021-03-02 一种公交车智能网联碰撞优化系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110230451.4A CN112991733A (zh) 2021-03-02 2021-03-02 一种公交车智能网联碰撞优化系统及方法

Publications (1)

Publication Number Publication Date
CN112991733A true CN112991733A (zh) 2021-06-18

Family

ID=76352019

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110230451.4A Pending CN112991733A (zh) 2021-03-02 2021-03-02 一种公交车智能网联碰撞优化系统及方法

Country Status (1)

Country Link
CN (1) CN112991733A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113299147A (zh) * 2021-06-30 2021-08-24 中国汽车工程研究院股份有限公司 基于交通事故深度调查的训练系统及训练方法
CN114039621A (zh) * 2021-11-23 2022-02-11 安徽富煌科技股份有限公司 一种基于松耦合的车载智联终端
CN114093191A (zh) * 2021-11-25 2022-02-25 济南亚跃信息技术有限公司 无人驾驶智能调度系统及自动驾驶方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109829403A (zh) * 2019-01-22 2019-05-31 淮阴工学院 一种基于深度学习的车辆防碰撞预警方法及系统
CN110362077A (zh) * 2019-07-03 2019-10-22 上海交通大学 无人驾驶车辆紧急避险决策系统、方法及介质
CN110660221A (zh) * 2019-10-09 2020-01-07 浙江省交通规划设计研究院有限公司 一种基于车路协同系统的信息交互方法及装置
CN111301316A (zh) * 2020-01-20 2020-06-19 杭州金通科技集团股份有限公司 一种智能公交车载终端系统
CN111709381A (zh) * 2020-06-19 2020-09-25 桂林电子科技大学 基于YOLOv3-SPP的道路环境目标检测方法
CN112037365A (zh) * 2020-09-01 2020-12-04 枣庄学院 面向行车记录仪基于边缘计算的车辆火灾事故检测报警系统

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109829403A (zh) * 2019-01-22 2019-05-31 淮阴工学院 一种基于深度学习的车辆防碰撞预警方法及系统
CN110362077A (zh) * 2019-07-03 2019-10-22 上海交通大学 无人驾驶车辆紧急避险决策系统、方法及介质
CN110660221A (zh) * 2019-10-09 2020-01-07 浙江省交通规划设计研究院有限公司 一种基于车路协同系统的信息交互方法及装置
CN111301316A (zh) * 2020-01-20 2020-06-19 杭州金通科技集团股份有限公司 一种智能公交车载终端系统
CN111709381A (zh) * 2020-06-19 2020-09-25 桂林电子科技大学 基于YOLOv3-SPP的道路环境目标检测方法
CN112037365A (zh) * 2020-09-01 2020-12-04 枣庄学院 面向行车记录仪基于边缘计算的车辆火灾事故检测报警系统

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113299147A (zh) * 2021-06-30 2021-08-24 中国汽车工程研究院股份有限公司 基于交通事故深度调查的训练系统及训练方法
CN114039621A (zh) * 2021-11-23 2022-02-11 安徽富煌科技股份有限公司 一种基于松耦合的车载智联终端
CN114039621B (zh) * 2021-11-23 2023-08-22 安徽交欣科技股份有限公司 一种基于松耦合的车载智联终端
CN114093191A (zh) * 2021-11-25 2022-02-25 济南亚跃信息技术有限公司 无人驾驶智能调度系统及自动驾驶方法

Similar Documents

Publication Publication Date Title
CN112991733A (zh) 一种公交车智能网联碰撞优化系统及方法
CN106875736B (zh) 一种无线自动泊车系统及方法
CN110163074B (zh) 提供用于基于图像场景和环境光分析的增强路面状况检测的方法
CN103927904B (zh) 利用智能手机的行人防碰撞预警系统的预警方法
CN109686095A (zh) 基于lte-v的车路协同方法及系统
US11113969B2 (en) Data-to-camera (D2C) based filters for improved object detection in images based on vehicle-to-everything communication
CN108830264B (zh) 一种无人驾驶公交车的站台乘客检测系统及方法
CN208938350U (zh) 一种自适应巡航模式下的车载hmi显示系统
CN110837800A (zh) 一种面向港口恶劣天气的目标检测和识别的方法
WO2023151522A1 (zh) 基于人工智能物联网平台用于自动驾驶的远程控制方法
CN112215306A (zh) 一种基于单目视觉与毫米波雷达融合的目标检测方法
CN112419773A (zh) 一种基于云控平台的车路协同无人驾驶控制系统
CN107204055A (zh) 一种智能联网行车记录仪
CN114418895A (zh) 驾驶辅助方法及装置、车载设备及存储介质
CN112633120B (zh) 一种基于半监督学习的智能路侧感知系统的模型训练方法
CN111661057A (zh) 车辆、车机设备及其车辆变道路况提示方法
CN110398255A (zh) 定位方法、装置及车辆
CN104570770A (zh) 基于缩微智能车的交通流仿真实验平台
CN113869275A (zh) 一种基于移动边缘计算的车辆抛洒物检测系统
CN115909240A (zh) 一种基于车道线和车辆识别的道路拥堵检测方法
CN117416349A (zh) V2X环境下基于改进YOLOV7-Tiny和SS-LSTM的自动驾驶风险预判系统及方法
CN111311958A (zh) 基于v2x技术的转弯路况提醒方法、系统及v2x服务器
CN112926415A (zh) 一种行人避让系统和行人监测方法
CN208969681U (zh) 一种无人驾驶公交车的站台乘客检测系统
CN114419925B (zh) 一种车路协同的防碰预警系统和方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20210618