CN112951000B - 大型车辆盲区双向预警系统 - Google Patents

大型车辆盲区双向预警系统 Download PDF

Info

Publication number
CN112951000B
CN112951000B CN202110359428.5A CN202110359428A CN112951000B CN 112951000 B CN112951000 B CN 112951000B CN 202110359428 A CN202110359428 A CN 202110359428A CN 112951000 B CN112951000 B CN 112951000B
Authority
CN
China
Prior art keywords
early warning
vehicle
module
blind area
bidirectional
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110359428.5A
Other languages
English (en)
Other versions
CN112951000A (zh
Inventor
崔志伟
何碧娟
储轶钢
华茹玥
钮昊天
万俊杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Design Group Co Ltd
Original Assignee
China Design Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Design Group Co Ltd filed Critical China Design Group Co Ltd
Priority to CN202110359428.5A priority Critical patent/CN112951000B/zh
Publication of CN112951000A publication Critical patent/CN112951000A/zh
Application granted granted Critical
Publication of CN112951000B publication Critical patent/CN112951000B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/167—Driving aids for lane monitoring, lane changing, e.g. blind spot detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/12—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Probability & Statistics with Applications (AREA)
  • Medical Informatics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明提供了大型车辆盲区双向预警系统，包括：前端感知模块利用传感器采集车辆盲区设定范围内图像、视频以及车辆转弯信号；前端分析模块利用AI模型识别障碍物，并跟踪障碍物的运动轨迹；对障碍物测速测距，并预判障碍物运动轨迹，若判断障碍物的轨迹经过内轮差危险区范围，则将危险信号传输至双向预警模块来发出双向预警；云端管控平台，对采集到车辆盲区内的数据以及预警事件进行存储并分析获得AI模型并下发边缘侧的前端分析模块。本发明将无人驾驶领域的多传感器融合、机器视觉等技术创新引入大车盲区场景，归纳总结出普适性安装方案，从驾驶员与障碍物两个角度提升警示效果，预防事故，实现双向的预警机制。

Description

大型车辆盲区双向预警系统
技术领域
本发明涉及一种基于机器视觉和深度学习的大型车辆盲区双向预警系统，属于机器视觉、深度学习、盲区预警等领域。
背景技术
近年来我国汽车保有量高速增长，运输行业的井喷式发展，为城市道路带来承载压力及安全隐患，安全行车及其相关话题的热度有增无减。
据统计，交通事故的死亡人数中，涉及大车的人数占比达到80％。而大车造成的恶性交通事故中，有70％的是由大车转弯、变道时的盲区、内轮差引发，造成的死亡率高达90％。大型车辆的交通安全事故率居高不下，重特大事故触目惊心，其过长过重车身和多处盲区及转弯时前后内轮差是产生交通安全事故的主要原因。通过分析撞车数据发现，右变道或并线行驶事故发生概率是左变道或并线行驶的4倍。根据“二八定律”，解决右侧盲区的预警问题将显著减少事故。业界普遍认为目前最有效的解决方式是直接在大车上部署盲区预警装置。
大型车辆经常在复杂环境、夜间环境中行驶，对盲区风险识别预警的实时性和准确性要求很高，同时也对成本有很高的敏感度，目前主流方案暂时不能解决大型车辆盲区风险问题。基于超声波传感器的方案，精度较差，时延较大，无法识别速度且易受天气情况影响。基于微波传感器的方案，识别准确性较差、误报干扰率较高，可能误将隧道墙壁认为是车辆。基于视频传感器的方案，受环境光线的影响较大，且一般缺乏自动报警能力，需驾驶员分心观察监视屏。综上所述，已有方案往往采用单一感知设备，识别准确度不高，且有效警示的能力不强，部署价值和实际应用规模较小。
在无人驾驶飞速发展的背景下，高级驾驶辅助系统(ADAS)已进行初步尝试应用，但系统大多数传感器都是独立工作的，且受技术成熟度、安全性能、成本控制等因素限制，其多传感器融合、机器视觉、深度学习等领先技术尚未实际应用于大型车辆盲区预警场景。
发明内容
本发明针对大型车辆盲区的安全隐患，本发明聚焦现阶段盲区障碍物识别难题，设计一种大型车辆盲区预警系统。
本发明大型车辆盲区双向预警系统，包括边缘侧和云侧，所述边缘侧包括前端感知模块、前端分析模块和双向预警模块，所述云侧包括云端管控平台；
所述前端感知模块用于利用传感器采集车辆盲区设定范围内图像、视频以及车辆转弯信号；
所述前端分析模块用于利用云侧下发的AI模型根据前端感知模块获取的图像和视频识别障碍物，并跟踪障碍物的运动轨迹；对障碍物测速测距，并预判障碍物运动轨迹，若判断障碍物的轨迹经过内轮差危险区范围，则将危险信号传输至双向预警模块；
所述前端分析模块还用于将获取的车辆转弯信号传输至所述双向预警模块，以及将采集到信息以及预警事件传输至所述云端管控平台；
所述双向预警模块用于根据接收到所述前端分析模块传输的危险信号和车辆转弯信号从驾驶员和障碍物的角度发出双向预警；
所述云端管控平台，用于对采集到车辆盲区内的数据以及预警事件进行存储并汇总全时域、全局性数据进行分析获得AI模型并下发边缘侧的前端分析模块。
进一步地，所述前端感知模块包括红外视频传感器和转弯感知模块，所述红外视频传感器用于采集车辆盲区设定范围内图像和视频，所述转弯感知模块连接至大型车辆右转向灯电路，用于接收车辆的右转向信号。
进一步地，AI模型根据前端感知模块获取的图像和视频识别障碍物具体包括：将传感器采集车辆盲区设定范围内图像和视频进行融合，融合步骤包括：将各传感器所在坐标系的转换，将各传感器在时间上融合；基于Inception-v4特征抽取网络抽取特征，采用SDD模型实现基于Inception-v4的目标检测。
再进一步地，构建所述Inception-v4特征抽取网络包括：1)构建卷积块CB，其中所有激活层神经元使用不同的激活函数；激活层被定义为神经元层，激活层将m个特征映射转换为新的m个特征映射；通过激活函数f将卷积特征θn变为新特征，即f(θn)；AL(X)表示新的卷积在每个卷积层CONV之后和池化层POOL之前使用激活层AL，括号内X表示使用的激活函数；2)构建全连接隐藏层，全连接隐藏层同样使用不同的激活函数；在卷积中构建n个FC隐藏神经元，每个神经元使用从一组k个激活函数中选择的激活函数；3)使用构建的卷积块CB和全连接隐藏层组建改进的Inception-V4。
再进一步地，选用RMSProp算法更新Inception-v4特征抽取网络权重。
进一步地，SSD算法置信度损失函数如下：
Figure GDA0003618399920000041
损失函数为：
Figure GDA0003618399920000042
其中，α为权重因子N是匹配的默认框的数量，pi为预测输入实例xi属于该类别的概率，γ为权重因子。
再进一步地，结合AdaBoost算法训练SSD模型。
再进一步地，所述双向预警模块获取的车辆转弯信号后开启车外的扬声器，对车外行人车辆进行鸣笛预警；同时开启车身顶部的激光投影器，在大型车辆右侧内轮差范围内投射出红色光线与标识危险区域的图案。
再进一步地，所述的前端分析模块选用边缘计算盒子为计算载体，所述边缘计算盒子与所述云端管控平台实现边云协同。
再进一步地，所述的前端感知模块、前端分析模块和双向预警模块通过CAN总线对接，由原车辆供电。
本发明所取得的有益技术效果：通过研究事故中的多种交互要素，本发明创新结合多种警示设备，将无人驾驶领域的多传感器融合、机器视觉等技术创新引入大车盲区场景，归纳总结出普适性安装方案，从驾驶员与障碍物两个角度提升警示效果，预防事故，实现双向的预警机制。创新应用边云协同技术，前后端深度学习，实现极低时延与强大计算、服务能力的结合，并开放拓展服务功能接口。
本发明重点改进SSD目标检测算法与Google-Inception-v4卷积神经网络模型，自动识别盲区图像，并提升识别的准确性与精确度，保证驾驶员安心驾驶。通过压缩跟踪算法实现动态轨迹监测，创新实现结合预判结果的分级预警。
附图说明
图1为具体实施例大型车辆盲区双向预警系统的结构示意图。
图2为具体实施例大型车辆盲区双向预警系统运行方法的流程图。
图3为具体实施例大型车辆盲区双向预警系统硬件布设示意图。
图4为具体实施例大型车辆盲区双向预警系统多传感器融合模型整体框架示意图。
图5为具体实施例大型车辆盲区双向预警系统SSD网络结构示意图。
图6为具体实施例大型车辆盲区双向预警系统Inception-v4模型。
图7为具体实施例大型车辆盲区双向预警系统改进后的Inception-A模块架构图。
图8为具体实施例大型车辆盲区双向预警系统压缩跟踪算法示意图，
其中8(a)为第t帧时训练二分类器示意图；8(b)为第t+1帧时利用二分类器确定跟踪目标示意图。
其中：1、大型车辆盲区双向预警系统；2、前端感知模块；3、前端分析模块；4、双向预警模块；5、云端管控平台；6、红外视频传感器；7、超声波传感器(选配)；8、微波传感器(选配)；9、转弯感知模块；10、驾驶状态视频传感器(选配)；11、视频显示器；12、声光报警器；13、扬声器；14、激光投影器；15、记录信息库；16、后端分析模块；17、联动报警模块；18、渣土车监管模块；19、驾驶风险干预与管理模块。
具体实施方式
以下结合说明书附图和具体实施例本发明做进一步说明。
本发明以红外视频传感器为主，以超声波、微波等为辅实现感知，全方位检测盲区信息并传输至分析模块。基于多传感器数据融合、机器视觉、深度学习等技术，实时、精准识别盲区内障碍物及轨迹，根据可智能升级的预设规则判断预警事件。通过激光投影器、扬声器、声光报警器、视频显示器等多方式、多级别双向预警，实时警示车外行人车辆与车内驾驶员。边缘侧在车辆上实现实时感知、分析、预警，乃至云端服务分发，云端则汇总全时域、全局性数据进行深度分析、管控和服务，边云协同共同构成弹性、敏捷的安全预警及服务网络。云端平台实施服务开放共享策略，开放数据和业务引擎能力，提供多种分析、管控和灵活定制的安全服务功能，包括突发事故紧急报警联动、渣土车运输作业监管、驾驶风险行为干预与管理等，形成价值链的深度链接，打造安全新生态。整体形成感知—分析—预警—管控全过程闭环优化的大型车辆盲区预警体系。
实施例1：如图1所示，大型车辆盲区双向预警系统1包含前端感知模块2、前端分析模块3、双向预警模块4与云端管控平台5。所述的前端感知模块2、前端分析模块3、双向预警模块4通过CAN总线对接，由原车供电。大型车辆盲区双向预警系统硬件布设如图3所示。
本实施例中，前端分析模块3支持4G/5G、NB-IoT的形式与云端管控平台5进行数据传输。实时融合分析多传感器上传的盲区数据，基于云端训练下发和边缘侧个性化训练共同形成的模型推理识别盲区内行人、骑行者、车辆及物体等各类障碍物类型，跟踪障碍物动态位置，预测轨迹，支撑低误报率低时延预警，实现精准高效的风险分析。
具体实施例中前端感知模块2包含红外视频传感器6、超声波传感器7(选配)、微波传感器8(选配)、转弯感知模块9、驾驶状态视频传感器10(选配)。
可选的，红外视频传感器6选用红外线广角摄像头，固定安装在车身右侧至高点，根据危险范围检测需求调整安装角度，分辨率为1920像素×1080像素，帧率为30帧/s，响应快速，抗干扰性强，成像清晰，满足不同光线下的大型车辆右侧盲区5米范围的监测需求。
超声波传感器7为选配模块，选用58KHz超声波雷达，根据车身长度选配合适数量，平均分布一排固定安装在车身右侧底端，其探测角度大，水平检测角度可达70°，垂直检测角度可达30°，应用于大型车辆盲区监测，探测距离可达到5米。
微波传感器8为选配模块，选用24GHz微波雷达，固定安装在车身右侧至高点，根据危险范围检测需求调整安装角度，其拥有较强的环境适应能力，可以穿透雨雪、雾霾、尘土等实现测速测距，其探测距离可以达到80米，在恶劣天气环境下作为红外视频传感器的补充。
转弯感知模块9连接至大型车辆右转向灯电路，可接收车辆的右转向信号。
驾驶状态视频传感器10为选配模块，可集成在双向预警模块的视频显示器上，固定安装在驾驶室前端中部，实时采集驾驶员在行车过程中的行为与面部信息。
可选的，前端分析模块3选用边缘计算盒子为计算载体，包含Intel 3867U(1.6GHz/2C/4T)的CPU、双AI加速卡、16G的内存、四个USB3.0接口、一个HDMI OUT接口和两个千兆以太网接口，相较于单片机运算能力更强，降低识别和预警时延，提高系统安全性，同时减少发送到云端的数据量，消除数据传输的瓶颈。前端分析模块3实现基于Kubernetes与Docker的云原生应用，支持边云一致的函数和标准的容器应用生态，应用可无缝迁移到边缘测支持微服务的管理和编排。
前端分析模块3以及云端管控平台5主要使用TensorFlow软件架构(PythonTensorflow-gpu版本)，并启用统一计算架构(Compute Unified Device Architecture,CUDA)。依托git库和封装了Google-Inception-V4算法及其他一些图像算法的训练框架等开源资源进行深度开发。
本发明在盲区识别预警场景中创新利用边云协同算法，最大程度优化深度学习的效率和效果，边缘AI的训练可分为三个阶段：第一阶段为预训练阶段(pre-train)，云端通过读取全时域、全局性数据训练通用的模型作为边缘AI的底座；第二阶段将通用模型下发至边缘侧，读取边缘数据，通过迁移学习(Transfer Learning)，来得到边缘模型；第三阶段读取在线增量数据，利用增量学习(Incremental Learning)生成最终边缘模型。最终边缘模型用于前端分析模块侧的推理。
前端分析模块3结合红外视频、超声波、微波等多传感器上传的大量数据，通过多传感器融合技术，基于完善的理论体系与融合模型，综合处理多方信息源数据，相较于以往单一传感器，明显提升了盲区感知能力。
本实施例中，多传感器融合模型整体框架如图4所示。结合人眼视觉系统，视网膜中的视杆细胞和视锥细胞相互“协作”，使得人眼视觉系统能够有效地实现快速、准确的目标检测。微波等辅助传感器类似于视杆细胞，探测障碍物并根据其位置和大小，在视频传感器采集到的道路图像中划分出可能存在障碍物的感兴趣区域，然后分析模块根据感兴趣区域在图像帧中生成待测矩形框。视频传感器的作用则类似于人眼视觉系统中的视锥细胞，在矩形框中应用检测算法进行障碍物检测，如果检测算法并未检测出车辆，则说明辅助传感器发生了误检测，因此分析模块将去除该矩形框；相反，若检测算法检测出该矩形框内包含障碍物，则进一步调用压缩跟踪算法进行障碍物跟踪。
前端分析模块3将微波、超声波等信息和图像信息统一在同一空间和时间维度中进行数据融合。如世界坐标系中一点Pw(Xw,Yw,Zw)在像素坐标系中投影点P(u,v)的转换公式：
Figure GDA0003618399920000101
Figure GDA0003618399920000102
其中，αx＝f/dx，αy＝f/dy，M为投影矩阵，用于描述世界坐标系与像素坐标系的转换关系。如对时间数据融合，采用以采样周期长的传感器为基准，以向下兼容的方式进行时间数据融合。
分析识别盲区障碍物方面，本实施例针对目前常见的SSD目标检测算法的多种缺陷，基于Inception-v4特征抽取网络，创新进行多次改进研发，相交于已有识别算法，大幅提升识别准确度与及时性。
SSD算法结合Faster R-CNN的anchor box机制和YOLO的回归思想，通过预测不同尺度特征提取层上的目标区域，将边界框的输出空间离散化为一系列多尺度、多比例的预选框。在检测阶段，网络将生成感兴趣目标的对应置信度并对预选框进行调整以匹配目标区域。该算法相对于基于区域建议的方法较为简单，因其去掉了生成建议的步骤并将所有计算封装到单个网络中，这使得该算法更易于训练和集成到检测系统中。它在保持YOLO算法快速特性的同时，也保证了和Faster R-CNN类似的边框定位效果。在PASCAL VOC和ILSVRC DET数据集上也证实了SSD算法的优良性能，检测速度符合本系统预警要求。SSD网络结构如图5所示。
针对现有SDD算法采用VGG16特征抽取网络存在的不足，结合进一步改进Inception-v4模型，通过组合低层特征形成更加抽象的高层特征标签，以发现数据的分布式特征表示。Inception-v4模型如图6所示。卷积是指神经网络对图片上每一小块像素区域进行加权，从而取代对每个像素的输入信息做处理，其中的小块区域叫做局部感受野，区域的权值叫做卷积核。图像经过卷积运算后再加上偏置值，通过激励函数得到特征图。卷积可以加强图片信息的连续性，从而加深了神经网络对图片的理解。进行卷积时神经层可能丢失一些边缘信息，造成神经网络对图像的误判。通过加入池化层，设置卷积的时候不压缩图片长宽，尽量地保留更多信息，再通过池化进行压缩。池化的过程相当于模糊滤波，可增强特征图像的鲁棒性。Softmax层用于在多分类过程中将多个神经元的输出映射到(0，1)区间内的数值，而这些值的累计和为1，满足概率的性质，从而可以用来进行多分类。
本实施例针对Inception-V4对于模糊和拍摄不全的图像识别效果差强人意的问题作了进一步的改进(如图6所示)：
1)构建卷积块(convolution block，CB)，其中所有激活层(activation layer，AL)神经元使用不同的激活函数；激活层被定义为神经元层，AL将m个特征映射转换为新的m个特征映射。通过激活函数f将卷积特征θn变为新特征，即f(θn)。AL(REL，SIG)表示新的卷积在每个CONV之后和POOL之前使用AL，括号内表示使用的激活函数，如REL表示relu激活函数，SIG表示sigmod激活函数，TAN表示tanh激活函数。令CB为卷积层加激活层，可表示为[CONV→AL(REL，SIG)]，传统CNN的CB是[CONV→REL]，网络架构为INPUT→[CONV→AL(REL，SIG)]→POOL→[CONV]→AL(REL，SIG，TAN)]→[CONV→AL(LIN)]→POOL→[CONV→AL(PLS，SIG)]→[CONV→AL(SGN，ELU)]→[CONV→AL(TAN，ELU，LIN)]→POOL→OUTPUT。2)构建全连接(fully connected，FC)隐藏层，FC隐藏层同样使用不同的激活函数；在卷积中构建n个FC隐藏神经元，每个神经元使用从一组k个激活函数中选择的激活函数。例如，第一FC隐藏层中的三个FC隐藏神经元可以使用SIG，LIN和REL，并且第三FC隐藏层中的FC隐藏神经元可以使用TAN等。3)使用构建的CB和FC隐藏层组建改进的Inception-V4。对原始Inception-V4的每个模块Stem，Inception-A，reduction-A，Inception-B，Inception-C依次按照上述方法进行改进，改进后的模块Stem，4×Inception-A，reduction-A，7×Inception-B，reduction-B，3×Inception-C，Max pooling，Dropout(0.8)和Softmax。图7表示了改进后Inception-A架构所有CB和其AL使用不同的激活函数。经大数据量的训练和测试，基准选定AL为3时，FC隐藏层数为4，且每个隐藏层数使用128个神经元。
本实施例选用RMSProp算法更新网络权重，RMSProp算法对权重W和偏置b的梯度使用微分平方加权平均数。其中，假设在第t轮迭代过程中，各个过程如以下公式所示：
sdw＝βsdw+(1-β)dW2
sdb＝βsdb+(1-β)db2
Figure GDA0003618399920000131
Figure GDA0003618399920000132
Figure GDA0003618399920000133
Figure GDA0003618399920000134
其中，sdw和sdb分别是损失函数在前t-1轮迭代过程中累积的梯度动量；β是梯度累积的一个指数。
本实施例考虑SSD网络中的样本失衡问题，将Focal Loss替换SSD自带的损失函数，解决SSD存在的一些缺陷，进一步提高精度。新的置信度损失函数如下：
FLconf(x，c)＝-∑i∈Pos(1-α)log pi-∑i∈Negα(1-pi)γlog pi
其中x为样本，置信度c是由Softmax层产生的每一类的概率；预测概率pi为预测输入实例xi属于该类别的概率，Pos、Neg指正负样本；α∈[0，1]为权重因子，通过控制α的大小即可控制负样本与总损失的比重，解决正负样本失衡问题；(1-pi)γ为调制系数，γ≥0为权重因子，解决难易样本失衡问题。
新的损失函数为：
Figure GDA0003618399920000135
其中N是匹配的默认框的数量，即正负样本的数量之和；位置损失Lloc(x，l，g)是预测框l和真实标签值框g参数之间的smooth-L1损失。
本实施例为进一步降低偏差，在SSD基础上结合AdaBoost算法，可有效应对交通场景下类似行人物体的干扰，如交通指示牌、垃圾桶等。AdaBoost算法首先赋予每一个训练样本相同的初始系数，这个系数代表了该样本在训练中的重要程度。利用拥有相同系数的数据训练出一棵决策树，此时必然会有样本被正确分类，而一些样本被错误分类。增大分类错误样本对应的系数，减小分类正确样本的系数，训练新的决策树。不断迭代，直到决策树的数量达到设定值或者样本分类错误率低于指定阈值。利用ROI Align提取样本对应特征，公式如下：
Figure GDA0003618399920000141
其中，d代表距离，Δh和Δw分别代表xi与
Figure GDA0003618399920000142
之间横坐标与纵坐标的差值。
本实施例通过迁移学习保持各层的参数，然后移除最后一层，并输入不同天气不同环境下的车辆、行人等样本图片，用反向传播算法重新训练最后一层，通过计算softmax层的输出和给定样本类别的标签向量二者的误差，用交叉熵函数调整优化权重参数，可节约大量训练时间。
前端分析模块3采用压缩跟踪算法得到障碍物的运动轨迹。压缩跟踪算法原理示意如图8。压缩跟踪算法共包含两大阶段：分类器更新和目标跟踪。在分类器更新阶段，压缩跟踪算法在t帧时，采集检测到的若干张目标图片和目标周围的背景图片，分别将其作为正样本和负样本，然后对采集到的正负样本进行多尺度变化，将样本量进行扩充，以更好地提取图像特征，然后将提取到的特征输入到一个随机稀疏矩阵中进行特征降维。根据压缩感知理论，一个高维图像的积分向量可以通过静态测量矩阵进行压缩并提取特征，压缩的过程可以用v＝Ru来表示，其中，u∈Rn，代表积分向量，I∈Rm，代表压缩特征向量，并且m的取值远远小于n。R是一个随机稀疏矩阵，该稀疏矩阵的定义为：
Figure GDA0003618399920000151
当s取值越大，矩阵越稀疏，本发明中s的基准取值为m的三分之一。可以看出，对于随机稀疏矩阵R的每一行，需要计算的数据，即非零值少于4个，从而使得该矩阵十分稀疏，其计算复杂度很低，且需要的存储空间也很少，同时，根据压缩感知理论可知，压缩后的特征保留了原始图像的基本信息。最后，将降维后的图像特征向量输入至一个在线学习的朴素贝叶斯分类器中进行训练，训练得到的最优二分类器将用于下一图像帧的目标检测。
在目标跟踪阶段，在上一帧跟踪到的目标位置附近，以一定半径采样若干个尺寸相同的图像，作为目标候选区域，同样通过稀疏测量矩阵对这些图像进行特征提取及降维处理，然后利用上一帧训练得到的朴素贝叶斯分类器对降维后的特征进行分类，得到每一幅图像的分类分数，分类得分最高的图像就确定为跟踪目标。其中，目标候选区域的选取采用了由粗糙到细致的采样方法，即先使用较大的搜索半径和搜索步长，对候选图像进行分类，得到该范围内最匹配的图像后，再以该图像为中心，缩小搜索半径和搜索步长，进行更精细的候选图像选取。这样一来，不仅使得候选图像采样的效率增高，采样速度提升，同时使目标搜索更加细致，跟踪位置更加准确。压缩跟踪算法对图像特征进行了降维处理，大大降低了运算复杂度，使得算法运行速度极快，可以在极短的时间内完成目标跟踪，同时因为对朴素贝叶斯分类器进行了在线的样本训练和分类器更新，使得实时的环境信息被加入到样本训练和分类器生成中，从而可以有效抵抗遮挡和环境变化带来的干扰。
前端分析模块3通过红外视频传感器连续帧的距离判断或微波传感器(如配置)实现障碍物的测速测距。
如采用红外视频传感器连续帧的距离判断的方式，通过基于透视变换的车辆测速方法，根据像素位移差和时间差获得障碍物的相对速度。通过单目测距算法获得障碍物的相对坐标位置。
如采用微波雷达方式，则探测动态目标时的距离计算公式示意如下：
Figure GDA0003618399920000161
探测动态目标时的速度计算公式如下：
Figure GDA0003618399920000162
其中c为光速，T为微波发射信号周期，ΔF为发射信号与发射信号的频率差，，f0为发射信号中心频率，fb+为混频后的三角波上升沿的差频频率，fb-为混频后的三角波下降沿的差频频率。
前端分析模块3，根据相对车速、实时车距等数据进一步推算障碍物的预判轨迹，通过车辆碰撞预测算法，判断预判轨迹是否处于盲区内轮差危险区范围内，从而判定障碍物的危险等级，为分级预警提供数据基础。
针对车距较近但轨迹判定出风险较低的情况，降低报警等级，减少驾驶干扰。与现有预警系统相比，大幅提升预警时效性与精细度。
本发明通过不同的背景环境、人物穿着、动作行为等丰富样本的多样性，多次迭代反复训练，自动提取车辆、行人及非机动车辆等多种对象的类型与轨迹特征，对比运算结果和类别标签，反馈调整模型运算参数，增强算法对危险情况与安全情况的分析识别，以提高深度学习模型的准确度和抗干扰性能，优化用户体验。
经过对大型车辆交通事故原因进行全方位的分析，发现除大型车辆本身机械结构带来盲区及内轮差的隐患外，事故与车内驾驶员与车外行人车辆的行为特征密不可分。本发明从用户认知度着手，创新结合多种声光警示设备，预警方式、强度可根据环境、时间灵活设定。针对不同车长、车高、车型的大型车辆，细化前端设备的研究，归纳总结出普适性安装方案。探索得出对于用户而言最直接有效、及时易见的多感官双向预警模块4。
双向预警模块4包含视频显示器11、声光报警器12、扬声器13、激光投影器14。
视频显示器11安装在驾驶室前端中部，可时显示红外视频传感器拍摄的视频图像。
声光报警器12安装在驾驶室内前端，可以发出声、光二种警报信号，完成报警目的，提醒驾驶员。
扬声器13固定安装在车身右侧顶部，可以发出语音报警提醒车外行人与车辆，扬声器音量与音调可根据行人车辆与大车的距离实时调整，在紧急情况下加大音量，提高音调。
激光投影器14固定安装在车身右侧顶部，激光等级选取为Class I，低输出激光，不论何种条件下对人体都不会超过MPE(maximal possible effect，最大可能的影响)值，保证用户使用安全。激光穿透力极强，不容易受烟、雾、灰尘的干扰，因此在不同的道路环境中都可以大道较为稳定的系统性能。在大型车辆右侧盲区投射出红色光线与“危险区域”图案，满足人眼视觉残留，具有及时易见的警示效果，在不同的光环境下皆可完成盲区投影的功能。
云端管控平台5包含大型车辆行驶记录信息库15、后端分析模块16、联动报警模块17、渣土车监管模块18、驾驶风险干预与管理模块19。平台记录汇总以往各车预警事件信息，深度分析误判漏判情况，形成优化AI模型和管控策略，并下发边缘侧；可选配安全服务功能，包括突发事故紧急报警联动、渣土车运输作业监管、驾驶风险行为干预与管理等。边缘侧在车辆上实现实时感知、分析、预警，乃至云端服务分发，云端则汇总全时域、全局性数据进行深度分析、管控和服务，边云协同共同构成弹性、敏捷的安全预警及服务网络。云端平台实施服务开放共享策略，开放数据和业务引擎能力，可与车辆管理所平台、交管中心平台、大型车辆企业平台等平台无缝对接，统一管理大型车辆行驶信息，实时监管大型车辆运行情况，同时提供个性化服务，构建“关爱共享安全新生态”。
大型车辆行驶记录信息库15记录原始事件日志数据、处理过的数据和视频帧数据等数据，不同类型的数据存储在不同的数据库与格式中。
后端分析模块16可评估和升级前端感知模块2和前端分析模块3，性能测量主要集中在误判漏判的统计分析和事件热点映射，负责记录与事件相关的信息，包括时间戳、车辆位置信息、车辆状态、路径信息、视频帧等。可选地，可采用现有技术实现所述后端分析模块的功能，这不是本申请的发明点，因此不再赘述。
联动报警模块17为选配模块，当平台分析识别到车辆交通事故、严重超速、渣土车违章作业等紧急情况时，上传数据至交管中心平台，及时触发联动报警，提供事发地点GPS数据与红外视频传感器监控图像，为指挥派遣交警与救护车辆提供依据，减少出警与抢救时间，从而减少人员伤亡与经济损失。
渣土车监管模块18为选配模块，能够通过前端红外视频传感器实时监控运输作业行为，防控野蛮驾驶、扬尘撒漏。
驾驶风险干预与管理模块19为选配模块，采用人工智能的机器视觉技术，通过分析驾驶员的面部信息，提取出风险行为如注意力不集中、抽烟、打电话、酒驾等，并及时反馈给前端预警模块，警示驾驶员，高度防止司机疲劳驾驶，加强安全管理，提前避免事故发生。
本发明所提供的大型车辆盲区双向预警系统的使用方法可选地包括如下步骤，如图2所示，(根据最终视频更新)：
(1)当大型车辆启动时，大型车辆盲区双向预警系统1通电，开始运行；
(2)前端感知模块2的红外视频传感器6开始工作，并将图像通过前端分析模块3传输至双向预警模块4的视频显示器11，车内实时显示盲区图像；同时前端感知模块2的超声波传感器7(选配)与微波传感器8(选配)开始工作，实现辅助感知，并将感知数据传输至前端分析模块3；
(3)当前端感知模块2的转弯感知模块9接收到右转弯信号时，将转弯信号通过前端分析模块3传输至双向预警模块4，开启车外的扬声器12，对车外行人车辆进行鸣笛预警；同时开启车身顶部的激光投影器13，在大型车辆右侧内轮差范围内投射出红色光线与“危险区域”图案；
(4)当不再接收到右转弯信号时，关闭车外的扬声器12，关闭车身顶部的激光投影器13，车内视频显示器11照常显示盲区图像；
(5)车辆行驶过程中，前端分析模块3实时融合分析多传感器上传的盲区数据，当检测到有行人、车辆、动物等障碍物时，计算该障碍物的相对位置坐标，并通过连续帧的距离判断，实现障碍物的测速，进一步实现动态轨迹监测，为预判提供依据；若判断动态轨迹经过盲区内轮差范围，则判定为危险源，将危险信号传输至双向预警模块4；
(6)当双向预警模块4接收到危险信号时，车内视频显示器11显示危险源类型与距离的提示文字，开启车内的声光报警器12；同时开启车外扬声器13，根据危险源类型进行不同的语音报警。声光报警器12与扬声器13均可根据危险程度自动调整报警音量与音调；
(7)当大型车辆与障碍物双向避让，障碍物动态轨迹不再经过盲区内轮差范围时，停止发送危险信号，关闭车内的声光报警器11与车外的扬声器13；
(8)预警事件完成后，前端分析模块3基于深度学习，评判识别预警的准确率与时效性，针对本大型车辆特性，优化识别代码，不断提升系统性能；同时将原始事件日志数据、处理过的数据和视频帧数据等预警事件相关数据通过4G/5G、NB-IoT等形式传输至与后端数据分析与管理平台5；
(9)后端数据分析与管理平台5将接收到的数据记录至大型车辆行驶记录信息库14；并通过对以往预警事件的综合分析研判，提升普适于不同车型的识别算法的性能。
本发明以红外视频传感器为主，以超声波、微波等为辅实现感知，全方位检测盲区信息并传输至分析模块。基于多传感器数据融合、机器视觉、深度学习等技术，实时、精准识别盲区内障碍物及轨迹，根据可智能升级的预设规则判断预警事件。通过激光投影器、扬声器、声光报警器、视频显示器等多方式、多级别双向预警，实时警示车外行人车辆与车内驾驶员。边缘侧在车辆上实现实时感知、分析、预警，乃至云端服务分发，云端则汇总全时域、全局性数据进行深度分析、管控和服务，边云协同共同构成弹性、敏捷的安全预警及服务网络。云端平台实施服务开放共享策略，开放数据和业务引擎能力，提供多种分析、管控和灵活定制的安全服务功能，形成价值链的深度链接，打造安全新生态。整体形成感知—分析—预警—管控全过程闭环优化的大型车辆盲区预警体系。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上结合附图对本发明的实施例进行了描述，但是本发明并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本发明的启示下，在不脱离本发明宗旨和权利要求所保护的范围情况下，还可做出很多形式，这些均属于本发明的保护之内。

Claims (5)

1.大型车辆盲区双向预警系统，其特征在于，包括边缘侧和云侧，所述边缘侧包括前端感知模块、前端分析模块和双向预警模块，所述云侧包括云端管控平台；
所述前端感知模块用于利用传感器采集车辆盲区设定范围内图像、视频以及车辆转弯信号；
所述前端分析模块用于利用云侧下发的AI模型根据前端感知模块获取的图像和视频识别障碍物，并跟踪障碍物的运动轨迹；对障碍物测速测距，并预判障碍物运动轨迹，若判断障碍物的轨迹经过内轮差危险区范围，则将危险信号传输至双向预警模块；
所述前端分析模块还用于将获取的车辆转弯信号传输至所述双向预警模块，以及将采集到信息以及预警事件传输至所述云端管控平台；
所述双向预警模块用于根据接收到所述前端分析模块传输的危险信号和车辆转弯信号从驾驶员和障碍物的角度发出双向预警；
所述云端管控平台，用于对采集到车辆盲区内的数据以及预警事件进行存储并汇总全时域、全局性数据进行分析获得AI模型并下发边缘侧的前端分析模块；
AI模型根据前端感知模块获取的图像和视频识别障碍物具体包括：将传感器采集车辆盲区设定范围内图像和视频进行融合，融合步骤包括：将各传感器所在坐标系的转换，将各传感器在时间上融合；
基于Inception-v4特征抽取网络抽取特征，采用SDD模型实现基于Inception-v4的目标检测；
构建所述Inception-v4特征抽取网络包括：1)构建卷积块CB，其中所有激活层神经元使用不同的激活函数；激活层被定义为神经元层，激活层将m个特征映射转换为新的m个特征映射；通过激活函数f将卷积特征θn变为新特征，即f(θn)；AL(X)表示新的卷积在每个卷积层CONV之后和池化层POOL之前使用激活层AL，括号内X表示使用的激活函数；2)构建全连接隐藏层，全连接隐藏层同样使用不同的激活函数；在卷积中构建n个FC隐藏神经元，每个神经元使用从一组k个激活函数中选择的激活函数；3)使用构建的卷积块CB和全连接隐藏层组建改进的Inception-V4；
选用RMSProp算法更新Inception-v4特征抽取网络权重；RMSProp算法对权重W和偏置b的梯度使用微分平方加权平均数；其中，假设在第t轮迭代过程中，各个过程如以下公式所示：
sdw＝βsdw+(1-β)dW2
sdb＝βsdb+(1-β)db2
Figure FDA0003618399910000021
Figure FDA0003618399910000022
Figure FDA0003618399910000023
Figure FDA0003618399910000024
其中，Sdw和sdb分别是损失函数在前t-1轮迭代过程中累积的梯度动量；β是梯度累积的一个指数；
SSD算法置信度损失函数如下：
Figure FDA0003618399910000031
损失函数为：
Figure FDA0003618399910000032
其中，α为权重因子，N是匹配的默认框的数量，pi为预测输入实例xi属于对应类别的概率，γ为权重因子；Pos、Neg指正负样本；
结合AdaBoost算法训练SSD模型；
利用ROIAlign提取样本对应特征，公式如下：
Figure FDA0003618399910000033
其中，d代表距离，Δh和Δw分别代表xi与
Figure FDA0003618399910000034
之间横坐标与纵坐标的差值。
2.根据权利要求1所述的大型车辆盲区双向预警系统，其特征在于，所述前端感知模块包括红外视频传感器和转弯感知模块，所述红外视频传感器用于采集车辆盲区设定范围内图像和视频，所述转弯感知模块连接至大型车辆右转向灯电路，用于接收车辆的右转向信号。
3.根据权利要求1所述的大型车辆盲区双向预警系统，其特征在于，所述双向预警模块获取的车辆转弯信号后开启车外的扬声器，对车外行人车辆进行鸣笛预警；同时开启车身顶部的激光投影器，在大型车辆右侧内轮差范围内投射出红色光线与标识危险区域的图案。
4.根据权利要求1所述的大型车辆盲区双向预警系统，其特征在于，所述的前端分析模块选用边缘计算盒子为计算载体，所述边缘计算盒子与所述云端管控平台实现边云协同。
5.根据权利要求1所述的大型车辆盲区双向预警系统，其特征在于，所述的前端感知模块、前端分析模块和双向预警模块通过CAN总线对接，由原车辆供电。
CN202110359428.5A 2021-04-02 2021-04-02 大型车辆盲区双向预警系统 Active CN112951000B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110359428.5A CN112951000B (zh) 2021-04-02 2021-04-02 大型车辆盲区双向预警系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110359428.5A CN112951000B (zh) 2021-04-02 2021-04-02 大型车辆盲区双向预警系统

Publications (2)

Publication Number Publication Date
CN112951000A CN112951000A (zh) 2021-06-11
CN112951000B true CN112951000B (zh) 2022-06-07

Family

ID=76232187

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110359428.5A Active CN112951000B (zh) 2021-04-02 2021-04-02 大型车辆盲区双向预警系统

Country Status (1)

Country Link
CN (1) CN112951000B (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113879297A (zh) * 2021-09-29 2022-01-04 深圳市道通智能汽车有限公司 一种车辆视野盲区预警系统、方法及车辆
CN113726464A (zh) * 2021-10-21 2021-11-30 浙江吉利控股集团有限公司 一种车辆与骑乘人员双向预警方法、系统、设备及存储介质
CN114049773B (zh) * 2021-11-04 2022-10-25 哈尔滨工业大学 一种施工人员安全风险评估预警方法及系统
CN114067612A (zh) * 2021-11-26 2022-02-18 山东科技大学 一种基于环境声音分析的车辆感知及危险预警方法与系统
CN114582165A (zh) * 2022-03-02 2022-06-03 浙江海康智联科技有限公司 一种基于v2x协作式变道安全辅助预警方法及系统
CN114758526B (zh) * 2022-03-31 2023-05-12 浙江吉利控股集团有限公司 基于车联网大数据的避障方法、装置及存储介质
CN114999179B (zh) * 2022-07-20 2022-10-25 山东金宇信息科技集团有限公司 一种隧道安全行车方法、设备及介质
CN115556743B (zh) * 2022-09-26 2023-06-09 深圳市昊岳科技有限公司 一种公交智能防碰撞系统及方法
CN115690747B (zh) * 2022-12-30 2023-03-21 天津所托瑞安汽车科技有限公司 车辆盲区检测模型测试方法、装置、电子设备及存储介质
CN115792945B (zh) * 2023-01-30 2023-07-07 智道网联科技(北京)有限公司 一种浮空障碍物检测方法、装置和电子设备、存储介质

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109409252A (zh) * 2018-10-09 2019-03-01 杭州电子科技大学 一种基于改进型ssd网络的车辆行人多目标检测方法
CN110059574A (zh) * 2019-03-23 2019-07-26 浙江交通职业技术学院 一种车辆盲区检测方法
CN111284401A (zh) * 2020-01-10 2020-06-16 上海埃基特智能科技有限公司 一种多传感器检测车辆右转盲区预警系统
CN111696387B (zh) * 2020-05-21 2022-04-29 东南大学 一种基于前向障碍物识别的自适应防撞分级预警方法
CN111879360B (zh) * 2020-08-05 2021-04-23 吉林大学 一种黑暗场景中自动驾驶辅助安全预警系统及其预警方法

Also Published As

Publication number Publication date
CN112951000A (zh) 2021-06-11

Similar Documents

Publication Publication Date Title
CN112951000B (zh) 大型车辆盲区双向预警系统
Possatti et al. Traffic light recognition using deep learning and prior maps for autonomous cars
EP3218890B1 (en) Hyper-class augmented and regularized deep learning for fine-grained image classification
US9665802B2 (en) Object-centric fine-grained image classification
US9904855B2 (en) Atomic scenes for scalable traffic scene recognition in monocular videos
CN113313154A (zh) 一体化融合多传感器自动驾驶智能感知装置
US20160132728A1 (en) Near Online Multi-Target Tracking with Aggregated Local Flow Descriptor (ALFD)
US11841927B2 (en) Systems and methods for determining an object type and an attribute for an observation based on fused sensor data
CN105844257A (zh) 基于机器视觉雾天行车错失道路标志牌的预警系统及方法
US20220146277A1 (en) Architecture for map change detection in autonomous vehicles
Li et al. A survey of adas perceptions with development in china
CN118470974A (zh) 一种基于车联网的行车安全预警系统及方法
Li et al. Composition and application of current advanced driving assistance system: A review
WO2022108744A1 (en) On-board feedback system for autonomous vehicles
Nuhel et al. Developing a self-driving autonomous car using artificial intelligence algorithm
Kulhandjian et al. Pedestrian Detection and Avoidance at Night Using Multiple Sensors and Machine Learning
US20230230257A1 (en) Systems and methods for improved three-dimensional data association using information from two-dimensional images
Bhosale et al. Automatic Video Traffic Surveillance System with Number Plate Character Recognition Using Hybrid Optimization-Based YOLOv3 and Improved CNN
Warnicke et al. Implementation of a Vision System for an Autonomous Railway Maintenance Vehicle: Track and Object Detection with YOLO, Neural Networks and Region Growing
Pandey YOLO-CNN–Deep Learning Approach for Vehicle Speed Detection
Li Safe training of traffic assistants for detection of dangerous accidents
Cheng Sequential Semantic Segmentation of Streaming Scenes for Autonomous Driving
Rutten Deep Learning for Weather Condition Adaptation in Autonomous Vehicles
Reyes-Cocoletzi et al. Obstacle Detection and Trajectory Estimation in Vehicular Displacements based on Computational Vision
CARS Driverless Car Using Al Prasenjeet Acharjee INTRODUCTION DEFINITION OF DRIVERLESS CARS A driverless car, also known as an autonomous vehicle, is a type of vehicle that can operate without human intervention. These vehicles use a combination of sensors

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant