CN110992683B - 一种基于动态图像感知的交叉口盲区预警方法及系统 - Google Patents
一种基于动态图像感知的交叉口盲区预警方法及系统 Download PDFInfo
- Publication number
- CN110992683B CN110992683B CN201911037335.XA CN201911037335A CN110992683B CN 110992683 B CN110992683 B CN 110992683B CN 201911037335 A CN201911037335 A CN 201911037335A CN 110992683 B CN110992683 B CN 110992683B
- Authority
- CN
- China
- Prior art keywords
- vehicle
- target
- cluster
- sample
- intersection
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims abstract description 40
- 230000008447 perception Effects 0.000 title claims abstract description 22
- 230000033001 locomotion Effects 0.000 claims abstract description 36
- 238000007781 pre-processing Methods 0.000 claims abstract description 9
- 238000013528 artificial neural network Methods 0.000 claims description 23
- 239000013598 vector Substances 0.000 claims description 22
- 238000005259 measurement Methods 0.000 claims description 10
- 238000001514 detection method Methods 0.000 claims description 8
- 238000005070 sampling Methods 0.000 claims description 8
- 238000001914 filtration Methods 0.000 claims description 7
- 230000008569 process Effects 0.000 claims description 7
- 238000004364 calculation method Methods 0.000 claims description 6
- 230000008859 change Effects 0.000 claims description 6
- 210000002569 neuron Anatomy 0.000 claims description 6
- 238000012549 training Methods 0.000 claims description 4
- 238000006243 chemical reaction Methods 0.000 claims description 3
- 238000000605 extraction Methods 0.000 claims description 3
- 238000011524 similarity measure Methods 0.000 claims description 3
- 230000007480 spreading Effects 0.000 claims description 2
- 238000009795 derivation Methods 0.000 claims 1
- 230000035699 permeability Effects 0.000 abstract description 5
- 238000004422 calculation algorithm Methods 0.000 description 7
- 238000012545 processing Methods 0.000 description 6
- 230000000694 effects Effects 0.000 description 5
- 206010039203 Road traffic accident Diseases 0.000 description 4
- 238000007621 cluster analysis Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 230000003068 static effect Effects 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 238000007635 classification algorithm Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 1
- 238000013145 classification model Methods 0.000 description 1
- 238000003066 decision tree Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000004069 differentiation Effects 0.000 description 1
- 230000005672 electromagnetic field Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000011478 gradient descent method Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 239000011664 nicotinic acid Substances 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000000638 solvent extraction Methods 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/01—Detecting movement of traffic to be counted or controlled
- G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
- G08G1/0125—Traffic data processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
- G06V20/42—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items of sport video content
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
- G06V20/54—Surveillance or monitoring of activities, e.g. for recognising suspicious objects of traffic, e.g. cars on the road, trains or boats
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/01—Detecting movement of traffic to be counted or controlled
- G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
- G08G1/0125—Traffic data processing
- G08G1/0133—Traffic data processing for classifying traffic situation
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/16—Anti-collision systems
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/16—Anti-collision systems
- G08G1/167—Driving aids for lane monitoring, lane changing, e.g. blind spot detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/07—Target detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/08—Detecting or categorising vehicles
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Software Systems (AREA)
- Computational Linguistics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Evolutionary Biology (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Health & Medical Sciences (AREA)
- Mathematical Physics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Chemical & Material Sciences (AREA)
- Analytical Chemistry (AREA)
- Traffic Control Systems (AREA)
Abstract
本发明公开了一种基于动态图像感知的交叉口盲区预警方法及系统,所述方法包括:获取动态视觉传感器采集的原始交通点云数据;对原始交通点云数据进行预处理;对滤噪交通点云数据进行聚类分析;对车辆和行人目标进行分类;跟踪车辆目标,提取车辆目标的运动状态,车辆目标的运动状态包括实时速度和车辆目标与路口之间的距离;根据车辆目标的运动状态与碰撞危险等级设定阈值判断车辆的碰撞危险等级;将车辆目标的运动状态和车辆的碰撞危险等级发布至驾驶人。本发明克服了已有技术中存在的路侧有停车干扰、光线不良以及智能车载终端设备渗透率低的问题,提高了交叉口的盲区交通状况的提前预警实时性和准确性。
Description
技术领域
本发明涉及道路交通监测与交通安全技术领域,特别是涉及一种基于动态图像感知的交叉口盲区预警方法及系统。
背景技术
随着国民经济的快速发展,汽车保有量逐年增加,道路交通事故不断发生,对人们生命财产安全带来严重的损失。据不完全统计,每年我国交通事故发生数量约16万起,其中,由于视线盲区而引发的交通事故占据很大比例。尤其地,当汽车在转弯或者进入弯道时,驾驶者的视野都会被车辆A柱部分遮挡,产生视觉盲区。此外,在当驾驶员集中注意力驾驶车辆行进时,驾驶员本身的视野也会缩小,这使得驾驶员会短暂的转移注意力到车辆盲点区域去观察是否存在危险,如此便造成了驾驶员无法集中注意力于车辆前方状况,并由此导致一系列其他类型的交通事故发生。
目前,针对交叉口的盲区预警系统主要依靠转角镜、地磁系统以及各种车联网终端设备来实现。其中,在道路拐角处安装转角镜的方式简单、成本低,然而,在路侧有停车干扰、光线不良等情况下,仅利用转角镜驾驶员很难准确判别来车状态。基于地磁的盲区预警系统主要通过在车道内布设地磁检测器对车辆到达情况进行识别,并提供相关的预警信息。然而,地磁检测效果易受路侧停车、电磁场、地铁等环境因素影响,无法保证车辆准确识别。基于车联网的方法要求车辆中都装备有定位装置和无线数据收发终端,在车联网发展初期,智能车载终端设备低渗透率情况下,无法保证所有车辆都能实现车辆到达路口情况的实时采集和预警信息的发布。
因此,如何解决已有技术中存在的路侧有停车干扰、光线不良以及智能车载终端设备渗透率低而导致的交叉口的盲区交通状况的提前预警效果差成为本领域亟待解决的问题。
发明内容
本发明的目的是提供一种基于动态图像感知的交叉口盲区预警方法及系统,以克服已有技术中存在的路侧有停车干扰、光线不良以及智能车载终端设备渗透率低的问题,从而提高交叉口的盲区交通状况的提前预警实时性和准确性。
为实现上述目的,本发明提供了一种基于动态图像感知的交叉口盲区预警方法,所述方法包括:
获取动态视觉传感器采集的交叉口盲区的道路交通信息,记为原始交通点云数据;
对所述原始交通点云数据进行预处理,获得滤噪交通点云数据;
对所述滤噪交通点云数据进行聚类分析,得到车辆和行人目标;
对所述车辆和行人目标进行分类,区分得到车辆目标和行人目标;
跟踪所述车辆目标,提取所述车辆目标的运动状态,所述车辆目标的运动状态包括实时速度和所述车辆目标与路口之间的距离;
根据所述车辆目标的运动状态与碰撞危险等级设定阈值判断车辆的碰撞危险等级;
将所述车辆目标的运动状态和所述车辆的碰撞危险等级发布至驾驶人。
可选的,所述对所述滤噪交通点云数据进行聚类分析,得到车辆和行人目标,具体包括:
样本相似性度量:设所述滤噪交通点云数据的样本集为D=((x1,y1),(x2,y2),...,(xm,ym)),用欧氏距离计算样本点与聚类中心点之间的相似度,所述欧氏距离公式为其中,(xm,ym)表示第m个样本点的坐标;
将所述相似度最大的样本点归为一类,形成簇样本集合;
更新簇样本进行簇划分:对所述簇样本进行迭代计算,迭代至设定最大迭代次数或设定阈值,更新当前簇样本集合,输出结果簇划分目标集,即为车辆和行人目标簇。
可选的,所述对所述车辆和行人目标进行分类,区分得到车辆目标和行人目标,具体包括:
提取输入神经网络的输入层的样本特征:所述样本特征包括所述车辆和行人目标簇中的目标中心点到基准点的相对距离、所述车辆和行人目标簇的样本点数、所述目标中心点所在图像的位置区间和所述车辆和行人目标簇对应的最小外接矩形的长宽比;其中,所述基准点为所述动态视觉传感器在坐标系中的位置;
将所述样本特征输入所述神经网络的输入层;
利用信息前向传播、误差反向传播,将误差展开到所述神经网络的隐藏层、输出层;
由求导的链式法则,对输出层、隐藏层神经元的权重参数求偏导,进行权重参数更新,输出层和隐藏层的偏置参数更新,反复进行学习,最终输出车辆目标分类与行人目标分类。
可选的,所述提取输入神经网络的输入层的样本特征,具体包括:
确定所述车辆和行人目标簇的样本点数;
根据实际交叉口道路场景对机动车道、非机动车道、人行道等在所述动态视觉传感器采集的图像中的位置进行标定,划分位置区间,并以不同代码进行表示,确定所述目标中心点所在图像的位置区间;
在所述图像中对所述车辆和行人目标簇构建最小外接矩形,最小外接矩形长宽比为以像素点数所表示的外接矩形长度与宽度之比。
可选的,所述跟踪所述车辆目标,提取所述车辆目标的运动状态,具体包括:
利用状态向量、观测向量建立观测模型;根据视频大小、车辆运行情况,设定过程噪声、量测噪声、估计误差的协方差Q、R、P,其中过程噪声的协方差Q比量测噪声的协方差R大;所述状态变量设为目标中心点位置坐标(x,y)及其变化率(Δx,Δy)、外接矩形的长宽(w,h)及其变化率(Δw,Δh)组成的八维向量,所述观测向量为目标中心点位置(x,y)和外接矩形长宽(w,h)组成的4维向量;所述状态向量和所述观测向量分别表示为:
xk=(x,y,w,h,Δx,Δy,Δw,Δh)
zk=(x,y,w,h)
其中JO表示目标点匹配阈值,JS表示外接矩形面积匹配阈值;
当所述目标中心点满足匹配条件时,确定目标中心点在两帧图像中的像素坐标,计算相邻两帧目标中心点在实际道路中的间隔距离,根据所述间隔距离和相邻两帧图像的采样时间间隔计算目标车辆移动速度。
可选的,所述计算相邻两帧目标中心点在实际道路中的间隔距离具体包括:
对实际道路长度进行测量标定;
根据所述动态视觉传感器采集的道路几何结构与点云数据图像之间的透视关系,建立统一坐标系;
进行实际道路长度与点云坐标转换与匹配;
在不同像素点条件下的计算目标中心点在实际道路中的实际距离。
可选的,所述根据所述车辆目标的运动状态与碰撞危险等级设定阈值判断车辆的碰撞危险等级,具体包括:
分别利用公式v2-0=2a1l1和v2-0=2a2l2计算碰撞危险等级设定阈值l1、l2;其中v为目标车辆移动速度,a1为目标车辆最大减速度,a2为目标车辆平均减速度;
当l2<l时,判定目标车辆距离路口足够远,预警等级为安全,不会对行驶车辆产生影响;l为车辆目标距路口实时距离;
当l1<l<l2时,判定前方有来车,且在到达路口前有能够长的距离进行制动停车,预警等级为警告;
当l1>l时,判定前方来车,且在到达路口前,按照最大减速度刹车仍不能保证在到达路口前停车,预警等级为危险。
本发明还提供了一种基于动态图像感知的交叉口盲区预警系统,所述系统包括:
数据获取模块,用于获取动态视觉传感器采集的交叉口盲区的道路交通信息,记为原始交通点云数据;
预处理模块,用于对所述原始交通点云数据进行预处理,获得滤噪交通点云数据;
目标识别模块,用于对所述滤噪交通点云数据进行聚类分析,得到车辆和行人目标;
目标分类模块,用于对所述车辆和行人目标进行分类,区分得到车辆目标和行人目标;
目标跟踪模块,用于跟踪所述车辆目标,提取所述车辆目标的运动状态,所述车辆目标的运动状态包括实时速度和所述车辆目标与路口之间的距离;
危险等级判别模块,用于根据所述车辆目标的运动状态与碰撞危险等级设定阈值判断车辆的碰撞危险等级;
预警模块,用于将所述车辆目标的运动状态和所述车辆的碰撞危险等级发布至驾驶人。
可选的,所述目标识别模块具体包括:
相似度计算子模块,用于样本相似性度量:设所述滤噪交通点云数据的样本集为D=((x1,y1),(x2,y2),...,(xm,ym)),用欧氏距离计算样本点与聚类中心点之间的相似度,所述欧氏距离公式为其中,(xm,ym)表示第m个样本点的坐标;
归类子模块,用于将所述相似度最大的样本点归为一类,形成簇样本集合;
类别划分子模块,用于更新簇样本进行簇划分:对所述簇样本进行迭代计算,迭代至设定最大迭代次数或设定阈值,更新当前簇样本集合,输出结果簇划分目标集,即为车辆和行人目标簇。
可选的,所述目标分类模块具体包括:
样本特征提取子模块,用于提取输入神经网络的输入层的样本特征:所述样本特征包括所述车辆和行人目标簇中的目标中心点到基准点的相对距离、所述车辆和行人目标簇的样本点数、所述目标中心点所在图像的位置区间和所述车辆和行人目标簇对应的最小外接矩形的长宽比;其中,所述基准点为所述动态视觉传感器在坐标系中的位置;
输入子模块,用于将所述样本特征输入所述神经网络的输入层;
建模子模块,用于利用信息前向传播、误差反向传播,将误差展开到所述神经网络的隐藏层、输出层;
训练子模块,用于由求导的链式法则,对输出层、隐藏层神经元的权重参数求偏导,进行权重参数更新,输出层和隐藏层的偏置参数更新,反复进行学习,最终输出车辆目标分类与行人目标分类。
根据本发明提供的具体实施例,本发明公开了以下技术效果:
1、本发明所采用的数据采集设备为动态视觉传感器,呈现出的是探测范围内运动的物体,相较于一般的数据采集设备,能滤除静止物体,大大减少了数据量,因此能有效提高算法的运行效率,更及时快速的显示车辆的实时信息。
2、本发明利用智能化手段对危险车辆进行提取并对其他车辆进行预警。相较于传统的预警方法,有实时性好、准确度高、适应性强等优点,更能及时地辅助驾驶员做出判断,对保障驾驶人的安全有重要意义。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的基于动态图像感知的交叉口盲区预警方法的流程图;
图2为动态视觉传感器采集的实际数据采样帧示意图;
图3为利用神经网络进行分类示意图;
图4为本发明实施例提供的基于动态图像感知的交叉口盲区预警系统的系统框图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本发明的目的是提供一种基于动态图像感知的交叉口盲区预警方法及系统,以克服已有技术中存在的路侧有停车干扰、光线不良以及智能车载终端设备渗透率低的问题,从而提高交叉口的盲区交通状况的提前预警实时性和准确性。
为使本发明的上述目的、特征和优点能够更加明显易懂,下面结合附图和具体实施方式对本发明作进一步详细的说明。
如图1所示,本实施例提供的基于动态图像感知的交叉口盲区预警方法包括:
步骤101:获取动态视觉传感器采集的交叉口盲区的道路交通信息,记为原始交通点云数据。
具体的,通过安装在路口盲区的动态视觉传感器采集道路交通信息,传感器安装角度需满足镜头覆盖盲区车道,动态视觉传感器持续采集道路中行驶的车辆和行人信息,表示成点云数据,每一帧检测到的点云数据表示方式公式(1)所示,实际数据采样帧示意如图2所示。
D={(x1,y1),(x2,y2),...,(xM,yM)} (1)
其中,(xM,yM)表示第M个点在当前帧所展示的点云图像的坐标位置,M表示当前帧下总采样数目。
动态视觉传感器是目前智能感知领域一种新型传感器,其通过仿生原理,无需曝光时间,可以全时全速捕捉运动对象信息,具有较强的获取动态目标的能力。由于其对静态物体不敏感,可以有效提取运动对象的物理信息、过滤背景冗余,并提供结构化的运动场景数据,极大的降低了数据传输、存储压力,极大降低了后端图像处理算法的复杂度,使用更低成本的计算能力。基于其优势,本发明利用动态视觉传感器采集点云数据,并对车辆目标及其运动状态进行识别,车辆距路口的实时距离,判定盲区车辆行驶危险等级,并进行实时预警信息发布,提高盲区驾驶安全。
并且动态视觉传感器对于物体在空间域和时间域都是连续跟踪的,有很强的获取动态目标的能力,受环境影响小。对采集的目标数据直接进行分析处理,得到车辆实时信息,效率更快、更准确。
步骤102:对所述原始交通点云数据进行预处理,获得滤噪交通点云数据。
动态视觉传感器虽然对静止目标不敏感,但不可避免的会包含诸多背景噪声数据,这些噪声数据主要来源于车道以外的运动物体信息,如道路两侧的绿植树叶随风而动情形。因此需要剔除背景噪声点、车道以外的点。这样,一方面,结合实际道路场景,在动态视觉传感器采集点云图像中,标定道路区间范围,对所标定的区间范围之外的噪声点进行剔除。另一方面,为减少数据处理量,提高提高算法运行效率,采用随机取样方式,按照特定的取样概率p进行原始点云数据筛选。
步骤103:对所述滤噪交通点云数据进行聚类分析,得到车辆和行人目标。
该步骤103具体包括:
步骤一:样本相似性度量
设样本集为D=((x1,y1),(x2,y2),...,(xm,ym)),用欧氏距离衡量样本点与聚类中心点之间的相似度,距离公式如下:
其中,(xm,ym)表示第m个样本点的坐标;
步骤二:选择相似度最大的样本点归为一类,形成簇样本集合;
步骤三:更新簇样本进行簇划分
对簇样本进行迭代计算,迭代至设定最大迭代次数或设定阈值,更新当前簇样本集合,输出结果簇划分目标集C={C1,C2,...,Ck},即为车辆和行人目标簇。
另外,聚类效果可用轮廓系数进行度量,公式如下:
其中a(i)为一个簇内样本到簇内其他样本的距离的平均值、b(i)为一个样本到其他簇的距离的平均值,s(i)越接近1,聚类效果越好。
本实施例根据聚类算法得出的特征进行分析,从而实现对目标的直接分类,提高运行效率。
本实施例采用基于距离的聚类算法,利用其他聚类方法实现动态视觉传感器目标识别同样适用于本发明。
步骤104:对所述车辆和行人目标进行分类,区分得到车辆目标和行人目标。
步骤104具体包括:
步骤一:提取输入神经网络的输入层的样本特征:对在聚类过程中,对得到的目标簇提取如下四个特征:
①车辆和行人目标簇中的目标中心点到基准点的相对距离:在采集点云图像中,计算经过聚类方法获取的聚类目标簇的中心点(xc,yc)到基准点(xo,0)的距离L;其中,基准点表示传所述动态视觉传感器在坐标系中的位置,一般选取图像最下方中间位置。距离L的计算方式如公式(4)所示。
②车辆和行人目标簇的样本点数:经过聚类方法获取车辆、非机动车或行人目标簇内的节点数。
③目标中心点所在图像的位置区间:根据实际道路场景对机动车道、非机动车道、人行道等在采集图像中的位置进行标定,划分不同的位置区间,并以不同代码进行表示,确定所述目标中心点所在图像的位置区间。
④车辆和行人目标簇对应的最小外接矩形的长宽比:在所述图像中对所述车辆和行人目标簇构建最小外接矩形,长宽比为以像素点数所表示的外接矩形长度与宽度之比。
通过对上述4个样本特征的分析,建立一种分类模型来区分检测范围内的行人和不同车辆。以神经网络分类算法为例:
步骤二:如图3所示,将所述样本特征输入所述神经网络的输入层;
步骤三:信息前向传播:
x=a(1)→z(2)→…→a(N-1)→z(N)→a(N)=y (5)
对于N层感知器,网络的最终输出为a(N)。
误差反向传播:某一训练数据(x(1),y(1))的误差代价函数:
采用批量梯度下降法,调整权重参数:
将E(i)展开到隐藏层、输出层,由求导的链式法则,对输出层、隐藏层神经元的权重参数求偏导,进行输出层和隐藏层的权重参数更新,输出层和隐藏层的偏置参数更新,反复进行学习;最终输出车辆分类与行人目标分类的数据结果。
本实施例以基本前向神经网络算法为例进行目标分类,其它类似神经网络方法和其他智能分类算法如支持向量机、决策树等同样适用于本发明的目标分类。
步骤105:跟踪所述车辆目标,提取所述车辆目标的运动状态,所述车辆目标的运动状态包括实时速度和所述车辆目标与路口之间的距离。
该步骤105具体包括:
步骤一:建立模型:
利用状态向量、观测向量建立观测模型;根据视频大小、车辆运行情况,设定过程噪声、量测噪声、估计误差的协方差Q、R、P,其中过程噪声的协方差Q比量测噪声的协方差R大,使最终结果更倾向于量测结果。
具体的,将状态变量设为目标中心点位置坐标(x,y)及其变化率(Δx,Δy)、外接矩形的长宽(w,h)及其变化率(Δw,Δh)组成的八维向量,观测向量为目标的中心点位置(x,y)和外接矩形长宽(w,h)组成的4维向量;所述状态向量和所述观测向量分别表示为:
xk=(x,y,w,h,Δx,Δy,Δw,Δh) (8)
zk=(x,y,w,h) (9)
步骤二:目标匹配特征选择与匹配检测:
其中JO表示目标点匹配阈值,JS表示外接矩形面积匹配阈值;
步骤三:计算目标车辆移动速度
当所述目标中心点满足匹配条件时,确定目标中心点在两帧图像中的像素坐标,计算相邻两帧目标中心点在实际道路中的间隔距离,根据所述间隔距离和相邻两帧图像的采样时间间隔计算目标车辆移动速度;则目标车辆移动速度为:
其中,Δd为相邻两帧目标中心点在实际道路中的间隔距离,Δt为相邻两帧之间的采样时间间隔;Δd获取方式如下:
对实际道路长度进行测量标定;
根据所述动态视觉传感器采集的道路几何结构与点云数据图像之间的透视关系,建立统一坐标系;
进行实际道路长度与点云坐标转换与匹配;
在不同像素点条件下的计算目标中心点在实际道路中的实际距离。
步骤106:根据所述车辆目标的运动状态与碰撞危险等级设定阈值判断车辆的碰撞危险等级。
通过上述算法计算所得的车辆目标行驶速度v结合车辆目标距路口实时距离l,综合判定车辆的危险等级,并分安全、警告、危险三种等级。
具体的,分别利用公式(13)和(14)计算碰撞危险等级设定阈值l1、l2:
v2-0=2a1l1 (13)
v2-0=2a2l2 (14)
其中,v为目标车辆移动速度,a1为目标车辆最大减速度,a2为目标车辆平均减速度;
当l2<l时,判定目标车辆距离路口足够远,预警等级为安全,不会对行驶车辆产生影响;l为车辆目标距路口实时距离;
当l1<l<l2时,判定前方有来车,且在到达路口前有能够长的距离进行制动停车,预警等级为警告;
当l1>l时,判定前方来车,且在到达路口前,按照最大减速度刹车仍不能保证在到达路口前停车,预警等级为危险。
步骤107:将所述车辆目标的运动状态和所述车辆的碰撞危险等级发布至驾驶人。
将上述步骤得到的盲区来车情况和预警等级进行展示,使驾驶人在第一时间内获取信息,从而辅助做出避撞反应。其中,预警装置可以是智能车载设备、手机终端、路侧显示装置、车外车内报警灯及扬声器等。
如图4所示,本实施例还提供了一种与上述基于动态图像感知的交叉口盲区预警方法相应的系统,所述系统包括:
数据获取模块401,用于获取动态视觉传感器采集的交叉口盲区的道路交通信息,记为原始交通点云数据;
预处理模块402,用于对所述原始交通点云数据进行预处理,获得滤噪交通点云数据;
目标识别模块403,用于对所述滤噪交通点云数据进行聚类分析,得到车辆和行人目标;
目标分类模块404,用于对所述车辆和行人目标进行分类,区分得到车辆目标和行人目标;
目标跟踪模块405,用于跟踪所述车辆目标,提取所述车辆目标的运动状态,所述车辆目标的运动状态包括实时速度和所述车辆目标与路口之间的距离;
危险等级判别模块406,用于根据所述车辆目标的运动状态与碰撞危险等级设定阈值判断车辆的碰撞危险等级;
预警模块407,用于将所述车辆目标的运动状态和所述车辆的碰撞危险等级发布至驾驶人。
其中,所述目标识别模块403具体包括:
相似度计算子模块,用于样本相似性度量:设所述滤噪交通点云数据的样本集为D=((x1,y1),(x2,y2),...,(xm,ym)),用欧氏距离计算样本点与聚类中心点之间的相似度,所述欧氏距离公式为其中,(xm,ym)表示第m个样本点的坐标;
归类子模块,用于将所述相似度最大的样本点归为一类,形成簇样本集合;
类别划分子模块,用于更新簇样本进行簇划分:对所述簇样本进行迭代计算,迭代至设定最大迭代次数或设定阈值,更新当前簇样本集合,输出结果簇划分目标集,即为车辆和行人目标簇。
所述目标分类模块404具体包括:
样本特征提取子模块,用于提取输入神经网络的输入层的样本特征:所述样本特征包括所述车辆和行人目标簇中的目标中心点到基准点的相对距离、所述车辆和行人目标簇的样本点数、所述目标中心点所在图像的位置区间和所述车辆和行人目标簇对应的最小外接矩形的长宽比;其中,所述基准点为所述动态视觉传感器在坐标系中的位置;
输入子模块,用于将所述样本特征输入所述神经网络的输入层;
建模子模块,用于利用信息前向传播、误差反向传播,将误差展开到所述神经网络的隐藏层、输出层;
训练子模块,用于由求导的链式法则,对输出层、隐藏层神经元的权重参数求偏导,进行权重参数更新,输出层和隐藏层的偏置参数更新,反复进行学习,最终输出车辆目标分类与行人目标分类。
上述基于动态图像感知的交叉口盲区预警方法和系统主要由部署在路侧的处理单元执行,该处理单元可以是工控机、服务器、嵌入式处理器及其他满足数据处理性能的运算设备。处理单元接收来自动态视觉传感器传输的实时点云数据。
本发明主要针对传统交叉口盲区预警方式存在检测范围小、易受环境影响、对驾驶员主观判别依赖程度高、智能化水平低、无法保证车辆准确识别等缺陷,提出了一种基于动态图像感知的交叉口盲区预警系统,利用动态点云数据对盲区车辆及其运动状态进行提取,主动给予驾驶员实时预警信息,保障驾驶员行车安全,降低交叉口盲区事故发生率。
对于实施例公开的系统而言,由于其与实施例公开的方法相对应,所以描述的比较简单,相关之处参见方法部分说明即可。
本文中应用了具体个例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想;同时,对于本领域的一般技术人员,依据本发明的思想,在具体实施方式及应用范围上均会有改变之处。综上所述,本说明书内容不应理解为对本发明的限制。
Claims (8)
1.一种基于动态图像感知的交叉口盲区预警方法,其特征在于,所述方法包括:
获取动态视觉传感器采集的交叉口盲区的道路交通信息,记为原始交通点云数据;
对所述原始交通点云数据进行预处理,获得滤噪交通点云数据;
对所述滤噪交通点云数据进行聚类分析,得到车辆和行人目标簇;
对所述车辆和行人目标簇进行分类,区分得到车辆目标和行人目标,具体包括:
提取输入神经网络的输入层的样本特征:所述样本特征包括所述车辆和行人目标簇中的目标中心点到基准点的相对距离、所述车辆和行人目标簇的样本点数、所述目标中心点所在图像的位置区间和所述车辆和行人目标簇对应的最小外接矩形的长宽比;其中,所述基准点为所述动态视觉传感器在坐标系中的位置;
将所述样本特征输入所述神经网络的输入层;
利用信息前向传播、误差反向传播,将误差展开到所述神经网络的隐藏层、输出层;
由求导的链式法则,对输出层、隐藏层神经元的权重参数求偏导,进行权重参数更新,输出层和隐藏层的偏置参数更新,反复进行学习,最终输出车辆目标分类与行人目标分类;
跟踪所述车辆目标,提取所述车辆目标的运动状态,所述车辆目标的运动状态包括实时速度和所述车辆目标与路口之间的距离;
根据所述车辆目标的运动状态与碰撞危险等级设定阈值判断车辆的碰撞危险等级;
将所述车辆目标的运动状态和所述车辆的碰撞危险等级发布至驾驶人。
3.根据权利要求1所述的基于动态图像感知的交叉口盲区预警方法,其特征在于,所述提取输入神经网络的输入层的样本特征,具体包括:
确定所述车辆和行人目标簇的样本点数;
根据实际交叉口道路场景对机动车道、非机动车道、人行道在所述动态视觉传感器采集的图像中的位置进行标定,划分位置区间,并以不同代码进行表示,确定所述目标中心点所在图像的位置区间;
在所述图像中对所述车辆和行人目标簇构建最小外接矩形,最小外接矩形长宽比为以像素点数所表示的外接矩形长度与宽度之比。
4.根据权利要求1所述的基于动态图像感知的交叉口盲区预警方法,其特征在于,所述跟踪所述车辆目标,提取所述车辆目标的运动状态,具体包括:
利用状态向量、观测向量建立观测模型;根据视频大小、车辆运行情况,设定过程噪声、量测噪声、估计误差的协方差Q、R、P,其中过程噪声的协方差Q比量测噪声的协方差R大;所述状态向量设为目标中心点位置坐标(x,y)及其变化率(Δx,Δy)、外接矩形的长宽(w,h)及其变化率(Δw,Δh)组成的八维向量,所述观测向量为目标中心点位置(x,y)和外接矩形长宽(w,h)组成的4维向量;所述状态向量和所述观测向量分别表示为:
xk=(x,y,w,h,Δx,Δy,Δw,Δh)
zk=(x,y,w,h)
其中JO表示目标点匹配阈值,JS表示外接矩形面积匹配阈值;
当所述目标中心点满足匹配条件时,确定目标中心点在两帧图像中的像素坐标,计算相邻两帧目标中心点在实际道路中的间隔距离,根据所述间隔距离和相邻两帧图像的采样时间间隔计算目标车辆移动速度。
5.根据权利要求4所述的基于动态图像感知的交叉口盲区预警方法,其特征在于,所述计算相邻两帧目标中心点在实际道路中的间隔距离具体包括:
对实际道路长度进行测量标定;
根据所述动态视觉传感器采集的道路几何结构与点云数据图像之间的透视关系,建立统一坐标系;
进行实际道路长度与点云坐标转换与匹配;
在不同像素点条件下计算目标中心点在实际道路中的实际距离。
6.根据权利要求4所述的基于动态图像感知的交叉口盲区预警方法,其特征在于,所述根据所述车辆目标的运动状态与碰撞危险等级设定阈值判断车辆的碰撞危险等级,具体包括:
分别利用公式v2-0=2a1l1和v2-0=2a2l2计算碰撞危险等级设定阈值l1、l2;其中v为目标车辆移动速度,a1为目标车辆最大减速度,a2为目标车辆平均减速度;
当l2<l时,判定目标车辆距离路口足够远,预警等级为安全,不会对行驶车辆产生影响;l为车辆目标距路口实时距离;
当l1<l<l2时,判定前方有来车,且在到达路口前有足够长的距离进行制动停车,预警等级为警告;
当l1>l时,判定前方来车,且在到达路口前,按照最大减速度刹车仍不能保证在到达路口前停车,预警等级为危险。
7.一种基于动态图像感知的交叉口盲区预警系统,其特征在于,所述系统包括:
数据获取模块,用于获取动态视觉传感器采集的交叉口盲区的道路交通信息,记为原始交通点云数据;
预处理模块,用于对所述原始交通点云数据进行预处理,获得滤噪交通点云数据;
目标识别模块,用于对所述滤噪交通点云数据进行聚类分析,得到车辆和行人目标簇;
目标分类模块,用于对所述车辆和行人目标簇进行分类,区分得到车辆目标和行人目标;所述目标分类模块具体包括:
样本特征提取子模块,用于提取输入神经网络的输入层的样本特征:所述样本特征包括所述车辆和行人目标簇中的目标中心点到基准点的相对距离、所述车辆和行人目标簇的样本点数、所述目标中心点所在图像的位置区间和所述车辆和行人目标簇对应的最小外接矩形的长宽比;其中,所述基准点为所述动态视觉传感器在坐标系中的位置;
输入子模块,用于将所述样本特征输入所述神经网络的输入层;
建模子模块,用于利用信息前向传播、误差反向传播,将误差展开到所述神经网络的隐藏层、输出层;
训练子模块,用于由求导的链式法则,对输出层、隐藏层神经元的权重参数求偏导,进行权重参数更新,输出层和隐藏层的偏置参数更新,反复进行学习,最终输出车辆目标分类与行人目标分类;
目标跟踪模块,用于跟踪所述车辆目标,提取所述车辆目标的运动状态,所述车辆目标的运动状态包括实时速度和所述车辆目标与路口之间的距离;
危险等级判别模块,用于根据所述车辆目标的运动状态与碰撞危险等级设定阈值判断车辆的碰撞危险等级;
预警模块,用于将所述车辆目标的运动状态和所述车辆的碰撞危险等级发布至驾驶人。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911037335.XA CN110992683B (zh) | 2019-10-29 | 2019-10-29 | 一种基于动态图像感知的交叉口盲区预警方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911037335.XA CN110992683B (zh) | 2019-10-29 | 2019-10-29 | 一种基于动态图像感知的交叉口盲区预警方法及系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110992683A CN110992683A (zh) | 2020-04-10 |
CN110992683B true CN110992683B (zh) | 2021-07-27 |
Family
ID=70082699
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201911037335.XA Expired - Fee Related CN110992683B (zh) | 2019-10-29 | 2019-10-29 | 一种基于动态图像感知的交叉口盲区预警方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110992683B (zh) |
Families Citing this family (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111833598B (zh) * | 2020-05-14 | 2022-07-05 | 山东科技大学 | 一种高速公路无人机交通事件自动监测方法及系统 |
CN111462501B (zh) * | 2020-05-21 | 2021-08-17 | 山东师范大学 | 一种基于5g网络的超视区通行系统及其实施方法 |
CN111653127A (zh) * | 2020-06-05 | 2020-09-11 | 浙江信安智能科技有限公司 | 道路交通预警系统和道路交通预警系统的控制方法 |
CN111814970B (zh) * | 2020-06-28 | 2021-02-23 | 盾钰(上海)互联网科技有限公司 | 基于神经网络的实时物理引擎增强计算方法、介质及系统 |
CN112200835B (zh) * | 2020-09-27 | 2023-04-07 | 浙江大华技术股份有限公司 | 一种交通事故检测方法、装置、电子设备及存储介质 |
CN114613124B (zh) * | 2020-12-03 | 2023-02-10 | 中国科学院深圳先进技术研究院 | 交通信息处理方法、装置、终端及计算机可读存储介质 |
CN112700470B (zh) * | 2020-12-30 | 2023-12-08 | 上海智能交通有限公司 | 一种基于交通视频流的目标检测和轨迹提取方法 |
CN113112866B (zh) * | 2021-04-14 | 2022-06-03 | 深圳市旗扬特种装备技术工程有限公司 | 一种智能交通预警方法及智能交通预警系统 |
CN113370977B (zh) * | 2021-05-06 | 2022-11-18 | 上海大学 | 一种基于视觉的智能车辆前向碰撞预警方法及系统 |
CN113554872B (zh) * | 2021-07-19 | 2022-09-20 | 昭通亮风台信息科技有限公司 | 一种位于交通路口及弯道的检测预警方法及系统 |
CN113702068B (zh) * | 2021-08-31 | 2023-11-07 | 中汽院(重庆)汽车检测有限公司 | 商用车盲区监视系统的评价系统及评价方法 |
CN114495026A (zh) * | 2022-01-07 | 2022-05-13 | 武汉市虎联智能科技有限公司 | 一种激光雷达识别方法、装置、电子设备和存储介质 |
CN115171431A (zh) * | 2022-08-17 | 2022-10-11 | 东揽(南京)智能科技有限公司 | 一种交叉口多视角大型车辆盲区预警方法 |
JP2024034886A (ja) * | 2022-09-01 | 2024-03-13 | パナソニックコネクト株式会社 | 路側機、路側機通信システム、及び移動体の検出方法 |
CN117012055A (zh) * | 2023-08-14 | 2023-11-07 | 河南新电信息科技有限公司 | 一种危险品运输车右侧盲区智能预警系统及方法 |
CN117041502B (zh) * | 2023-10-10 | 2023-12-08 | 湖南睿图智能科技有限公司 | 一种基于机器视觉的危险场景分析监测系统及方法 |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103366367B (zh) * | 2013-06-19 | 2015-11-11 | 西安电子科技大学 | 基于像素数聚类的模糊c-均值灰度图像分割方法 |
CN108162858B (zh) * | 2016-12-07 | 2020-05-29 | 杭州海康威视数字技术股份有限公司 | 车载监控装置及其方法 |
CN207706325U (zh) * | 2017-12-29 | 2018-08-07 | 中山明智源光电科技有限公司 | 一种盲区检测摄像机 |
WO2020037604A1 (zh) * | 2018-08-23 | 2020-02-27 | 深圳市锐明技术股份有限公司 | 一种汽车盲区的监测报警方法、装置、设备及存储介质 |
CN110210389B (zh) * | 2019-05-31 | 2022-07-19 | 东南大学 | 一种面向道路交通场景的多目标识别跟踪方法 |
-
2019
- 2019-10-29 CN CN201911037335.XA patent/CN110992683B/zh not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
CN110992683A (zh) | 2020-04-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110992683B (zh) | 一种基于动态图像感知的交叉口盲区预警方法及系统 | |
CN106652468B (zh) | 车辆道路前车违规检测和自车违规预警提醒装置及方法 | |
CN105512623B (zh) | 基于多传感器雾天行车视觉增强与能见度预警系统及方法 | |
KR100459476B1 (ko) | 차량의 대기 길이 측정 장치 및 방법 | |
Varma et al. | Real time detection of speed hump/bump and distance estimation with deep learning using GPU and ZED stereo camera | |
Pavlic et al. | Classification of images in fog and fog-free scenes for use in vehicles | |
JP4456086B2 (ja) | 車両周辺監視装置 | |
CN110992693B (zh) | 一种基于深度学习的交通拥堵程度多维度分析方法 | |
CN107972662A (zh) | 一种基于深度学习的车辆前向碰撞预警方法 | |
US10699567B2 (en) | Method of controlling a traffic surveillance system | |
CN102542797A (zh) | 图像式的交通参数检测系统与方法及计算机程序产品 | |
CN111094095B (zh) | 自动地感知行驶信号的方法、装置及运载工具 | |
Chiu et al. | Automatic Traffic Surveillance System for Vision-Based Vehicle Recognition and Tracking. | |
CN111626170B (zh) | 一种铁路边坡落石侵限检测的图像识别方法 | |
CN108645375B (zh) | 一种用于车载双目系统快速车辆测距优化方法 | |
CN112487905A (zh) | 一种车辆周边行人危险等级预测方法及系统 | |
Kamijo et al. | Pedestrian detection algorithm for on-board cameras of multi view angles | |
CN114926984B (zh) | 一种实时交通冲突收集与道路安全评价方法 | |
Vaibhav et al. | Real-time fog visibility range estimation for autonomous driving applications | |
CN117763423A (zh) | 一种基于深度学习的智能汽车激光雷达点云异常检测方法 | |
CN112699748B (zh) | 基于yolo及rgb图像的人车距离估计方法 | |
CN107256382A (zh) | 基于图像识别的虚拟保险杠控制方法和系统 | |
CN103177248A (zh) | 一种基于视觉的快速行人检测方法 | |
KR100532058B1 (ko) | 카메라 캘리브레이션을 이용한 교통정보 추출 방법 및 장치 | |
CN115352454A (zh) | 一种交互式辅助安全驾驶系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20210727 |