CN108335509A - 一种基于机器视觉的车路协同系统和方法 - Google Patents

一种基于机器视觉的车路协同系统和方法 Download PDF

Info

Publication number
CN108335509A
CN108335509A CN201810218581.4A CN201810218581A CN108335509A CN 108335509 A CN108335509 A CN 108335509A CN 201810218581 A CN201810218581 A CN 201810218581A CN 108335509 A CN108335509 A CN 108335509A
Authority
CN
China
Prior art keywords
image
information
vehicle
edge server
subsystem
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810218581.4A
Other languages
English (en)
Inventor
田大新
张创
王云鹏
陈鋆
蔡培峰
段续庭
周建山
郑坤贤
康璐
刘文豪
卫婧怡
王从毓
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beihang University
Original Assignee
Beihang University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beihang University filed Critical Beihang University
Priority to CN201810218581.4A priority Critical patent/CN108335509A/zh
Publication of CN108335509A publication Critical patent/CN108335509A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/09Arrangements for giving variable traffic instructions
    • G08G1/0962Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/09623Systems involving the acquisition of information from passive traffic signs by means mounted on the vehicle
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06KRECOGNITION OF DATA; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K9/00Methods or arrangements for reading or recognising printed or written characters or for recognising patterns, e.g. fingerprints
    • G06K9/00624Recognising scenes, i.e. recognition of a whole field of perception; recognising scene-specific objects
    • G06K9/00771Recognising scenes under surveillance, e.g. with Markovian modelling of scene activity
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06KRECOGNITION OF DATA; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K9/00Methods or arrangements for reading or recognising printed or written characters or for recognising patterns, e.g. fingerprints
    • G06K9/62Methods or arrangements for recognition using electronic means
    • G06K9/6217Design or setup of recognition systems and techniques; Extraction of features in feature space; Clustering techniques; Blind source separation
    • G06K9/6256Obtaining sets of training patterns; Bootstrap methods, e.g. bagging, boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06KRECOGNITION OF DATA; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K9/00Methods or arrangements for reading or recognising printed or written characters or for recognising patterns, e.g. fingerprints
    • G06K9/62Methods or arrangements for recognition using electronic means
    • G06K9/6267Classification techniques
    • G06K9/6268Classification techniques relating to the classification paradigm, e.g. parametric or non-parametric approaches
    • G06K9/6269Classification techniques relating to the classification paradigm, e.g. parametric or non-parametric approaches based on the distance between the decision surface and training patterns lying on the boundary of the class cluster, e.g. support vector machines

Abstract

本发明公开了一种基于机器视觉的车路协同系统和方法,涉及车联网技术领域以及计算机技术领域。所述系统包括图像采集子系统、车载子系统、智能信号灯子系统和边缘服务器子系统。所述的边缘服务器基于改进的自适应阈值Canny边缘检测算法识别道路渠化信息;基于HOG+SVM机器学习算法识别行人信息;基于Haar+Adaboost机器学习算法识别车辆信息,同时也可用此方法判断停车场图像提供的停车位中有无车辆进而获得空停车位信息。本发明综合考虑了交通要素中的人、车、路、环境,并通过标准化的数据包进行信息传输,实现了四者之间的实时信息交互,从而使车辆驾驶员能够综合各种信息做出正确的决策,提高交通运行效率及交通安全水平。

Description

一种基于机器视觉的车路协同系统和方法
技术领域
[0001] 本发明涉及车联网技术领域以及计算机技术领域,特别是涉及了一种基于机器视 觉的车路协同系统和方法。
背景技术
[0002] 随着城市汽车保有量的迅速增长,城市交通问题变得越来越严重。为了缓解交通 压力及提高交通安全水平,越来越多的研究机构开始研究车路协同系统。车路协同系统通 过无线通信、传感器检测及其他方式来感知交通态势,从而使交通基础设施与车辆之间能 够更加智能的合作,达到优化系统资源配置、提高交通安全水平、缓解交通压力的目的。
[0003] 交通态势的感知是车路协同系统中的一个十分重要的环节。随着计算机图像处理 技术的快速发展,越来越多的研究者使用图像识别技术来感知交通态势。这种方法有成本 低、数据正确率、实时性高,对交通流干扰小等优点。基于机器视觉的交通态势感知方法虽 已有所应用,但多是用于停车场收费、车辆计数等领域,并没有实现人、车、路之间的信息交 互,未应用于整个车路协同系统。
发明内容
[0004] 本发明提供了一种基于机器视觉的车路协同系统和方法,该车路协同系统能够通 过图像识别来感知交通态势,并通过通信设施实现人、车、路之间交通态势信息的交互,从 而达到提高交通效率及交通安全水平的目的。
[0005] 本发明提供的基于机器视觉的车路协同系统主要包括四个子系统:图像采集子系 统、车载子系统、智能信号灯子系统和边缘服务器子系统。所述的图像采集子系统、车载子 系统和智能信号灯子系统分别提供数据给边缘服务器子系统,所述的边缘服务器子系统对 接收到的数据进行处理后,发送BSM (基本安全消息,Basic Safety Message)及RSM(路侧单 元消息,Road Side Message)数据包给车载子系统,发送SpaT (信号灯消息,Signal Phase and Timing Message)数据包给智能信号灯子系统。
[0006] 基于所述的车路协同系统,本发明提供一种车路协同方法,所述方法的具体步骤 如下:
[0007] (1)信息获取;
[0008] 信息获取主要分为两个大类:
[0009] —、信号灯信息;所述的智能信号灯子系统包括信号灯信息融合模块、信号控制器 和信号灯通信模块,所述的信号灯信息融合模块会将信号灯信息打包成SpaT类型的数据 包。
[0010] 二、图像信息。所述的图像信息包括停车场图像、道路渠化图像、斑马线行人图像 和交叉口车辆图像,所述的图像采集子系统包括路侧信息融合模块和路侧通信模块,所述 的路侧信息融合模块会将所述的图像信息整合成视频流数据包。
[0011] (2)图像采集子系统发送图像信息给边缘服务器,车载子系统发送车辆信息给边 缘服务器,智能信号灯子系统发送信号灯信息给边缘服务器;
[0012] 按照中国汽车工程协会2017年9月18日发布的《车用通信系统应用层及应用数据 交互标准》,本发明对图像采集子系统、车载子系统和智能信号灯子系统传输信息至边缘服 务器的过程中的数据标准化为以下三种数据包类型。一、图像采集子系统将图像数据整合 成视频流类型数据包,并通过单播模式发送给边缘服务器,该数据包包括各摄像头的ip地 址、端口号、视频流数据。二、车载子系统将车辆数据打包成BSM类型数据包,并通过单播模 式发送给边缘服务器,该数据包包括车辆电子ID、车辆位置信息、车辆航向、车辆速度、车辆 加速度。三、智能信号灯子系统将信号灯信息整合成SpaT数据包,并通过单播模式发送给边 缘服务器,该数据包包括时间戳、路口 ID、信号ID、信号状态。
[0013] (3)边缘服务器进行信息处理;
[0014] 所述的边缘服务器包括边缘服务器通信模块和边缘服务器信息处理模块两部分, 所述的通信模块用于与其他三个子系统的通信;所述的边缘服务器信息处理模块包括以下 3个部分:基于改进的自适应阈值Canny边缘检测算法识别道路渠化图像中的道路渠化信 息。基于H0G+SVM机器学习算法识别斑马线行人图像中的行人信息。基于Haar+Adaboost机 器学习算法识别交叉口车辆图像中的车辆信息,同时也可用此方法判断停车场图像提供的 停车位中有无车辆进而获得空停车位信息。
[0015] ⑷边缘服务器传输信息至车载子系统和智能信号灯子系统;
[0016] 边缘服务器传输信息至终端主要包含以下两个部分:一、边缘服务器将处理过的 图像信息、行人信息和停车位信息进行融合,整合成RSM数据包,该数据包包括时间戳、路口 ID、该路口 ID对应斑马线行人状态、该路口 ID对应交叉口车辆状态。将信号灯信息整合成 SpaT数据包,该数据包包括时间戳、路口 ID、信号ID、信号状态。并通过广播的方式将RSM及 SpaT数据包传给车载子系统中的车载通信模块。二、当出现交通紧急情况,如救护车等特殊 车辆通过路段时,边缘服务器通过单播模式发送特定的SpaT类型数据包给智能信号灯子系 统控制信号灯状态,同时通过广播RSM数据包提示其余车辆让行,从而实现特殊车辆优先通 行的功能。
[0017] (5)车载信息校准模块对接收的信息进行校准。
[0018] 由于边缘服务器是通过广播的模式对信号覆盖范围内的车载子系统进行传递消 息,所以并不是车载子系统终端接到的每个信息都是对自身有用的,本发明在车载子系统 中设置了车载信息展示模块,所述的车载信息展示模块上部署信息校准程序,结合车辆位 置和航向确定自身需要的信息对应的路口 ID,对车载子系统接收到的信息进行筛选,从而 辅助判断驾驶信息的准确性。
[0019] 与现有技术相比,本发明的优点在于:
[0020] (1)本发明在车路协同的环境下,综合考虑了交通要素中的人、车、路、环境,并通 过标准化的数据包进行信息传输,实现了四者之间的实时信息交互,从而使车辆驾驶员能 够综合各种信息做出正确的决策,提高交通运行效率及交通安全水平。
[0021] (2)本发明基于图像处理技术,利用改进的边缘检测算法及机器学习算法来处理 摄像头拍摄的交叉口及道路图像。本发明改进了传统的Canny边缘检测算法,将自适应寻找 阈值函数加入到算法中,从而大大提高了检测算法的自适应性及检测精度。本发明充分利 用了机器学习算法的优势,将通过大量数据训练形成的分类器用于系统的信息处理模块, 使得行人、车辆识别程序耗时短、准确率高,从而提高了整个系统中信息的实时性和准确 性。
[0022] (3)本发明使用路侧边缘服务器代替以往的城市交通中央服务器,把以往中央服 务器的大量数据处理工作分摊给多个路侧边缘服务器,不仅降低了数据传输的成本,也提 高了车路协同系统内信息传递的效率及稳定性。
附图说明
[0023] 图1是本发明提供的基于机器视觉的车路协同系统架构图。
[0024] 图2是本发明中道路渠化信息识别流程图。
[0025] 图3是本发明中行人信息识别流程图。
[0026] 图4是本发明中车辆信息识别流程图。
具体实施方式
[0027] 下面将结合附图和实例对本发明作进一步的详细说明。
[0028] 如图1所示,本发明首先提供的一种基于机器视觉的车路协同系统,所示的车路协 同系统包含四个子系统:图像采集子系统、智能信号灯子系统、车载子系统和边缘服务器。
[0029] 图像采集子系统会采集停车场图像、道路渠化图像、斑马线行人图像和交叉口车 辆图像,并将以上图像信息数据通过路侧信息融合模块整合成视频流类型的数据包,通过 路侧通信模块以单播模式(单播视频流类型数据包)发送给边缘服务器。
[0030] 智能信号灯子系统采集信号灯显示器提供的信号灯信息,将信号灯信息在信号灯 信息融合模块整合成SpaT数据包,通过信号灯通信模块以单播模式(单播SpaT类型数据包) 发送给边缘服务器。同时通过信号灯通信模块接收边缘服务器发来的按照需要调整信号灯 状态的信息(单播SpaT类型消息),通过信号控制器调整信号灯信息,进而在信号灯显示器 上显示更新的信号灯信息。
[0031] 车载子系统采集自身车辆状态信息(如航向、速度、加速度)及车载摄像头数据,并 将以上数据通过车载信息融合模块整合成BSM数据包,通过车载通信模块以单播模式(单播 BSM类型数据包)发送给边缘服务器。同时车载通信模块接收边缘服务器广播的RSM类型的 数据包,通过车载信息校准模块校准后发送给车载信息展示模块,并用车载显示屏展示给 驾驶员。
[0032] 边缘服务器通过边缘服务器通信模块接收其他三个子系统发来的数据包,并采用 边缘服务器信息处理模块对接收到的数据进行处理,从而对系统内的交通态势进行感知, 并将数据整合成RSM数据包及SpaT数据包通过边缘服务器通信模块以广播模式发送给本车 路协同系统信号覆盖范围内的车载子系统。另外,当特殊车辆有优先通行需求时,边缘服务 器可以通过给智能信号灯子系统发送SpaT数据包进而控制信号灯显示器的信息状态,同时 通过广播RSM数据包提示其余车辆让行。
[0033] 图2是边缘服务器进行道路渠化信息识别的流程图。在本发明中,所述的边缘服务 器信息处理模块采用改进的Canny边缘检测算法来检测道路渠化信息。Canny边缘检测算法 是一种多级边缘检测方法,因其高精度和高灵敏度而被广泛使用。但Canny边缘检测算法需 要手动输入图像分割阈值,降低了整个系统的自动化程度。因此,本发明将最大类间方差 (Otsu方法)与Canny边缘检测算法相结合,可以将Otsu方法的自适应阈值作为参数输入到 Canny边缘检测算法中,从而提高道路的渠化信息识别的效率和准确性。最大类间方差 (Otsu方法)是一种基于最小二乘算法的自适应阈值分割方法。其基本思想是根据灰度阈值 将图像分为两部分,可以使类间方差最大,使类内的方差最小。
[0034] 所述的道路渠化信息识别的方法步骤如下:
[0035] 步骤1:获取图像采集子系统提供的道路渠化图像,并转换为矩阵格式,设位置(X, y)的像素值为I (x,y)。所述的图像采集子系统一般通过路侧摄像头采集道路渠化图像。
[0036] 步骤2:对灰度值进行分级;
[0037] 假设整幅道路渠化图像的像素数为N,灰度值范围为[0,F_1],灰度i对应的像素数 m。每个灰度级的像素数量占总体像素数量的比例是h。数学表达式如下:
Figure CN108335509AD00101
[0039] 步骤3:灰度值划分;
[0040] 假设一个阈值Y,它将道路渠化图像划分为区间[0,Y]中的灰度类别Lo和区间[Y+ 1,F_1]中的灰度值的类别L1。假设整幅道路渠化图像的平均灰度值为pr,Lo的平均灰度值为 po,在道路渠化图像中所占比例为Zq5L1的平均灰度值为?1,在道路渠化图像中所占比例为 Z1。那么Lo和1^的相关参数如式(2)所示。
Figure CN108335509AD00102
[0042] 式⑶可由上述式⑵推出:
Figure CN108335509AD00103
[0044] 步骤4:计算类间方差名,让Y在[0,F_1]取值,使得薦取最大值,如式⑷所示。
Figure CN108335509AD00104
[0046]步骤5:然后,在道路渠化图像上每一个像素点,使用一阶有限差分式近似式计算X 的偏导数Tx (X,y)和y的偏导数Ty (X,y),如式(5)所示。
Figure CN108335509AD00105
[0048]步骤6:计算梯度值T (x,y)和方位角Θ (x,y),用如公式(6)所示。如果该像素点在梯 度方向上大于两个相邻像素点,且两像素点之间的角度差小于45,则该像素点被认为是边 缘像素点。
Figure CN108335509AD00111
[0050] 步骤7:使用双阈值法确定车道线。令步骤6的结果T (x,y)为高阈值,T (x,y) /2为低 阈值。在图像中,灰度值高于高阈值的像素点一定是边缘像素点,灰度值低于低阈值的像素 点一定不是边缘像素点。对于介于两者中间的像素点,剔除周围无边缘像素点的像素点,保 留周围有边缘像素点的像素点以形成弱边缘。
[0051] 步骤8:通过形态学操作中的膨胀处理将分割后不连续的车道线连成一体,形成最 终的车道渠化信息。
[0052] 边缘服务器信息处理模块采用HOG (方向梯度直方图)+SVM (支持向量机)方法对行 人信息进行检测。该方法具有较高的准确性和鲁棒性。图3为H0G+SVM行人信息识别流程图, 识别步骤如下:
[0053] 步骤1:导入行人图像识别领域现阶段较为流行的行人图像数据库INRIA Person Dataset (包括行人图像和非行人图像),压缩为64X128像素大小的图像,并转换为矩阵格 式,像素点(X,y)处的值为W (X,y)。
[0054] 步骤2:为了减少光照因素的影响,整个图像需要进行归一化,主要包括标准化 gamma空间和颜色空间。前者可以有效地降低局部阴影和光线变化的影响,后者将RGB彩色 图像转换为灰度图,可以降低颜色变化的影响。
[0055] Gamma压缩公式:
Figure CN108335509AD00112
[0057] 其中 gamma 取 1/2。
[0058] RGB图像灰度化:
Figure CN108335509AD00113
[0060] 式中H即为每像素点灰度值,R,G,B为彩色图像中每像素点的像素值。
[0061] 步骤3:如公式(9)和(10)所示,计算图像在X和y方向上的梯度Tx (x,y)和Ty (x,y), 并计算每个像素位置的梯度方向值T (x,y)和方向角Θ (x,y)。这种运算不仅能够捕捉轮廓及 纹理信息,而且还可以进一步减弱了光照的影响。然后使用高斯矩阵Ga与梯度点乘从而弱 化边缘,得到处理后的矩阵D,如式(11)。
Figure CN108335509AD00114
[0065] 步骤4:把图像分为8 X 8像素大小的若干个单元(cell),每上下左右4个单元组成 一个像素块(block),各单元之间不可重叠,但像素块之间会有重叠。将梯度矢量角度平均 划分为9个区间,根据像素的坐标(x,y)和像素的梯度矢量角度Θ (x,y),对每个像素块进行 三维线性插值并累加以形成4X9 = 36维矢量直方图统计结果Z。该步骤的目的是在保持对 图像中的行人物体的姿态和外观敏感性的同时提供局部图像区域的编码。
[0066] 步骤5:由于局部光线和前景-背景对比度的变化,图像梯度强度的范围非常大。梯 度强度归一化可以进一步弱化光线、阴影的影响。归一化之后的块描述符Z*就是HOG描述 符。
Figure CN108335509AD00121
[0068] 式中ε = 〇. 005,Z为步骤4中的直方图统计结果。
[0069] 步骤6:设定一个64 X 128像素大小的检测窗口,用该检测窗口扫描图像,形成特征 向量Ζ*供分类器使用。具体扫描步骤为:一个64 X 128像素大小的检测窗口内含有8 X 16 = 128个单元,从而组成7 X 15= 105个像素块,每个像素块含有一个36维向量,因此该检测窗 口最终形成的特征向量Ζ*为105 X 36 = 3780维的向量。
[0070] 步骤7:对训练数据库(包括行人图像和非行人图像)中的每张图片重复步骤2-6, 使用线性判别函数对训练数据库进行训练,如式(13)。对于行人图像,g(Z*)=l;对于非行 人图像,g(Z*)=_l。模型训练后得到系数δ和阈值λ,从而生成基于SVM+H0G的行人/非行人 分类器。
[0071] g (Z*) = δ X Ζ*+λ (13)
[0072] 步骤8:当路侧摄像头传回斑马线行人图像时,边缘服务器信息处理模块行人检测 程序将会重复步骤2-6获得该图像各个窗口的HOG特征值Q,然后将Q代入式(13)得到结果g (Q),如式(14)。若g⑼>0则该检测窗口内有行人,否则没有。从而确定图像中是否存在行 人以及准确找出行人在图像中的具体位置。
[0073] g(Q)=5XQ+X (14)
[0074] 边缘服务器信息处理模块使用Haar+Adaboost方法对交叉口图像中车辆进行识 另IJ。图4是本发明系统交叉口车辆信息识别流程图。
[0075] 步骤 1:导入The UIUC Image Database for Car Detection车辆图像数据库(包 括车辆图像和非车图像),将图像压缩为64X64像素大小的图片,并将每幅图片转换为矩阵 格式,设位置(X,y)的像素值为C (X,y)。
[0076] 步骤2: Haar特征中有多种矩形特征,如边缘特征、中心环绕特征、线特征。车辆识 别程序选取大小为64 X 64的检测窗口对图片进行扫描,提取符合条件的矩形特征λ。
[0077] 步骤3:在获得矩形特征后,使用积分图方法求特征值。积分图中坐标J (X,y)代表C (X,y)左上角所有像素之和,数学表达式为:
Figure CN108335509AD00122
[0079]设某一矩形左上角点为a,顺时针依次是b,c,d,则该矩形特征的Haar特征值T (λ) 为:
Figure CN108335509AD00123
[0081] 其中,J(a) ,J⑹,J(c),J(d)分别表不a,b,c,d点对应积分图中的坐标,由式(15) 计算得出。
[0082] 步骤4:将步骤1中导入的图像数据库中的每张图像执行步骤2与步骤3,得到训练 数据集Tr= {(λχ,ρΟ,(λ2,ρ2),…,(λη,ρη)},其中,i = l,2,…,n,n为数据集数量,Xi为第i 张图像的特征,Pl为对应的分类(1为车辆图像,〇为非车辆图像),设每个特征A1的初始权值
Figure CN108335509AD00131
[0083] 步骤5:设训练弱分类器的循环次数为R,对r=l,2, ...,R,具体循环过程如下:初 始化权重,SI
Figure CN108335509AD00132
表示第r次循环,第i张图像对应的权重,qr>1表示第r次循 环,第i张图像对应的权值。对每一个特征\训练一个弱分类器Rf (M),如式(17)。式中Cl1 = ±1,表示不等式方向,S1为阈值。对每一个循环r,可得到η个弱分类器,计算加权分类误差 er>1,如式(18)。取η个弱分类器中&;1最小的弱分类器,设为Rfr (λ),Rfr (λ)的加权分类误差 为er。循环的最后一步为更新权重值,如式(19),其中
Figure CN108335509AD00133
Figure CN108335509AD00134
[0087] 经过R次循环,共得到R个弱分类器,分别为Rf1,Rf2, ...,RfR。
[0088] 上式中,T (Ai)表示特征&对应的特征值,由式(16)计算。
[0089] 步骤6:将R个弱分类器组合成强分类器Qf (λ),其中ar = -l〇ger。
Figure CN108335509AD00135
[0091]步骤7:当路侧摄像头传回交叉口车辆图像时,车辆检测程序将会重复步骤2-3获 得Haar特征t,代入到式(18)的强分类器中,若Qf (t) = 1,则检测窗口内有车辆,否则没有。

Claims (6)

1. 一种基于机器视觉的车路协同系统,其特征在于:包括四个子系统:图像采集子系 统、车载子系统、智能信号灯子系统和边缘服务器子系统;所述的图像采集子系统、车载子 系统和智能信号灯子系统分别提供数据给边缘服务器子系统,所述的边缘服务器子系统对 接收到的数据进行处理后,发送基本安全消息BSM数据包及路侧单元消息RSM数据包给车载 子系统,发送信号灯消息SpaT数据包给智能信号灯子系统。
2. 根据权利要求1所述的一种基于机器视觉的车路协同系统,其特征在于: 图像采集子系统采集停车场图像、道路渠化图像、斑马线行人图像和交叉口车辆图像, 并将以上图像信息数据通过路侧信息融合模块整合成视频流类型的数据包,通过路侧通信 模块以单播模式发送给边缘服务器; 智能信号灯子系统采集信号灯显示器提供的信号灯信息,将信号灯信息在信号灯信息 融合模块整合成SpaT数据包,通过信号灯通信模块以单播模式发送给边缘服务器;同时通 过信号灯通信模块接收边缘服务器发来的按照需要调整信号灯状态的信息,通过信号控制 器调整信号灯信息,进而在信号灯显示器上显示更新的信号灯信息; 车载子系统采集自身车辆状态信息及车载摄像头数据,并将以上数据通过车载信息融 合模块整合成BSM数据包,通过车载通信模块以单播模式发送给边缘服务器;同时车载通信 模块接收边缘服务器广播的RSM类型的数据包,通过车载信息校准模块校准后发送给车载 信息展示模块,并用车载显示屏展示给驾驶员; 边缘服务器通过边缘服务器通信模块接收其他三个子系统发来的数据包,并采用边缘 服务器信息处理模块对接收到的数据进行处理,从而对系统内的交通态势进行感知,并将 数据整合成RSM数据包及SpaT数据包通过边缘服务器通信模块以广播模式发送给本车路协 同系统信号覆盖范围内的车载子系统;另外,当特殊车辆有优先通行需求时,边缘服务器通 过给智能信号灯子系统发送SpaT数据包进而控制信号灯显示器的信息状态,同时通过广播 RSM数据包提示其余车辆让行。
3. —种基于机器视觉的车路协同方法,其特征在于:所述方法的具体步骤如下: 第一步,信息获取; 所述信息包括智能信号灯子系统提供的信号灯信息和图像采集子系统提供的图像信 息; 第二步,图像采集子系统发送图像信息给边缘服务器,车载子系统发送车辆信息给边 缘服务器,智能信号灯子系统发送信号灯信息给边缘服务器; 图像采集子系统将图像数据整合成视频流类型数据包,并通过单播模式发送给边缘服 务器,该数据包包括各摄像头的ip地址、端口号、视频流数据;车载子系统将车辆数据打包 成BSM类型数据包,并通过单播模式发送给边缘服务器,该数据包包括车辆电子ID、车辆位 置信息、车辆航向、车辆速度、车辆加速度;智能信号灯子系统将信号灯信息整合成SpaT数 据包,并通过单播模式发送给边缘服务器,该数据包包括时间戳、路口 ID、信号ID、信号状 态; 第三步,边缘服务器进行信息处理; 所述的边缘服务器包括边缘服务器通信模块和边缘服务器信息处理模块两部分,所述 的通信模块用于与其他三个子系统的通信;所述的边缘服务器信息处理模块包括以下3个 部分:基于改进的自适应阈值Canny边缘检测算法识别道路渠化图像中的道路渠化信息;基 于HOG+SVM机器学习算法识别斑马线行人图像中的行人信息;基于Haar+Adaboost机器学习 算法识别交叉口车辆图像中的车辆信息,同时也用此方法判断停车场图像提供的停车位中 有无车辆进而获得空停车位信息; 第四步,边缘服务器传输信息至车载子系统和智能信号灯子系统; 边缘服务器将处理过的图像信息、行人信息和停车位信息进行融合,整合成RSM数据 包,该数据包包括时间戳、路口 ID、该路口 ID对应斑马线行人状态、该路口 ID对应交叉口车 辆状态;将信号灯信息整合成SpaT数据包,该数据包包括时间戳、路口 ID、信号ID、信号状 态;并通过广播的方式将RSM及SpaT数据包传给车载子系统中的车载通信模块;当出现交通 紧急情况,边缘服务器通过单播模式发送特定的SpaT类型数据包给智能信号灯子系统控制 信号灯状态,同时通过广播RSM数据包提示其余车辆让行,从而实现特殊车辆优先通行的功 能; 第五步,车载信息校准模块对接收的信息进行校准; 在车载子系统中设置了车载信息展示模块,所述的车载信息展示模块上部署信息校准 程序,结合车辆位置和航向确定自身需要的信息对应的路口 ID,对车载子系统接收到的信 息进行筛选,从而辅助判断驾驶信息的准确性。
4.根据权利要求3所述的一种基于机器视觉的车路协同方法,其特征在于:所述的道路 渠化信息识别的方法步骤如下: 步骤1:获取图像采集子系统提供的道路渠化图像,并转换为矩阵格式,设位置(x,y)的 像素值为I (x,y); 步骤2:对灰度值进行分级; 假设整幅道路渠化图像的像素数为N,灰度值范围为[0,F-1],灰度i对应的像素数m;每 个灰度级的像素数量占总体像素数量的比例是b1;数学表达式如下:
Figure CN108335509AC00031
⑴ 步骤3:灰度值划分; 假设一个阈值Y,将道路渠化图像划分为区间[〇,Y]中的灰度类别Lo和区间[Y+l,F-1]中 的灰度值的类别L1;假设整幅道路渠化图像的平均灰度值为pr,L〇的平均灰度值为p〇,在道 路渠化图像中所占比例为Z^L1的平均灰度值为?1,在道路渠化图像中所占比例为Z1;那么L0 和Li的相关参数如式⑵所示:
Figure CN108335509AC00032
(2) 式⑶由上述式⑵推出: Pr一Z〇p〇+Zipi (3) 步骤4:计算类间方差β,让Y在[0,F-1]取值,使得和取最大值,如式⑷所示:
Figure CN108335509AC00041
.4 步骤5:然后,在道路渠化图像上每一个像素点,使用一阶有限差分式近似式计算X的偏 导数Tx (X,y)和y的偏导数Ty (X,y),如式⑸所示:
Figure CN108335509AC00042
步骤6:计算梯度值T (X,y)和方位角θ (X,y),用如公式⑹所示;如果该像素点在梯度方 向上大于两个相邻像素点,且两像素点之间的角度差小于45°,则该像素点被认为是边缘像 素点;
Figure CN108335509AC00043
(6 ) 步骤7:使用双阈值法确定车道线; 步骤8:通过形态学操作中的膨胀处理将分割后不连续的车道线连成一体,形成最终的 车道渠化信息。
5.根据权利要求3所述的一种基于机器视觉的车路协同方法,其特征在于:所述的边缘 服务器信息处理模块采用HOG+SVM方法对行人信息进行检测,识别步骤如下: 步骤1:导入训练数据库中的行人图像和非行人图像,压缩为64X128像素大小的图像, 并转换为矩阵格式,像素点(X,y)处的值为W (X,y); 步骤2:图像进行归一化,包括标准化gamma空间和颜色空间; Gamma压缩公式:
Figure CN108335509AC00044
(7) 其中gamma取1/2; RGB图像灰度化:
Figure CN108335509AC00045
(8) 式中H即为每像素点灰度值,R,G,B为彩色图像中每像素点的像素值; 步骤3:如公式(9)和(10)所示,计算图像在X和y方向上的梯度Tx (x,y)和Ty (x,y),并计 算每个像素位置的梯度方向值T (x,y)和方向角Θ (x,y);然后使用高斯矩阵Ga与梯度点乘从 而弱化边缘,得到处理后的矩阵D,如式(11);
Figure CN108335509AC00046
(:9) (10)
Figure CN108335509AC00051
(11) 步骤4:把图像分为8 X 8像素大小的若干个单元,每上下左右4个单元组成一个像素块, 将梯度矢量角度平均划分为9个区间,根据像素的坐标(x,y)和像素的梯度矢量角度Θ (X, y),对每个像素块进行三维线性插值并累加以形成4 X 9 = 36维矢量直方图统计结果Z; 步骤5:图像梯度强度归一化,归一化之后的块描述符Z*就是HOG描述符;
Figure CN108335509AC00052
C12) 式中ε = 〇. 005,Z为步骤4中的直方图统计结果; 步骤6:设定一个64X 128像素大小的检测窗口,用该检测窗口扫描图像,形成特征向量 Ζ*供分类器使用; 步骤7:对训练数据库中的每张图片重复步骤2-6,使用线性判别函数对训练数据库进 行训练,如式(13);对于行人图像,g(Z*) =1;对于非行人图像,g(Z*) =-1;模型训练后得到 系数S和阈值λ,从而生成基于SVM+H0G的行人/非行人分类器;
Figure CN108335509AC00053
(13) 步骤8:当路侧摄像头传回斑马线行人图像时,边缘服务器信息处理模块将会重复步骤 2-6获得该图像各个窗口的HOG特征值Q,然后将Q代入式(13)得到结果g (Q),如式(14);若g (Q) >0则该检测窗口内有行人,否则没有;从而确定图像中是否存在行人以及准确找出行 人在图像中的具体位置; g(J))=3XQ+A (14)〇
6.根据权利要求3所述的一种基于机器视觉的车路协同方法,其特征在于:所述的边缘 服务器信息处理模块使用Haar+Adaboost方法对交叉口图像中车辆进行识别,具体如下: 步骤1:导入车辆图像训练数据库,包括车辆图像和非车图像,将图像压缩为64X64像 素大小的图片,并将每幅图片转换为矩阵格式,设位置(X,y)的像素值为C (X,y); 步骤2:选取大小为64 X 64的检测窗口对图像进行扫描,提取矩形特征λ; 步骤3:在获得矩形特征后,使用积分图方法求特征值; 积分图中坐标J (X,y)代表C (X,y)左上角所有像素之和,数学表达式为:
Figure CN108335509AC00054
115) 设某一矩形左上角点为a,顺时针依次是b,c,d,则该矩形特征的Haar特征值T (λ)为:
Figure CN108335509AC00055
(16) 其中,分别表示a,b,c,d点对应积分图中的坐标,由式(15)计算 得出;
Figure CN108335509AC00056
步骤4:将步骤1中导入的图像数据库中的每张图像执行步骤2与步骤3,得到训练数据 集
Figure CN108335509AC00057
,其中
Figure CN108335509AC00058
为数据集数量为第i张图 像的特征,Pi为对应的分类,设每个特征Ai的初始权值
Figure CN108335509AC00059
步骤5:设训练弱分类器的循环次数为R,对r=l,2, . . .,R,具体循环过程如下:初始化 权重,Sf
Figure CN108335509AC00061
表示第r次循环,第i张图像对应的权重,qr>1表示第r次循环,第i 张图像对应的权值;对每一个特征\训练一个弱分类器Rf (M),如式(17);式中cU=±l,表 示不等式方向,心为阈值;对每一个循环r,得到η个弱分类器,计算加权分类误差er>1,如式 (18);取η个弱分类器中er>1§小的弱分类器,设为Rfr(A) ,Rfr(A)的加权分类误差为er;循环 的最后一步为更新权重值,如式(19),其中
Figure CN108335509AC00062
Figure CN108335509AC00063
(17) (18; (19) 经过R次循环,共得到R个弱分类器,分别为Rf1,Rf2,...,RfR; 上式中,T (Ai)表示特征\1对应的特征值,由式(16)计算; 步骤6:将R个弱分类器组合成强分类器Qf (λ),其中
Figure CN108335509AC00064
Figure CN108335509AC00065
(20) 步骤7:当路侧摄像头传回交叉口车辆图像时,车辆检测程序将会重复步骤2-3获得 Haar特征t,代入到式(18)的强分类器中,若Qf (t) = 1,则检测窗口内有车辆,否则没有。
CN201810218581.4A 2018-03-16 2018-03-16 一种基于机器视觉的车路协同系统和方法 Pending CN108335509A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810218581.4A CN108335509A (zh) 2018-03-16 2018-03-16 一种基于机器视觉的车路协同系统和方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810218581.4A CN108335509A (zh) 2018-03-16 2018-03-16 一种基于机器视觉的车路协同系统和方法

Publications (1)

Publication Number Publication Date
CN108335509A true CN108335509A (zh) 2018-07-27

Family

ID=62931128

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810218581.4A Pending CN108335509A (zh) 2018-03-16 2018-03-16 一种基于机器视觉的车路协同系统和方法

Country Status (1)

Country Link
CN (1) CN108335509A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108986510A (zh) * 2018-07-31 2018-12-11 同济大学 一种面向路口的智能化本地动态地图实现系统及实现方法
CN110491156A (zh) * 2019-08-27 2019-11-22 无锡物联网创新中心有限公司 一种感知方法、装置及系统
CN111882887A (zh) * 2020-07-16 2020-11-03 浙江工业大学 同步展示scats相位信号及整合流量设备监测数据的方法
CN112150804A (zh) * 2020-08-31 2020-12-29 中国地质大学(武汉) 一种基于MaskRCNN算法的城市多类型交叉口识别方法
CN112270827A (zh) * 2020-06-23 2021-01-26 北京航空航天大学 一种车路协同系统以及道路行人检测方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102622872A (zh) * 2012-03-23 2012-08-01 清华大学 一种多模式无线通信车路协同数据交互系统
CN104867340A (zh) * 2015-04-23 2015-08-26 南京信息工程大学 一种城市交通为应急车辆放行的方法和系统
CN104966405A (zh) * 2015-04-06 2015-10-07 公安部交通管理科学研究所 一种基于实时信息交互的公交信号优先控制系统及方法
BR102015010366A2 (pt) * 2015-04-23 2017-04-25 Univ Fed Bahia dispositivo e método para controle inteligente de semáforos de trânsito

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102622872A (zh) * 2012-03-23 2012-08-01 清华大学 一种多模式无线通信车路协同数据交互系统
CN104966405A (zh) * 2015-04-06 2015-10-07 公安部交通管理科学研究所 一种基于实时信息交互的公交信号优先控制系统及方法
CN104867340A (zh) * 2015-04-23 2015-08-26 南京信息工程大学 一种城市交通为应急车辆放行的方法和系统
BR102015010366A2 (pt) * 2015-04-23 2017-04-25 Univ Fed Bahia dispositivo e método para controle inteligente de semáforos de trânsito

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
张雪芹等: "基于类Haar特征和AdaBoost的车辆识别技术", 《华南理工大学学报(自然科学版)》 *
徐渊等: "结合SVM分类器与HOG特征提取的行人检测", 《计算机工程》 *
成剑: "基于机器视觉的道路线识别算法研究", 《中国优秀硕士学位论文全文数据库信息科技辑》 *
罗超: "基于车路协同的城市交通姿态预警及调控技术研究", 《中国优秀硕士学位论文全文数据库工程科技Ⅱ辑》 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108986510A (zh) * 2018-07-31 2018-12-11 同济大学 一种面向路口的智能化本地动态地图实现系统及实现方法
CN110491156A (zh) * 2019-08-27 2019-11-22 无锡物联网创新中心有限公司 一种感知方法、装置及系统
CN112270827A (zh) * 2020-06-23 2021-01-26 北京航空航天大学 一种车路协同系统以及道路行人检测方法
CN111882887A (zh) * 2020-07-16 2020-11-03 浙江工业大学 同步展示scats相位信号及整合流量设备监测数据的方法
CN112150804A (zh) * 2020-08-31 2020-12-29 中国地质大学(武汉) 一种基于MaskRCNN算法的城市多类型交叉口识别方法

Similar Documents

Publication Publication Date Title
CN108335509A (zh) 一种基于机器视觉的车路协同系统和方法
CN107729801B (zh) 一种基于多任务深度卷积神经网络的车辆颜色识别系统
CN104573646B (zh) 基于激光雷达和双目相机的车前行人检测方法及系统
EP2237988B1 (en) Object detection and recognition system
KR100912746B1 (ko) 교통 표지판 탐지를 위한 방법
CN108960183B (zh) 一种基于多传感器融合的弯道目标识别系统及方法
CN105512623A (zh) 基于多传感器雾天行车视觉增强与能见度预警系统及方法
US20120002053A1 (en) Detecting and recognizing traffic signs
US20140247968A1 (en) Method for Fog Detection
CN103824081B (zh) 一种室外恶劣光照条件下的快速鲁棒交通标志检测方法
CN106446949A (zh) 一种车辆型号识别方法及装置
CN104778453A (zh) 一种基于红外行人亮度统计特征的夜间行人检测方法
CN103530640B (zh) 基于AdaBoost与SVM的无牌车辆检测方法
WO2019192418A1 (zh) 汽车抬头显示系统及其障碍物提示方法
CN109190523B (zh) 一种基于视觉的车辆检测跟踪预警方法
CN107038420A (zh) 一种基于卷积网络的交通信号灯识别算法
CN106022243B (zh) 一种基于图像处理的机动车道车辆逆行识别方法
US20190122059A1 (en) Signal light detection
CN105989334A (zh) 基于单目视觉的道路检测方法
CN105160324B (zh) 一种基于部件空间关系的车辆检测方法
CN106529461A (zh) 一种基于积分特征通道和svm训练器的车型识别算法
CN109816003A (zh) 一种基于改进hog-lbp特征的智能车辆前方多目标分类方法
JP2007060273A (ja) 環境認識装置
US20180240249A1 (en) Image Recognition System
CN108021879A (zh) 一种基于视频图像的交通车辆类型识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination