CN105528593A - 一种前向车辆驾驶人驾驶行为预测系统及预测方法 - Google Patents

一种前向车辆驾驶人驾驶行为预测系统及预测方法 Download PDF

Info

Publication number
CN105528593A
CN105528593A CN201610046049.XA CN201610046049A CN105528593A CN 105528593 A CN105528593 A CN 105528593A CN 201610046049 A CN201610046049 A CN 201610046049A CN 105528593 A CN105528593 A CN 105528593A
Authority
CN
China
Prior art keywords
forward direction
video
vehicle
direction vehicle
acquisition camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201610046049.XA
Other languages
English (en)
Other versions
CN105528593B (zh
Inventor
何友国
袁朝春
陈龙
江浩斌
蔡英凤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiangsu University
Original Assignee
Jiangsu University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jiangsu University filed Critical Jiangsu University
Priority to CN201610046049.XA priority Critical patent/CN105528593B/zh
Publication of CN105528593A publication Critical patent/CN105528593A/zh
Application granted granted Critical
Publication of CN105528593B publication Critical patent/CN105528593B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/582Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of traffic signs
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/29Graphical models, e.g. Bayesian networks
    • G06F18/295Markov models or related models, e.g. semi-Markov models; Markov random fields; Networks embedding Markov models
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/584Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明公开了一种前向车辆驾驶人驾驶行为预测系统及预测方法,属于智能汽车领域,该前向车辆驾驶人驾驶行为预测系统由道路环境采集摄像头、前车行驶信息采集摄像头和一个视频处理器硬件平台组成。道路环境采集摄像头负责采集道路环境中的信号灯、道路指示标志。前车行驶信息采集摄像头负责采集前向车辆、前向车辆尾灯、前向车辆相邻车道内车辆。视频处理器硬件平台由两个视频处理器组成,分别负责处理道路环境中信号灯和道路指示标志信息和前向车辆运行相关视频信息。通过对道路环境参数、前向车辆行驶参数以及前向车辆相邻车道内车辆信息的分析,建立前向车辆驾驶人驾驶行为预测模型,实现对前向车辆驾驶人驾驶行为进行预测。

Description

一种前向车辆驾驶人驾驶行为预测系统及预测方法
技术领域
本发明涉及智能汽车领域,具体为一种前向车辆驾驶人驾驶行为预测系统。
背景技术
随着我国汽车保有量的快速增长,非职业驾驶员的人数也在逐步增加,间接导致了交通事故的频繁发生。针对事故发生的原因,研究人员一直致力于如何通过有效的措施降低事故的发生,其中车路协同、驾驶安全辅助等系统是提高车辆运行安全的一种有效方法。其中,如何根据道路信息合理预测驾驶员行为,并提醒驾驶员做出科学决策是驾驶安全辅助系统的关键问题。但目前国内外学者只是针对自车驾驶人驾驶行为进行预测,然而,在车辆行驶过程中,前向车辆突然制动、突然转向、突然换道等不规范驾驶行为会对后车驾驶安全有重要影响。相比之下,尚未见针对前向车辆驾驶人驾驶行为预测的研究成果。同时,目前针对驾驶人行为识别提供的不同的算法和模型缺乏对多个复杂的驾驶意图进行实时、统一识别的算法。随着汽车安全辅助系统的发展和广泛应用,针对驾驶人驾驶行为预测的实时性问题将成为迫切需要解决的问题。通过查阅资料,目前,对前向车辆驾驶人驾驶行为预测方面的应用中尚未见到报道。
发明内容
为了解决上述问题,本发明提出了一种前向车辆驾驶人驾驶行为预测系统,采用TI公司视频处理器DM6437为硬件平台,基于机器视觉方法,以前向车辆驾驶人在行车过程中的突然制动、突然转向(包括左转向以及右转向)、突然换道(包括左换道以及右换道)驾驶行为作为预测对象,基于隐马尔科夫模型理论(HMM)建立前向车辆驾驶员驾驶行为预测模型,进行前向车辆驾驶员驾驶行为预测。采用的具体技术方案如下:
一种前向车辆驾驶人驾驶行为预测系统,包括道路环境采集摄像头、前车行驶信息采集摄像头、信息处理器;所述道路环境采集摄像头用于采集道路环境中的信号灯、道路指示标志信息,并将采集的信息送给所述信息处理器;所述前车行驶信息采集摄像头用于采集前向车辆、前向车辆尾灯、前向车辆相邻车道内车辆信息,并将采集的信息送给所述信息处理器;所述信息处理器通过对道路环境中的信号灯、道路指示标志信息参数、前向车辆、前向车辆尾灯以及前向车辆相邻车道内车辆信息的分析处理,建立前向车辆驾驶人驾驶行为预测模型,实现对前向车辆驾驶人驾驶行为进行预测。
作为优选方案,所述道路环境采集摄像头、所述前车行驶信息采集摄像头均采用CCD车载影像夜视摄像头,均安装在车辆前挡风玻璃上。
作为优选方案,所述信息处理器采用视频处理器硬件平台实现,包括第一视频解码电路、第一视频处理电路、第二视频解码电路、第二视频处理电路和电源电路;
所述第一视频解码电路通过道路环境采集摄像头视频线与所述道路环境采集摄像头相连,对道路环境采集摄像头采集的信息进行解码处理;所述第一视频处理电路对所述第一视频解码电路解码后的视频信息进行处理,并与第二视频处理电路交互;
所述第二视频解码电路通过前车行驶信息采集摄像头视频线与所述前车行驶信息采集摄像头相连,对所述前车行驶信息采集摄像头采集的信息进行解码处理;所述第二视频处理电路对所述第二视频解码电路解码后的视频信息进行处理,并且通过建立前向车辆驾驶人驾驶行为预测模型对前向车辆驾驶人驾驶行为进行预测;
所述电源电路将车载12V电源转换为3.3V、1.8V、1.2V,为系统供电。
作为优选方案,所述第一视频解码电路、所述第二视频解码电路均包括解码芯片TVP5150及外围电路;所述第一视频处理电路、所述第二视频处理电路均包括视频处理器DM6437、DDR2存储器MT47H64M16BT、FLASH存储器SG29GL256N,所述DDR2存储器MT47H64M16BT、所述FLASH存储器SG29GL256N均与所述视频处理器DM6437相连。
作为优选方案,所述电源电路包括LM2940、TPS54310;车载12V电源经过LM2940芯片转换为5V电源,5V电源再经过3片TPS54310分别转换为3.3V、1.8V、1.2V电源;所述3.3V为视频处理器DM6437的IO口及3.3V系统供电,1.8V为DDR2存储器MT47H64M16BT供电,1.2V为视频处理器DM6437的内核供电。
作为优选方案,所述第一视频解码电路、第一视频处理电路、第二视频解码电路、第二视频处理电路和电源电路均设置在一块电路板上,所述电路板设置在一个长方体外壳内部,所述长方体外壳上方设有1个道路环境采集摄像头视频线输入凹槽和1个前车行驶信息采集摄像头视频线输入凹槽,所述道路环境采集摄像头视频线、所述前车行驶信息采集摄像头视频线分别从道路环境采集摄像头视频线输入凹槽、前车行驶信息采集摄像头视频线输入凹槽穿出。
基于上述预测系统,本发明还提出了一种前向车辆驾驶人驾驶行为预测方法,包括如下步骤:
1)利用道路环境采集摄像头采集道路环境中的信号灯、道路指示标志信息;利用前车行驶信息采集摄像头采集前向车辆、前向车辆尾灯、前向车辆相邻车道内车辆信息;
2)利用视频处理器硬件平台对道路环境采集摄像头、前车行驶信息采集摄像头采集的信息进行分析处理;
所述处理的方法包括:针对所获取车辆运行轨迹点序列的不完整及噪声干扰,采用基于轨迹长度的去除不完整轨迹序列的方法;基于具有时间先后关系的车辆运行轨迹点序列特征,建立车辆运行轨迹点序列极坐标的车辆运行轨迹特征值表示方法;利用采集的信息构建基于HMM的前向车辆驾驶人驾驶行为预测模型。
作为优选方案,所述预测模型采用基于HMM理论构建,模型表达式为:λ=(N,M,π,A,B),其中:
S:前向车辆驾驶人驾驶行为状态,S=(S1,S2,…SN),t时刻所处状态为qt,qt∈S,本项目状态数N=5,其中,S1为制动行为,S2为左转向行为,S3为右转向行为,S4为左换道行为,S5为右转换道行为;
V:观测序列,V=(v1,v2,…vM),t时刻观测事件为Ot,本项目观测值数M=11,其中,v1为前向车辆极径,v2为前向车辆极角,v3为前向车辆左转向灯,v4为前向车辆右转向灯,v5为前向车辆刹车灯,v6为信号灯红灯,v7为信号灯绿灯,v8为信号灯黄灯,v9为道路左转向标志,v10为道路右转向标志,v11为道路直行标志;
π:前向车辆驾驶人驾驶行为初始状态概率矢量,π=(π12,…πN),其中πi=P(q1=Si);
A:状态转移矩阵,即前向车辆驾驶人驾驶行为状态转移矩阵,A={aij}N×N,其中,aij=P(qt+1=Sj|qt=Si),1≤i,j≤N;
B:观测事件概率分布矩阵,即不同前向车辆驾驶人驾驶行在在S下各观测状态出现的概率,B={bjk}N×M,其中,bjk=P[Ot=vk|qt=Sj],1≤j≤N,1≤k≤M。
作为优选方案,所述基于轨迹长度的去除不完整轨迹序列的方法具体为:
车辆运行轨采用车辆在多个视频帧的质心坐标点(x,y)来表示,对于前向车辆,设第i帧时其质心位置的坐标为(xi,yi),l帧后就可以得到一个由l个坐标点组成的初始序列Linitial={(x1,y1),(x2,y2)…,(xl,yl)};然后进行等帧间隔采样来获取车辆的质心坐标点,那么轨迹序列L就转化为一个具有时间先后关系的点序列;在车辆运行轨的跟踪过程中,统计所获取的轨迹序列L上轨迹点的个数l0,如果l0小于设定的阈值,则将该序列看作是不完整的轨迹序列,放弃对其进行后续的处理。
作为优选方案,所述车辆运行轨迹点序列极坐标的车辆运行轨迹特征值表示方法具体为:
设在获取的车辆轨迹点序列l0中的某一轨迹点坐标为(xi,yi),通过极坐标变换,将该轨迹点坐标变换为(ρii),其中ρi包含了前向车辆与自车的车距信息,θi包含了前向车辆相对于自车车辆的方向角信息;利用(ρii)来描述前向车辆运动参数;根据采样时间间隔和序列l0中的相邻两极坐标车辆运行轨迹特征值序列值[ρii+1]和[θii+1](i∈[1,l-1]),即可求得前向车辆运动参数。
本发明的有益效果:
(1)基于机器视觉方法,对前向车辆驾驶人在行车过程中的突然制动、突然转向、突然换道驾驶行为进行预测,为后车驾驶员进行预警,避免交通事故的发生。
(2)基于具有时间先后关系的车辆运行轨迹点序列特征,提出一种车辆运行轨迹点序列极坐标的车辆运行轨迹特征值表示方法,根据视频帧采样时间间隔和极坐标车辆运行轨迹点序列计算出前向车辆运动参数,解决了前向车辆运动参数辨识主因子无法通过传感器直接提取的问题。
(3)针对车辆运行轨迹点序列的不完整问题以及噪声干扰问题,提出一种基于轨迹长度的去除不完整轨迹序列方法,提高系统处理的精度和效率。
(4)本发明的处理器装置放在一个长方体外壳中,模块化和集成度较高,便于安装和推广应用。
(5)利用隐马尔科夫模型(HMM)建立驾驶员预测模型,能够准确地预测前方车辆驾驶人的驾驶行为。
附图说明
图1为本发明系统结构示意图。
图2为本发明视频处理器硬件平台配线示意图。
图3为本发明视频处理器硬件平台电路结构示意图。
图4为本发明视频处理器硬件平台电路示意图。
图中标记:1为道路环境采集摄像头,2为前车行驶信息采集摄像头,3为视频处理器硬件平台,4为道路环境采集摄像头视频线,5为前车行驶信息采集摄像头视频线,6为道路环境采集摄像头视频线输入凹槽,7为前车行驶信息采集摄像头视频线输入凹槽,8为长方体外壳。
具体实施方式
本发明提出了一种前向车辆驾驶人驾驶行为预测系统,该前向车辆驾驶人驾驶行为预测系统由道路环境采集摄像头1、前车行驶信息采集摄像头2和一个视频处理器硬件平台3组成。道路环境采集摄像头1负责采集道路环境中的信号灯、道路指示标志。前车行驶信息采集摄像头2负责采集前向车辆、前向车辆尾灯、前向车辆相邻车道内车辆。视频处理器硬件平台3由两个视频处理器组成,分别负责处理道路环境中信号灯和道路指示标志信息和前向车辆运行相关视频信息。通过对道路环境参数、前向车辆行驶参数以及前向车辆相邻车道内车辆信息的分析,建立前向车辆驾驶人驾驶行为预测模型,实现对前向车辆驾驶人驾驶行为进行预测。
本发明针对所获取车辆运行轨迹点序列的不完整及噪声干扰,还提出一种基于轨迹长度的去除不完整轨迹序列方法。针对前向车辆运动参数辨识主因子无法通过传感器直接提取的问题,基于具有时间先后关系的车辆运行轨迹点序列特征,还提出一种车辆运行轨迹点序列极坐标的车辆运行轨迹特征值表示方法,根据视频帧采样时间间隔和极坐标车辆运行轨迹点序列计算出前向车辆运动参数。本发明以前向车辆极径、前向车辆极角、前向车辆左转向灯、前向车辆右转向灯、前向车辆刹车灯、信号灯红灯、信号灯绿灯、信号灯黄灯、道路左转向标志、道路右转向标志、道路直行标志作为辨识主因子,以前向车辆驾驶员制动行为、左转向行为、右转向行为、左换道行为、右转换道行为发生的概率作为输出,构建基于HMM的前向车辆驾驶人驾驶行为预测模型。
在本发明的描述中,需要理解的是,术语“中心”、“纵向”、“横向”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系,仅是为了便于描述本发明和简化描述,而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作,因此不能理解为对本发明的限制。
下面参照附图并结合实例对本发明的构思、具体工作过程行清楚完整地描述。显然,所描述的实施例只是本发明的一部分实施例,而不是全部实施例,基于本发明实施例,本领域技术人员在不付出创造性劳动的前提下所获得的其他实施例,均属于本发明保护范围。
如图1至图4所示,本发明提出的一种前向车辆驾驶人驾驶行为预测系统由道路环境采集摄像头1、前车行驶信息采集摄像头2和一个视频处理器硬件平台3组成。
所述道路环境采集摄像头:采用CCD车载影像夜视摄像头,安装在车辆前挡风玻璃上,负责采集道路环境中信号灯、道路指示标志。
所述前车行驶信息采集摄像头:采用CCD车载影像夜视摄像头,安装在车辆前挡风玻璃上,负责采集前向车辆、前向车辆尾灯、前向车辆相邻车道内车辆。
所述视频处理器硬件平台:有1个长方体的外壳,作为视频处理器硬件平台外壳8,在视频处理器硬件平台外壳8上方设有1个道路环境采集摄像头视频线输入凹槽6和1个前车行驶信息采集摄像头视频线5输入凹槽7。
在视频处理器硬件平台外壳8内设有1个视频处理电路板。该视频处理电路板由第一视频解码电路、第一视频处理电路、第二视频解码电路、第二视频处理电路组成。
该视频处理电路板上的第一视频解码电路上设有1个道路环境采集摄像头视频线输入接口,通过道路环境采集摄像头视频线4与道路环境采集摄像头1相连,该道路环境采集摄像头视频线输入接口位于视频处理器硬件平台外壳8上方的道路环境采集摄像头视频线输入凹槽7处。
该视频处理电路板上的第一视频处理电路由第一视频处理器DM6437及其外围电路组成,负责对道路环境采集摄像头采集的视频信息进行处理。
该视频处理电路板上的第二视频解码电路上设有1个前车行驶信息采集摄像头视频线输入接口,通过前车行驶信息采集摄像头视频线5与前车行驶信息采集摄像头2相连,该前车行驶信息采集摄像头视频线输入接口位于视频处理器硬件平台外壳上方的前车行驶信息采集摄像头视频线输入凹槽7处。
该视频处理电路板上的第二视频处理电路由第二视频处理器DM6437及其外围电路组成,负责对前车行驶信息采集摄像头采集的视频信息进行处理,同时通过前向车辆驾驶人驾驶行为预测模型对前向车辆驾驶人驾驶行为进行预测。
该视频处理电路板上的电源电路负责将车载12V电源转换为视频处理器所需3.3V、1.8V、1.2V电源,为系统供电。
该视频处理电路板上的第一视频解码电路由第一视频解码芯片TVP5150及其外围电路组成,负责将道路环境采集摄像头采集的信号灯、道路指示标志等模拟视频信号进行解码,转换为数字视频信号,输出到第一视频视频处理器DM6437,由第一视频视频处理器DM6437对视频图像进行处理。
该视频处理电路板上的第一视频处理电路由第一DDR2存储器MT47H64M16BT、第一FLASH存储器SG29GL256N及第一视频处理器DM6437组成。第一DDR2存储器MT47H64M16BT用于存储道路环境信息采集算法中的数据,第一FLASH存储器SG29GL256N用于存储道路环境信息采集算法程序,第一视频处理器DM6437负责对道路环境采集摄像头采集的视频信息进行处理。
该视频处理电路板上的第二视频解码电路由第二视频解码芯片TVP5150及其外围电路组成,负责将前车行驶信息采集摄像头采集的前向车辆行驶信息模拟视频信号进行解码,转换为数字视频信号,输出到第二视频视频处理器DM6437,由第二视频视频处理器DM6437对视频图像进行处理。
该视频处理电路板上的第二视频处理电路由第二DDR2存储器MT47H64M16BT、第二FLASH存储器SG29GL256N及第二视频处理器DM6437组成。第二DDR2存储器MT47H64M16BT用于存储前向车辆行驶信息采集算法及前向车辆驾驶人驾驶行为预测算法中的数据。第二FLASH存储器SG29GL256N用于存储前向车辆行驶信息采集算法及前向车辆驾驶人驾驶行为预测算法程序。第二视频处理器DM6437负责对前车行驶信息采集摄像头采集的前向车辆视频信息进行处理,同时通过前向车辆驾驶人驾驶行为预测模型对前向车辆驾驶人驾驶行为进行预测。
该视频处理电路板上的电源电路由LM2940、TPS54310组成,车载12V电源经过LM2940芯片,转换为5V电源,5V电源在经过3片TPS54310转换为3.3V、1.8V、1.2V电源。其中3.3V为视频处理器IO口及3.3V系统供电,1.8V为DDR2存储芯片MT47H64M16BT供电,1.2V为视频处理器内核供电。
本发明提出的基于轨迹长度的去除不完整轨迹序列方法如下:
车辆运行轨可以用车辆在多个视频帧的质心坐标点(x,y)来表示。对于前向车辆,设第i帧时其质心位置的坐标为(xi,yi),l帧后就可以得到一个由l个坐标点组成的初始序列Linitial={(x1,y1),(x2,y2)…,(xl,yl)},进行等帧间隔采样来获取车辆的质心坐标点,那么轨迹序列L就转化为一个具有时间先后关系的点序列。在车辆运行轨的跟踪过程中,统计所获取的轨迹序列L上轨迹点的个数l0,如果l0小于设定的阈值,则将该序列看作是不完整的轨迹序列,放弃对其进行随后的处理。
本发明所述车辆运行轨迹点序列极坐标特征值表示方法如下:
视频中具有时间先后关系的车辆运行轨迹点序列产生的方向信息和与自车的距离信息可以很好地描述前向车辆运动参数,设在获取的轨迹点序列l0中的某一轨迹点坐标为(xi,yi),通过极坐标变换,将该轨迹点坐标变换为(ρii),其中ρi为车辆极径,包含了前向车辆与自车的车距相关信息,θi为车辆极角,包含了前向车辆相对于自车车辆的方向角信息。根据采样时间间隔和序列l0中的相邻两极坐标车辆运行轨迹特征值序列值[ρii+1]和[θii+1],(i∈[1,l-1]),即可求得前向车辆运动参数。
本发明所述基于HMM的前向车辆驾驶人驾驶行为预测模型如下:
基于HMM理论,建立前向车辆驾驶员驾驶行为HMM预测模型λ=(N,M,π,A,B),其中:
前向车辆驾驶人驾驶行为状态S:S=(S1,S2,…SN),t时刻所处状态为qt,qt∈S,本项目状态数N=5,其中,S1为制动行为,S2为左转向行为,S3为右转向行为,S4为左换道行为,S5为右转换道行为;
观测序列V:V=(v1,v2,…vM),t时刻观测事件为Ot,本项目观测值数M=11,其中,v1为前向车辆极径,v2为前向车辆极角,v3为前向车辆左转向灯,v4为前向车辆右转向灯,v5为前向车辆刹车灯,v6为信号灯红灯,v7为信号灯绿灯,v8为信号灯黄灯,v9为道路左转向标志,v10为道路右转向标志,v11为道路直行标志;
π:前向车辆驾驶人驾驶行为初始状态概率矢量,π=(π12,…πN),其中πi=P(q1=Si);
A:状态转移矩阵,即前向车辆驾驶人驾驶行为状态转移矩阵,A={aij}N×N,其中,aij=P(qt+1=Sj|qt=Si),1≤i,j≤N;
B:观测事件概率分布矩阵,即不同前向车辆驾驶人驾驶行在在S下各观测状态出现的概率,B={bjk}N×M,其中,bjk=P[Ot=vk|qt=Sj],1≤j≤N,1≤k≤M。
以上所述仅用于描述本发明技术方案和具体实施例,并不用于限定本发明的保护范围,应当理解,在不违背本发明实质内容和原则的前提下,所作任何修改、改进或等同替换等都将落入本发明的保护范围内。

Claims (10)

1.一种前向车辆驾驶人驾驶行为预测系统,其特征在于,包括道路环境采集摄像头(1)、前车行驶信息采集摄像头(2)、信息处理器;所述道路环境采集摄像头(1)用于采集道路环境中的信号灯、道路指示标志信息,并将采集的信息送给所述信息处理器;所述前车行驶信息采集摄像头(2)用于采集前向车辆、前向车辆尾灯、前向车辆相邻车道内车辆信息,并将采集的信息送给所述信息处理器;所述信息处理器通过对道路环境中的信号灯、道路指示标志信息参数、前向车辆、前向车辆尾灯以及前向车辆相邻车道内车辆信息的分析处理,建立前向车辆驾驶人驾驶行为预测模型,实现对前向车辆驾驶人驾驶行为进行预测。
2.根据权利要求1所述的一种前向车辆驾驶人驾驶行为预测系统,其特征在于,所述道路环境采集摄像头(1)、所述前车行驶信息采集摄像头(2)均采用CCD车载影像夜视摄像头,均安装在车辆前挡风玻璃上。
3.根据权利要求1所述的一种前向车辆驾驶人驾驶行为预测系统,其特征在于,所述信息处理器采用视频处理器硬件平台(3)实现,包括第一视频解码电路、第一视频处理电路、第二视频解码电路、第二视频处理电路和电源电路;
所述第一视频解码电路通过道路环境采集摄像头视频线(4)与所述道路环境采集摄像头(1)相连,对道路环境采集摄像头(1)采集的信息进行解码处理;所述第一视频处理电路对所述第一视频解码电路解码后的视频信息进行处理,并与第二视频处理电路交互;
所述第二视频解码电路通过前车行驶信息采集摄像头视频线(5)与所述前车行驶信息采集摄像头(2)相连,对所述前车行驶信息采集摄像头(2)采集的信息进行解码处理;所述第二视频处理电路对所述第二视频解码电路解码后的视频信息进行处理,并且通过建立前向车辆驾驶人驾驶行为预测模型对前向车辆驾驶人驾驶行为进行预测;
所述电源电路将车载12V电源转换为3.3V、1.8V、1.2V,为系统供电。
4.根据权利要求3所述的一种前向车辆驾驶人驾驶行为预测系统,其特征在于,所述第一视频解码电路、所述第二视频解码电路均包括解码芯片TVP5150及外围电路;所述第一视频处理电路、所述第二视频处理电路均包括视频处理器DM6437、DDR2存储器MT47H64M16BT、FLASH存储器SG29GL256N,所述DDR2存储器MT47H64M16BT、所述FLASH存储器SG29GL256N均与所述视频处理器DM6437相连。
5.根据权利要求4所述的一种前向车辆驾驶人驾驶行为预测系统,其特征在于,所述电源电路包括LM2940、TPS54310;车载12V电源经过LM2940芯片转换为5V电源,5V电源再经过3片TPS54310分别转换为3.3V、1.8V、1.2V电源;所述3.3V为视频处理器DM6437的IO口及3.3V系统供电,1.8V为DDR2存储器MT47H64M16BT供电,1.2V为视频处理器DM6437的内核供电。
6.根据权利要求3或4或5所述的一种前向车辆驾驶人驾驶行为预测系统,其特征在于,所述第一视频解码电路、第一视频处理电路、第二视频解码电路、第二视频处理电路和电源电路均设置在一块电路板上,所述电路板设置在一个长方体外壳内部,所述长方体外壳上方设有1个道路环境采集摄像头视频线输入凹槽(6)和1个前车行驶信息采集摄像头视频线输入凹槽(7),所述道路环境采集摄像头视频线(4)、所述前车行驶信息采集摄像头视频线(5)分别从道路环境采集摄像头视频线输入凹槽(6)、前车行驶信息采集摄像头视频线输入凹槽(7)穿出。
7.一种前向车辆驾驶人驾驶行为预测方法,其特征在于,包括如下:
1)利用道路环境采集摄像头(1)采集道路环境中的信号灯、道路指示标志信息;利用前车行驶信息采集摄像头(2)采集前向车辆、前向车辆尾灯、前向车辆相邻车道内车辆信息;
2)利用视频处理器硬件平台(3)对道路环境采集摄像头(1)、前车行驶信息采集摄像头(2)采集的信息进行分析处理;
所述处理的方法包括:针对所获取车辆运行轨迹点序列的不完整及噪声干扰,采用基于轨迹长度的去除不完整轨迹序列的方法;基于具有时间先后关系的车辆运行轨迹点序列特征,建立车辆运行轨迹点序列极坐标的车辆运行轨迹特征值表示方法;利用采集的信息构建基于HMM的前向车辆驾驶人驾驶行为预测模型。
8.根据权利要求7所述的一种前向车辆驾驶人驾驶行为预测方法,其特征在于,所述预测模型采用基于HMM理论构建,模型表达式为:λ=(N,M,π,A,B),其中:
S:前向车辆驾驶人驾驶行为状态,S=(S1,S2,…SN),t时刻所处状态为qt,qt∈S,本项目状态数N=5,其中,S1为制动行为,S2为左转向行为,S3为右转向行为,S4为左换道行为,S5为右转换道行为;
V:观测序列,V=(v1,v2,…vM),t时刻观测事件为Ot,本项目观测值数M=11,其中,v1为前向车辆极径,v2为前向车辆极角,v3为前向车辆左转向灯,v4为前向车辆右转向灯,v5为前向车辆刹车灯,v6为信号灯红灯,v7为信号灯绿灯,v8为信号灯黄灯,v9为道路左转向标志,v10为道路右转向标志,v11为道路直行标志;
π:前向车辆驾驶人驾驶行为初始状态概率矢量,π=(π12,…πN),其中πi=P(q1=Si);
A:状态转移矩阵,即前向车辆驾驶人驾驶行为状态转移矩阵,A={aij}N×N,其中,aij=P(qt+1=Sj|qt=Si),1≤i,j≤N;
B:观测事件概率分布矩阵,即不同前向车辆驾驶人驾驶行在在S下各观测状态出现的概率,B={bjk}N×M,其中,bjk=P[Ot=vk|qt=Sj],1≤j≤N,1≤k≤M。
9.根据权利要求7所述的一种前向车辆驾驶人驾驶行为预测方法,其特征在于,所述基于轨迹长度的去除不完整轨迹序列的方法具体为:
车辆运行轨采用车辆在多个视频帧的质心坐标点(x,y)来表示,对于前向车辆,设第i帧时其质心位置的坐标为(xi,yi),l帧后就可以得到一个由l个坐标点组成的初始序列Linitial={(x1,y1),(x2,y2)…,(xl,yl)};然后进行等帧间隔采样来获取车辆的质心坐标点,那么轨迹序列L就转化为一个具有时间先后关系的点序列;在车辆运行轨的跟踪过程中,统计所获取的轨迹序列L上轨迹点的个数l0,如果l0小于设定的阈值,则将该序列看作是不完整的轨迹序列,放弃对其进行后续的处理。
10.根据权利要求7所述的一种前向车辆驾驶人驾驶行为预测方法,其特征在于,所述车辆运行轨迹点序列极坐标的车辆运行轨迹特征值表示方法具体为:
设在获取的车辆轨迹点序列l0中的某一轨迹点坐标为(xi,yi),通过极坐标变换,将该轨迹点坐标变换为(ρii),其中ρi包含了前向车辆与自车的车距信息,θi包含了前向车辆相对于自车车辆的方向角信息;利用(ρii)来描述前向车辆运动参数;根据采样时间间隔和序列l0中的相邻两极坐标车辆运行轨迹特征值序列值[ρii+1]和[θii+1](i∈[1,l-1]),即可求得前向车辆运动参数。
CN201610046049.XA 2016-01-22 2016-01-22 一种前向车辆驾驶人驾驶行为预测系统及预测方法 Active CN105528593B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610046049.XA CN105528593B (zh) 2016-01-22 2016-01-22 一种前向车辆驾驶人驾驶行为预测系统及预测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610046049.XA CN105528593B (zh) 2016-01-22 2016-01-22 一种前向车辆驾驶人驾驶行为预测系统及预测方法

Publications (2)

Publication Number Publication Date
CN105528593A true CN105528593A (zh) 2016-04-27
CN105528593B CN105528593B (zh) 2020-03-31

Family

ID=55770807

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610046049.XA Active CN105528593B (zh) 2016-01-22 2016-01-22 一种前向车辆驾驶人驾驶行为预测系统及预测方法

Country Status (1)

Country Link
CN (1) CN105528593B (zh)

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106503663A (zh) * 2016-11-01 2017-03-15 江苏大学 一种基于深度学习的信号灯时长检测方法
CN106564496A (zh) * 2016-10-19 2017-04-19 江苏大学 基于前向车辆驾驶行为的智能车辆安全环境包络重构方法
CN106740864A (zh) * 2017-01-12 2017-05-31 北京交通大学 一种驾驶行为意图判断与预测方法
CN107273805A (zh) * 2017-05-18 2017-10-20 江苏大学 一种基于视觉特性的gm‑hmm预测驾驶行为方法
CN107264394A (zh) * 2017-05-19 2017-10-20 上海集成电路研发中心有限公司 一种智能识别前方车辆灯光的系统及其识别方法
CN108528450A (zh) * 2017-03-02 2018-09-14 比亚迪股份有限公司 车辆行驶自动控制方法和装置
CN108639048A (zh) * 2018-05-15 2018-10-12 智车优行科技(北京)有限公司 汽车变道辅助方法、系统以及汽车
CN108657176A (zh) * 2017-04-01 2018-10-16 华为技术有限公司 车辆控制方法、装置及相关计算机程序产品
CN109447182A (zh) * 2018-11-19 2019-03-08 深圳市元征科技股份有限公司 基于hmm算法的驾驶行为分类方法和装置
CN110562261A (zh) * 2019-09-26 2019-12-13 长安大学 一种基于马尔可夫模型检测驾驶员风险等级的方法
CN111201556A (zh) * 2017-10-06 2020-05-26 本田技研工业株式会社 车辆控制装置
CN111284485A (zh) * 2019-10-10 2020-06-16 中国第一汽车股份有限公司 一种障碍车辆驾驶行为预测方法、装置、车辆及存储介质
CN111310735A (zh) * 2020-03-18 2020-06-19 桂林电子科技大学 一种基于lstm技术的汽车轨迹预测方法
CN113096379A (zh) * 2021-03-03 2021-07-09 东南大学 基于交通冲突的驾驶风格识别方法
CN114005272A (zh) * 2021-09-30 2022-02-01 淮阴工学院 一种基于5g云计算终端的道路交通调控方法
CN114261392A (zh) * 2021-12-29 2022-04-01 同济大学 一种用于信号灯场景下的数据驱动型车速规划方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050102070A1 (en) * 2003-11-11 2005-05-12 Nissan Motor Co., Ltd. Vehicle image processing device
US20110090071A1 (en) * 2009-02-03 2011-04-21 Harman Becker Automotive Systems Gmbh Vehicle driver assist system
CN102167005A (zh) * 2011-04-08 2011-08-31 清华大学 对于汽车碰撞预先判断及预先动作以降低碰撞损失的方法
CN104054119A (zh) * 2012-01-20 2014-09-17 丰田自动车株式会社 车辆行为预测装置及车辆行为预测方法、以及驾驶支援装置
CN204506720U (zh) * 2015-02-10 2015-07-29 沈阳大学 一种车辆前向避撞预警装置
CN105109491A (zh) * 2015-08-05 2015-12-02 江苏大学 一种基于弯道纵向曲率的车辆行驶航向预测装置及预测方法
CN205540783U (zh) * 2016-01-22 2016-08-31 江苏大学 一种前向车辆驾驶人驾驶行为预测系统

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050102070A1 (en) * 2003-11-11 2005-05-12 Nissan Motor Co., Ltd. Vehicle image processing device
US20110090071A1 (en) * 2009-02-03 2011-04-21 Harman Becker Automotive Systems Gmbh Vehicle driver assist system
CN102167005A (zh) * 2011-04-08 2011-08-31 清华大学 对于汽车碰撞预先判断及预先动作以降低碰撞损失的方法
CN104054119A (zh) * 2012-01-20 2014-09-17 丰田自动车株式会社 车辆行为预测装置及车辆行为预测方法、以及驾驶支援装置
CN204506720U (zh) * 2015-02-10 2015-07-29 沈阳大学 一种车辆前向避撞预警装置
CN105109491A (zh) * 2015-08-05 2015-12-02 江苏大学 一种基于弯道纵向曲率的车辆行驶航向预测装置及预测方法
CN205540783U (zh) * 2016-01-22 2016-08-31 江苏大学 一种前向车辆驾驶人驾驶行为预测系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
王相海等: "基于HMM的车辆行驶状态实时判别方法研究", 《自动化学报》 *
肖献强等: "基于隐马尔可夫模型的驾驶行为预测方法研究", 《中国机械工程》 *

Cited By (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106564496B (zh) * 2016-10-19 2018-11-09 江苏大学 基于前向车辆驾驶行为的智能车辆安全环境包络重构方法
CN106564496A (zh) * 2016-10-19 2017-04-19 江苏大学 基于前向车辆驾驶行为的智能车辆安全环境包络重构方法
WO2018072395A1 (zh) * 2016-10-19 2018-04-26 江苏大学 基于前向车辆驾驶行为的智能车辆安全环境包络重构方法
CN106503663A (zh) * 2016-11-01 2017-03-15 江苏大学 一种基于深度学习的信号灯时长检测方法
CN106740864A (zh) * 2017-01-12 2017-05-31 北京交通大学 一种驾驶行为意图判断与预测方法
CN106740864B (zh) * 2017-01-12 2019-03-19 北京交通大学 一种驾驶行为意图判断与预测方法
CN108528450A (zh) * 2017-03-02 2018-09-14 比亚迪股份有限公司 车辆行驶自动控制方法和装置
CN108657176A (zh) * 2017-04-01 2018-10-16 华为技术有限公司 车辆控制方法、装置及相关计算机程序产品
CN107273805A (zh) * 2017-05-18 2017-10-20 江苏大学 一种基于视觉特性的gm‑hmm预测驾驶行为方法
CN107264394A (zh) * 2017-05-19 2017-10-20 上海集成电路研发中心有限公司 一种智能识别前方车辆灯光的系统及其识别方法
CN111201556A (zh) * 2017-10-06 2020-05-26 本田技研工业株式会社 车辆控制装置
US11279352B2 (en) 2017-10-06 2022-03-22 Honda Motor Co., Ltd. Vehicle control device
CN108639048A (zh) * 2018-05-15 2018-10-12 智车优行科技(北京)有限公司 汽车变道辅助方法、系统以及汽车
CN109447182A (zh) * 2018-11-19 2019-03-08 深圳市元征科技股份有限公司 基于hmm算法的驾驶行为分类方法和装置
CN110562261B (zh) * 2019-09-26 2021-07-23 长安大学 一种基于马尔可夫模型检测驾驶员风险等级的方法
CN110562261A (zh) * 2019-09-26 2019-12-13 长安大学 一种基于马尔可夫模型检测驾驶员风险等级的方法
CN111284485A (zh) * 2019-10-10 2020-06-16 中国第一汽车股份有限公司 一种障碍车辆驾驶行为预测方法、装置、车辆及存储介质
CN111284485B (zh) * 2019-10-10 2021-06-18 中国第一汽车股份有限公司 一种障碍车辆驾驶行为预测方法、装置、车辆及存储介质
CN111310735A (zh) * 2020-03-18 2020-06-19 桂林电子科技大学 一种基于lstm技术的汽车轨迹预测方法
CN113096379A (zh) * 2021-03-03 2021-07-09 东南大学 基于交通冲突的驾驶风格识别方法
CN114005272A (zh) * 2021-09-30 2022-02-01 淮阴工学院 一种基于5g云计算终端的道路交通调控方法
CN114261392A (zh) * 2021-12-29 2022-04-01 同济大学 一种用于信号灯场景下的数据驱动型车速规划方法

Also Published As

Publication number Publication date
CN105528593B (zh) 2020-03-31

Similar Documents

Publication Publication Date Title
CN105528593A (zh) 一种前向车辆驾驶人驾驶行为预测系统及预测方法
CN110688992B (zh) 交通信号识别方法、装置、车辆导航设备和无人驾驶车辆
CN105711586B (zh) 一种基于前向车辆驾驶人驾驶行为的前向避撞系统及避撞算法
CN102541061B (zh) 基于视听觉信息的缩微智能车
CN102991504B (zh) 一种对驾驶员换道安全性进行判断并预警的方法
CN105530061A (zh) 一种车联网与图像融合的前向车辆驾驶人驾驶行为预测系统
CN104008645B (zh) 一种适用于城市道路车道线预测及预警方法
CN107139919B (zh) 用于车辆防追尾预警的自保护方法
CN113487874B (zh) 一种跟驰行为场景数据采集、识别、分类提取系统及方法
CN205573939U (zh) 一种基于前向车辆驾驶人驾驶行为的前向避撞系统
CN103308056A (zh) 一种道路标线检测方法
CN110060547A (zh) 一种驾驶科目三考试车的智能控制与评判系统及方法
CN108819938A (zh) 泊车系统和汽车
CN102778223A (zh) 基于车牌合作目标和单目摄像机的汽车防撞预警方法
CN203172620U (zh) 一种对驾驶员换道安全性进行判断并预警的装置
CN115311633B (zh) 车辆违法上下客的检测方法、装置、电子设备及存储介质
CN104700657A (zh) 一种基于人工神经网络的周边车辆行为预判系统
CN103413447A (zh) 一种城市交通路口的电子警察系统
CN113022441A (zh) 一种车辆盲区的检测方法、装置、电子设备及存储介质
CN205540783U (zh) 一种前向车辆驾驶人驾驶行为预测系统
CN103886745A (zh) 一种汽车专用车道预警系统
CN104732772B (zh) 交通路口抢行车辆识别平台
CN203267906U (zh) 大型车辆右转弯防事故发生辅助系统
CN116135654A (zh) 一种车辆行驶速度生成方法以及相关设备
CN205545291U (zh) 一种车联网与图像融合的前向车辆驾驶人驾驶行为预测系统

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant