CN106096525B - 一种复合型车道识别系统及方法 - Google Patents
一种复合型车道识别系统及方法 Download PDFInfo
- Publication number
- CN106096525B CN106096525B CN201610392902.3A CN201610392902A CN106096525B CN 106096525 B CN106096525 B CN 106096525B CN 201610392902 A CN201610392902 A CN 201610392902A CN 106096525 B CN106096525 B CN 106096525B
- Authority
- CN
- China
- Prior art keywords
- lane
- vehicle
- boundary
- main vehicle
- module
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 43
- 150000001875 compounds Chemical class 0.000 title abstract 2
- 230000004927 fusion Effects 0.000 claims abstract description 43
- 239000002131 composite material Substances 0.000 claims description 26
- 238000005070 sampling Methods 0.000 claims description 13
- 239000003550 marker Substances 0.000 claims description 12
- 230000008569 process Effects 0.000 claims description 8
- 238000001914 filtration Methods 0.000 claims description 6
- 230000008859 change Effects 0.000 claims description 5
- 230000008447 perception Effects 0.000 claims description 5
- 238000001514 detection method Methods 0.000 abstract description 19
- 238000005516 engineering process Methods 0.000 abstract description 3
- 238000005259 measurement Methods 0.000 description 11
- 238000004364 calculation method Methods 0.000 description 4
- 238000007499 fusion processing Methods 0.000 description 4
- 238000005286 illumination Methods 0.000 description 4
- 230000002708 enhancing effect Effects 0.000 description 3
- 230000009466 transformation Effects 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000003708 edge detection Methods 0.000 description 2
- 230000008030 elimination Effects 0.000 description 2
- 238000003379 elimination reaction Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000007613 environmental effect Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Multimedia (AREA)
- Traffic Control Systems (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本发明请求保护一种复合型车道识别系统及方法,涉及智能车辆环境感知与控制技术领域。系统由数据采集、信息融合、车道建模与车道识别四个模块组成。其中,数据采集模块利用摄像机及多个雷达采集车道标志线、车道边界、引导车和护栏信息,通过车载定位装置采集主车运动状态;信息融合模块融合摄像机与多个雷达采集的车道边界、引导车信息以提高其检测精度;车道建模模块利用车道标志线、车道边界建立主车所在车道的中心曲线模型来描述车道形状;车道识别模块利用车道标志线、车道边界、护栏、引导车信息及主车运动状态通过滤波器来准确估计车道结构参数,从而实现车道识别的目的。本发明方法提高了对不同车道的适应能力并提高车道识别的准确性。
Description
技术领域
本发明属于计算机和自动化技术,特别是智能车辆环境感知技术领域,具体涉及一种针对结构化和非结构化车道的复合型车道识别系统及方法。
背景技术
对周围复杂环境的感知是智能车辆实现辅助驾驶与无人驾驶的基础,车道识别是智能车辆环境感知的重要组成部分。“复合型车道”是结构化车道与非结构化车道两种类型车道的总称,复合型车道识别是智能车辆对环境理解的重要组成部分,是智能车辆实现辅助驾驶与无人驾驶的先决条件。
中国专利申请:车道识别系统、车道识别方法和车道识别程序(申请号:CN200980102024.5)与中国专利申请:一种实时多车道识别及跟踪方法(申请号:CN201510205669.9)是基于图像的车道识别,通过获取车道标志线识别车道,这种方法只适用于具有车道标志线的结构化车道,不适用于非结构化车道。中国专利申请:一种车道检测方法及装置(申请号:CN201410163327.0)是基于图像的车道识别,利用车道边界线和车道标志线识别车道,这种方法只采用了视觉信息。中国专利申请:车道估计装置和方法(申请号:CN201410208141.2)是基于图像和雷达的车道识别方法,利用摄像头捕获车辆前方的图像和雷达感测车辆前方的多个静止物体识别车道,这种方法没有利用主车前方引导车辆信息及护栏信息。
本发明针对现有车道识别系统及方法信息来源少、适应不同类型车道的能力较弱以及车道识别精度低的问题,提出一种复合型车道识别方法,利用多种传感器采集主车周围环境信息并进行融合来识别车道,克服了现有方法中存在的问题,提高了车道识别的精度以及对不同类型车道的适应能力。
发明内容
本发明针对复合型车道的特点及现有方法信息来源少导致的复合型车道识别精度低的问题,提出了一种基于多传感器信息融合的复合型车道识别系统及方法,以提高车道识别的精度及对不同车道的适应能力。
该系统由数据采集模块、信息融合模块、车道建模模块和车道识别模块组成。其中,数据采集模块利用摄像机与多个雷达采集车道与环境信息,包括车道标志线、车道边界、主车前方引导车、车道两侧的护栏,从中利用图像处理及雷达数据处理技术提取车道标志线、车道边界、主车前方引导车、护栏的位置及运动状态信息,并利用车载定位装置获得主车运动状态信息。信息融合模块融合数据采集模块中分别由摄像机与多个雷达获得的车道边界位置、引导车位置。车道建模模块利用数据采集模块获得的车道标志线位置、信息融合模块得到的车道边界位置建立车道模型。车道识别模块以车道模型为基础,利用数据采集模块获得的车道标志线位置、护栏位置、主车状态信息以及信息融合模块得到的车道边界位置、引导车状态信息进行滤波估计,得到车道结构参数从而实现复合型车道的识别。
本发明解决上述技术问题的方案是:
在主车运行过程中,复合型车道的识别分成两个阶段,第一阶段是道路与环境信息的感知,包括数据采集与信息融合;第二阶段是道路参数的估计,包括车道建模与车道识别。
第一阶段中,复合型车道识别系统的数据采集模块利用摄像机采集并计算主车前方车道标志线位置、车道边界位置、引导车位置与速度,利用多个雷达采集并计算主车前方车道边界位置、引导车位置与速度、护栏位置,利用车载定位装置采集并计算主车位置与速度;信息融合模块对上述摄像机与多个雷达分别获得的车道边界位置、引导车位置与速度进行融合,得到融合后的车道边界位置、引导车位置与速度。
第二阶段中,复合型车道识别系统的车道建模模块综合考虑结合结构化和非结构化车道的特征,用主车所在车道的中心曲线来描述车道形状,利用数据采集模块获得的车道标志线位置、信息融合模块得到的车道边界位置建立车道模型;车道识别模块以车道模型为基础,利用数据采集模块获得的车道标志线位置、、护栏位置、主车运动状态信息以及信息融合模块获得的车道边界位置、引导车位置与速度通过滤波器估计车道结构参数,实现车道识别。
本发明的优点及有益效果如下:
本发明提出一种基于多传感器信息融合的复合型车道识别系统及方法,其优点及有益效果有:(1)提高车道识别的精度。本发明综合利用多个传感器获得的车道标志线、车道边界、护栏、引导车以及主车运动状态等多种信息,通过信息融合来估计出车道的结构参数,提高了车道识别精度。(2)适用于多种类型车道。本发明结合结构化和非结构化车道的特点,利用多种信息建立车道模型,此方法相较于其他车道模型更具有适应能力。
附图说明
图1本发明一种复合型车道识别系统的总体框架;
图2本发明一种复合型车道识别方法采用的坐标系统;
图3本发明的车道标志线检测流程;
图4本发明的车道边界检测与融合流程;
图5本发明的引导车检测与融合流程;
图6本发明的车道模型;
图7本发明的车道识别流程。
具体实施方式
以下结合附图,对本发明作进一步说明:
本发明提出一种基于多传感器信息的复合型车道识别系统及方法,利用摄像机、雷达及车载定位装置采集车道标志线、车道边界、护栏、引导车及主车运动状态等信息并进行融合,建立车道模型并通过滤波器估计车道结构参数,提高车道识别的精度与适应能力。
下面结合附图和具体实施方式对本发明作进一步详细说明。
如图1所示为本发明一种复合型车道识别系统的总体框架。该系统由数据采集模块、信息融合模块、车道建模模块和车道识别模块组成。
其中,数据采集模块中包含摄像机与雷达两类传感器,摄像机安装于主车的前方,多个雷达分别安装于主车前方及两侧。数据采集模块利用摄像机采集并提取车道标志线、车道边界及前方引导车,利用安装在主车前方的雷达采集主车前方引导车,利用安装在两侧的雷达采集车道边界及护栏,并利用车载定位装置获得主车运动状态信息。信息融合模块融合数据采集模块中分别由摄像机、雷达获得的车道边界位置、引导车位置与速度,得到更高精度的车道边界位置、引导车位置与速度信息。车道建模模块利用数据采集模块获得的车道标志线位置、信息融合模块得到的车道边界位置建立车道模型。车道识别模块以车道模型为基础,利用数据采集模块获得的车道标志线位置、护栏位置、主车状态信息以及信息融合模块得到的车道边界、引导车状态信息进行滤波估计,得到车道结构参数从而实现复合型车道的识别。
所述系统进行车道识别的具体步骤包括:
(1)坐标系建立:建立系统用到的坐标系,包括地面坐标系、车载坐标系与车道坐标系;
(2)数据采集:利用摄像机采集并计算主车前方车道标志线位置、车道边界位置、引导车位置与速度;利用多个雷达采集并计算主车前方车道边界位置、引导车位置与速度、护栏位置;利用车载定位装置采集并计算主车位置与速度;
(3)信息融合:对步骤(2)中摄像机与多个雷达分别获得的车道边界位置、引导车位置与速度进行融合,得到更高精度的车道边界位置、引导车位置与速度;
(4)车道建模:用主车所在车道的中心曲线来描述车道形状,利用数据采集模块获得的车道标志线位置、信息融合模块得到的车道边界位置建立车道模型;
(5)车道识别:在步骤(4)建立的车道模型的基础上,将数据采集模块获得的车道标志线位置、护栏位置、主车运动状态信息以及信息融合模块获得的车道边界位置、引导车位置与速度通过滤波器估计车道结构参数,实现车道识别。
图2为本发明一种复合型车道识别方法采用的坐标系统,坐标系统包含了地面坐标系、车载坐标系与车道坐标系3类。
其中,地面坐标系Og-xgygzg由主车启动时的初始位置确定,坐标系原点Og在t=0时刻的主车首部中心处的地面,yg指向主车左侧,xg指向主车前方,zg与其构成右手系。车载坐标系Ok-xkykzk用于描述t=k时刻主车运动过程中车载摄像机及雷达采集的环境目标状态信息,坐标系原点Ok在主车首部中心处的地面,yk指向主车左侧,xk指向主车前方,zk与其构成右手系。车道坐标系Or-lk,nk用于描述t=k时刻的车道结构,原点是车道中心线与车载坐标系Ok-xkyk的yk轴交点,lk轴为车道中心线且指向车道,nk轴指向车道中心线法线方向且与lk轴构成右手系。
图3~5为本发明数据采集模块采集主车运动过程中的环境信息的实现流程,包括车道标志线、车道边界、引导车、护栏四类观测对象。
如图3所示为本发明车道标志线检测流程,步骤包括:
(1)图像预处理:对图像进行灰度化,再进行对比度增强。先判断光照模式,若是夜间模式则采用Reinex方法增强图像对比度;若是强光照模式则采用直方图锥形拉伸方法增强图像对比度;若是正常光照模式则不需要增强图像对比度;
(2)图像边缘检测:通过自适应Canny边缘识别等方法,对得到的图像实行边缘化识别,实现车道标志线与背景分割;
(3)ROI(Region Of Interest,感兴趣区域)设定:采用动态ROI设定,对第一帧图像,设定图像的下半部分为ROI区域;对非第一帧图像,ROI区域为上一时刻检测出的车道标志线左右两侧一定范围的区域;
(4)车道线检测:对ROI区域进行Hough变换得到车道标志线。用三阶多项式
以及
分别描述k时刻主车左右两侧车道标志线,其系数构成的向量记为zk l=[dk l(0),dk l(1),dk l(2),dk l(3)]T以及zk r=[dk r(0),dk r(1),dk r(2),dk r(3)]T。在检测出多条曲线的情况下,选择离主车当前位置最近的左右两条曲线作为主车左右两侧车道标志线。
如图4所示为本发明的车道边界检测与融合流程,步骤包括:
(1)摄像机检测车道边界:摄像机获取图像,采用与车道标志线检测相同的流程,得到三阶多项式表示的车道边界曲线的系数向量zk l,E1=[dk l,E1(0),dk l,E1(1),dk l,E1(2),dk l ,E1(3)]T以及zk r,E=[dk r,E1(0),dk r,E1(1),dk r,E1(2),dk r,E1(3)]T;其中,由于采用了相同的识别方法,判别三阶多项式拟合曲线表征的是车道标志线还是车道边界的准则是:
如果主车两侧左右两条曲线的距离≤WL,则拟合曲线表征的是车道标志线;否则拟合曲线表征的是车道边界;
其中,门限值WL表示车道线的最大宽度。
(2)雷达检测车道边界:利用安装于车辆两侧的雷达进行检测,对检测数据进行预处理,选择ZLE≤z≤ZHE且y≤YHE的数据进行拟合,其中参数ZLE及ZHE限定路沿的最小高度及最大高度,YHE限定路沿的侧向范围。采用三阶多项式,用最小二乘法进行拟合,得到三阶多项式表示的车道边界曲线的系数向量zk l,E2=[dk l,E2(0),dk l,E2(1),dk l,E2(2),dk l,E2(3)]T以及zk r,E=[dk r,E2(0),dk r,E2(1),dk r,E2(2),dk r,E2(3)]T;
(3)车道边界信息融合:融合摄像机检测车道边界zk l,E1=[dk l,E1(0),dk l,E1(1),dk l ,E1(2),dk l,E1(3)]T、zk r,E=[dk r,E1(0),dk r,E1(1),dk r,E1(2),dk r,E1(3)]T以及雷达检测到的车道边界zk l,E2=[dk l,E2(0),dk l,E2(1),dk l,E2(2),dk l,E2(3)]T以及zk r,E=[dk r,E2(0),dk r,E2(1),dk r,E2(2),dk r,E2(3)]T,得到三阶多项式表示的车道边界zk l,E=[dk l,E(0),dk l,E(1),dk l,E(2),dk l,E(3)]T以及zk r,E=[dk r,E(0),dk r,E(1),dk r,E(2),dk r,E(3)]T。融合的规则是:
对主车左侧车道边界zk l,E1以及zk l,E2,
如果zk l,E1以及zk l,E2均无效,车道边界无效;
如果zk l,E1以及zk l,E2之一无效,选择有效者作为车道边界zk l,E;
如果zk l,E1以及zk l,E2均有效,且其距离≤ΔL,zk l,E为zk l,E1与zk l,E2的平均值;
如果zk l,E1以及zk l,E2均有效,且其距离>ΔL,两类传感器检测结果冲突,车道边界无效。
其中,门限值ΔL表示摄像机与雷达两种传感器检测的车道边界的最大允许误差。
主车右侧车道边界的融合规则与主车左侧车道边界的融合规则相同。
如图5所示为本发明的引导车检测与融合流程,步骤包括:
(1)摄像机检测引导车:摄像机获取图像,在进行车道线检测与车道边界检测后,以检测出的车道线或车道边界设定ROI区域,在ROI区域内通过阴影检测、边缘检测等方法提取引导车,通过摄像机的标定参数及线性成像模型计算出引导车的位置,并结合上一个时刻的位置及摄像机采样周期计算引导车速度。引导车在车载坐标系下的运动状态表示为其分量分别为车载坐标系下引导车在k时刻的x、y坐标及速度;
(2)雷达检测引导车:利用安装于车辆前方的雷达进行检测,对检测到的多个目标,根据检测出的车道线/车道边界以及目标形状特征进行筛选,确定引导车并获取其位置、速度,引导车在车载坐标系下的运动状态表示为
(3)引导车信息融合:融合摄像机检测到的引导车运动状态 与雷达检测到的引导车运动状态得到引导车运动状态融合的规则是:
如果zk v1与zk v2均无效,引导车运动状态zk v无效;
如果zk v1与zk v2之一有效,选择有效者作为引导车运动状态zk v;
如果zk v1与zk v2均有效,且位置误差引导车运动状态zk v为zk v1与zk v2的平均值;
如果zk v1与zk v2均有效,且位置误差两类传感器检测结果冲突,引导车运动状态zk v无效。
其中,门限值ΔV表示摄像机与雷达两种传感器检测的引导车位置的最大允许误差。
如图6所示为本发明建立的车道模型。用主车所在车道的中心曲线来描述车道形状,车道的中心曲线利用数据采集模块获得的车道标志线位置以及信息融合模块得到的车道边界位置来构造。车道标志线与车道边界的选择原则是:当车道标志线有效时,选择车道标志线计算车道的中心曲线来建立车道模型;否则选择车道边界建立车道模型。
图6中虚线为数据采集模块获得的车道标志线或者信息融合模块得到的车道边界,实线为由车道标志线或者车道边界计算出的车道中心的拟合曲线,在其上以采样距离Δ取M个采样点p(i),i=1,2,…,M。用车道中心曲线的参数描述车道形状,用向量表示。其中,yk l表示主车相对车道中心的横向偏离距离,可根据车道标志线/车道边界的三阶多项式拟合曲线及主车相对车道标志线或者车道边界的距离bk l计算获得;为主车方向与车道中心曲线的切线的夹角,可根据车道标志线/车道边界的三阶多项式拟合曲线计算获得;ck(i),(i=2,3,…,M-1)表示车道中心曲线上第i个采样点处的采样曲率,计算公式为:
其中▽、▽2表示一阶、二阶后向差分。根据向量rk可以建立车道模型的状态方程与观测方程:
(1)建立状态方程
假设主车在时间段[k,k+1]行驶的距离小于采样距离Δ,对k时刻的第M个采样点的采样曲率,采用高斯模型计算,计算公式为:
ck(M)=ck(M-1)+wk(M) (4)
其中wk(i)为独立的零均值高斯白噪声。定义扩展车道状态向量rk a
rk a=[rk T,ck(M)]T (5)
设车道曲线采样点位置向量为
pk=[(pk(1))T,(pk(2))T,…,(pk(M))T]T (6)
则其扩展向量为
pk a=[(pk(1))T,(pk(2))T,…,(pk(M+1))T]T (7)
其中pk(i)为第i个采样点在车载坐标系中的坐标:
其中,[xk(i),yk(i)]=g(pk(i-1),ck(i-1))定义如下:
其中a(i-1)=Δ2ck(i-1)b3/2(i-1)。
由于主车的运动,k与k+1时刻的车载坐标系的坐标变换关系为:
其中Φ(-φk+1+φk)为角度旋转矩阵,为k时刻主车在地面坐标系中的坐标与角度,为k+1时刻主车在地面坐标系中的坐标与角度。
将pk a通过式(6)转换到k+1时刻,再由式(8),通过式rk+1=g-1(pk+1)计算出k+1时刻车道的状态向量:
(2)建立量测方程
根据不同的观测对象建立相应的量测方程,分别得到针对车道标志线/车道边界、引导车、护栏的量测方程。
对车道标志线或者车道边界,在车道中心线上取三个采样点,采样距离为Δ,建立量测方程为
其中,g3(rk+1)表示利用式(8)计算前三个采样点的坐标,观测噪声为零均值高斯白噪声。
对引导车,k+1时刻引导车的位置坐标为[xk+1,yk+1]T,其方向为ψk+1。通过rk+1计算出pk+1,找出与引导车临近的两个采样点,设其坐标为[xk+1(j),yk+1(j)]T和[xk+1(j+1),yk+1(j+1)]T,建立量测方程为:
其中观测噪声为零均值高斯白噪声。
对护栏,本发明利用车道坐标系(lk,nk)来描述,左右护栏的量测方程类似。以左护栏为例,设zb k+1(i)为此坐标下左护栏中i点的状态信息,建立量测方程为:
其中,表示左护栏在车道坐标下的位置,B(lk+1(i),rk+1)为坐标旋转矩阵用于角度变换,观测噪声为零均值高斯白噪声。
如图7所示为本发明的车道识别流程,是在所建立的车道状态方程(7)及观测方程(8)~(10)基础上,利用数据检测模块及信息融合模块得到的车道标志线、车道边界、护栏、引导车信息及主车运动状态,通过滤波器来估计车道结构参数,其步骤是:
(1)当获得新的车道边界或者车道标志线时,首先进行变道检测判断主车是否进行变道,若主车发生变道,重启滤波器;若未发生变道,则继续进行滤波。
变道判别的规则是:当未获得车道标志线位置时,不进行变道识别;否则,当判定主车换到左边车道;当判定主车换到右边车道。其中,为k+1时刻主车离车道中心曲线的距离,为k时刻预测的k+1时刻主车离车道中心曲线的距离,W为当前车道宽度。
(2)当获得新的引导车状态信息时,首先进行野值剔除,其规则为:若其速度在设定的引导车速度值范围[Vg min,Vg max]内,视为引导车信息有效;否则视为引导车信息无效。
(3)当获得新的护栏状态信息时,首先进行野值剔除,其规则为:若护栏距离车道中心的横向偏离距离在设定的护栏位置范围[Ns min,Ns max]内,且横向偏离距离的方差小于设定的门限值,视为护栏信息有效;否则视为护栏信息无效。
(4)由于建立的车道模型是非线性模型,此处以unscented滤波器为例进行说明,但本专利不仅限于该算法。滤波主要过程分为时间更新、量测更新以及估计融合三个阶段:
时间更新阶段:用UT变换计算扩展车道状态向量rk a的多个σ点,通过式(7),计算σ点按状态方程的传播结果,作为rk a的一步预测ra k+1|k;
量测更新阶段:分别针对三类对象的观测方程,即式(8)~(10)进行量测更新,计算扩展车道状态向量的一步预测ra k+1|k对应的观测,用实际观测进行滤波更新,得到k+1时刻车道状态向量的三个估计值;
估计融合阶段:对量测更新阶段获得的车道状态向量的三个估计值按其估计误差进行加权融合,得到得到k+1时刻车道状态向量rk+1|k+1。
以上这些实施例应理解为仅用于说明本发明而不用于限制本发明的保护范围。在阅读了本发明的记载的内容之后,技术人员可以对本发明作各种改动或修改,这些等效变化和修饰同样落入本发明权利要求所限定的范围。
Claims (5)
1.一种复合型车道识别系统,其特征在于:包括数据采集模块、信息融合模块、车道建模模块和车道识别模块,其中
所述数据采集模块:利用摄像机与多个雷达采集并提取主车前方车道边界的位置、车道标志线的位置、引导车的位置与速度、护栏的位置,利用车载定位装置获得主车的位置与速度;
信息融合模块:融合数据采集模块获得的车道边界位置得到车道边界的状态信息,融合数据采集模块获得的引导车位置得到引导车的状态信息;
车道建模模块:利用数据采集模块获得的车道标志线位置、信息融合模块得到的车道边界的状态信息建立车道模型;
车道识别模块:以车道模型为基础,利用数据采集模块获得的车道标志线位置、护栏位置、主车状态信息以及信息融合模块得到的车道边界与引导车的状态信息进行滤波估计,得到车道结构参数从而实现车道识别;
在主车运行过程中,复合型车道的识别分成两个阶段,第一阶段是道路与环境信息的感知,包括数据采集与信息融合;第二阶段是道路参数的估计,包括车道建模与车道识别;
第一阶段中,复合型车道识别系统的数据采集模块利用摄像机采集并计算主车前方车道标志线位置、车道边界位置、引导车位置与速度,利用多个雷达采集并计算主车前方车道边界位置、引导车位置与速度、护栏位置,利用车载定位装置采集并计算主车位置与速度;信息融合模块对上述摄像机与多个雷达分别获得的车道边界位置、引导车位置与速度进行融合,得到融合后的车道边界位置、引导车位置与速度;
第二阶段中,复合型车道识别系统的车道建模模块综合考虑结合结构化和非结构化车道的特征,用主车所在车道的中心曲线来描述车道形状,利用数据采集模块获得的车道标志线位置、信息融合模块得到的车道边界位置建立车道模型;车道识别模块以车道模型为基础,利用数据采集模块获得的车道标志线位置、护栏位置、主车运动状态信息以及信息融合模块获得的车道边界位置、引导车位置与速度通过滤波器估计车道结构参数,实现车道识别。
2.根据权利要求1所述的复合型车道识别系统的复合型车道识别方法,其特征在于,包括以下步骤:
2.1坐标系建立:建立系统用到的坐标系,包括地面坐标系、车载坐标系和车道坐标系;
2.2数据采集:利用摄像机采集并计算主车前方车道标志线位置、车道边界位置、引导车位置与速度;利用多个雷达采集并计算主车前方车道边界位置、引导车位置与速度、护栏位置;利用车载定位装置采集并计算主车位置与速度;
2.3信息融合:对步骤2.2中摄像机与多个雷达分别获得的车道边界位置、引导车位置与速度进行融合,得到融合后的车道边界位置、引导车位置与速度;
2.4车道建模:用主车所在车道的中心曲线来描述车道形状,利用数据采集模块获得的车道标志线位置、信息融合模块得到的车道边界位置建立车道模型;
2.5车道识别:在步骤2.4建立的车道模型的基础上,将数据采集模块获得的车道标志线位置、主车运动状态信息、护栏位置,以及信息融合模块获得的车道边界位置、引导车位置与速度通过滤波器来估计车道结构参数,实现车道识别。
3.根据权利要求2所述的复合型车道识别方法,其特征在于:所述车道建模方法中,用主车所在车道的中心曲线来描述车道形状,用主车相对于车道的横向偏离距离以及偏离角度描述主车与车道的位置关系,用车道宽度以及车道标志线或车道边界的拟合曲线上的采样点处的曲率描述车道结构。
4.根据权利要求3所述的复合型车道识别方法,其特征在于,建立车道模型时车道标志线与车道边界的选择原则是:当车道有车道标志线时选择距离主车较近的车道标志线建立车道模型;否则选择车道边界建立车道模型。
5.根据权利要求2所述的复合型车道识别方法,其特征在于:所述车道识别方法中,当获得新的车道标志线位置、车道边界位置时,首先判断主车是否进行车道变换;若主车发生变道,重启滤波器;若未发生变道,则利用车道标志线位置、车道边界位置、引导车位置与速度、护栏位置以及主车主车运动状态用于滤波器估计车道参数。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610392902.3A CN106096525B (zh) | 2016-06-06 | 2016-06-06 | 一种复合型车道识别系统及方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610392902.3A CN106096525B (zh) | 2016-06-06 | 2016-06-06 | 一种复合型车道识别系统及方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN106096525A CN106096525A (zh) | 2016-11-09 |
CN106096525B true CN106096525B (zh) | 2019-07-19 |
Family
ID=57448250
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201610392902.3A Active CN106096525B (zh) | 2016-06-06 | 2016-06-06 | 一种复合型车道识别系统及方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN106096525B (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2022159253A1 (en) * | 2021-01-20 | 2022-07-28 | Qualcomm Incorporated | Robust lane-boundary association for road map generation |
Families Citing this family (22)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106767853B (zh) * | 2016-12-30 | 2020-01-21 | 中国科学院合肥物质科学研究院 | 一种基于多信息融合的无人驾驶车辆高精度定位方法 |
FR3063265B1 (fr) * | 2017-02-28 | 2019-04-05 | Renault S.A.S | Dispositif de controle de trajectoire d un vehicule |
CN107024216B (zh) * | 2017-03-14 | 2020-08-04 | 重庆邮电大学 | 引入全景地图的智能车辆融合定位系统及方法 |
CN106981202A (zh) * | 2017-05-22 | 2017-07-25 | 中原智慧城市设计研究院有限公司 | 一种基于车道模型的车辆来回变道检测方法 |
CN109084782B (zh) * | 2017-06-13 | 2024-03-12 | 蔚来(安徽)控股有限公司 | 基于摄像头传感器的车道线地图构建方法以及构建系统 |
CN107909047B (zh) * | 2017-11-28 | 2021-07-06 | 上海信耀电子有限公司 | 一种汽车及其应用的车道检测方法及系统 |
CN108573272B (zh) * | 2017-12-15 | 2021-10-29 | 蔚来(安徽)控股有限公司 | 车道拟合方法 |
CN109935107B (zh) * | 2017-12-18 | 2023-07-14 | 姜鹏飞 | 一种提升交通通视范围的方法及装置 |
CN108614262A (zh) * | 2018-06-22 | 2018-10-02 | 安徽江淮汽车集团股份有限公司 | 一种车辆前方目标物检测方法及系统 |
CN109166353B (zh) * | 2018-09-12 | 2021-08-20 | 安徽中科美络信息技术有限公司 | 一种车辆行驶前方复杂路口导向车道检测方法及系统 |
CN110361021B (zh) * | 2018-09-30 | 2021-06-22 | 毫末智行科技有限公司 | 车道线拟合方法及系统 |
CN109443374A (zh) * | 2018-12-26 | 2019-03-08 | 联创汽车电子有限公司 | 车道线融合系统及其融合方法 |
CN109740550A (zh) * | 2019-01-08 | 2019-05-10 | 哈尔滨理工大学 | 一种基于单目视觉的车道线检测与跟踪方法 |
KR20200090527A (ko) * | 2019-01-21 | 2020-07-29 | 현대자동차주식회사 | 차선 인식 장치 및 그 방법 |
US11119491B2 (en) | 2019-02-07 | 2021-09-14 | Ford Global Technologies, Llc | Vehicle steering control |
CN110422168B (zh) * | 2019-08-08 | 2020-06-16 | 智邮开源通信研究院(北京)有限公司 | 车道识别系统、方法及自动驾驶汽车 |
CN110645973B (zh) * | 2019-09-24 | 2021-06-25 | 森思泰克河北科技有限公司 | 车辆定位方法 |
CN111366168B (zh) * | 2020-02-17 | 2023-12-29 | 深圳毕加索电子有限公司 | 一种基于多源信息融合的ar导航系统及方法 |
CN113409583B (zh) * | 2020-03-16 | 2022-10-18 | 华为技术有限公司 | 一种车道线信息确定方法及装置 |
CN111854780B (zh) * | 2020-06-10 | 2022-10-11 | 恒大恒驰新能源汽车研究院(上海)有限公司 | 车辆导航方法、装置、车辆、电子设备及存储介质 |
CN112782661A (zh) * | 2021-01-05 | 2021-05-11 | 广州小鹏自动驾驶科技有限公司 | 一种机动车道护栏检测方法及相关装置 |
CN113689718B (zh) * | 2021-08-13 | 2022-09-13 | 吉林大学 | 智能信号灯与车道匹配系统及匹配方法 |
-
2016
- 2016-06-06 CN CN201610392902.3A patent/CN106096525B/zh active Active
Non-Patent Citations (5)
Title |
---|
"Environment classification and hierarchical lane detection for structured and unstructured roads";H.-Y. Cheng等;《IET Computer Vision》;20100331;第4卷(第1期);第37-49页 |
"Road boundary detection for run-off road prevention based on the fusion of video and radar";Florian Janda等;《2013 IEEE Intelligent Vehicles Symposium (IV)》;20130626;第1173-1178页 |
"区域交通环境下的智能车全自主导航方法研究";白聪敏;《中国优秀硕士学位论文全文数据库 工程科技Ⅱ辑》;20121215;第2012年卷(第12期);第C035-14页 |
"基于信息融合的车道检测算法";张雷等;《郑州大学学报(工学版)》;20100131;第31卷(第1期);第98-102页 |
"基于自适应模板的非结构化道路检测";陈清华等;《东南大学学报(自然科学版)》;20071130;第37卷(第6期);第1102-1106页 |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2022159253A1 (en) * | 2021-01-20 | 2022-07-28 | Qualcomm Incorporated | Robust lane-boundary association for road map generation |
Also Published As
Publication number | Publication date |
---|---|
CN106096525A (zh) | 2016-11-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106096525B (zh) | 一种复合型车道识别系统及方法 | |
CN110930459B (zh) | 灭点提取方法、相机标定方法以及存储介质 | |
US9846812B2 (en) | Image recognition system for a vehicle and corresponding method | |
EP2958054B1 (en) | Hazard detection in a scene with moving shadows | |
CN104573646B (zh) | 基于激光雷达和双目相机的车前行人检测方法及系统 | |
CN107305632B (zh) | 基于单目计算机视觉技术的目标对象距离测量方法与系统 | |
KR101609303B1 (ko) | 카메라 캘리브레이션 방법 및 그 장치 | |
CN108280840B (zh) | 一种基于三维激光雷达的道路实时分割方法 | |
KR101968349B1 (ko) | 영상 정보를 이용한 차선 경계 검출 방법 | |
CN106289159B (zh) | 基于测距补偿的车辆测距方法及装置 | |
WO2003001473A1 (en) | Vision-based collision threat detection system_ | |
CN108645375B (zh) | 一种用于车载双目系统快速车辆测距优化方法 | |
US20150203114A1 (en) | Lane relative position estimation method and system for driver assistance systems | |
WO2014115319A1 (ja) | 道路環境認識システム | |
Liu et al. | Development of a vision-based driver assistance system with lane departure warning and forward collision warning functions | |
WO2014002692A1 (ja) | ステレオカメラ | |
JP6569280B2 (ja) | 路面標示検出装置及び路面標示検出方法 | |
US10554951B2 (en) | Method and apparatus for the autocalibration of a vehicle camera system | |
CN111164648B (zh) | 移动体的位置推断装置及位置推断方法 | |
WO2019065970A1 (ja) | 車両用外界認識装置 | |
CN113848545A (zh) | 一种基于视觉和毫米波雷达的融合目标检测和跟踪方法 | |
CN107133600A (zh) | 一种基于帧间关联的实时车道线检测方法 | |
KR20160088986A (ko) | 소실점 기반의 양안시차를 이용한 차선 검출 방법 | |
JP2005157731A (ja) | 車線認識装置および車線認識方法 | |
CN114495066A (zh) | 一种辅助倒车的方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |