CN106156723B - 一种基于视觉的路口精定位方法 - Google Patents

Abstract

一种基于视觉的路口精定位方法属于计算机视觉领域和安全智能交通领域。该方法先通过路口场景识别判断车辆是否到达路口附近，如果进入路口则对单目相机采集的路口图像进行逆透视变换得到逆透视图像，然后进行停止线检测与测距、车道线检测得到车辆离停止线的纵向距离和与车道线的横向距离以及航向角，根据得到数据进行世界坐标系平面坐标计算，最终得到车辆的位置坐标。通过视觉的方法进行路口精定位，克服了高精度GPS定位成本高的缺点。

Description

一种基于视觉的路口精定位方法

技术领域：

一种基于视觉的路口精定位方法，属于计算机视觉领域和智能交通视觉导航定位领域。

背景技术：

随着社会经济和科学技术的不断发展，汽车作为交通工具成为了人们生活中的一部分，安全驾驶和智能驾驶已经成为人们追求的方向。定位导航技术是智能驾驶的重要组成，可分为GPS定位导航和视觉导航。现在智能车中主流的定位方法都是通过高精度的GPS进行定位，这种定位导航方法成本很高。视觉导航一般是通过车道线检测或者基于视觉的自身定位的方法实现的，其成本低。

公布号为CN104217439A的中国发明专利公开了一种室内视觉定位系统及方法，公布号为CN105180905A的中国发明专利公开了一种双相机视觉定位系统及方法，这两个发明专利都公开了视觉定位的方法，但都是针对室内环境下的定位方法，无法解决智能车在户外道路上的视觉定位问题。

发明内容：

本发明的目的在于克服现有高精度GPS定位成本高以及视觉定位局限在室内环境的不足，提出了一种基于视觉的路口精定位方法。

为了实现上述目的，本发明采取了如下的技术方案：

一种基于视觉的路口精定位方法，包含下述步骤：

步骤1：在车辆内后视镜正下方安装单目摄像机，要求摄像机的光轴与车辆的中轴线重合；

步骤2：对摄像机进行逆透视变换标定，要求逆透视变换后的鸟瞰图的实际视野范围的横轴宽度是1500cm，纵轴长度是2500cm；要求鸟瞰图中每像素代表实际距离为k厘米，要求k＝5。

步骤3-1：路口场景特征库建立。采集需要定位的路口的场景图像，要求每个路口采集100到200帧图像，要求连续两帧图像的前后实际间距小于30cm。采集图像时的车速要求控制在10km/h至20km/h的低速范围内。图像采集完毕后，离线提取这些场景图像的SURF特征，每一幅场景图像生成一个SURF特征向量，并且标记其所对应的路口编号，建立一个包含所有需要定位的路口场景特征库。

步骤3-2：路口场景识别。所述的路口场景识别是一个实时在线的过程。对摄像机采集的当前帧图像进行SURF特征提取生成特征向量，将当前帧图像的特征向量与路口场景特征库中的所有特征向量进行相似度计算。对所有相似度值进行排序，当相似度最大的值大于0.5时则识别成功，当前所在路口编号为最大相似度场景图像在路口场景特征库中所对应的路口编号，否则对下一帧图像进行路口场景识别直到识别成功为止。所述的相似度范围为[0，1]。

步骤4-1：对摄像机采集的当前帧图像进行逆透视变换得到与世界路面坐标系相一致的鸟瞰图；

步骤4-2：停止线检测。先对鸟瞰图像进行灰度化处理，然后进行自适应阈值处理得到二值化图像，根据停止线线条的特征，采用Hough变换进行直线检测，并计算每条直线与水平的夹角rho，单位为度，和长度length，单位是像素，由Hough直线变换可知直线的两个端点P1(x1,y1)和P2(x2,y2)，则水平的夹角rho和长度length的计算如下：

其中θ的范围是[-90,90]，为了便于计算，将其值进行变换，公式如下：

如果一旦有满足0≤rho≤20或160≤rho≤180，并且50≤length≤100的直线则是停止线。

步骤4-3：停止线测距；所述步骤的输出结果是车辆与停止线中心点的实际距离。先计算该停止线的中轴中心点坐标p(w/2,y)，w是指鸟瞰图像的宽，即该点在图像的中轴线上，设停止线直线方程为y＝a×x+b，则有：

b＝y₁-ax₁ (5)

其中，(x₁,y₁)和(x₂,y₂)是停止线的两个端点，那么中心点p的y坐标值为：

y＝(w/2-x₁)×a+y₁ (6)

点A是摄像机画面的最低端中心点P_A(w/2,h)，已知停止线中轴中心点p(w/2,y)，联合公式(4)(5)(6)则计算距离d:

其中，h是鸟瞰图像的高，d是一个像素距离，需要转换成真实的实际距离D。根据逆透视图像的线性特征，即逆透视图像中每一像素代表实际长度k厘米，则

其中，D是实际距离，单位cm，k是鸟瞰图像的比例系数，单位是厘米每像素。那么根据S＝K+D模型计算出停止线与智能车实际距离S：

S＝K+D＝K+k×d (9)

其中，K是车辆到图像底端位置的实际距离，也称作盲区距离，步骤4-4：车道线检测；所述步骤中的车道线检测指的是路口的车道线检测。

先对鸟瞰图像进行灰度化处理，然后进行Canny算子边缘检测，再对边缘图像进行Hough直线变换检测所有的直线，根据公式(1-3)计算每一条直线与水平的夹角rho和直线像素长度lenght。然后根据角度和长度的范围过滤掉一些干扰直线，长度范围为lenght>h/5，其中h是鸟瞰图像的高，其角度范围为45≤rho≤135。对满足范围条件的直线按照rho进行分组，rho相同的直线放在一组。然后对每一组内的直线进行垂直距离计算，假设直线line1的两个端点坐标分别是p1(x₁,y₁)和p1(x₂,y₂)，直线line2的两个端点坐标分别是p2(x₃,y₃)和p2(x₄,y₄)，直线line1和line2相互平行，则直线line1和line2的垂直距离L计算公式如下：

其中,a为直线的斜率，有：

假设道路的车道宽度为LaneW，LaneW的单位是像素，通过车道宽度的真实距离除以比例系数k得到，计算以下公式：

当结果满足0.9≤N≤1.1或者1.9≤N≤2.1或者2.9≤N≤3.1，那么直线line1和line2则是车道线。

步骤4-5：计算车辆偏移左车道线的距离；车辆与左车道线的横向偏离距离Δd，相对图像坐标系是横向的，假设左侧车道线与图像下边沿的交点P(x,h),则其计算公式如下：

Δd＝k×(w/2-x) (13)

步骤4-6：计算车辆航向角；车道线检测完之后需要进行航向角θ_lane计算，航向角是车辆中轴线与车道线的最小夹角，因此0≤θ_lane≤90，其计算公式为：

步骤4-7：计算车辆的位置坐标(X,Y)；所述的坐标点的坐标系原点为路口处停止线与车辆当前车道左侧车道线交点，要求横向是X轴，右侧为正，要求纵向是Y轴，下方为正。

通过停止线检测与测距得到了停止线与车辆的距离为S，以及视觉盲区距离为K；通过车道线检测计算得到车辆的航向角θ_lane以及横向偏离距离Δd。

其中位置坐标(X,Y)的X的计算公式如下：

X＝Δd×cosθ_lane+K×sinθ_lane (15)

其中位置坐标(X,Y)的Y的计算公式如下：

Y＝S×cosθ_lane (16)

根据公式(15-16)知车辆的位置坐标为(Δd×cosθ_lane+K×sinθ_lane,S×cosθ_lane)。当航向角θ_lane＝0时，车辆中轴线与车道线平行，其坐标为(Δd,S)。

当停止线倾斜的情况，就需要改进车辆位置坐标计算公式，将停止线与水平的夹角θ考虑进去。

由于停止线的倾斜造成多了h′的纵向距离，h′的计算如下：

h′＝(Δd×cosθ_lane+K×sinθ_lane+S×sinθ_lane)×tanθ (17)

那么纵向坐标Y的计算公式如下：

Y＝S×cosθ_lane-h′ (18)

上述方案需要特别说明是的：

1.步骤3中基于路口场景识别的粗定位的目的是为了确定车辆在哪个路口，输出的结果是车辆所在路口的编号，如1号路口编号为001。

2.步骤4中基于IPM的高精度实时定位的目的是确定车辆在路口的具体位置坐标，输出的结果是一个坐标点(X,Y),所述的坐标点的坐标系原点为路口处停止线与车辆当前车道左侧车道线交点，要求横向是X轴，右侧为正，要求纵向是Y轴，下方为正。

3.步骤4中输出车辆位置坐标点(X,Y)，其中X表示车头中点与当前车道的左侧车道线的水平横向偏移距离，即车头中点与坐标原点的横向距离，单位是厘米；其中Y表示车头中点与坐标原点的纵向距离，单位是厘米。

4.步骤4中车辆位置坐标点(X,Y)计算与停止线到车辆的距离S、视觉盲区距离K、车辆的航向角θ_lane以及横向偏离距离Δd有关。所述的数据可以通过停止线检测与测距、车道线检测的方法得到。

5.步骤4中车辆位置坐标点(X,Y)的计算方法考虑了车辆任何姿态以及停止线与车道线夹角情况。

本发明的有益效果是：

本发明通过可行的技术方案，有以下几点有益效果：

1.高精度，通过路口处的车道线以及停止线信息，辅助车辆定位，可以极大地提高车辆的定位精度。

2.低成本，可以通过视觉定位的方法降低车辆在路口定位的成本；本发明方法使用的硬件主要是普通的小型摄像头和一个图像处理芯片，总成本不超过500元。这使得传统高精度GPS定位系统成本从上万元降到几百元。

附图说明：

图1本发明的流程示意图

具体实施方式：

采用本发明的方法，给出一个非限定性的实例，结合图1进一步对本发明的具体实施过程进行说明。本发明在智能车辆平台、郊区真实道路进行实现。所使用的一些通用技术如图像采集、图像变换等不在详细叙述。

本发明的实施方式如下：

1.按照步骤1要求在车辆内后视镜正下方安装单目摄像机，要求摄像机的光轴与车辆的中轴线重合。

2.按照步骤2、3、4的详细步骤进行实现，其中所涉及到的参数为：鸟瞰图的实际视野范围的横轴宽度是1500cm，纵轴长度是2500cm；鸟瞰图像的大小尺寸是宽300像素，高500像素，鸟瞰图中每像素代表实际距离为5厘米；摄像机的盲区距离为300cm。

Claims (1)

1.一种基于视觉的路口精定位方法，包含下述步骤：

步骤1：在车辆内后视镜正下方安装单目摄像机，要求摄像机的光轴与车辆的中轴线重合；

步骤2：对摄像机进行逆透视变换标定，要求逆透视变换后的鸟瞰图的实际视野范围的横轴宽度是1500cm，纵轴长度是2500cm；要求鸟瞰图中每像素代表实际距离为k厘米，k是鸟瞰图像的比例系数，要求k＝5；

步骤3-1：路口场景特征库建立；

采集需要定位的路口的场景图像，要求每个路口采集100到200帧图像，要求连续两帧图像的前后实际间距小于30cm；采集图像时的车速要求控制在10km/h至20km/h的低速范围内；图像采集完毕后，离线提取这些场景图像的SURF特征，每一幅场景图像生成一个SURF特征向量，并且标记其所对应的路口编号，建立一个包含所有需要定位的路口场景特征库；

步骤3-2：路口场景识别；

所述的路口场景识别是一个实时在线的过程；对摄像机采集的当前帧图像进行SURF特征提取生成特征向量，将当前帧图像的特征向量与路口场景特征库中的所有特征向量进行相似度计算；对所有相似度值进行排序，当相似度最大的值大于0.5时则识别成功，当前所在路口编号为最大相似度场景图像在路口场景特征库中所对应的路口编号，否则对下一帧图像进行路口场景识别直到识别成功为止；所述的相似度范围为[0，1]；

步骤4-1：对摄像机采集的当前帧图像进行逆透视变换得到与世界路面坐标系相一致的鸟瞰图；

步骤4-2：停止线检测；先对鸟瞰图像进行灰度化处理，然后进行自适应阈值处理得到二值化图像，根据停止线线条的特征，采用Hough变换进行直线检测，并计算每条直线与水平的夹角rho，单位为度，和长度length，单位是像素，由Hough直线变换可知直线的两个端点P1(x1,y1)和P2(x2,y2)，则水平的夹角rho和长度length的计算如下：

其中θ的范围是[-90,90]，为了便于计算，将其值进行变换，公式如下：

如果一旦有满足0≤rho≤20或160≤rho≤180，并且50≤length≤100的直线则是停止线；

步骤4-3：停止线测距；所述步骤的输出结果是车辆与停止线中心点的实际距离；先计算该停止线的中轴中心点坐标p(w/2,y)，w是指鸟瞰图像的宽，即该点在图像的中轴线上，设停止线直线方程为y＝ax+b，则有：

b＝y₁-a×x₁ (5)

其中，(x₁,y₁)和(x₂,y₂)是停止线的两个端点，那么中心点p的y坐标值为：

y＝(w/2-x₁)×a+y₁ (6)

点A是摄像机画面的最低端中心点P_A(w/2,h)，已知停止线中轴中心点p(w/2,y)，联合公式(4)(5)(6)则计算距离d:

其中，h是鸟瞰图像的高，d是一个像素距离，需要转换成真实的实际距离D；根据逆透视图像的线性特征，即逆透视图像中每一像素代表实际长度k厘米，则

其中，D是实际距离，单位cm，k是鸟瞰图像的比例系数，单位是厘米每像素；那么根据S＝K+D模型计算出停止线与智能车实际距离S：

S＝K+D＝K+k×d (9)

其中，K是车辆到图像底端位置的实际距离，也称作盲区距离；步骤4-4：车道线检测；所述步骤中的车道线检测指的是路口的车道线检测；

先对鸟瞰图像进行灰度化处理，然后进行Canny算子边缘检测，再对边缘图像进行Hough直线变换检测所有的直线，根据公式(1-3)计算每一条直线与水平的夹角rho和直线像素长度lenght；然后根据角度和长度的范围过滤掉一些干扰直线，长度范围为lenght>h/5，其中h是鸟瞰图像的高，其角度范围为45≤rho≤135；对满足范围条件的直线按照rho进行分组，rho相同的直线放在一组；然后对每一组内的直线进行垂直距离计算，假设直线line1的两个端点坐标分别是p1(x₁,y₁)和p1(x₂,y₂)，直线line2的两个端点坐标分别是p2(x₃,y₃)和p2(x₄,y₄)，直线line1和line2相互平行，则直线line1和line2的垂直距离L计算公式如下：

其中,a为直线的斜率，有：

假设道路的车道宽度为LaneW，LaneW的单位是像素，通过车道宽度的真实距离除以比例系数k得到，计算以下公式：

当结果满足0.9≤N≤1.1或者1.9≤N≤2.1或者2.9≤N≤3.1，那么直线line1和line2则是车道线；

步骤4-5：计算车辆偏移左车道线的距离；车辆与左车道线的横向偏离距离Δd，相对图像坐标系是横向的，假设左侧车道线与图像下边沿的交点P(x,h),则其计算公式如下：

Δd＝k×(w/2-x) (13)

步骤4-6：计算车辆航向角；车道线检测完之后需要进行航向角θ_lane计算，航向角是车辆中轴线与车道线的最小夹角，因此0≤θ_lane≤90，其计算公式为：

步骤4-7：计算车辆的位置坐标(X,Y)；所述的坐标点的坐标系原点为路口处停止线与车辆当前车道左侧车道线交点，要求横向是X轴，右侧为正，要求纵向是Y轴，下方为正；

通过停止线检测与测距得到了停止线与车辆的距离为S，以及视觉盲区距离为K；通过车道线检测计算得到车辆的航向角θ_lane以及横向偏离距离Δd；

其中位置坐标(X,Y)的X的计算公式如下：

X＝Δd×cosθ_lane+K×sinθ_lane (15)

其中位置坐标(X,Y)的Y的计算公式如下：

Y＝S×cosθ_lane (16)

根据公式(15-16)知车辆的位置坐标为(Δd×cosθ_lane+K×sinθ_lane,S×cosθ_lane)；当航向角θ_lane＝0时，车辆中轴线与车道线平行，其坐标为(Δd,S)；

当停止线倾斜的情况，就需要改进车辆位置坐标计算公式，将停止线与水平的夹角θ考虑进去；

由于停止线的倾斜造成多了h′的纵向距离，h′的计算如下：

h′＝(Δd×cosθ_lane+K×sinθ_lane+S×sinθ_lane)×tanθ (17)

那么纵向坐标Y的计算公式如下：

Y＝S×cosθ_lane-h′ (18)。