CN104504364B - 基于时空关联的停止线实时识别与测距方法 - Google Patents
基于时空关联的停止线实时识别与测距方法 Download PDFInfo
- Publication number
- CN104504364B CN104504364B CN201410677821.9A CN201410677821A CN104504364B CN 104504364 B CN104504364 B CN 104504364B CN 201410677821 A CN201410677821 A CN 201410677821A CN 104504364 B CN104504364 B CN 104504364B
- Authority
- CN
- China
- Prior art keywords
- image
- stop line
- distance
- msub
- mrow
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C3/00—Measuring distances in line of sight; Optical rangefinders
Abstract
基于时空关联的停止线实时识别与测距方法属于无人驾驶领域。首先通过智能车上的GPS装置获取路口路口类型、距离，当距离小于100米时将会及时启动停止线识别程序。通过摄像机获取车辆前方的路面图像，对原始图像进行灰度化、逆透视变换、自适应二值化处理，然后对二值化图像进行水平边沿信息提取，再对图像进行霍夫直线变换检测直线，计算直线的长度以及直线和直线间的宽度来确定是否为停止线。停止线测距是利用图像逆透视变换后呈线性关系，建立模型，进行停止线与车辆的距离测算。当连续5帧图像都识别到停止线并所测距离是一个由大到小的变化过程时则认为稳定识别到了停止线并将其结果进行返回。本发明减少运算开销还极大地提高停止线识别的准确性、实时性以及停止线测距的精度。
Description
技术领域：
本发明是基于时空关联的停止线实时识别与测距方法，属于智能车无人驾驶技术领域。
背景技术：
安全驾驶、智能交通越来越受人们关注和重视，无人驾驶智能车的研究也已成为热点。停止线是重要的交通标识，因此停止线识别技术是智能车无人驾驶技术的重要组成，正确的停止线识别可以保证智能车辆能够在城市路口中避免闯红灯、避免碰撞到人行道上的行人，从而提高无人驾驶的安全性，同时智能车辆可以将停止线作为起点线按照固有的行驶轨迹安全渡过路口区。因此，停止线的正确、实时识别对智能车无人驾驶有着很重要的作用。在无人驾驶技术中，除了需要准确地识别出停止线，还需要精确计算出停止线离智能车辆的距离。
发明内容：
本发明的目的在于正确、实时地识别出城市道路中的停止线并且精确计算出停止线离智能车辆的距离的同时也要求运算开销最小，提出了基于时空关联的停止线实时识别与测距方法。
为了实现上述目的，本发明采取了如下的技术方案：
步骤1：传感器安装；
步骤1-1：将单目摄像机安装在智能车辆内后视镜的正下方并与车体的纵向坐标轴平行，相对车体横坐标的位移为零，安装单目摄像时，应保证摄像机能够采集到车辆前方清晰的道路图像；
步骤1-2：将GPS装置安装在智能车顶平面处并使其位于智能车辆中心线上；GPS装置精度要求不高，误差控制在10米以内；
步骤2：实时接收GPS的路口触发点信息，所述的路口是指智能车辆所在的路段中离智能车辆最近的路口；所述的触发点信息结构为(类型，距离)，其中类型有十字路口、丁字路口两种类型，距离是指智能车辆里路口中心的距离，单位为米(m)；
步骤3：当接收的距离小于100米时，立即启动停止线识别程序；当接收的距离大于100米时，关闭停止线识别程序，从而加大地减少了运算开销和减少错误识别；
步骤4：停止线识别；
步骤4-1：从摄像机中获取原始路面图像Img,先对图像Img进行灰度化处理得到灰度图像grayImg,再对图像grayImg进行逆透视变换得到鸟瞰图像birdeyeImg,然后对图像birdeyeImg进行自适应二值化处理得到二值图像binaryImg；
步骤4-2：对步骤4-1中的图像binaryImg进行水平边沿提取得到图像HedgeImg，所述的水平边沿提取是指将图像中黑白交界处水平方向提取来，具体做法是对图像由上往下进行像素遍历，当遍历的像素值与其下一个像素值不相等时，将这两个像素值都赋值为255，否则都赋值为0；其计算公式表达如下：
其中w∈(0,width),h∈(0,height-1),width,height分别是图像binaryImg的宽和高，p(w,h)表示图像binaryImg中横坐标、纵坐标分别为w,h的像素值；
步骤4-3：对步骤4-2中的图像HedgeImg进行膨胀处理得到图像dilateImg,然后对图像dilateImg进行霍夫直线变换，检测图像中的所有直线并计算每条直线与水平的夹角rho和长度length,单位分别是度(°)和像素(pixel)；由霍夫直线变换可知直线的两个端点P1(x1,y1)和P2(x2,y2)，则水平的夹角rho和长度length的计算公式如下：
从满足0≤rho≤20或160≤rho≤180，50≤length≤100的直线中找两条平行线并且计算平行线间的距离s，当s满足5≤s≤15则认为检测到停止线，其中这两条平行线分别是停止线的上下边沿；将这两条直线画在图像linesImg中；
步骤5：停止线测距；所述距离是指智能车辆正投影中轴线最前处与停止线下边沿的距离；
步骤5-1：将智能车辆停在路面上，从摄像机中获取一张原始图像，找出图像的下边界所在路面上的位置，然后再测量该位置与车辆最前方处的地面距离(贴着地面测量)K，K也称作摄像机的盲区距离，单位为厘米(cm)，要求测量误差控制在5cm内；
步骤5-2：利用鸟瞰图像中像素距离与实际距离的线性关系可以计算出实际距离与像素距离的比值k,单位是cm/pixel；
步骤5-3：计算停止线下边沿得到中心点与图像低端中心点(width/2,height-1)的像素距离d,单位pixel；
步骤5-4：根据步骤5-2和步骤5-3计算停止线下边沿与图像最底端的实际距离D＝d×k；则停止线下边沿离智能车辆最前处的距离为S＝K+D＝K+d×k；要求整个测距过程误差控制在20cm内；
步骤6：判断停止线识别结果的稳定性；所述的稳定性是指正确连续地识别到停止线；利用帧间关联的连续性，来判断停止结果识别结果正确性和连续性，即当连续5帧图像以上都识别到停止线并且停止线与智能车辆的距离呈现由大到小的变化过程时则认为稳定地识别到了停止线，并将最新的识别结果发给智能车辆的决策中枢以便做出相应的决策；
上述方案需要特别说明是的：
1.步骤1中安装的单目摄像机要求具有自动曝光、感兴趣区域可设置、自动白平衡等功能，以方便图像的采集以及节约处理时间；安装的GPS装置不要求高精度，误差只要控制在10米就可以，其目的是可采用低精度GPS以降低成本；
2.步骤2中的触发点信息结构(路口类型，距离)可以具体数字化(整型数据L，整型数据S)，路口类型可以用L＝1代表十字路口，L＝2代表丁字路口，如果还有其他类型的路口，可以依次扩展；距离S的单位是米(m)；触发点只在路口方圆1000米(1公里)范围内选取，目的是减少触发点的采集工作以及减少GPS的发送运算开销；
3.步骤3中的启动停止线识别程序的分界距离100米可以可以根据实际使用情况进行变动，其变动的依据是智能车辆的行驶速度范围以及每帧图像的处理时间，要求识别的帧数不少于100帧；如果车速范围为36千米/小时到108千米/小时,即10米/秒到30米/秒，那么智能车辆将在3.3秒到10秒的时间范围内通过100米的路程；如果每帧图像的处理时间是20毫秒(ms)，那么该路程内将识别165帧到500帧图像，所以小于100米时开始启动识别程序是满足实际应用的；
4.步骤4中对原始图像先进行灰度化处理在逆透视处理会比先逆透视处理在灰度化的开销更小，从而进一步提高识别的实时性；逆透视处理之前需要先通过摄像机标定获取其内外参数以及计算图像地面平面(图像坐标系)与实际路面平面(世界坐标系)的对应关系矩阵H，H也称单应性，然后通过H对灰度图像进行逆透视变换；
5.步骤5中的实际距离与像素距离的比值k的计算方法：将智能车辆停摆在车道内并与车道线平行，从鸟瞰图像中计算两条相邻车道线内的水平像素距离P(单位pixel)，然后测量出一条车道的宽度W(单位cm)，则k＝W/P；
6.步骤4中判断停止线的一些约束条件范围应该根据实际情况调整，根据交通部门规定的停止线标准要求其宽度(上下边沿的距离)规格是20cm、30cm、40cm三种，规定每个车道的宽度为3.3m-4.5m，所以length、s的具体范围与k有关；
本发明的有益效果是：
本发明通过可行的技术方案，不仅可以使停止线识别满足实际应用时的实时性还可以保证识别正确率为100％，此外还极大地降低了附图说明：
图1本发明的流程示意图
图2摄像机的安装结果
图3GPS装置的安装结果
图4停止线规格
图5智能车辆渡过路口的轨迹图
图6实例中的一幅原始图像
图7对图6进行灰度化、逆透视变换处理后得到鸟瞰图像
图8对图7进行自适应二值化处理得到的二值化图像
图9对图8进行水平边沿提取的结果图
图10对图9进行膨胀得到额结果图
图11对图10进行霍夫直线变换，对检测到直线进行条件约束，检测出停止线上下边沿直线的结果图
图12对图11进行测距的结果图
具体实施方式：
采用本发明的方法，给出一个非限定性的实例，结合图1进一步对本发明的具体实施过程进行说明。本发明在智能车辆平台、智能车测试场地进行实现，为了保证无人驾驶智能汽车以及人员安全，所用平台和场地均为无人驾驶技术专业实验平台和测试场地。所使用的一些通用技术如图像采集、图像变换等不在详细叙述。
本发明的实施方式如下：
1.按照步骤1要求安装单目摄像机和GPS装置，本实例所用平台已安装所需装置，只需要稍作调整便可以进行实验。
2.按照步骤2、3、4、5、6的详细步骤进行实现，其中所涉及到的参数如下：识别程序启动距离为100m；智能车辆最高时速60km/h,当接收到100m的触发点时减速至10km/h；摄像机获取的原始图像大小为1000×320,逆透视的鸟瞰图像大小是330×320；停止线宽度40cm；车道宽度3m；盲区距离K＝120cm；单应性比值k＝3；水平夹角范围0≤rho≤20或160≤rho≤180；长度范围50≤length≤100，平行线间距离范围10≤s≤15；
3.实例停止线识别与测距结果：每帧图像处理时间是20ms；停止线识别正确率为100％；停止线测距误差在10cm内。
Claims (1)
1.基于时空关联的停止线实时识别与测距方法，其特征在于，包括以下步骤：
步骤1：传感器安装；
步骤1-1：将单目摄像机安装在智能车辆内后视镜的正下方并与车体的纵向坐标轴平行，相对车体横坐标的位移为零；
步骤1-2：将GPS装置安装在智能车顶平面处并使其位于智能车辆中心线上；
步骤2：实时接收GPS的路口触发点信息，所述的路口是指智能车辆所在的路段中离智能车辆最近的路口；所述的触发点信息结构为类型，距离，其中类型有十字路口、丁字路口两种类型，距离是指智能车辆里路口中心的距离，单位为米；
步骤3：当接收的距离小于100米时，立即启动停止线识别程序；当接收的距离大于100米时，关闭停止线识别程序，从而加大地减少了运算开销和减少错误识别；
步骤4：停止线识别；
步骤4-1：从摄像机中获取原始路面图像Img,先对图像Img进行灰度化处理得到灰度图像grayImg,再对图像grayImg进行逆透视变换得到鸟瞰图像birdeyeImg,然后对图像birdeyeImg进行自适应二值化处理得到二值图像binaryImg；
步骤4-2：对步骤4-1中的图像binaryImg进行水平边沿提取得到图像HedgeImg，所述的水平边沿提取是指将图像中黑白交界处水平方向提取来，具体做法是对图像由上往下进行像素遍历，当遍历的像素值与其下一个像素值不相等时，将这两个像素值都赋值为255，否则都赋值为0；其计算公式表达如下：
其中w∈(0,width),h∈(0,height-1),width,height分别是图像binaryImg的宽和高，p(w,h)表示图像binaryImg中横坐标、纵坐标分别为w,h的像素值；
步骤4-3：对步骤4-2中的图像HedgeImg进行膨胀处理得到图像dilateImg,然后对图像dilateImg进行霍夫直线变换，检测图像中的所有直线并计算每条直线与水平的夹角rho和长度length,单位分别是度和像素；由霍夫直线变换可知线段的两个端点P1(x1,y1)和P2(x2,y2)，则水平的夹角rho和长度length的计算公式如下：
<mrow>
<mi>&theta;</mi>
<mo>=</mo>
<mi>a</mi>
<mi>c</mi>
<mi> </mi>
<mi>t</mi>
<mi>a</mi>
<mi>n</mi>
<mrow>
<mo>(</mo>
<mfrac>
<mrow>
<msub>
<mi>y</mi>
<mn>2</mn>
</msub>
<mo>-</mo>
<msub>
<mi>y</mi>
<mn>1</mn>
</msub>
</mrow>
<mrow>
<msub>
<mi>x</mi>
<mn>2</mn>
</msub>
<mo>-</mo>
<msub>
<mi>x</mi>
<mn>1</mn>
</msub>
</mrow>
</mfrac>
<mo>)</mo>
</mrow>
<mo>&times;</mo>
<mn>180</mn>
<mo>/</mo>
<mi>&pi;</mi>
</mrow>
<mrow>
<mi>l</mi>
<mi>e</mi>
<mi>n</mi>
<mi>g</mi>
<mi>h</mi>
<mi>t</mi>
<mo>=</mo>
<msqrt>
<mrow>
<msup>
<mrow>
<mo>(</mo>
<msub>
<mi>x</mi>
<mn>1</mn>
</msub>
<mo>-</mo>
<msub>
<mi>x</mi>
<mn>2</mn>
</msub>
<mo>)</mo>
</mrow>
<mn>2</mn>
</msup>
<mo>+</mo>
<msup>
<mrow>
<mo>(</mo>
<msub>
<mi>y</mi>
<mn>1</mn>
</msub>
<mo>-</mo>
<msub>
<mi>y</mi>
<mn>2</mn>
</msub>
<mo>)</mo>
</mrow>
<mn>2</mn>
</msup>
</mrow>
</msqrt>
</mrow>
从满足0≤rho≤20或160≤rho≤180，50≤length≤100的直线中找两条平行线并且计算平行线间的距离s，当s满足5cm≤s≤15cm则认为检测到停止线，其中这两条平行线分别是停止线的上下边沿；将这两条直线画在图像linesImg中；
步骤5：停止线测距；所述距离是指智能车辆正投影中轴线最前处与停止线下边沿的距离；
步骤5-1：将智能车辆停在路面上，从摄像机中获取一张原始图像，找出图像的下边界所在路面上的位置，然后再测量该位置与车辆最前方处的地面距离K，K也称作摄像机的盲区距离，单位为厘米；
步骤5-2：利用鸟瞰图像中像素距离与实际距离的线性关系可以计算出实际距离与像素距离的比值k,单位是cm/pixel；
步骤5-3：计算停止线下边沿得到中心点与图像低端中心点(width/2,height-1)的像素距离d,单位pixel；
步骤5-4：根据步骤5-2和步骤5-3计算停止线下边沿与图像最底端的实际距离D＝d×k；则停止线下边沿离智能车辆最前处的距离为S＝K+D＝K+d×k；
步骤6：判断停止线识别结果的稳定性；所述的稳定性是指正确连续地识别到停止线；利用帧间关联的连续性，来判断停止结果识别结果正确性和连续性，即当连续5帧图像以上都识别到停止线并且停止线与智能车辆的距离呈现由大到小的变化过程时则认为稳定地识别到了停止线。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201410677821.9A CN104504364B (zh) | 2014-11-23 | 2014-11-23 | 基于时空关联的停止线实时识别与测距方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201410677821.9A CN104504364B (zh) | 2014-11-23 | 2014-11-23 | 基于时空关联的停止线实时识别与测距方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN104504364A CN104504364A (zh) | 2015-04-08 |
| CN104504364B true CN104504364B (zh) | 2017-10-10 |
Family
ID=52945760
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201410677821.9A Active CN104504364B (zh) | 2014-11-23 | 2014-11-23 | 基于时空关联的停止线实时识别与测距方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN104504364B (zh) |
Families Citing this family (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105740827B (zh) * | 2016-02-02 | 2019-07-19 | 大连楼兰科技股份有限公司 | 一种基于快速标记连通的停止线检测与测距方法 |
| CN105740828B (zh) * | 2016-02-02 | 2019-07-19 | 大连楼兰科技股份有限公司 | 一种基于快速标记连通的停止线检测方法 |
| CN105678285B (zh) * | 2016-02-18 | 2018-10-19 | 北京大学深圳研究生院 | 一种自适应的道路鸟瞰图变换方法和道路车道检测方法 |
| CN106205170B (zh) * | 2016-08-30 | 2020-06-12 | 上海交通大学 | 一种用于自动驾驶的路口精确停车装置与方法 |
| CN107891808B (zh) * | 2016-09-30 | 2020-06-19 | 比亚迪股份有限公司 | 行车提醒方法、装置及车辆 |
| CN110542895A (zh) * | 2018-05-28 | 2019-12-06 | 北京京东尚科信息技术有限公司 | 基于单目的freespace测距方法 |
| CN110031829B (zh) * | 2019-04-18 | 2021-07-09 | 北京联合大学 | 一种基于单目视觉的目标精准测距方法 |
| CN111079541B (zh) * | 2019-11-19 | 2022-03-08 | 重庆大学 | 一种基于单目视觉的道路停止线检测方法 |
| CN111311906B (zh) * | 2020-02-11 | 2021-07-13 | 北京百度网讯科技有限公司 | 路口距离的检测方法、装置、电子设备和存储介质 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103488976A (zh) * | 2013-09-17 | 2014-01-01 | 北京联合大学 | 一种基于智能驾驶中停止线实时检测以及距离测量的方法 |
| CN104036279A (zh) * | 2014-06-12 | 2014-09-10 | 北京联合大学 | 一种智能车行进控制方法及系统 |
-
2014
- 2014-11-23 CN CN201410677821.9A patent/CN104504364B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103488976A (zh) * | 2013-09-17 | 2014-01-01 | 北京联合大学 | 一种基于智能驾驶中停止线实时检测以及距离测量的方法 |
| CN104036279A (zh) * | 2014-06-12 | 2014-09-10 | 北京联合大学 | 一种智能车行进控制方法及系统 |
Non-Patent Citations (4)
| Title |
|---|
| "Hierarchical Additive Hough Transform for Lane Detection";Ravi Kumar Satzoda .etc;《IEEE EMBEDDED SYSTEMS LETTERS》;20100630;第2卷(第2期);全文 * |
| "Lane Detection Algorithm for Night-time Digital Image Based on Distribution Feature of Boundary Pixels";Feng You.etc;《Journal of the Optical Society of Korea》;20130430;第17卷(第2期);全文 * |
| "一种基于Hough变换的车道线检测新方法";许宏科，等;《徐州工程学院学报（自然科学版）》;20131231;第28卷(第4期);全文 * |
| "基于HOG特征的交通信号灯实时识别算法研究";周宣汝，等;《计算机科学》;20140731;第41卷(第7期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN104504364A (zh) | 2015-04-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN104504364B (zh) | 基于时空关联的停止线实时识别与测距方法 | |
| CN110264783B (zh) | 基于车路协同的车辆防碰撞预警系统及方法 | |
| CN102661733B (zh) | 一种基于单目视觉的前方车辆测距方法 | |
| CN106671974B (zh) | 一种用于智能泊车系统的车位检测方法 | |
| CN104537889B (zh) | 一种不同车况下的防撞方法和系统 | |
| CN112700470B (zh) | 一种基于交通视频流的目标检测和轨迹提取方法 | |
| CN104494598A (zh) | 一种用于智能车辆的路口行驶控制方法 | |
| CN103236191B (zh) | 一种基于视频的高速公路匝道车辆并入安全预警方法 | |
| CN105374212B (zh) | 基于智能终端传感的高速公路车辆车道识别方法及系统 | |
| CN103065151B (zh) | 一种基于深度信息的车辆识别方法 | |
| CN103630122B (zh) | 一种单目视觉车道线检测方法及其测距方法 | |
| CN109064495A (zh) | 一种基于Faster R-CNN与视频技术的桥面车辆时空信息获取方法 | |
| CN108645628A (zh) | 基于道路驾驶技能的自动驾驶汽车测试系统 | |
| CN106056100A (zh) | 一种基于车道检测与目标跟踪的车辆辅助定位方法 | |
| CN104021541A (zh) | 车至车距离计算装置和方法 | |
| KR101446546B1 (ko) | 위치기반 실시간 차량정보 표시시스템 | |
| CN104965202A (zh) | 障碍物探测方法和装置 | |
| CN111524365B (zh) | 一种利用多地磁传感器进行车型分类的方法 | |
| CN103308056A (zh) | 一种道路标线检测方法 | |
| CN106156723A (zh) | 一种基于视觉的路口精定位方法 | |
| CN103164958B (zh) | 车辆监控方法及系统 | |
| CN106114357A (zh) | 一种车辆转弯时防剐蹭装置及方法 | |
| CN102663352A (zh) | 一种轨道识别方法 | |
| CN105159291A (zh) | 一种基于信息物理网的车队智能避障装置及避障方法 | |
| CN103499337A (zh) | 一种基于立式标靶的车载单目摄像头测距测高装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |