CN104648397B - 车道偏移警示系统及方法 - Google Patents

车道偏移警示系统及方法 Download PDF

Info

Publication number
CN104648397B
CN104648397B CN201310585843.8A CN201310585843A CN104648397B CN 104648397 B CN104648397 B CN 104648397B CN 201310585843 A CN201310585843 A CN 201310585843A CN 104648397 B CN104648397 B CN 104648397B
Authority
CN
China
Prior art keywords
lane
pixel
sub
image
block
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201310585843.8A
Other languages
English (en)
Other versions
CN104648397A (zh
Inventor
吴易聪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ulsee Inc
Original Assignee
Desert Science And Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Desert Science And Technology Co Ltd filed Critical Desert Science And Technology Co Ltd
Priority to CN201310585843.8A priority Critical patent/CN104648397B/zh
Publication of CN104648397A publication Critical patent/CN104648397A/zh
Application granted granted Critical
Publication of CN104648397B publication Critical patent/CN104648397B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q9/00—Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling

Landscapes

  • Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明揭示了一种车道偏移警示系统及方法，所述车道偏移警示系统包含边缘类型分类地图撷取模块、车道标记种子区域侦测模块、车道线侦测模块及车道偏移警示模块，在梯度变化不明显或在反光或有障碍物的情况下，利用边缘类型分类地图、车道标记种子区域侦测及车道线侦测等可以侦测出车道线的边缘像素且辨别出真正属于车道标记的边缘像素，进而判断出完整的车道线，并有效找出“兴趣区域”以简化车道线侦测的程序。

Description

车道偏移警示系统及方法
技术领域
本发明涉及车辆技术领域，特别是涉及一种用于车辆的车道偏移警示系统及方法。
背景技术
现阶段的车道线侦测算法系包含“边缘侦测(Edge Detection)”以及“直线侦测(Line Detection)”两个主要步骤，其应用为侦测人工的车道标记(Lane Marker)为主。
在传统边缘侦测算法中，在一般的情况下(画面中仅有简单而梯度变化明显的车道标记，且没有其他车辆、阴影、人造物体、树木等复杂情况)，可以成功的侦测且判断出车道标记。但是在其他更多的状况下，却无法侦测以及判断出真正的车道标记。例如，在梯度变化不明显的情况下，边缘侦测无法有效侦测出车道标记。同时，在反光或有障碍物的情况下，虽然可以侦测出边缘像素(edge pixels)，但是，要如何辨别出真正属于车道标记的边缘像素(road marker edge pixels)，进而判断出车道线，则是一个非常困难的问题。
在许多情况下，虽然可以正确侦测出车道标记的边缘像素，但是，如何由边缘像素推得出车道线，还需要一些繁琐的步骤。例如：对于较宽的车道标记，由于边缘侦测仅能侦测到边缘像素，因此，车道标记内的像素会被归类为非边缘像素(non-edge pixels)，如何由车道标记左右两侧的边缘像素回推出正确的车道线是会有些困难。此外，对于“短车道线”以及“槽化线”等情况，传统的边缘侦测算法也无法有效处理。
传统车道线侦测算法，大多属于以像素为基础(Pixel-Based)的影像处理技术。在经过“边缘侦测”、“直线侦测”等运算之后，仅能得到以像素为基础的一维(1D)信息。这对需要二维(2D)信息的车道线侦测来说是明显不够的。因此，还需要一些繁琐的程序(例如，把点汇集成线)，才能得到足够的信息。而这些繁琐的程序大都是非常耗时(timeconsuming)。也因此，为了提高系统的执行效率，许多专家以及研发机构，相继提出“兴趣区域(Region of Interest，ROI)”为基础的策略，仅对预定的ROI进行车道线侦测，进而达到效能提升的需求。然而，在许多情况之下，车道线常常会出现在“非兴趣区域(non-ROI)”，如此一来，系统便无法侦测到车道线。
发明内容
有鉴于上述问题，本发明的目的是提供一种车道偏移警示系统及方法，其在梯度变化不明显或在反光或有障碍物的情况下，可以侦测出边缘像素且辨别出真正属于车道标记的边缘像素，进而判断出车道线，并有效找出“兴趣区域”以简化车道线侦测的程序。
本发明的第一实施例是提供一种车道偏移警示系统，其撷取一影像的多个像素做数据处理，该车道偏移警示系统包含：
一边缘类型分类地图撷取模块，计算该影像的每个像素的一水平梯度绝对值、一垂直梯度绝对值及一边缘方向值，将每个像素的该水平梯度绝对值、该垂直梯度绝对值及该边缘方向值与多个门槛值进行比较，以将每个像素分类为多个边缘类型的一种；
一车道标记种子区域侦测模块，将该影像分割成多个子区块，于该影像的特定区域中界定每个子区块的像素会出现的边缘类型，对子区块中同一边缘类型的像素进行线段特征的评估，以获得为一车道标记种子区域的子区块；以及
一车道线侦测模块，以该车道标记种子区域的子区块中的具有线段特征的部分像素为主，决定一亮度门槛值，同时保留子区块中亮度值大于或等于该亮度门槛值的像素以作为多个车道标记像素，将所述车道标记像素在子区块中的坐标位置利用直线方程式求得一局部车道线的一斜率及一偏移量，并再由该局部车道线延展至其他子区块中求得一延展车道线。
本发明的第二实施例是提供一种车道偏移警示方法，其撷取一影像的多个像素做数据处理，该车道偏移警示方法包含下列步骤：
计算该影像的每个像素的一水平梯度绝对值、一垂直梯度绝对值及一边缘方向值，将每个像素的该水平梯度绝对值、该垂直梯度绝对值及该边缘方向值与多个门槛值进行比较，以将每个像素分类为多个边缘类型的一种；将该影像分割成多个子区块，于该影像的特定区域中界定每个子区块的像素会出现的边缘类型，对子区块中同一边缘类型的像素进行线段特征的评估，以获得为一车道标记种子区域的子区块；以及
以该车道标记种子区域的子区块中的具有线段特征的部分像素为主，决定一亮度门槛值，同时保留子区块中亮度值大于或等于该亮度门槛值的像素以作为多个车道标记像素，将所述车道标记像素在子区块中的坐标位置利用直线方程式求得一局部车道线的一斜率及一偏移量，并在由该局部车道线延展至其他子区块中求得一延展车道线。
附图说明
图1为本发明的车道偏移警示系统的方块图；
图2A为本发明的影像感测组件所拍摄的影像画面的示意图；
图2B为本发明的影像经边缘类型分类的示意图；
图2C为本发明的影像感测组件所拍摄的影像画面的示意图；
图2D为本发明的影像经边缘类型分类的示意图；
图3为本发明的影像画面分割成多个子区块的示意图；
图4A及图4B为本发明的车道标记边缘出现的位置的示意图；
图5为本发明的说明子区块的列及行基准的特征说明图；
图6A至图6D为本发明的车道标记侦测的说明图；
图7A至图7D为本发明的局部车道线侦测的示意图；
图8为本发明的车道线延展的示意图；
图9A至图9C为本发明的车道偏移警示的示意图；以及
图10为本发明的车道偏移警示方法的流程图。
具体实施方式
下面将结合示意图对本发明的车道偏移警示系统及方法进行更详细的描述，其中表示了本发明的优选实施例，应该理解本领域技术人员可以修改在此描述的本发明，而仍然实现本发明的有利效果。因此，下列描述应当被理解为对于本领域技术人员的广泛知道，而并不作为对本发明的限制。
为了清楚，不描述实际实施例的全部特征。在下列描述中，不详细描述公知的功能和结构，因为它们会使本发明由于不必要的细节而混乱。应当认为在任何实际实施例的开发中，必须做出大量实施细节以实现开发者的特定目标，例如按照有关系统或有关商业的限制，由一个实施例改变为另一个实施例。另外，应当认为这种开发工作可能是复杂和耗费时间的，但是对于本领域技术人员来说仅仅是常规工作。
在下列段落中参照附图以举例方式更具体地描述本发明。根据下面说明和权利要求书，本发明的优点和特征将更清楚。需说明的是，附图均采用非常简化的形式且均使用非精准的比例，仅用以方便、明晰地辅助说明本发明实施例的目的。
图1为本发明的车道偏移警示系统的方块图。在图1中，车道偏移警示系统20包含一数据处理装置22、一影像感测组件24、一缓冲存储器26、一警示装置28及一数据显示装置30。数据处理装置22可以为链接库，其可由CPU执行，亦可为硬件加速器，以加速车道偏移警示系统20的执行效能。
数据处理装置22包含一影像输入与输出模块32、一边缘类型分类地图撷取模块34、一车道标记种子区域侦测模块36、一车道线侦测模块38及一车道偏移警示模块40。
边缘类型分类地图撷取模块34计算一影像的每个像素的一水平梯度绝对值、一垂直梯度绝对值及一边缘方向值，而将每个像素的水平梯度绝对值、垂直梯度绝对值及边缘方向值与多个门槛值进行比较，以将每个像素分类为多个边缘类型的一种，如图2A及图2C为本发明的影像感测组件所拍摄的影像画面的示意图，图2B及图2D为本发明的影像经边缘类型分类的示意图所示，图2A及图2C为原始的影像画面经边缘类型分类的影像的边缘类型地图如图2B及图2D所示，为了方便表示，将五种边缘类型(ES0～ES4)使用深浅不一的灰阶值表示（仅在图2B中标注）。
传统侦测车道标记所使用的方法，大多分析影像的梯度，但是在较复杂的画面中(例如：含有车辆、阴影、人造物等)会侦测出过多的边缘像素，并增加后续对车道线侦测的困难度。有鉴于此，本发明提出“边缘类型分类地图(Edge Style Map,ESM)”，可以有效率的将影像画面中的像素，依据其特性，分成至少五类的“边缘类型(Edge Style)”其分类如下，
其中，ES(x,y)为影像中像素坐标位置(x,y)点的边缘类型的分类结果，AHG(x,y)以及AVG(x,y)分别为像素点(x,y)的水平梯度绝对值及垂直梯度绝对值，其值范围为0≤AHG(x,y)≤255以及0≤AVG(x,y)≤255，HdV(x,y)为边缘方向值，其为水平梯度绝对值AHG(x,y)与垂直梯度绝对值AVG(x,y)的比值，其范围为0≤HdV(x,y)≤∞，ThE1、ThE2、ThE3、ThE4分别为四种门槛值，其范围为5≤ThE1≤8、12≤ThE2≤16、0.4≤ThE3≤0.6、1.8≤ThE4≤2.2。
车道标记种子区域侦测模块36将影像分割成多个子区块(Sub-Box)，如图3为本发明的影像画面分割成多个子区块的示意图所示。在图3中，为了求得最佳结果，在经多次实验发现，以下的分割策略在车道线侦测时，能够提供最佳的结果，其中(Wd_Img,Ht_Img)为影像画面的(宽，高)，而(Wd_Box,Ht_Box)为子区块的(宽，高)。其中，子区块的表示如下：
(0.08×Wd_Img)≤Wd_Box≤(0.14×Wd_Img)
(0.08×Ht_Img)≤Ht_Box≤(0.12×Ht_Img)
在本实施例中，图3为非重迭(non-overlapping)的区块分割示意图，在另一实施例中，可以使用重迭(overlapping)方式来撷取子区块。
图4A及图4B为本发明的车道标记边缘出现的位置的示意图。在图4A及图4B中，一张影像经过“边缘类型分类(Edge Style Classification)”之后，影像中的所有像素将会分成以下五种类型：
无边缘(non-Edge,在本文中标记成ES0)，弱边缘(Soft Edge,在本文中标记成ES1)，水平边缘(Horizontal Edge,在本文中标记成ES2)，斜角边缘(Diagonal Edge,在本文中标记成ES3)，垂直边缘(Vertical Edge,在本文中标记成ES4)。
车道标记种子区域侦测模块36界定不同类型的车道标记边缘中，仅会部分的车道标记边缘出现在影像画面的特定区域中，例如斜角边缘(ES3)、垂直边缘(ES4)以及弱边缘(ES1)仅会出现在影像画面的中间区域，如图4A的填充区域所示，而水平边缘(ES2)、斜角边缘(ES3)以及弱边缘(ES1)仅会出现在影像画面的两侧位置，如图4B的填充区域所示。其填充区域(出现位置的区域)的决定公式如下，其中X_Img_Cen为影像中X轴的中间位置：
(0.15×Wd_Img)≤Wd_A1≤(0.25×Wd_Img)
(0.15×Wd_Img)≤Wd_A2≤(0.25×Wd_Img)
图5为本发明的说明子区块的列及行基准的特征说明图。为了找出“车道标记种子区域(Road Marker Seed Region)”，本发明提出一种“线段评估(Line Evaluation,LE)”的方式以检验每个子区块。简而言之，根据子区块在影像画面的位置以决定该子区块所应被检验的“边缘类型”，然后对每个“边缘类型”做线段评估的检验。
图5的(a)部分表示子区块大小为9×6，原点在左上方的子区块中标示“ES3”是表示该像素为斜角边缘；图5的(b)部分表示子区块中ES3的列基准特征表，其包含X轴方向的坐标加总(SumX)、ES3个数(Count)、以及坐标平均值(AveX)；图5的(c)部分表示子区块中ES3的行基准特征表，其包含Y轴方向的坐标加总(SumY)、ES3个数(Count)、以及坐标平均值(AveY)。然后，车道标记种子区域侦测模块36检验列及行基准特征表中的坐标平均值，若坐标平均值呈现“递增”或是“递减”的现象，表示该子区块为一车道标记种子区域；反之，该子区块则不会包含车道标记。
车道线侦测模块38使用门槛值筛选(thresholding)的方式，将“车道标记”由“车道标记种子区域”中标示出来，接着使用“最小误差法(Minimum Error Method,MEM)”的策略以侦测出“局部车道线(Local Lane)”，最后通过“车道线延展(Lane Extension)”以侦测出完整的车道线。
“车道标记”的像素的亮度(intensity)会比其周围“道路区域”的像素还要亮，因此，使用门槛值筛选的方式，便可以得到车道标记。本实施例利用以下两个特性，而仅用部分像素(即子区块的像素)以决定适当的门槛值。第一，每个车道标记种子区域侦测中，都会有构成线段特征的边缘类型；第二，边缘像素会出现在车道标记的边缘像素的两侧。
因此，车道线侦测模块38先根据车道标记种子区域侦测的“边缘类型”，在子区块中将没有具备线段特征的像素的亮度设为0，然后求得其他像素的非零亮度的直方图(Histogram)，最后，分析非零亮度的直方图以求得门槛值。
图6A至图6D为本发明的车道标记侦测的说明图。图6A是大小为16×10的子区块的原始图案，图6B为子区块的原始图案的“边缘类型分类地图”，其中数字0～4分别代表边缘类型ES0～ES4，图6C为子区块依据线段特征筛选后的结果，由于只有ES2以及ES3符合线段评估(递增/递减特性)的检验，因此仅有ES2以及ES3的像素具有非零值。
本实施例利用最简单的分析方法(计算所有非零像素的平均值)来分析出图6D的结果，在图6C的子区块中所有像素的非零亮度的平均值经计算的平均值为81，同时设定门槛值为81，因此将图6A中亮度大于或等于门槛值为81的所有像素的亮度保留于图6D中，以得到车道标记侦测的结果。其中，门槛值设定的方式有许多种，本实施例使用最简单的平均值方法并非用以限制本发明。
车道线侦测模块38将所侦测出来的“车道标记”利用局部车道线侦测(Local LaneDetection，LLD)算法来求得“局部车道线”。其中，局部车道线侦测算法如下所示：
A.针对每个列(Row)中的车道标记像素(Road Marker Pixels)决定有车道标记区间(Road Marker Period,RMP)的数目，并且决定每个车道标记区间中在子区块中的最左边以及最右边的像素的位置。
B.令Row_Tp以及Row_Bm表示在子区块中含有车道标记像素的上方列位置以及下方列位置，Row_Ht为找出所有含有车道标记像素的列高度(Row Height=Row_Bm–Row_Tp+1)，并且决定最上方的Row_Tp，以及最下方的Row_Bm以计算出最大的列高度Row_Ht，并且令n=Row_Ht。
C.在子区块中含有车道标记像素的左侧位置的像素为主，找出子区块中以Row_Ht为n的所有“合适列配对(Good Row Pair)”，并且由该配对的Row_Tp以及Row_Bm的坐标，推得作为局部车道线的直线方程式(y=ax+b)的两个参数(斜率a以及偏移量b)。其中，所谓合适列配对系表示该列配对的Row_Tp以及Row_Bm的X轴坐标值，但子区块的边界值不能作为合适列配对。
D.根据推得的直线方程式(即局部车道线)推估该列配对中其他列中的“X轴坐标值预测值(predicted X value)”，并且估算与该列的误差，并且计算所有列的误差总值，亦即，在子区块中配对的上方列位置及下方列位置的其它列，计算局部车道线的形成直线的其它列的坐标与所述车道标记像素的其它列的坐标的误差的误差总值。
E.在子区块中以车道标记像素的右侧位置的像素为主，执行与步骤C、D相同的步骤。
F.令n=n-1，重复步骤C到F，直到n<=3为止。
G.根据每个列配对的误差总值，以及该列配对的高度，决定最佳的局部车道线，其中，决定最佳的局部车道线是最小的误差总值及最大的列高度。
图7A至图7D为本发明的局部车道线侦测的示意图。以图7A至图7D来说明车道线侦测模块38将所侦测出来的“车道标记”利用局部车道线侦测算法来求得“局部车道线”。
图7A是大小为16×10的子区块的图案，其中，C0为第0行、C1为第一行…、C15为第15行，R0为第0列、R1为第一列…、R9为第九列；非空白的格子为车道标记像素；车道标记像素若属于同一个车道标记区间(Road Marker Period,RMP)，则会有相同的标记，例如R0有两个车道标记区间，则依序标记为0A以及0B。
在子区块中每个车道标记区间的最左侧以及最右侧如图7B所示。以车道标记区间的左侧像素为基础，拥有最长的列高度的局部车道线区间如图7C所示，其中R0及R7各自为该列配对Row-Tp以及Row_Bm，请注意，列R8及R9的车道标记区间，其最左侧的像素(8AL以及9AL)刚好位于边缘(第0行)，因此该二列不能做为合适的列配对。
首先，在子区块中以车道标记区间的左侧像素的位置为主的局部车道线侦测，车道线侦测模块38在子区块中R0的0BL以及R7的7AL求得作为局部车道线的直线方程式的两个参数(斜率a以及偏移量b)，然后依照此直线方程式在其他列(即R1至R6)的“X轴坐标值预测值”标示为图7C的深灰阶色的格子。因此，车道线侦测模块38计算该列配对的误差值总合为1(为R4的深灰阶色的格子与4AL格子的误差)，同时，车道线侦测模块38计算该列配对的Row_Ht为8(即R0至R7)。
图7D说明在子区块中以车道标记区间的右侧像素的位置为主的局部车道线侦测，如上述，车道线侦测模块38在子区块中R2的2AR以及R9的9AR求得的直线方程式来计算该列配对R2及R9的误差值总合为2(为R6的深灰阶色的格子与6AR格子以及R8的深灰阶色的格子与8AR格子的误差)，同时，车道线侦测模块38计算该列配对R2及R9的列高度Row_Ht为8(即R2至R9)。
重复局部车道线侦测算法的步骤A至G，车道线侦测模块38将所有Row_Ht>3的列配对来计算误差值总合以及相对应的列高度Row_Ht。经过比对所有的列配对后，发现图7C的列配对R0及R7(即0BL,7AL)拥有最小的误差值总和及最大的列高度Row_Ht，因此，子区块中的局部车道线侦测为图7C所示。
图8为本发明的车道线延展的示意图。车道线侦测模块38在得到影像中的某个子区块(图8的原始子区块)的局部车道线之后，车道线侦测模块38在该子区块朝上、下两个方向求得延展方向的延展子区块，然后车道线侦测模块38以原始子区块的局部车道线(直线方程式)朝上、下的延展子区块进行延展，而对每个延展子区块进行车道标记侦测以得到车道标记，并利用局部车道线侦测算法来求得“局部车道线”，而得到所有子区块的延展车道线，如图8所示。
车道线侦测模块38侦测出“局部车道线”及“延展车道线”，以侦测出影像完整的车道线，而将此完整的车道线标注在影像中的实际车道线影像上。
图9A至图9C为本发明的车道偏移警示的示意图。如上述可得到每一影像画面的完整的车道线，车道偏移警示模块40通过分析连续的影像画面的车道线变化，当局部车道线与水平方向的夹角逐渐变大或变小时，说明车辆朝夹角变大的方向偏移靠近或朝夹角变小的方向偏移远离，此时车道偏移警示模块40会产生一车道偏移警示讯号，如图9A至图9C所示。
在图9A至图9C中，车道偏移警示模块40检测到左侧的局部车道线与水平方向的夹角逐渐变大(θL1<θL2<θL3)，同时右侧的局部车道线与水平方向的夹角逐渐变小(θR1>θR2>θR3)，此时车道偏移警示模块40发现车辆正往实际的道路中左侧的车道线偏移，同时会产生车道偏移警示讯号。
影像输入与输出模块32与边缘类型分类地图撷取模块34、车道标记种子区域侦测模块36、车道线侦测模块38及车道线偏移警示模块40连接。
边缘类型分类地图撷取模块34从影像输入与输出模块32接收影像的所述像素，并传送影像的所述像素的边缘类型至影像输入与输出模块32，车道标记种子区域侦测模块36从影像输入与输出模块32接收影像的所述像素及其边缘类型，并输出影像的包含有为车道标记种子区域的子区块的像素包含有局部车道线及延展车道线所构成的完整的车道线的影像至影像输入与输出模块32，车道线侦测模块38从影像输入与输出模块32接收车道标记种子区域的子区块中的像素的亮度值，并输出局部车道线的斜率及偏移量与延展车道线至影像输入与输出模块32，车道线偏移警示模块40从影像输入与输出模块32接收局部车道线的斜率及偏移量，并输出车道偏移警示讯号至影像输入与输出模块32。
影像感测组件24拍摄车道的影像，并转换成数字格式的影像的多个像素，且由影像输入与输出模块32从影像感测组件24读取影像的所述像素。缓冲存储器26储存影像感测组件24的影像的所述像素，亦可由影像输入与输出模块32从缓冲存储器26读取影像的所述像素。数据显示装置30从影像输入与输出模块32读取包含有局部车道线及延展车道线所构成的完整的车道线的影像，并将包含有完整的车道线标注于影像中的实际车道线影像上的影像显示在数据显示装置30。影像输入与输出模块32输出车道偏移警示讯号至警示装置28，而警示装置28根据此车道偏移警示讯号以发出一偏移警讯。
参照上述车道偏移警示系统的方块图及与车道偏移警示系统相关的示意图，以说明本发明的车道偏移警示方法的操作。
图10为本发明的车道偏移警示方法的流程图。在图10中，由影像感测组件24拍摄车道的影像，并转换成数字格式的影像的多个像素，影像感测组件24将影像的所述像素储存到缓冲存储器26中。由数据处理装置22的影像输入与输出模块32从影像感测组件24或缓冲存储器26读取影像的所述像素(步骤S50)。
由数据处理装置22的边缘类型分类地图撷取模块34从影像输入与输出模块32读取影像的所述像素。由边缘类型分类地图撷取模块34计算一影像的每个像素的一水平梯度绝对值、一垂直梯度绝对值及一边缘方向值。
由边缘类型分类地图撷取模块34将每个像素的水平梯度绝对值、垂直梯度绝对值及边缘方向值与上述的多个门槛值ThE1、ThE2、ThE3、ThE4进行比较，以将每个像素分类为上述五种边缘类型(ES0～ES4)的一种(步骤S52)。
如图2A及图2C为影像感测组件所拍摄的影像画面，图2B及图2D为影像经边缘类型分类，图2A及图2C为原始的影像画面经边缘类型分类的影像的边缘类型地图如图2B及图2D所示，为了方便表示，将五种边缘类型(ES0～ES4)使用深浅不一的灰阶值表示。
由车道标记种子区域侦测模块36将影像分割成多个子区块，如图3所示。
在图4A及图4B中，一张影像经由边缘类型分类地图撷取模块34进行“边缘类型分类”之后，影像中的所有像素将会分成五种类型。
由车道标记种子区域侦测模块36界定不同类型的车道标记边缘中，仅会部分的车道标记边缘出现在影像画面的特定区域中，例如斜角边缘(ES3)、垂直边缘(ES4)以及弱边缘(ES1)仅会出现在影像画面的中间区域，如图4A的填充区域所示，而水平边缘(ES2)、斜角边缘(ES3)以及弱边缘(ES1)仅会出现在影像画面的两侧位置，如图4B的填充区域所示。
为了由车道标记种子区域侦测模块36找出“车道标记种子区域”，利用“线段评估”的方式以检验每个子区块。简而言之，根据子区块在影像画面的位置以决定该子区块所应被检验的“边缘类型”，然后对每个“边缘类型”做线段评估的检验，如图5所示。
然后，车道标记种子区域侦测模块36检验列基准特征表及行基准特征表中的坐标平均值，若坐标平均值呈现“递增”或是“递减”的现象，表示该子区块为一车道标记种子区域；反之，该子区块则不会包含车道标记(步骤S54)。
由车道线侦测模块38使用门槛值筛选的方式，将“车道标记”由“车道标记种子区域”中标示出来，接着使用“最小误差法”的策略以侦测出“局部车道线”，最后通过“车道线延展”以侦测出完整的车道线(步骤S56)。
车道线侦测模块38先根据车道标记种子区域侦测的“边缘类型”，在子区块中将没有具备线段特征的像素的亮度设为0，然后分析非零亮度像素的特性以求得门槛值。
本实施例利用最简单的分析方法(计算所有非零像素的平均值)来分析出图6D的结果，在图6C的子区块中所有非零亮度像素的平均值经计算为81，同时设定门槛值为81，因此将图6A中亮度大于或等于门槛值为81的所有像素的亮度保留于图6D中，以得到车道标记侦测的结果。其中，直方图分析的方式有许多种方式，本实施例使用最简单的平均值方法并非用以限制本发明。
由车道线侦测模块38将所侦测出来的“车道标记”利用上述局部车道线侦测算法来求得“局部车道线”。以图7A至图7D来说明由车道线侦测模块38将所侦测出来的“车道标记”利用局部车道线侦测算法来求得“局部车道线”。
由车道线侦测模块38在得到影像中的某个子区块(图8的原始子区块)的局部车道线侦测之后，车道线侦测模块38在该子区块朝上、下两个方向求得延展方向的延展子区块，然后车道线侦测模块38以原始子区块的局部车道线(直线方程式)朝上、下的延展子区块进行延展，而对每个延展子区块进行车道标记侦测以得到车道标记，并利用局部车道线侦测算法来求得“局部车道线”，而得到所有子区块的延展车道线，如图8所示。
由车道线侦测模块38侦测出“局部车道线”及“延展车道线”，以侦测出影像完整的车道线，而将此完整的车道线标注在影像中的车道线影像上。
车道线侦测模块38将完整的车道线标注在影像中的车道线影像上的影像传送至影像输入与输出模块32，数据显示装置30从影像输入与输出模块32读取包含有局部车道线及延展车道线所构成的完整的车道线的影像，并将包含有完整的车道线标注于影像中的实际车道线影像上的影像显示在数据显示装置30(步骤S58)。
如上述可得到每一影像画面的完整的车道线，由车道偏移警示模块40通过分析连续的影像画面的车道线变化，当局部车道线与水平方向的夹角逐渐变大或变小时，说明车辆朝夹角变大的方向偏移靠近或朝夹角变小的方向偏移远离，此时车道偏移警示模块40会产生一车道偏移警示讯号，如图9A至图9C所示。
在图9A至图9C中，由车道偏移警示模块40检测到左侧的局部车道线与水平方向的夹角逐渐变大(θL1<θL2<θL3)，同时右侧的局部车道线与水平方向的夹角逐渐变小(θR1>θR2>θR3)，此时车道偏移警示模块40发现车辆正往实际的道路中左侧的车道线偏移，同时会产生车道偏移警示讯号(步骤S60)。
当发生车辆偏移车道线时，由车道偏移警示模块40将所产生的车道偏移警示讯号输出至影像输入与输出模块32，而由影像输入与输出模块32输出车道偏移警示讯号至警示装置28，此时警示装置28根据此车道偏移警示讯号以发出一偏移警讯。
本发明的目的是提供一种车道偏移警示系统及方法，其优点为在梯度变化不明显或在反光或有障碍物的情况下，利用边缘类型分类地图、车道标记种子区域侦测及车道线侦测等可以侦测出车道线的边缘像素且辨别出真正属于车道标记的边缘像素，进而判断出完整的车道线，并有效找出“兴趣区域”以简化车道线侦测的程序。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (14)

1.一种车道偏移警示系统，其撷取一影像的多个像素做数据处理，该车道偏移警示系统包含：
一边缘类型分类地图撷取模块，计算该影像的每个像素的一水平梯度绝对值、一垂直梯度绝对值及一边缘方向值，将每个像素的该水平梯度绝对值、该垂直梯度绝对值及该边缘方向值与多个门槛值进行比较，以将每个像素分类为多个边缘类型的一种；
一车道标记种子区域侦测模块，将该影像分割成多个子区块，对子区块中同一边缘类型的像素进行线段特征的评估，以决定具有线段特征的所述边缘类型，并获得为一车道标记种子区域的子区块；以及
一车道线侦测模块，以该车道标记种子区域的子区块中的具有线段特征的部分像素为主，决定一亮度门槛值，同时保留子区块中亮度值大于或等于该亮度门槛值的像素以作为多个车道标记像素，将所述车道标记像素在子区块中的坐标位置利用直线方程式求得一局部车道线的一斜率及一偏移量，并再由该局部车道线延展至其他子区块中求得一延展车道线。
2.如权利要求1所述的车道偏移警示系统，其特征在于，所述边缘类型分类如下，
其中，ES(x,y)为影像中像素坐标位置点(x,y)的边缘类型的分类结果，AHG(x,y)以及AVG(x,y)分别为像素坐标位置点(x,y)的该水平梯度绝对值及该垂直梯度绝对值，其值范围为0≤AHG(x,y)≤255以及0≤AVG(x,y)≤255，HdV(x,y)为该边缘方向值，其为该水平梯度绝对值AHG(x,y)与该垂直梯度绝对值AVG(x,y)的比值，其范围为0≤HdV(x,y)≤∞，ThE1、ThE2、ThE3、ThE4分别为四种门槛值，其范围为5≤ThE1≤8、12≤ThE2≤16、0.4≤ThE3≤0.6、1.8≤ThE4≤2.2。
3.如权利要求1所述的车道偏移警示系统，其特征在于，所述车道标记种子区域侦测模块进行线段特征的评估是将子区块中同一边缘类型的像素在同一轴向进行运算以获得多个坐标加总、多个个数及多个坐标平均值，当所有轴向的所述坐标平均值呈现递增或递减的现象时，表示子区块为该车道标记种子区域，其中所述坐标加总是同一轴向的同一边缘类型的像素的坐标进行加总，所述个数是同一轴向的同一边缘类型的像素的数量，所述坐标平均值是所述坐标加总与所述个数的比值。
4.如权利要求1所述的车道偏移警示系统，其特征在于，该车道线侦测模块通过一局部车道线侦测算法来求得该局部车道线的步骤包含：
A.以子区块的每列中的所述车道标记像素来决定有车道标记区间的数目，并且决定所述车道标记像素在子区块中的最左边以及最右边的像素的位置；
B.找到在子区块中含有所述车道标记像素的列数，且决定在子区块中含有所述车道标记像素的一上方列位置及一下方列位置，依据该上方列位置及该下方列位置计算出一列高度；
C.在子区块中所述车道标记像素所形成的一侧边，对该列高度中所有该上方列位置及该下方列位置的尺寸车道标记像素予以配对，并将配对的该上方列位置及该下方列位置的所述车道标记像素利用直线方程式求得该局部车道线的该斜率及该偏移量；
D.在子区块中配对的该上方列位置及该下方列位置的其它列，计算该局部车道线的其它列形成直线的坐标与所述车道标记像素的其它列的坐标的误差的一误差总值；
E.在子区块中所述车道标记像素所形成的另一侧边，若该侧边尚未经过处理，则执行步骤C及D，若该侧边已经处理完成，则执行步骤F；
F.将该列高度的数值减一，重复执行步骤C至F，直到该列高度的数值小于等于三；以及
G.决定最佳的该局部车道线是最小的该误差总值及最大的该列高度。
5.如权利要求1所述的车道偏移警示系统，其特征在于，该车道线侦测模块将该局部车道线的两端延伸至相邻的子区块中以得到该延展车道线。
6.如权利要求5所述的车道偏移警示系统，其特征在于，所述车道偏移警示系统进一步包含：
一车道线偏移警示模块，检视连续多个影像，当连续多个影像的该局部车道线与水平方向的一夹角逐渐变大或变小时，产生一车道偏移警示讯号；以及
一影像输入与输出模块，与该边缘类型分类地图撷取模块、该车道标记种子区域侦测模块、该车道线侦测模块及该车道线偏移警示模块电连接；
其中，该边缘类型分类地图撷取模块从该影像输入与输出模块接收该影像的所述像素，并传送该影像的所述像素的所述边缘类型至该影像输入与输出模块，该车道标记种子区域侦测模块从该影像输入与输出模块接收该影像的所述像素及其所述边缘类型，并输出该影像的包含有为该车道标记种子区域的子区块的所述像素至该影像输入与输出模块，该车道线侦测模块从该影像输入与输出模块接收该车道标记种子区域的子区块中的像素的亮度值，并输出该局部车道线的该斜率及该偏移量至该影像输入与输出模块，该车道线偏移警示模块从该影像输入与输出模块接收该局部车道线的该斜率及该偏移量与延展车道线，并输出该车道偏移警示讯号至该影像输入与输出模块。
7.如权利要求6所述的车道偏移警示系统，其特征在于，所述车道偏移警示系统进一步包含：
一影像感测组件，拍摄车道的该影像，并转换成数字格式的该影像的所述像素，且由该影像输入与输出模块读取该影像是所述像素；
一缓冲存储器，储存该影像感测组件的该影像的所述像素，且由该影像输入与输出模块读取该影像的所述像素；
一数据显示装置，从该影像输入与输出模块读取包含有该局部车道线及该延展车道线的该影像并显示；以及
一警示装置，由该影像输入与输出模块输出该车道偏移警示讯号至该警示装置，该警示装置根据该车道偏移警示讯号以发出一偏移警讯。
8.一种车道偏移警示方法，其撷取一影像的多个像素做数据处理，该车道偏移警示方法包含下列步骤：
计算该影像的每个像素的一水平梯度绝对值、一垂直梯度绝对值及一边缘方向值，将每个像素的该水平梯度绝对值、该垂直梯度绝对值及该边缘方向值与多个门槛值进行比较，以将每个像素分类为多个边缘类型的一种；
将该影像分割成多个子区块，于该影像的特定区域中界定每个子区块的像素会出现的边缘类型，对子区块中同一边缘类型的像素进行线段特征的评估，以决定具有线段特征的所述边缘类型，并获得为一车道标记种子区域的子区块；以及
以该车道标记种子区域的子区块中的具有线段特征的部分像素为主，以决定一亮度门槛值，保留子区块中亮度值大于或等于该亮度门槛值的像素以作为多个车道标记像素，将所述车道标记像素在子区块中的坐标位置利用直线方程式求得一局部车道线的一斜率及一偏移量，并再由该局部车道线延展至其他子区块中求得一延展车道线。
9.如权利要求8所述的车道偏移警示方法，其特征在于，所述边缘类型分类如下，
其中，ES(x,y)为影像中像素坐标位置点(x,y)的边缘类型的分类结果，AHG(x,y)以及AVG(x,y)分别为像素坐标位置点(x,y)的该水平梯度绝对值及该垂直梯度绝对值，其值范围为0≤AHG(x,y)≤255以及0≤AVG(x,y)≤255，HdV(x,y)为该边缘方向值，其为该水平梯度绝对值AHG(x,y)与该垂直梯度绝对值AVG(x,y)的比值，其范围为0≤HdV(x,y)≤∞，ThE1、ThE2、ThE3、ThE4分别为四种门槛值，其范围为5≤ThE1≤8、12≤ThE2≤16、0.4≤ThE3≤0.6、1.8≤ThE4≤2.2。
10.如权利要求8所述的车道偏移警示方法，其特征在于，进行线段特征的评估的步骤是将子区块中同一边缘类型的像素在同一轴向进行运算以获得多个坐标加总、多个个数及多个坐标平均值，当所有轴向的所述坐标平均值呈现递增或递减的现象时，表示子区块为该车道标记种子区域，其中所述坐标加总是同一轴向的同一边缘类型的像素的坐标进行加总，所述个数是同一轴向的同一边缘类型的像素的数量，所述坐标平均值是所述坐标加总与所述个数的比值。
11.如权利要求8所述的车道偏移警示方法，其特征在于，通过一局部车道线侦测算法来求得该局部车道线的步骤包含：
A.以子区块的每列中的所述车道标记像素来决定有车道标记区间的数目，并且决定所述车道标记像素在子区块中的最左边以及最右边的像素的位置；
B.找到在子区块中含有所述车道标记像素的列数，且决定在子区块中含有所述车道标记像素的一上方列位置及一下方列位置，依据该上方列位置及该下方列位置计算出一列高度；
C.在子区块中所述车道标记像素所形成的一侧边，对该列高度中所有该上方列位置及该下方列位置的所述车道标记像素予以配对，并将配对的该上方列位置及该下方列位置的所述车道标记像素利用直线方程式求得该局部车道线的该斜率及该偏移量；
D.在子区块中配对的该上方列位置及该下方列位置的其它列，计算该局部车道线的其它列形成直线的坐标与所述车道标记像素的其它列的坐标的误差的一误差总值；
E.在子区块中所述车道标记像素所形成的另一侧边，若该侧边尚未经过处理，则执行步骤C及D，若该侧边已经处理，则执行步骤F；
F.将该列高度的数值减一，重复执行步骤C至F，直到该列高度的数值小于等于三；以及
G.决定最佳的该局部车道线是最小的该误差总值及最大的该列高度。
12.如权利要求8所述的车道偏移警示方法，其特征在于，将该局部车道线的两端延伸至相邻的子区块中以得到该延展车道线。
13.如权利要求12所述的车道偏移警示方法，其特征在于，所述车道偏移警示方法进一步包含下列步骤：
检测连续多个影像，当连续多个影像的该局部车道线与水平方向的一夹角逐渐变大或变小时，产生一车道偏移警示讯号。
14.如权利要求13所述的车道偏移警示方法，其特征在于，所述车道偏移警示方法进一步包含下列步骤：
拍摄车道的该影像，并转换成数字格式的该影像的所述像素；
储存该影像感测组件的该影像的所述像素；
读取包含有该局部车道线及该延展车道线的该影像并显示；以及
根据该车道偏移警示讯号发出一偏移警讯。
CN201310585843.8A 2013-11-19 2013-11-19 车道偏移警示系统及方法 Expired - Fee Related CN104648397B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201310585843.8A CN104648397B (zh) 2013-11-19 2013-11-19 车道偏移警示系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201310585843.8A CN104648397B (zh) 2013-11-19 2013-11-19 车道偏移警示系统及方法

Publications (2)

Publication Number Publication Date
CN104648397A CN104648397A (zh) 2015-05-27
CN104648397B true CN104648397B (zh) 2017-05-17

Family

ID=53240164

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201310585843.8A Expired - Fee Related CN104648397B (zh) 2013-11-19 2013-11-19 车道偏移警示系统及方法

Country Status (1)

Country Link
CN (1) CN104648397B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107862268A (zh) * 2017-10-30 2018-03-30 深圳市易成自动驾驶技术有限公司 环视车道线识别方法、装置及计算机可读存储介质

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI609807B (zh) * 2016-05-17 2018-01-01 緯創資通股份有限公司 影像評估方法以及其電子裝置
CN106184232B (zh) * 2016-07-27 2018-11-16 北京航空航天大学 一种基于驾驶员视角的车道偏离预警控制方法
CN110163176B (zh) * 2019-05-28 2021-06-18 北京百度网讯科技有限公司 车道线变化位置识别方法、装置、设备和介质
CN110962847B (zh) * 2019-11-26 2021-10-08 清华大学苏州汽车研究院（吴江） 车道居中辅助自适应巡航的轨迹规划方法和系统
CN112107257B (zh) * 2020-09-30 2022-09-20 北京小狗吸尘器集团股份有限公司 智能清扫设备及其避障路径规划方法和装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1836266A (zh) * 2003-09-24 2006-09-20 爱信精机株式会社 路面行驶车道检测装置
CN101567086A (zh) * 2009-06-03 2009-10-28 北京中星微电子有限公司 一种车道线检测方法及其设备
CN101804814A (zh) * 2010-01-08 2010-08-18 北京世纪高通科技有限公司 一种确定车道偏离的方法、装置和系统
CN101916516A (zh) * 2010-08-13 2010-12-15 深圳市豪恩汽车电子装备股份有限公司 一种车道偏移识别方法
CN102175613A (zh) * 2011-01-26 2011-09-07 南京大学 基于图像亮度特征的ptz视频能见度检测方法
CN103117005A (zh) * 2011-11-16 2013-05-22 财团法人工业技术研究院 车道偏移警示方法及系统

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1836266A (zh) * 2003-09-24 2006-09-20 爱信精机株式会社 路面行驶车道检测装置
CN101567086A (zh) * 2009-06-03 2009-10-28 北京中星微电子有限公司 一种车道线检测方法及其设备
CN101804814A (zh) * 2010-01-08 2010-08-18 北京世纪高通科技有限公司 一种确定车道偏离的方法、装置和系统
CN101916516A (zh) * 2010-08-13 2010-12-15 深圳市豪恩汽车电子装备股份有限公司 一种车道偏移识别方法
CN102175613A (zh) * 2011-01-26 2011-09-07 南京大学 基于图像亮度特征的ptz视频能见度检测方法
CN103117005A (zh) * 2011-11-16 2013-05-22 财团法人工业技术研究院 车道偏移警示方法及系统

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107862268A (zh) * 2017-10-30 2018-03-30 深圳市易成自动驾驶技术有限公司 环视车道线识别方法、装置及计算机可读存储介质

Also Published As

Publication number Publication date
CN104648397A (zh) 2015-05-27

Similar Documents

Publication Publication Date Title
CN104648397B (zh) 车道偏移警示系统及方法
Siriborvornratanakul An automatic road distress visual inspection system using an onboard in‐car camera
CN109816024A (zh) 一种基于多尺度特征融合与dcnn的实时车标检测方法
CN108596166A (zh) 一种基于卷积神经网络分类的集装箱箱号识别方法
TWI523778B (zh) Lane offset warning system and method
CN102693423B (zh) 一种在强光条件下车牌精确定位的方法
CN110930390B (zh) 基于半监督深度学习的芯片管脚缺失检测方法
CN105205489B (zh) 基于颜色纹理分析器与机器学习的车牌检测方法
Parodi et al. A feature-based recognition scheme for traffic scenes
CN104243820B (zh) 一种确定图像边界的方法及装置
CN101593277A (zh) 一种复杂彩色图像中文本区域自动定位方法及装置
CN104318225A (zh) 车牌检测方法及装置
CN106951898B (zh) 一种车辆候选区域推荐方法及系统、电子设备
CN103048329A (zh) 一种基于主动轮廓模型的路面裂缝检测方法
Azad et al. A novel and robust method for automatic license plate recognition system based on pattern recognition
CN108764328A (zh) 太赫兹图像危险品识别方法、装置、设备及可读存储介质
Azad et al. New method for optimization of license plate recognition system with use of edge detection and connected component
CN104200197A (zh) 三维人体行为识别方法及装置
CN107273832A (zh) 基于积分通道特征与卷积神经网络的车牌识别方法及系统
CN104182985A (zh) 遥感图像变化检测方法
CN103996185A (zh) 一种基于注意力td-bu机制的图像分割方法
CN105184291A (zh) 一种多类型车牌检测方法及系统
CN103295227A (zh) 一种基于梯度方向分割的圆检测方法
Aldoski et al. Impact of traffic sign diversity on autonomous vehicles: a literature review
CN105957237A (zh) 一种纸币的版本识别方法和装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20170707

Address after: British Virgin Islands

Patentee after: Aiweixiu Co.,Ltd.

Address before: Taiwan, China Taipei Lutheran District, Keelung Road, paragraph 155, No. 12, building 6, room 1

Patentee before: DESERT TECHNOLOGY CO.,LTD.

TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20201229

Address after: 9 / F, 97 Jingye 1st Road, Zhongshan District, Taipei, Taiwan, China

Patentee after: Aiweixiu Co.,Ltd.

Address before: Tortola, British Virgin Islands

Patentee before: Aiweixiu Co.,Ltd.

CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20170517

Termination date: 20211119