CN105320934A - 车道边界线识别设备 - Google Patents
车道边界线识别设备 Download PDFInfo
- Publication number
- CN105320934A CN105320934A CN201510406021.8A CN201510406021A CN105320934A CN 105320934 A CN105320934 A CN 105320934A CN 201510406021 A CN201510406021 A CN 201510406021A CN 105320934 A CN105320934 A CN 105320934A
- Authority
- CN
- China
- Prior art keywords
- lane line
- road
- line candidate
- white line
- car
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
- G06T2207/30256—Lane; Road marking
Abstract
提供了一种车道边界线识别设备、一种计算机可读存储介质及一种车载相机。该车载相机获得道路上的本车周围的场景的图像帧。车道边界线识别设备中的提取部从图像帧中提取白线候选者。白线候选者指示道路上的本车车道上的白线和从道路形成分支的分支道路的白线的概率度。分支判断部对白线作为分支道路的白线的似然进行计算,并且基于所计算的似然来判断白线候选者是否为分支道路的白线。当在预定数目的图像帧中车道边界线候选者的能够识别的距离单调减小时,分支判断部减小所计算的似然。
Description
技术领域
本发明涉及车道边界线识别设备以及计算机可读存储介质,该计算机可读存储介质用于存储能够对本车行驶的道路上的车道边界线进行识别并且对本车的驾驶员进行辅助以便安全地执行驾驶的程序。
背景技术
已经提出了下述驾驶员辅助技术:该驾驶员辅助技术能够基于由安装在本车上的一个或更多个车载相机获得的图像,来对本车行驶的道路上的车道边界线进行识别,并且基于所识别的车道边界线来执行本车的驾驶员辅助。例如,当本车偏离本车行驶的道路上的本车车道时,驾驶员辅助技术经常向本车的驾驶员提供关于异常发生的警告。为了提供前述的驾驶员辅助技术,有必要对道路上的本车车道的车道边界线、在本车前方的分支道路和交叉路口的存在进行正确地检测和识别。分支道路从本车行驶的道路形成分支。一般地,通过使用车道边界线即实白线、点白线等将路面分成一个或更多个车道,例如车辆车道、自行车车道、停车车道和人行道。为了提供驾驶员辅助,已经提出了能够正确地检测和识别从本车前方的道路形成分支的分支道路的存在的设备。
例如,专利文献日本专利公开特许公报No.2006-331389公开了一种车道边界线识别设备:该车道边界线识别设备能够对先前所检测的车道边界线的周围区域进行搜索,并且对与该周围区域有关的当前所获得的图像中的道路上的车道边界线进行检测。当在本车两侧(右侧和左侧)处的检测出的车道边界线之间的车道宽度超过预定范围时,车道边界线识别设备确定:具有低平行度的车道边界线候选者是从本车前方的道路形成分支的分支道路的车道边界线。顺便说一下,通过将本车的所估算的行驶路线与检测出的车道边界线中的每个车道边界线进行比较来获得该平行度。
然而,对于前述专利文献1中所公开的设备,有必要对本车的所估算的行驶路线与每个车道边界线之间的这样的平行度进行计算,并且基于所计算的平行度对分支道路的存在进行检测。换言之,在专利文献1中公开的设备仅在道路的车道边界线之间的道路宽度缓慢增大以与分支道路交汇时正确地判断分支道路的存在。
另一方面,当在北美和日本的交叉路口处以及在日本的城市地区中的分支道路的交叉点处,道路的道路宽度突然扩展时,专利文献1中公开的设备难以正确地识别分支道路的存在。这将导致因为设备经常错过属于分支道路的车道边界线而难以正确地检测分支道路的存在的可能问题。
发明内容
因此,期望提供一种车道边界线识别设备和一种计算机可读存储介质,该计算机可读存储介质用于存储使计算机系统执行该车道边界线识别设备的功能的程序。车道边界线识别设备和存储在计算机可读存储介质中的程序能够正确地检测车道边界线并且以高精确度来识别分支道路的存在,即使这样的分支道路突然以大角度从本车行驶的道路(或者道路上的本车车道)形成分支。
示例性实施方式提供了一种车道边界线识别设备。该车道边界线识别设备具有检测部和分支判断部。车载相机被安装在本车上并且捕获本车行驶的道路上的本车周围的图像帧。检测部对本车的周围区域的图像帧中的车道边界线候选者进行检测。所检测出的车道边界线候选者是本车行驶的道路上的车道边界线的候选者。分支判断部对车道边界线候选中的每一个的似然进行计算,该似然指示由检测部所检测出的车道边界线候选者是否为分支道路的车道边界线的程度。该分支道路从本车前方的道路形成分支。分支判断部基于所计算出的似然来判断由检测部所检测出的车道边界线候选者是否为分支道路的车道边界线。特别地,当在预定数目的图像帧中车道边界线候选者的能够识别的距离单调减小时,分支判断部增大该车道边界线候选者的似然。该能够识别的距离指示到车道边界线候选者的最远能够识别端点的距离。
车道边界线识别设备对本车行驶的道路上的车道边界线候选者进行检测。该车道边界线识别设备基于由车载相机捕获的本车的周围区域的图像帧来检测分支道路。该车道边界线识别设备对车道边界线候选者中的每一个的似然进行计算。该似然指示车道边界线为分支道路的车道边界线的程度。该车道边界线识别设备基于所计算出的似然来判断车道边界线候选者是否为分支道路的车道边界线。特别地,当在预定数目的图像帧中能够识别的距离单调减小时,车道边界线识别设备增大该车道边界线候选者的似然。该能够识别的距离被定义为从本车到车道边界线候选者的最远能够识别的端点的距离。
例如,当分支道路从本车前方的本车行驶的道路形成分支时,只要分支道路以锐角或大角度从该道路形成分支,则属于该分支道路的车道边界线候选者的能够识别的距离随着本车更接近该分支道路而减小。因此,当使用贯穿预定数目的图像帧的车道边界线的能够识别的距离的变化时,与传统设备相比,车道边界线识别设备可以在较早时刻以高精确度来快速地判断车道边界线是否属于本车前面的分支道路。也就是说,即使车道边界线候选者的道路宽度在分支点处突然增大,即分支道路以大角度从道路形成分支,因为当车道边界线候选者的能够识别的距离单调减小时增大分支道路的车道边界线的似然,所以车道边界线识别设备仍能够正确且迅速地以高精确度来判断本车前方的分支道路的存在。
根据本发明的另一方面,提供了一种具有另一特定结构的车道边界线识别设备。也就是说,该车道边界线识别设备具有检测部和分支判断部。检测部基于道路的周围图像的图像帧来对指示本车行驶的道路上的车道边界线的候选者的车道边界线候选者进行检测。图像帧是由安装在本车上的车载相机捕获的本车的周围区域的图像。分支判断部对指示由检测部所检测的车道边界线候选者是否属于分支道路的程度的似然进行计算。道路与本车前方的分支道路交汇。分支判断部基于所计算的似然来判断由检测部所检测的车道边界线候选者中的每个车道边界线候选者是否属于该分支道路。特别地,当在预定数目的图像帧中车道边界线候选者的曲率单调变化时,分支判断部增大该车道边界线候选者的似然。
车道边界线识别设备使用在贯穿预定数目的图像帧而变化的车道边界线候选者的曲率,而不是使用车道边界线候选者的能够识别的距离的变化。当在本车前方存在分支道路时,即在分支道路从本车前方车道形成分支,只要该分支道路以锐角或大角度从该道路形成分支,则在预定数目的图像帧中车道边界线候选者的曲率单调变化。因此,基于在预定数目的图像帧中车道边界线候选者的曲率单调变化的变化,车道边界线识别设备可以在较早时刻对本车前方的道路上的分支道路的存在进行正确地识别。
即使车道边界线候选者的道路宽度在分支点处突然增大,即分支道路以大角度从道路形成分支,当在预定数目的图像帧中车道边界线候选者的曲率单调变化时,车道边界线识别设备可以通过增大分支道路的车道边界线候选者的似然来以高精确度正确地判断分支道路的存在。
附图说明
将参照附图通过示例来对本发明的优选的非限制性实施方式进行描述,在附图中:
图1是示出根据本发明的示例性实施方式的车道边界线识别设备的结构的框图;
图2是示出安装在本车上的能够捕获本车的周围区域的图像的车载相机的侧视图;
图3是示出当根据示例性实施方式的车道边界线识别设备在交叉路口处识别分支道路时的示例的视图;
图4是示出当根据示例性实施方式的车道边界线识别设备识别另一分支道路时的另一示例的视图;
图5是示出根据示例性实施方式的将白线识别为本车行驶的道路上的车道边界线的处理的流程图;
图6是示出道路上的本车车道以及在本车的前方从该道路上的本车车道形成分支的分支道路的示意图;
图7A是示出如图6中所示的本车行驶的道路上的本车车道的右侧处的白线候选者的能够识别的距离L相对于在本车的前方从本车车道形成分支的分支道路的时间变化的视图;
图7B是示出如图6中所示的本车行驶的道路上的本车车道的右侧处的白线候选者的曲率ρ相对于在本车的前方从本车车道形成分支的分支道路的时间变化的视图;
图8是示出当车道边界线识别设备判断出不存在分支道路时,由根据本发明的示例性实施方式的车道边界线识别设备所识别的白色车道边界线的视图;以及
图9是示出当车道边界线识别设备判断出存在分支道路时,由根据本发明的示例性实施方式的车道边界线识别设备所识别的白色车道边界线的视图。
具体实施方式
在下文中,将参照附图来描述本发明的各种实施方式。在各种实施方式的以下描述中,贯穿若干图,相似的附图标记或标号表示相似或等同的部件。
示例性实施方式
将参照图1至图9给出根据示例性实施方式的车道边界线识别设备20的描述。
图1是示出根据示例性实施方式的车道边界线识别设备20的结构的框图。根据示例性实施方式的车道边界线识别设备20对本车70行驶的道路上的车道边界线进行识别。所识别的车道边界线用于驾驶辅助,例如车道保持辅助控制(LKA控制)和车道偏离警告。
现在将参照图1来给出根据示例性实施方式的车道边界线识别设备20的结构的描述。本车70装备有根据示例性实施方式的车道边界线识别设备20和车载相机10。车道边界线识别设备20接收由安装在本车70上的车载相机10所捕获并且从该车载相机10发送的图像。车道边界线识别设备20识别车道上的白线(作为道路标志的车道边界线)。
车载相机10包括CCD(电荷耦合器件)相机、CMOS(互补金属氧化物半导体)传感器、近红外线相机等中的至少一者。
图2是示出安装在本车70上的车载相机10的侧视图。车载相机10捕获本车70的周围区域的图像。更详细地,例如车载相机10被布置在本车70的风窗的上侧处附近。车载相机10捕获在本车70前方的具有预定角度范围的场景的图像帧。例如,车载相机10每秒捕获许多个图像帧。可以接受的是,使用立体相机或多个相机以便形成车载相机10。
根据示例性实施方式的车道边界线识别设备20是装备有以下部件的计算机系统:中央处理单元(CPU);存储器存储部例如随机存取存储器(RAM)、只读存储器(ROM)等;以及输入/输出(I/O)接口等。例如,作为计算机可读存储介质的ROM存储用于使计算机系统中的中央处理单元执行车道边界线识别设备20的功能一个或更多个程序。也就是说,计算机系统中的CPU读取并且执行存储在ROM中的程序,并且执行对应于车道边界识别设备的功能的程序,例如白线检测部30(或检测部30)、分支判断部40以及白线识别部50(或识别部50)。不同于使用ROM,另一类型的计算机可读存储介质也可以存储该程序。在这种情况下,计算机系统读取并且执行存储在存储器存储介质中的程序,并且执行该程序以执行车道边界线识别设备20的功能。
也就是说,可以通过使用存储在计算机可读存储介质中的程序来实现根据示例性实施方式的车道边界线识别设备20的功能。
白线检测部30具有设置部31。白线检测部30从由车载相机10所捕获的本车70周围的图像帧中的每个图像帧中提取边缘点。白线检测部30还提取多对白线候选者(作为车道边界线候选者)。当检测出白线候选者即检测出白线候选者的边缘点时,设置部31生成本车70附近的所识别的白线周围的图像帧中的白线候选者的提取区域。因为生成了具有最小必要区域的提取区域,所以这降低了作为车道边界线识别设备20的微型计算机的处理负荷。
白线检测部30从多对白线候选者中选择具有最高优先级的一对白线候选者。所选择的具有最高优先权的这对白线候选指示具有多个关于白线(作为车道边界线,例如实白线、虚白线等)的特征的白线候选者。例如,白线的特征将具有大于预定阈值的边缘强度以及近似等于预定宽度的白线的宽度。
分支判断部40具有分支特征计算部41和分支特征整合部42。分支判断部40判断由白线检测部30所检测出的白线候选者是否为分支道路的白线。分支特征计算部41对由白线检测部30所检测的分支道路的白线的似然进行计算。
分支特征中的每一个越高,则分支特征计算部41增大作为分支道路的白线的白线候选者的似然。例如,在下述情况下确定分支道路的存在:
当本车行驶的道路上的本车车道上的右侧和左侧处的白线候选者具有低平行度时;
当在预定数目的图像帧中白线候选者的能够识别的距离L单调减小时;或者
当道路的曲率ρ单调变化时等。该能够识别的距离L为从本车到白线候选者的直线中的最远能够识别的端点的距离。
图3是示出当根据示例性实施方式的车道边界线识别设备20在交叉路口处识别分支道路时的示例的视图。图4是示出当根据示例性实施方式的车道边界线识别设备20识别另一分支道路的另一示例的视图。
图3示出了其中本车行驶的道路(或道路的本车车道)的宽度在分支道路从道路上的本车车道形成分支的交叉路口处突然增大的情况。图4示出了其中道路上的本车车道的宽度在分支道路从本车车道形成分支的点处突然增大的情况。在图3和图4中,本车车道的宽度指示道路上的本车车道的右侧处与左侧处的白线之间的距离。
当分支道路在本车70的前方在分支点处从本车车道形成分支,并且本车70接近本车车道上的分支点时,只要分支道路在分支点处以锐角或大角度从道路形成分支,则白线候选者的能够识别的距离L变短,即单调减小。
设置部31基于能够识别的距离L的变化和曲率ρ的变化中的至少一者来确定图像帧中的白线候选者的提取区域。更详细地,因为分支道路在本车70的前方从本车车道形成分支的可能性高,所以当紧接当前时刻之前所获得的能够识别的距离L单调减小或者白线候选者的曲率ρ单调变化时,设置部31在横向方向上扩展提取区域以便提取分支道路的白线。
这使得即使分支道路以大角度从本车车道突然形成分支,也可以在通过使用具有最小必要区域的提取区域来减小处理负荷的同时避免从提取区域中去除属于分支道路的白线候选者。
分支特征整合部42对由分支特征计算部41所计算的对应于分支道路的特征的似然进行整合。分支特征整合部42计算分支道路的整合分支似然X。所计算的分支道路的整合似然指示分支道路的白线的置信度,即,白线候选者是否为分支道路的白线的置信度。更详细地,当对分支似然为A和B进行整合时,分支特征整合部42通过使用式X=A·B/[A·B+(1-A)·(1-B)]来计算整合分支似然X(即,整合分支概率)。分支似然A、分支似然B和整合分支似然X中的每一个在0至1的范围内。
为了将分支似然C与整合分支似然X进一步整合,将通过使用分支似然A和分支似然B的前述式获得的整合分支似然的X作为变量插入到分支似然A中,并且通过使用前述式来计算分支似然A、B和C的新的整合分支似然X。也就是说,当不少于三个似然被整合时可以依次计算最终的整合分支似然X。基于由分支特征整合部42所计算出的整合分支似然X,分支判断部40判断白线候选者是否为分支道路的白线。
白线识别部50从白线候选者中去除已经由分支判断部40判断为分支道路的白线的白线候选者。这使得如图8和图9中所示,可以正确地识别本车70行驶的道路上的本车车道的白线,而不识别分支道路的白线,因为已经移除分支道路的白线。
图8是示出当车道边界线识别设备20判断不存在分支道路时,由根据示例性实施方式的车道边界线识别设备20识别为白色车道边界线的白线的视图。图9是示出当车道边界线识别设备20判断分支道路从本车车道形成分支并且从白线候选者中去除分支道路的白线时,由根据示例性实施方式的车道边界线识别设备20所识别的车道边界线的视图。
接下来,现在将参照图5给出对由根据示例性实施方式的车道边界线识别设备20将白线识别为车道边界线的处理的描述。
图5是示出将白线识别为本车70行驶的道路上的本车车道上的车道边界线的处理的流程图。车道边界线识别设备20每个图像帧地重复执行图5中所示的处理。
在步骤S10中,车载相机10捕获本车70的周围区域的图像,该图像包括本车70周围的图像和本车70前方的图像。车道边界线识别设备20接收从车载相机10发送的图像,并且将所接收的图像转换成从道路的顶部所观察到的平面图像。操作流程进行至步骤S11。
在步骤S11中,通过使用滤波器例如Sobel滤波器,车道边界线识别设备20提取在图像的水平方向上具有大的亮度变化率的边缘点。操作流程进行至步骤S12。
在步骤S12中,车道边界线识别设备20执行所提取的边缘点的Hough变换,以获得本车70的道路(或本车车道)的右侧和左侧处的多对白线候选者。车道边界线识别设备20提取具有最高优先级的白线的一对白线候选者。操作流程进行至步骤S13。
在步骤S13中,车道边界线识别设备20基于道路上的本车车道上的右侧和左侧处的所选择的一对白线候选者,来对分支道路的白线的似然进行计算,并且基于所计算的白线候选者的似然来执行分支道路判断。也就是说,车道边界线识别设备20对作为用于检测分支道路的白线的似然中的一个似然的平行度似然进行计算。
更详细地,车道边界线识别设备20对在右侧和左侧处的一对白线候选者中的每个白线候选者的偏摆角θ进行计算。所计算的偏摆角θ之间的差异指示在右侧和左侧处的白线候选者的平行度。该差异越小,则该对白线候选者的平行度增大的越多。也就是说,当所计算的偏摆角θ的差异变为零时,白线候选者具有最大的平行度。当成对的白线候选者中的一个白线候选者是分支道路的白线时,这些成对的白线候选者具有低的平行度。换言之,在道路上的右侧和左侧处的成对的白线候选者的平行度越低,即偏摆角θ之间的差异增大的越多,则车道边界线识别设备20增大并行度似然。操作流程进行至步骤S14。
在步骤S14中,车道边界线识别设备20对作为分支道路的白线的似然中的一个似然的白线候选者的曲率偏差率似然进行计算。更详细地,车道边界线识别设备20对在右侧和左侧处的成对的白线候选者中的每个白线候选者的曲率ρ进行计算。当白线候选者在左侧处弯曲时,该白线候选者的曲率ρ具有正值。另一方面,当白线候选者在右侧处弯曲时,该白线候选者的曲率ρ具有负值。车道边界线识别设备20对在当前图像帧中白线候选者的曲率ρ相对于前一图像帧中的白线候选者的曲率ρ的变化率进行计算,也就是说,对对应于曲率偏差率似然的白线候选者的曲率ρ的变化率进行计算。
车道边界线识别设备20还考虑在紧接当前图像帧之前的预定数目的图像帧中的白线候选者的曲率ρ的偏差率。
当分支道路在本车70行驶的道路的交叉路口处从本车车道形成分支时,在该分支道路从道路形成分支的交叉路口处,白线候选者的曲率ρ的半径变为无穷大值。另外,在通过该交叉路口之后白线候选者的曲率的半径变小。因此,基于分支道路的白线候选者所计算的白线候选者的曲率ρ的绝对值在越接近分支道路的图像帧中越变得增大。另一方面,基于道路(作为本车70行驶的本车车道)的白线候选者所计算的白线候选者的曲率ρ的绝对值在紧接当前图像帧之前的图像帧中不单调改变。
因此,当在预定数目的图像帧中白线候选者的曲率ρ的绝对值单调增大时,根据示例性实施方式的车道边界线识别设备20增大白线候选者的曲率偏差率似然以便增大整合分支似然X。更详细地,当在预定数目的图像帧中白线候选者的曲率ρ的绝对值单调增大时,车道边界线识别设备20对白线候选者的曲率偏差率似然进行计算,使得整合分支似然X变得不小于判断阈值。操作流程进行至步骤S15。
在步骤S15中,车道边界线识别设备20对作为用于确定分支道路的白线的似然中的一个似然的能够识别的距离似然进行计算。更详细地,车道边界线识别设备20对白线候选者的直部分的长度即能够识别的长度L进行计算。该能够识别的长度L为到白线候选者的直线上的最远端的距离。
图6是示出道路上的本车车道以及在本车70的前方从该道路上的本车车道形成分支的分支道路的示意图。如图6中所示,在远离本车车道上的右侧处的由实线所指定的白线候选者的直线上的最远端的区域处未提取到边缘点。
车道边界线识别设备20对紧接当前图像帧之前的预定数目的图像帧中的能够识别的距离L的变化进行检测。当分支道路在本车的前方从本车70行驶的道路上的本车车道形成分支时,随着本车越接近分支道路,则多个图像帧中的通过使用分支道路的白线候选者所计算的能够识别的距离L变得越短。另一方面,在紧接当前图像帧之前的预定数目的图像帧中,当白线是实白线时,根据道路上的本车车道的白线候选者所计算的能够识别的距离L近似不变化,并且当白线是虚白线时,根据道路上的本车车道的白线候选者所计算的能够识别的距离L增大和减小。
当在预定数目的图像帧中白线候选者的能够识别的距离L单调减小时,车道边界线识别设备20计算能够识别的距离的似然,以便增大随后将计算的整合分支似然X。更详细地,当在预定数目的图像帧中能够识别的距离L单调减小时,车道边界线识别设备20计算能够识别的距离的似然,使得整合分支似然X不小于判断阈值。可以接受的是,车道边界线识别设备20使用预定数目的先前获得的图像帧中的一部分和当前获得的图像帧。操作流程进行至步骤S16。
在步骤S16中,车道边界线识别设备20计算整合分支似然,即,对在步骤S13中所计算的平行度似然、在步骤S14中所计算的白线候选者的曲率偏差率似然以及在步骤S15中所计算的能够识别的距离的似然进行整合,以计算整合分支似然X。操作流程进行至步骤S17。
在步骤S17中,车道边界线识别设备20还对在步骤S16中所计算的整合分支似然X是否不小于0.5(50%)进行检测。
当步骤S17中的检测结果指示否定(步骤S17中的“否”)时,即在步骤S16中所计算的整合分支似然X小于0.5(50%),车道边界线识别设备20判断出白线候选者不是分支道路的白线。
另一方面,当步骤S17中的检测结果指示肯定(步骤S17中的“是”)时,即在步骤S16中所计算的整合分支似然X不小于0.5(50%),车道边界线识别设备20判断出白线候选者是分支道路的白线。可以接受的是,车道边界线识别设备20使用另一值而不是使用不小于0.5(50%)的值。操作流程进行至步骤S18。
在步骤S18中,当步骤S17中的判断结果指示否定(步骤S17中的“否”)时,即指示该白线候选者不是分支道路的白线,车道边界线识别设备20不从全体白线候选者中去除该白线候选者,并且执行通常的白线识别处理。也就是说,车道边界线识别设备20判断出在右侧和左侧处的所选择的白线候选者是本车70行驶的道路上的本车车道的白线。操作流程进行至步骤S19。
另一方面,当车道边界线识别设备20判断出白线候选者是分支道路的白线时,在步骤S19中,车道边界线识别设备20从全体白线候选者中去除该白线候选者。也就是说,当成对的白线候选者中的一个白线候选者是分支道路的白线时,车道边界线识别设备20将对应于分支道路的白线的白线候选者从全体白线候选者中去除。操作流程进行至步骤S20。
在步骤S20中,车道边界线识别设备20将白线的识别结果即所计算的道路参数输出到车辆ECU。
当对在本车70行驶的道路的本车车道上的右侧和左侧处的成对的白线候选者进行识别时,车道边界线识别设备20向车辆ECU输出基于本车车道的右侧和左侧处的成对的白线候选者所计算的道路参数。
另一方面,当将白线候选者中的一个白线候选者识别为本车车道上的白线时,车道边界线识别设备20向车辆ECU输出基于白线候选者中的一个白线候选者所计算的道路参数。车道边界线识别设备20完成图5中所示的处理。
如前所述,图6示出了其中在驾驶道路的本车车道上的本车70的前方存在分支道路的情况。
图7A是示出如图6中所示的本车70行驶的道路上的本车车道的右侧处的白线候选者的能够识别的距离L相对于在本车70的前方从本车车道形成分支的分支道路的时间变化的视图。图7B是示出如图6中所示的本车70行驶的道路上的本车车道的右侧处的白线候选者的曲率ρ相对于在本车70的前方从本车车道形成分支的分支道路的时间变化的视图。
在图7A和图7B中,水平轴指示时间,并且根据时间流逝,白线候选者的能够识别的距离L从零移动到右侧的N,并且然后从N移动到左侧的零。另外,在图7A和图7B中,在右侧处的最接近P的点指示基于最旧的图像帧所计算的值,并且在左侧处的最接近P的点指示基于紧接当前时刻之前的图像帧所计算的值。本车70当前位于靠近分支道路处。
如图7A中所示,在从恰好在当前时间之前到当前时间计数的时间段期间,白线候选者的能够识别的距离L单调减小。此时,因为能够识别的距离的似然具有最高值并且整合分支似然变得不低于0.5,所以车道边界线识别设备20判断出在右侧处的白线候选者是分支道路的白线。
在白线候选者的能够识别的距离L单调减小之后,即使当右侧处的白线候选者在提取区域之外时车道边界线识别设备20错过右侧处的白线候选者,车道边界线识别设备20也可以基于白线候选者的能够识别的距离L已经单调减小的事实来将右侧处的白线候选者正确地识别为分支道路的白线。
另外,如图7B中清楚地示出的,在从先前时间到当前时间计数的时间段期间,白线候选者的曲率ρ的绝对值单调增大。此时,由于白线候选者的曲率偏差率似然具有增大的值,并且整合分支似然变得不低于0.5,所以车道边界线识别设备20判断出右侧处的白线候选者是分支道路的白线。
图8示出了其中车道边界线识别设备20未判断出分支道路的存在的情况。另一方面,图9示出了其中车道边界线识别设备20判断出分支道路的存在的情况。
在图8中所示的其中车道边界线识别设备20未判断出分支道路的存在但是实际上分支道路从道路上的本车车道形成分支的情况下,车道边界线识别设备20能够识别出分支道路的白线和道路上的本车车道的白线二者。在这种情况下,基于分支道路的白线和道路上的本车车道的白线二者,车辆ECU执行本车70的驾驶辅助。在这种情况下,本车70行驶在不稳定的驾驶辅助下。
另一方面,当图9中所示车道边界线识别设备20正确地判断分支道路的存在时,即使本车70行驶的道路上存在分支道路,车道边界线识别设备20仅正确地识别道路的本车车道上的白线,车辆ECU仅基于道路的本车车道上的所识别的白线来执行驾驶辅助。这使得车辆ECU可以提供安全的驾驶辅助并且本车70可以稳定地行驶在道路的本车车道上。
现在将给出根据示例性实施方式的车道边界线识别设备20的效果的描述。
当分支道路在本车70的前方从道路上的本车车道形成分支时,与分支道路的白线相对应的白线候选者的能够识别的距离L变化,即,只要分支道路以锐角或大角度从道路的本车车道形成分支,则白线候选者的能够识别的距离L随着本车70越接近分支道路而减小。基于在预定数目的图像帧中的白线候选者的能够识别的距离L的变化,车道边界线识别设备20可以在早期正确地判断在本车70的前方的分支道路的存在。因此,即使道路上的白线候选者之间的道路宽度突然增大,即,分支道路以大角度从道路上的本车车道形成分支,车道边界线识别设备20也可以通过增大具有逐渐减小的能够识别的距离L的白线候选者的整合分支似然来以高精确度正确地判断分支道路的存在。
当分支道路在本车70的前方从道路上的本车车道形成分支时,只要该分支道路以小(锐)角度或大角度从道路的本车车道形成分支,则指示分支道路的白线的白线候选者的曲率ρ的绝对值随着本车70越接近分支道路而单调增大。
因此,即使道路上的白线候选者的之间的道路宽度突然增大,即,该分支道路以大角度从道路上的本车车道形成分支,车道边界线识别设备20也可以通过增大具有曲率ρ的白线候选者的整合分支似然来以高精确度正确地判断分支道路的存在,其中曲率ρ的绝对值在预定数目的图像帧中单调增大。
通过将作为分支道路的白线的白线候选者从全体白线候选者中去除,车道边界线识别设备20可以对本车70行驶的道路上的本车车道的白线进行正确地识别。此外,车辆ECU还可以基于道路上的本车车道的所识别的白线来执行驾驶辅助。
当检测白线候选者时,基于已经获得的能够识别的距离L的变化,车道边界线识别设备20确定白线候选者的提取区域。这使得即使分支道路以大角度在本车70的前方从道路上的本车车道形成分支,也可以在减小车道边界线识别设备20的处理负荷的同时抑制分支道路的白线候选者偏离该提取区域。
当检测白线候选者时,基于已经获得的白线候选者的曲率ρ的变化,车道边界线识别设备20确定白线候选者的提取区域。这使得即使分支道路以大角度在本车70的前方从道路上的本车车道形成分支,也可以在减小车道边界线识别设备20的处理负荷的同时抑制分支道路的白线候选者偏离该提取区域。
(其它修改)
车道边界线识别设备20可以仅计算作为关于分支道路的白线的似然中的一个似然的能够识别的距离的似然,并且通过将能够识别的距离的似然与判断阈值进行比较来判断白线候选者是否为分支道路的白线。
车道边界线识别设备20还可以仅计算作为关于分支道路的白线的似然中的一个似然的曲率偏差率似然,并且基于通过将曲率偏差率似然与判断阈值进行比较所获得的比较结果来判断分支道路的白线。
车道边界线识别设备20还可以通过将曲率偏差率似然和能够识别的距离的似然整合而不计算平行度似然来计算整合分支似然。
更进一步地,车道边界线识别设备20可以计算代替平行度似然、曲率偏差率似然和能够识别的距离的似然的分支道路的另一似然,并且基于所计算的另一似然来计算整合分支似然。
车道边界线识别设备20可以使用每个图像帧中的恒定区域,从该恒定区域提取白线候选者。车道边界线识别设备20还可以基于其他参数而不是使用白线候选者的能够识别的距离L的时间变化和白线候选者的曲率ρ的时间变化来确定提取区域。
尽管已经详细描述了本发明的具体实施方式,但是本领域技术人员将理解的是,可以根据公开内容的全部教示来开发对这些细节的各种修改和替换。因此,所公开的特定布置意在仅是说明性的而非限制本发明的范围,本发明的范围由所附权利要求及其所有等同方案限定。
Claims (7)
1.一种车道边界线识别设备(20),包括:
检测部(30),所述检测部(30)能够基于由安装在本车(70)上的车载相机(10)所捕获的、本车(70)行驶的道路上的本车(70)的周围区域的图像帧,来对所述道路上的车道边界线候选者进行检测;以及
分支判断部(40),所述分支判断部(40)能够对指示由所述检测部(30)所检测的车道边界线候选者中的每个车道边界线候选者是否为分支道路的车道边界线的程度的似然进行计算,所述分支道路从所述道路形成分支,并且所述分支判断部(40)基于所计算的似然来判断由所述检测部(30)所检测的车道边界线候选者是否为所述分支道路的车道边界线,当在预定数目的图像帧中所述车道边界线候选者的能够识别的距离(L)单调减小时,所述分支判断部(40)增大所述车道边界线候选者的似然,其中,所述能够识别的距离(L)指示到所述车道边界线候选者的最远能够识别的端点的距离。
2.根据权利要求1所述的车道边界线识别设备(20),其中,当在所述预定数目的图像帧中所述车道边界线候选者的曲率(ρ)单调变化时,所述分支判断部(40)增大所述车道边界线候选者的似然。
3.一种车道边界线识别设备(20),包括:
检测部(30),所述检测部(30)能够基于由安装在本车(70)上的车载相机(10)所捕获的、本车(70)周围的本车(70)行驶的道路的图像帧,来对所述道路上的车道边界线候选者进行检测;以及
分支判断部(40),所述分支判断部(40)能够对指示由所述检测部(30)所检测的车道边界线候选者是否为从所述道路形成分支的分支道路的车道边界线的程度的似然进行计算,并且基于所计算的似然来判断由所述检测部(30)所检测的车道边界线候选者是否为所述分支道路的车道边界线,并且当在预定数目的图像帧中所述车道边界线候选者的曲率(ρ)单调变化时,所述分支判断部(40)增大所述车道边界线候选者的似然。
4.根据权利要求1、2和3中的任一项所述的车道边界线识别设备(20),还包括识别部(50),所述识别部(50)能够对由所述检测部(30)所检测的、属于所述车道边界线的车道边界线候选者进行识别,并且从所述车道边界线候选者中去除由所述分支判断部(30)所确定的作为分支道路的车道边界线的车道边界线候选者。
5.根据权利要求1或2所述的车道边界线识别设备(20),所述检测部(30)包括设置部(31),所述设置部(31)能够在所述检测部(30)检测出所述车道边界线候选者时,基于所述车道边界线候选者的能够识别的距离(L)的变化来确定所述图像帧中的用于从中提取所述车道边界线候选者的提取区域。
6.根据权利要求2或3所述的车道边界线识别设备(20),所述检测部(30)包括设置部(31),所述设置部(31)能够在所述检测部(30)检测出所述车道边界线候选者时,基于所述车道边界线候选者的曲率(ρ)的变化来确定所述图像帧中的用于从中提取所述车道边界线候选者的提取区域。
7.一种计算机可读存储介质,所述计算机可读存储介质用于存储下述程序:所述程序使计算机系统中的中央处理单元执行根据权利要求1至3中的任一项所述的车道边界线识别设备(20)的功能。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014142961A JP6096723B2 (ja) | 2014-07-11 | 2014-07-11 | 走行区画線認識装置及び走行区画線認識プログラム |
JP2014-142961 | 2014-07-11 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN105320934A true CN105320934A (zh) | 2016-02-10 |
Family
ID=54867142
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201510406021.8A Withdrawn CN105320934A (zh) | 2014-07-11 | 2015-07-10 | 车道边界线识别设备 |
Country Status (4)
Country | Link |
---|---|
US (1) | US9646214B2 (zh) |
JP (1) | JP6096723B2 (zh) |
CN (1) | CN105320934A (zh) |
DE (1) | DE102015212786A1 (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107356933A (zh) * | 2017-06-23 | 2017-11-17 | 南京理工大学 | 一种基于四线激光雷达的非结构化道路检测方法 |
WO2018232681A1 (en) * | 2017-06-22 | 2018-12-27 | Baidu.Com Times Technology (Beijing) Co., Ltd. | TRAFFIC PREDICTION BASED ON CARD IMAGES FOR AUTONOMOUS DRIVING |
CN109345593A (zh) * | 2018-09-04 | 2019-02-15 | 海信集团有限公司 | 一种摄像机姿态的检测方法及装置 |
Families Citing this family (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6130809B2 (ja) * | 2014-04-25 | 2017-05-17 | 本田技研工業株式会社 | 車線認識装置 |
DE112015006622T5 (de) * | 2015-06-15 | 2018-03-29 | Mitsubishi Electric Corporation | Fahrspurbestimmungsvorrichtung und Fahrspurbestimmungsverfahren |
JP6540482B2 (ja) * | 2015-12-04 | 2019-07-10 | 株式会社デンソー | 情報処理システム、情報処理装置及び出力制御方法 |
JP2018005618A (ja) * | 2016-07-04 | 2018-01-11 | 株式会社Soken | 道路認識装置 |
JP6544341B2 (ja) * | 2016-11-25 | 2019-07-17 | トヨタ自動車株式会社 | 車両運転支援装置 |
JP6693893B2 (ja) | 2017-01-16 | 2020-05-13 | 株式会社Soken | 走路認識装置 |
JP6741603B2 (ja) * | 2017-01-16 | 2020-08-19 | 株式会社Soken | 推定装置 |
JP2018116369A (ja) * | 2017-01-16 | 2018-07-26 | 株式会社Soken | 車線認識装置 |
CN108764187B (zh) * | 2018-06-01 | 2022-03-08 | 百度在线网络技术(北京)有限公司 | 提取车道线的方法、装置、设备、存储介质以及采集实体 |
FR3106918B1 (fr) | 2020-01-30 | 2022-01-28 | Renault Sas | Procédé et dispositif de reconstruction des voies |
JP7264086B2 (ja) * | 2020-02-27 | 2023-04-25 | トヨタ自動車株式会社 | 車両制御装置及び車両制御方法 |
JP2022149449A (ja) * | 2021-03-25 | 2022-10-06 | 本田技研工業株式会社 | 車両用表示制御装置、車両用表示制御装置の制御方法、およびプログラム |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20050270374A1 (en) * | 2004-06-02 | 2005-12-08 | Toyota Jidosha Kabushiki Kaisha | Lane boundary detector |
CN101128337A (zh) * | 2005-02-21 | 2008-02-20 | 罗伯特·博世有限公司 | 在驾驶员辅助系统中确定对象的似然性的方法 |
CN103440649A (zh) * | 2013-08-23 | 2013-12-11 | 安科智慧城市技术(中国)有限公司 | 一种车道边界线检测方法及装置 |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005157733A (ja) * | 2003-11-26 | 2005-06-16 | Nissan Motor Co Ltd | 車線認識装置および車線認識方法 |
JP4659631B2 (ja) | 2005-04-26 | 2011-03-30 | 富士重工業株式会社 | 車線認識装置 |
JP4603970B2 (ja) | 2005-12-15 | 2010-12-22 | トヨタ自動車株式会社 | 道路区画線検出装置 |
KR100819047B1 (ko) * | 2006-11-27 | 2008-04-02 | 한국전자통신연구원 | 교차로 중심선 예측 장치 및 방법 |
JP4933962B2 (ja) * | 2007-06-22 | 2012-05-16 | 富士重工業株式会社 | 分岐路進入判定装置 |
JP2009257900A (ja) * | 2008-04-16 | 2009-11-05 | Alpine Electronics Inc | 走行道路特定装置および走行道路特定方法 |
JP5141599B2 (ja) * | 2009-03-06 | 2013-02-13 | 日産自動車株式会社 | 車線認識装置及び方法 |
JP2015166903A (ja) | 2014-03-03 | 2015-09-24 | 株式会社日本自動車部品総合研究所 | 分岐路認識装置 |
-
2014
- 2014-07-11 JP JP2014142961A patent/JP6096723B2/ja active Active
-
2015
- 2015-07-02 US US14/790,444 patent/US9646214B2/en active Active
- 2015-07-08 DE DE102015212786.9A patent/DE102015212786A1/de not_active Ceased
- 2015-07-10 CN CN201510406021.8A patent/CN105320934A/zh not_active Withdrawn
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20050270374A1 (en) * | 2004-06-02 | 2005-12-08 | Toyota Jidosha Kabushiki Kaisha | Lane boundary detector |
CN101128337A (zh) * | 2005-02-21 | 2008-02-20 | 罗伯特·博世有限公司 | 在驾驶员辅助系统中确定对象的似然性的方法 |
CN103440649A (zh) * | 2013-08-23 | 2013-12-11 | 安科智慧城市技术(中国)有限公司 | 一种车道边界线检测方法及装置 |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2018232681A1 (en) * | 2017-06-22 | 2018-12-27 | Baidu.Com Times Technology (Beijing) Co., Ltd. | TRAFFIC PREDICTION BASED ON CARD IMAGES FOR AUTONOMOUS DRIVING |
US11367354B2 (en) | 2017-06-22 | 2022-06-21 | Apollo Intelligent Driving Technology (Beijing) Co., Ltd. | Traffic prediction based on map images for autonomous driving |
CN107356933A (zh) * | 2017-06-23 | 2017-11-17 | 南京理工大学 | 一种基于四线激光雷达的非结构化道路检测方法 |
CN107356933B (zh) * | 2017-06-23 | 2020-09-18 | 南京理工大学 | 一种基于四线激光雷达的非结构化道路检测方法 |
CN109345593A (zh) * | 2018-09-04 | 2019-02-15 | 海信集团有限公司 | 一种摄像机姿态的检测方法及装置 |
CN109345593B (zh) * | 2018-09-04 | 2022-04-26 | 海信集团有限公司 | 一种摄像机姿态的检测方法及装置 |
Also Published As
Publication number | Publication date |
---|---|
DE102015212786A1 (de) | 2016-01-14 |
US9646214B2 (en) | 2017-05-09 |
JP2016018520A (ja) | 2016-02-01 |
JP6096723B2 (ja) | 2017-03-15 |
US20160012298A1 (en) | 2016-01-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN105320934A (zh) | 车道边界线识别设备 | |
JP6416293B2 (ja) | 自動車に接近する対象車両を自動車のカメラシステムにより追跡する方法、カメラシステムおよび自動車 | |
US10891738B2 (en) | Boundary line recognition apparatus and branch road determination apparatus | |
JP6220327B2 (ja) | 走行区画線認識装置、走行区画線認識プログラム | |
US20150269445A1 (en) | Travel division line recognition apparatus and travel division line recognition program | |
JP5716443B2 (ja) | 車線境界検出装置及び車線境界検出方法 | |
JP6045889B2 (ja) | 車載用制御装置 | |
KR101968349B1 (ko) | 영상 정보를 이용한 차선 경계 검출 방법 | |
US10339393B2 (en) | Demarcation line recognition apparatus | |
JP4744537B2 (ja) | 走行レーン検出装置 | |
JP5874770B2 (ja) | 区画線検出システム | |
US9542607B2 (en) | Lane boundary line recognition device and computer-readable storage medium storing program of recognizing lane boundary lines on roadway | |
JP3818641B2 (ja) | 車両用走路判定装置および車両制御装置 | |
US9830518B2 (en) | Lane mark recognition device | |
JP6165120B2 (ja) | 走行区画線認識装置 | |
CN103630122A (zh) | 一种单目视觉车道线检测方法及其测距方法 | |
US20180005073A1 (en) | Road recognition apparatus | |
JP2006146956A (ja) | 車両用走路判定装置 | |
JP6105279B2 (ja) | 分岐路判定装置、境界線認識装置 | |
JP5957315B2 (ja) | 車載用車線認識装置 | |
WO2019013253A1 (ja) | 検出装置 | |
JP7385489B2 (ja) | 運転補助装置 | |
JP2022088094A (ja) | 画像認識装置及び画像認識方法 | |
KR20210143370A (ko) | 차량의 충돌방지 시스템 및 그 방법 | |
JP2020101935A (ja) | 画像認識装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
WW01 | Invention patent application withdrawn after publication | ||
WW01 | Invention patent application withdrawn after publication |
Application publication date: 20160210 |