CN103262139B - 行车道识别装置 - Google Patents

Abstract

本发明提供如下一种行车道识别装置：其能从对拍摄图像进行处理而得的线形要素抽出图像中，准确地抽出缘于行车道标志的线形要素以识别出行车道分界线。对设定于线形要素抽出图像（40）内的行车道抽出区域（45）设定规定尺寸的局部区域（47），局部区域（47）包含1个或多个各线形要素，确定各局部区域（47）的局部直线（44），求出各局部直线（44）的方向和与规定基准水平线（46）相交的x交点相关联的以各局部直线（44）为1票向投票空间（56）的投票。利用根据投票结果确定了方向和x交点的检测直线识别行车道分界线。

Description

行车道识别装置

技术领域

本发明涉及一种行车道识别装置，其利用摄像装置所拍到的显示车辆前方情况的拍摄图像来识别行车道。

背景技术

为辅助驾驶员驾驶车辆，将摄像装置搭载在车辆上用以拍摄车辆前方的道路状况，对该拍摄图像进行图像处理而检测出行车道标志。在现有技术中，人们公知利用霍夫变换方法来进行图像处理以检测行车道标志。

在专利文献1中公开有如下一种道路形状推定装置，其采用不同于霍夫变换方法的其他方法从显示车辆前方情况的拍摄图像中检测出行车道标志（行车道标志线条）。该道路形状推定装置既在拍摄图像内设定多个包含行车道标志线条的梯形窗口，又通过进行边缘抽出处理而检测出拍摄图像内的边缘点。接下来，由该道路形状推定装置对以各窗口的上底上的一点和下底上的一点（在行车道方向上相对的2点）为端点的所有直线，确认每条直线上有的边缘点的个数，并将边缘点数最大的直线作为该窗口检出的检测直线。之后，由该道路形状推定装置根据各窗口检出的检测直线的边缘点的数量是否在阈值以上，来判断该窗口是否是有其他车辆从相邻行车道并入自己车辆行驶行车道的窗口，将检测的窗口限于没有其他车辆并入的窗口，而从整个拍摄图像中检测行车道标志线条。

专利文献1：日本发明专利公报特许第3721594号

利用霍夫变换方法从拍摄图像中抽出行车道标志时有如下问题：（a）运算量较大、（b）由于基于点信息，所以很容易受到干扰、（c）无法检测出拐弯道路（曲线道路）。

专利文献1中的道路形状推定装置，是通过比较检测直线上的边缘点的个数和规定阈值的大小，在各窗口中的检测直线有缘于并线车辆产生时，能将该检测直线准确地从行车道分界线识别对象中排除出去。但是，如果检测直线并非缘于并线车辆和也并非缘于行车道标志时，该道路形状推定装置则难以识别出该情况并将该检测直线从行车道分界线识别对象中排除出去。

发明内容

鉴于上述情况，本发明的目的是提供如下一种行车道识别装置：其能从混杂有缘于非行车道标志的线形要素和缘于行车道标志的线形要素的线形要素抽出图像中，准确地抽出缘于行车道标志的线形要素以识别出行车道分界线。

为实现上述目的，本发明的行车道识别装置利用摄像装置所拍到的显示车辆前方情况的拍摄图像来识别行车道。所述行车道识别装置具有：线形要素抽出图像生成部，由其生成包含在上述拍摄图像中的线形要素已被抽出的线形要素抽出图像；区域设定部，由其在上述线形要素抽出图像中设定具有垂直方向规定范围的行车道抽出区域；局部直线确定部，由其对上述行车道抽出区域内的各局部区域，根据各局部区域的线形要素部分确定各局部区域的局部直线；交点求出部，由其求出各局部直线和位于垂直方向规定位置的基准水平线的交点；投票部，由其在以方向和交点为坐标成分的投票空间对各局部直线的方向和交点进行投票；检测部，由其根据上述投票空间的投票结果来对检测直线进行检测；识别部，由其根据上述检测直线来识别行车道分界线（技术方案1）。

由技术方案1可知，对于根据各局部区域来确定的各局部直线，求出其方向和与基准水平线的交点，在投票空间对各局部直线的方向和交点进行投票。此时，相比于与缘于个别存在于道路上的其他车辆等非行车道标志的局部直线的方向和交点，缘于连续地设在道路上的行车道标志的局部直线的方向和交点的投票空间内，缘于道路上的行 车道标志的投票更为集中。因此，由于两者的票数之差较为明显，所以能够准确地排除缘于非行车道标志的线形要素以识别出行车道分界线。

在技术方案1的基础上，优选由上述区域设定部将上述线形要素抽出图像在垂直方向上分割成多个行车道抽出区域，由上述投票部对与各行车道抽出区域相对应的各投票空间，根据与该投票空间对应的行车道抽出区域的各局部直线进行投票，由上述检测部根据各投票空间的投票结果来检测出每个行车道抽出区域的检测直线，由上述识别部根据各行车道抽出区域的检测直线的接合来识别线形要素抽出图像内的行车道分界线（技术方案2）。

由技术方案2可知，能根据垂直方向上的各行车道抽出区域的检测直线在垂直方向上的接合，准确地识别出曲线形行车道分界线。

在技术方案2的基础上，优选由上述区域设定部将上述线形要素抽出图像在垂直方向上分割成多个行车道抽出区域，在垂直方向上，越是位于上侧的行车道抽出区域，其在垂直方向上的尺寸越小（技术方案3）。

在拍摄图像中，在垂直方向上越是位于上侧范围，对应于该范围内的相邻像素点之间的长度的实际空间中的长度越大。由技术方案3可知，在垂直方向上，越是位于上侧的行车道抽出区域，使其在垂直方向上的尺寸越小时，与在垂直方向上分割成尺寸相等的多个行车道抽出区域的情况相比，前者能使检测直线在垂直方向上的接合时的各检测直线所对应的实际空间中的距离变得均等，从而能使接合后的检测直线的各部位的精度变得均等。

在技术方案2的基础上，优选由上述局部直线确定部将规定范围的方向分割成第1规定数量的方向区分，将各局部直线的方向分配到对应的方向区分，进行确定，由上述交点求出部将上述基准水平线分割成第2规定数量的位置区分，将各局部直线和上述基准水平线的交点分配到对应的的作为位置区分的交点区分，进行确定，由上述投票部使在上述投票空间定义的方向和交点的坐标成分与上述方向区分 和交点区分一致（技术方案4）。

由技术方案4可知，通过使由投票部定义的投票空间的方向和交点的坐标成分，与对局部直线的方向和交点所定义的第1和第2规定数量的方向区分和交点区分一致，有助于整合局部直线的方向区分和交点区分以及投票空间的方向和交点的坐标成分。这样，有助于减轻检测出所需检测精度的检测直线的处理量。

在技术方案4的基础上，优选上述第1规定数量或上述第2规定数量，在位于上侧的行车道抽出区域中设定得小于位于下侧的行车道抽出区域中的相应规定数量（技术方案5）。

由于位于上侧的行车道抽出区域的图像所对应的自己车辆到实际空间中的位置的距离，要比位于上侧的行车道抽出区域的图像中的远，所以能从位于上侧的行车道抽出区域的图像检测出的实际空间中的位置的差异精度，低于能从位于下侧的行车道抽出区域能检测出的实际空间中的位置的差异精度。由技术方案5可知，第1规定数量或第2规定数量，在位于上侧的行车道抽出区域中设定得小于位于下侧的行车道抽出区域中的相应规定数量时，能按照对应于各图像的实际空间中的位置的检测精度的误差进行局部直线的方向或交点的求出处理。这样，对于方向或交点的检测精度较低的行车道抽出区域，无需以高于所需精度的精度进行处理，这样能避免浪费。

在技术方案4的基础上，优选上述第1规定数量或上述第2规定数量，在同一行车道抽出区域中，在位于上侧的局部区域中设定得小于位于下侧的局部区域中的相应规定数量（技术方案6）。

由于位于上侧的局部区域的图像所对应的自己车辆到实际空间中的位置的距离，要比位于上侧的局部区域的图像中的远，所以能从位于上侧的局部区域的图像检测出的实际空间中的位置的差异精度，低于能从位于下侧的局部区域能检测出的实际空间中的位置的差异精度。由技术方案6可知，第1规定数量或第2规定数量，在位于上侧的局部区域中设定得小于位于下侧的局部区域中的相应规定数量时，能按照对应于各图像的实际空间中的位置的检测精度的误差进行局部直线的方向或交点的求出处理。这样，对于方向或交点的检测精度较低的局部区域，无需以高于所需精度的精度进行处理，这样能避免浪费。

在技术方案1的基础上，优选由上述检测部将具有对应于上述投票空间的票数极大的坐标的方向和交点的直线作为检测直线进行检测（技术方案7）。

由技术方案7可知，不在投票空间对比票数和规定阈值，而是根据极大票数检测出检测直线，这样能从混杂有虚线形行车道标志和连续线条形行车道标志的线形要素的线形要素抽出图像中，准确地检测出缘于行车道标志的检测直线。

在技术方案1的基础上，优选上述拍摄图像中的水平方向相当于实际空间中的车辆的左右方向，在上述识别部根据时间序列的线形要素抽出图像，判断为检测直线在所述线形要素抽出图像中向水平方向以阈值以上的速度在变化时，识别为行车道分界线呈弯曲形状（技术方案8）。

由技术方案8可知，能根据检测直线的水平方向速度准确地识别出行车道呈弯曲形状。

在技术方案1的基础上，优选上述线形要素抽出图像生成部具有：中间抽出图像生成部，由其生成包含在上述拍摄图像中的线形要素已被抽出的第1中间抽出图像；线条置换部，由其根据包含在上述第1中间抽出图像中的各线形要素在水平方向的宽度或倾角在垂直方向上的变化，通过将所述各线形要素置换为1个或多个线条，从而由上述第1中间抽出图像生成上述线形要素抽出图像（技术方案9）。

拐弯行驶时，由于行车道分界线呈弯曲形状，所以对于1条行车道分界线，行车道抽出区域内的多个局部区域的局部直线的方向和交点产生分散。这种分散使得要进行投票的投票空间的坐标产生分散，这成为难以根据投票处理来检测出检测直线的原因。由技术方案9可知，由上述中间抽出图像生成部生成包含在拍摄图像中的线形要素已被抽出的第1中间抽出图像，由上述线条置换部根据包含在所述第1中间抽出图像中的各线形要素在水平方向的宽度或带倾角的垂直方向上的变化，将所述各线形要素置换为1个或多个线条以生成线形要素抽出图像。这样，由于能由局部直线确定部根据曲线形线形要素被置换的线条来确定局部直线，所以上述检测部能根据投票空间的投票结果顺畅地检测出检测直线。

在技术方案9的基础上，优选上述中间抽出图像生成部这样生成上述第1中间抽出图像：由其将包含在上述拍摄图像中的线形要素抽出，生成第2中间抽出图像，线形要素在第2中间抽出图像中的位置保持与上述拍摄图像中的位置一致，将所述第2中间抽出图像视角变换为俯视图像，形成所述第1中间抽出图像视角（技术方案10）。

由技术方案10可知，将第2中间抽出图像视角变换为俯视图像而生成第1中间抽出图像时，第1中间抽出图像中的线形要素的形状因离车辆的远近而产生的变形被消除，因而接近实际空间中的形状。这样，能够将各线形要素置换为合适的线条，有助于提高根据被置换的线条确定的局部直线的准确程度。

在技术方案1的基础上，上述投票部针对各个时间序列的行车道抽出区域设定所述投票空间，并向时间序列的各个投票空间，对设定了该投票空间的行车道抽出区域中的各局部区域的局部直线的方向和交点进行投票，所述时间序列的行车道抽出区域是相对时间序列的所述线形要素抽出图像分别设定，该线形要素抽出图像是与时间序列的拍摄图像对应生成的图像，由上述检测部根据向时间序列的投票空间的投票结果检测出检测直线（技术方案11）。

由技术方案11可知，与线形要素抽出图像中缘于行车道标志的线形要素连续出现在时间序列的线形要素抽出图像中的可能性较高的情况相比，线形要素抽出图像中缘于非行车道标志的线形要素连续出现在时间序列的线形要素抽出图像中的可能性较低。因此，对时间序列的线形要素抽出图像设定的每个时间序列行车道抽出区域设定投票空间，在每个时间序列投票空间确定与各局部区域的局部直线相对应的坐标，根据时间序列投票空间的投票结果检测出检测直线时，能提高对应于行车道标志的检测直线的检测精度。

在技术方案11的基础上，优选由上述检测部作成合计投票空间，在合计投票空间中，各坐标的票数为将时间序列中的各投票空间的对应坐标的票数合计后的合计值，根据合计投票空间的票数为极大时的坐标检测出上述检测直线（技术方案12）。

由技术方案12可知，由于线形要素抽出图像中缘于行车道标志的线形要素连续出现在时间序列的线形要素抽出图像中的可能性较高，所以合计投票空间的对应于行车道标志的坐标的票数，远远大于对应于不定时出现的干扰等的坐标的票数。另外，合计投票空间的对应于行车道标志的坐标的票数大于其周围的坐标的票数，关于票数，对应于行车道标志的坐标的票数为极大。因此，根据合计投票空间的票数极大的坐标来检测检测直线时，能够提高对应于行车道标志的检测直线的检测精度。

在技术方案12的基础上，优选由上述检测部对各投票空间的票数不足阈值的坐标，在减少该票数后再对时间序列中的各投票空间的各坐标的票数进行合计（技术方案13）。

各投票空间中，对应于干扰等的坐标的票数小于对应于行车道标志的坐标的票数。但是在各投票空间的各坐标的投票被积累的合计投票空间，有时出现不能忽视的票数。由技术方案13可知，其针对上述问题，由上述检测部对各投票空间的票数不足阈值的坐标，在减少该票数后再对时间序列中的各投票空间的各坐标的票数进行合计。这样，在合计投票空间，缘于干扰的票数为小于缘于行车道标志的票数的数值，因此能够防止从合计投票空间检测出缘于干扰的检测直线的情况出现。

在技术方案13的基础上，优选由上述检测部对比时间序列中不同时刻的第1和第2投票空间的投票结果，在与第1投票空间的票数为极大时的坐标距离规定距离范围内的坐标在第2投票空间的票数不是极大时，从合计投票空间的合计中去除第1投票空间的该坐标的票数（技术方案14）。

缘于干扰等非行车道标志的线形要素连续出现在时间序列的直线要素抽出图像中的可能性较低，因此，对比时间序列的其他时刻的第1和第2投票空间的投票结果时，在与第1投票空间的票数为极大的坐标距离规定距离范围内的坐标在第2投票空间的票数不是极大的情况较多。由技术方案14可知，在与第1投票空间第1坐标距离规定距离范围内的第2坐标的票数在第2投票空间量不是极大时，从合计投票空间的合计中去除第1投票空间的该第1坐标的票数，这样能够防止从合计投票空间检测出缘于干扰等的检测直线的情况出现。

附图说明

图1是表示搭载有车辆驾驶辅助装置的车辆的示意图。

图2是表示装备有车辆驾驶辅助装置的行车道识别装置的框图。

图3是表示由图2的行车道识别装置实施的行车道识别方法的流程图。

图4是上下并排表示拍摄图像及其线形要素抽出图像的图。

图5是表示投票空间的示意图。

图6是以各坐标的票数为高度而以三维形式表示投票空间的图。

图7是表示其他行车道识别装置的框图。

图8是表示由图7的其他行车道识别装置实施的行车道识别方法的流程图。

图9是用于说明由线条置换部实施的线条置换处理的图。

图10是表示使线形要素抽出图像产生视角变化而得的视角变换图像的图。

图11是表示曲线形行车道分界线的其他识别方法的流程图。

图12是用于说明图11的其他识别方法的行车道抽出区域的图。

图13是表示图11的其他识别方法的每个行车道抽出区域生成的多个投票空间的图。

图14是表示图11的其他识别方法的从各行车道抽出区域检测出检测直线的图。

图15是用于说明在1个行车道抽出区域内根据局部区域的位置调整局部直线的方向的区分数量的图。

图16是表示又一其他行车道识别装置的框图。

图17是表示由图16的行车道识别装置实施的行车道识别方法的流程图。

图18是用于说明时间序列投票空间的图。

图19是用于说明由图16的行车道识别装置对投票空间进行处理的图。

具体实施方式

图1所示的车辆（四轮汽车）10上搭载有CCD摄像头、CMOS图像传感器或近红外线摄像头等摄像头（摄像装置）11、车辆驾驶辅助装置12。摄像头11安装在车内空间中，透过前挡风玻璃来拍摄车辆10的前方的情况。另外，也可以将摄像头11的配置场所适当地改到仪表板之上或前方部分等。

在图2中，装备在车辆驾驶辅助装置12中的行车道识别装置20具有拍摄图像存储器21、线形要素抽出图像处理部22、分辨率确定部23、投票处理部24、直线检测部25和识别部26。

线形要素抽出图像处理部22相当于本发明的线形要素抽出图像生成部、区域设定部、局部直线确定部和交点求出部。投票处理部24相当于本发明的投票部。直线检测部25相当于本发明的检测部。

行车道识别装置20包含装备有运算用存储器或用于存储程序的存储器的计算机（未图示），通过计算机的软件的信息处理来实现线形要素抽出图像处理部22、分辨率确定部23、投票处理部24、直线检测部25和识别部26的各自的功能。还有，在后述行车道识别装置65（图7）、100（图16）中，也是通过计算机的软件的信息处理来实现构成它们的各部分的功能。

图3是表示由行车道识别装置20实施的行车道识别方法的流程图。下面参照图3的流程图来说明行车道识别装置20的动作。

本发明的线形要素抽出图像生成部的处理相当于步骤STEP12的处理。本发明的区域设定部、局部直线确定部和交点求出部的处理相当于步骤STEP13的处理。本发明的投票部的处理相当于步骤STEP14的处理。本发明的检测部的处理相当于步骤STEP15的处理。

在步骤STEP11中，由行车道识别装置20将拍摄图像30的数据存储在拍摄图像存储器21中。参照图4来说明拍摄图像30。还有，在图4和后述图9、图12、图14和图15的拍摄图像30及其线形要素抽出图像40中，以水平方向（横轴方向或左右方向）为x轴方向，以垂直方向（上下方向或纵轴方向）为y轴方向，为便于处理，将原点定义为各矩形图像的左下顶点。x轴方向相当于实际空间中的车辆10的左右方向。y轴方向相当于实际空间中的车辆10的行进方向和垂直方向。因此，实际空间中在车辆10的前方越是远离该车辆10的场所和上下方向上越是位于上方的场所，在图像中越是位于y轴方向上的上方。该例中，车辆10行驶在右侧行车道中。

在图4中，上半部为由摄像头11拍到的表示车辆10的前方情况的拍摄图像30，下半部为对拍摄图像30进行边缘处理等线形要素抽出处理而生成的线形要素抽出图像40。由摄像头11每隔规定时间间隔输出表示车辆10的前方情况的拍摄图像30。各拍摄图像30相对于1帧图像。线形要素抽出图像40的各线形要素由从拍摄图像30抽出的像素点的集合构成，具体地讲，各线形要素为线形要素抽出图像40中的抽出像素点内，由多个抽出像素点形成呈线形的大密度或连续集合的区域。

在拍摄图像30中，关于车辆10正在行驶的道路29而言，从自己车辆观察时，从左侧向右侧依次拍摄到左侧行车道标志32、中间行车道标志31和右侧行车道标志33。该例中，相对于虚线形中间行车道标志31，左侧、右侧行车道标志32、33为连续线条形。该拍摄图像30中，多个树干35在道路29的右侧沿着道路29被拍摄进来。

在步骤STEP12中，由线形要素抽出图像处理部22从拍摄图像30抽出边缘或行车道标志。具体地讲，对拍摄图像30进行边缘处理或行车道抽出处理而生成线形要素抽出图像40。在边缘处理的具体例子中，例如利用索贝尔算子对拍摄图像30的各坐标G（x、y）进行过滤处理而求出x轴方向的一次微分，以其数值Sx（x、y）作为G（x、y）的浓度值。接下来对比阈值Cs和Sx（x、y）并抽出Sx（x、y）＞Cs的像素点，将该像素点判断为边缘点，用不同于背景颜色的其他颜色表示该像素点而生成线形要素抽出图像40。

在行车道抽出处理的具体例子中，从拍摄图像30中只抽出白色（行车道标志的颜色）像素点或抽出灰度在规定阈值以上的像素点，用不同于背景颜色（例如黑色）的其他颜色（例如白色）表示所抽出的像素点而生成线形要素抽出图像40。

在线形要素抽出图像40中，拍摄图像30的中间行车道标志31和右侧行车道标志33分别作为线形要素41、42而被抽出。线形要素抽出图像40的多个线形要素55相当于包含在拍摄图像30的远景中的树干35。行车道抽出区域45在线形要素抽出图像40中作为在y轴方向具有规定尺寸的范围而被设定。可以不固定行车道抽出区域45在y轴方向上的尺寸而根据车辆10的工作状况或行驶状况等进行适当的调整。道路29为直线道路时，可对摄像头11的朝向等进行各种调整以在拍摄图像30中拍到如车辆10的前方几米到几十米的道路范围。

基准水平线46设定在线形要素抽出图像40内的行车道抽出区域45的上边之上的y轴方向位置，沿着平行于x轴的方向延伸。还有，也可将基准水平线46设定在行车道抽出区域45内，在运算处理方面，还可以设定在线形要素抽出图像40之外，例如设定在线形要素抽出图像40的上边之上。

多个局部区域47设定在行车道抽出区域45内，相互不重叠并且在包含各线形要素的范围内相互邻接。还有，局部区域47相当于上述专利文献1的窗口。在图4的例子中，局部区域47具有相互全等的矩形轮廓，也可以具有矩形以外的形状，或者也可对各局部区域47分配向后述投票空间56（图5）的1个投票权，每个局部区域47的 形状或尺寸可以互不相同。

局部区域47可以在整个行车道抽出区域45内密布，但较为典型的是局部区域47在行车道抽出区域45内这样设定：集中在各线形要素的部位并且各线形要素被1以上的局部区域47完全覆盖。对不存在线形要素的范围不设定局部区域47。还可以，使局部区域47在整个行车道抽出区域45内呈网格状分布时，对于不包含线形要素部分，无法抽出后述局部直线54的局部区域47，将其在后述投票空间56的投票权设定为0，即无投票权。对于能抽出局部直线54的局部区域47，其在投票空间56的投票权在该实施例中设定为1。

在图4中，相对于线形要素41只图示了2个局部区域47，但在实际的处理中，在行车道抽出区域45内，局部区域47还设定在线形要素41的其他部位或线形要素42的部位。目标检测线条51、52、53相当于希望从线形要素41、42、43的各部位检测出的检测直线部分，也是由直线检测部25检测出的理想检测直线，在此作为参考显示在图中。线形要素55存在于行车道抽出区域45之外，因此，在行车道抽出区域45内执行后述局部直线确定处理时线形要素55是被去除的。另外，如后所述，由于目标检测线条53的对应坐标的票数也不足阈值V1，所以也会从行车道抽出区域45的检测直线中被去除。

在步骤STEP13中，由线形要素抽出图像处理部22计算局部直线44。具体地讲，对各局部区域47，根据该区域内的抽出像素点的分布将1条直线确定为局部直线44。局部直线44是这样定义的直线：其穿过局部区域47并且其倾角（后述的θ）与从局部区域47内作为线形要素部分的倾角由线形要素部分得到的倾角一致。

例如对局部区域47的各抽出像素点的坐标采用最小二乘法等来求出各局部区域47的局部直线44。例如，在被标注处理的线形要素内，对存在于各局部区域47内的线形要素部分的所有像素点和直线间的距离求其平方值的总和，找出总和为最小的直线，以找出的直线作为该局部区域47的局部直线44。

还可以这样做：如专利文献1的装置那样，连接局部区域47的 上边的1点和下边的1点的所有线条，找出各线条中抽出像素点为最大值的线条，将与该线条重合的直线作为该局部区域47的局部直线44。

局部直线44可以用x=a·y+b来表示。a被定义为局部直线44的斜率，a=x轴方向的增量/y轴方向的增量。在步骤STEP13的计算局部直线44中，由线形要素抽出图像处理部22采用上述最小二乘法而首先只求出a，之后在确定局部直线44穿过的局部区域内的规定点后求出b。关于b的求法在后面叙述。

与后述投票空间56（图5）的投票处理所用的有关的θ，被定义为以y轴正方向为基准向顺时针方向旋转时的局部直线44的倾角，具有tanθ=a的关系。θ被定义在0～π的范围内，相当于局部直线44的“方向”。

接下来，对各局部直线44，由线形要素抽出图像处理部22计算其与基准水平线46相交的交点的x坐标（下面有时称为“x交点”）。具体计算方法如下面的步骤STEP131～133。还有，由线形要素抽出图像处理部22将步骤STEP131～133作为图3的步骤STEP13的辅助步骤来处理。

步骤STEP131：将局部直线用x=a·y+b表示，根据下式（1）求出b。

b=xc－a·yc   （1）

其中，（xc、yc）为各局部直线44所在的局部区域47内的规定点、例如中心点49的坐标。

步骤STEP132：用上式（1）求出的b，根据下式（2）求出局部直线44与基准水平线46的交点（ux、uy）的x坐标ux（x交点）。

ux=a·uy+b   （2）

如上所述，uy为基准水平线46穿过的于规定位置的y坐标，为已确定的数值。

步骤STEP133：根据下式（3）和（4）由ux、θ求出和vx。

（θ/（θ的最大设定值））×（的区分数Nc）   （3）

vx=（ux/（ux的最大设定值））×（vx的区分数Nx）   （4）

上式（3）和（4）的Nc、Nx根据拍摄图像30中的关注区域(检测区域)的位置分辨率来确定。还有，所谓的拍摄图像30中的关注区域的位置分辨率，是指根据拍摄图像30中，由该关注区域的图像信息识别对该关注区域所对应的实际空间中的位置差异能够进行识别的分辨率。拍摄图像30中的关注区域的位置分辨率越高，Nc、Nx取值越大。Nc、Nx例如可分别为32、64。

上式（3）和（4）的不足1的部分被舍去，并且时减1、vx=Nx时vx减1。因此，可以用[0、Nc－1]范围内的整数表示用[0、Nx－1]范围内的整数表示vx。

分辨率确定部23根据拍摄图像30的分辨率来确定Nc、Nx并输出给线形要素抽出图像处理部22。线形要素抽出图像处理部22根据来自分辨率确定部23的Nc、Nx来求出各局部区域47的局部直线44的vx和使求出的vx和与其局部区域47建立关联后存储在线形要素抽出图像处理部22的存储器中。

图5表示投票空间56。投票空间56的横轴和纵轴分别被定义为是和vx。还有，由于与倾角θ具有对应关系，所以投票空间56的所在的横轴又称为方向轴。另外，如上式（4）所定义的那样，由于vx与作为x交点的ux对应，所以投票空间56的vx所在的纵轴又称为交点轴。

在步骤STEP14中，投票处理部24参照存储在线形要素抽出图像处理部22的存储器中的各局部区域47的vx和并根据参照值在投票空间56投票。即，各局部区域47有1票，根据各局部区域47的局部直线44的vx和在投票空间56的相应坐标上与vx和一致的点各投1票。

作为投票空间56的投票结果的各坐标的票数 如图6所示。在用高度表示票数的投票空间56中出现多个顶峰59。顶峰59出现在与周围相比票数增大的坐标区域。票数的统计结果显示，对于与行车道 标志对应的局部直线44，通常其形成以高度为极大值的坐标为顶点而在周围有缓坡在延伸的山的形状。

投票空间56的为极大值的坐标的票数与分配给图示在向行车道抽出区域45的线形要素41、42、43的局部区域47的个数十分接近。

在步骤STEP15中，由直线检测部25根据投票空间56的投票结果来检出检测直线。检测直线是这样一种直线：票数在阈值V1以上，并且相对于极大值处的坐标x交点为与根据上式（4）而得的vx对应的ux、方向为与根据上式（3）而得的 对应的θ。另外还可以这样做：投票空间56的极大值为靠上的2个或3个这样的靠上规定数量的极大值的坐标作为附加条件来限定靠上规定数量的坐标，将对应于该坐标的直线作为检测直线。

由于缘于线形要素43的局部直线在投票空间56的的极大值不足V1，所以不会作为检测直线被检测。在图4的线形要素抽出图像40的例子中，只有缘于线形要素41、42的局部直线作为线形要素抽出图像40内的2条检测直线而从投票空间56检测出来。

由识别部26将各检测直线作为拍摄图像30上的中间行车道标志31和右侧行车道标志33识别，以认识道路29的行车道分界线相对于车辆10的相对位置和轮廓。

识别部26除了识别道路29的行车道分界线，还能判断车辆10正在行驶的道路29是否是拐弯道路。下面具体说明该判断处理。

在图3的直线形行车道分界线识别方法中，对摄像头11拍到的每个拍摄图像30都实施图3的一系列处理。由于摄像头11每隔规定时间间隔拍摄车辆10的前方情况，所以能够获取时间序列的拍摄图像30。由识别部26从规定数量的时间序列的拍摄图像30判断车辆10正在行驶的道路是直线道路还是拐弯道路。

即，识别部26根据按时间序列拍摄到的规定数量的拍摄图像30识别行车道分界线，判断行车道分界线在x轴方向上以不足阈值D的平均速度（该平均速度可以是在拍摄图像30中的平均速度，也可以 是换算到实际空间中的平均速度）移动时，则该道路29是直线道路。相反，若判断为该行车道分界线在x轴方向上以阈值D以上的平均速度移动时，则该道路29是拐弯道路。

图7是表示其他行车道识别装置65的框图。在关联于图2的行车道识别装置20说明的图4的线形要素抽出图像40中，对于像线形要素42这样的曲线形线形要素，由于包含有该线形要素的区域的多个局部区域47中的局部直线的倾角θ产生分散，所以投票空间56的投票产生分散，难以从投票空间56确定对应于线形要素42的检测直线。为处理这种情况，行车道识别装置65能够防止根据缘于线形要素抽出图像40曲线形线形要素的局部直线44的投票在投票空间56产生分散。

行车道识别装置65与行车道识别装置20的不同点是，行车道识别装置65的线形要素抽出图像处理部22具有中间抽出图像生成部66和线条置换部67。还有，在图2的行车道识别装置20的线形要素抽出图像处理部22进行图3的步骤STEP12、13的处理中，由中间抽出图像生成部66进行步骤STEP12的处理，而不是对行车道识别装置20的线形要素抽出图像处理部22进行新的处理。即，只是由中间抽出图像生成部66实施步骤STEP12生成图4的线形要素抽出图像40。

图8是表示由行车道识别装置65实施的行车道识别方法的流程图。相比于图3的流程图，在图8的流程图中，在步骤STEP12和13之间追加了步骤STEP21。在图7和图8中，省略说明与图2和图3相同的部分而只说明不同点。

在步骤STEP21中，由线条置换部67根据垂直方向上的连接性将包含在线形要素抽出图像40的各线形要素置换为1个或多个线条。

参照图9说明步骤STEP21的处理的具体例子。与图4一样，图9的上半部为由摄像头11拍到的表示车辆10的前方情况的拍摄图像30，下半部为对拍摄图像30进行边缘处理等线形要素抽出处理而生成的线形要素抽出图像40。

还有，在行车道识别装置65中，对拍摄图像30进行边缘处理等 线形要素抽出处理而生成的，但处于步骤STEP21的线条置换处理前状态的线形要素抽出图像40，相当于由本发明的中间抽出图像生成部生成的第1中间抽出图像。另外，步骤STEP21的线条置换处理后的线形要素抽出图像40相当于由本发明的线条置换部生成的线形要素抽出图像。

在图9的线形要素抽出图像40中，为便于说明由线条置换部67进行的线条置换处理，对相当于拍摄图像30的中间行车道标志31和右侧行车道标志33的线形要素重新标注了符号。在图9中，线形要素41a～41c是对缘于拍摄图像30的虚线形中间行车道标志31的多个线形要素41从接近车辆10开始依次附加a、b、c而形成的。线形要素42是缘于连续线条形右侧行车道标志33的线形要素。

在图9的线形要素抽出图像40中，线形要素41a、41c表示直线形线形要素。线形要素41b、42表示曲线形线形要素。为了关注曲线形线形要素，用围框86、88围起线形要素41b、42。为便于说明，只在图9中图示围框86、88，其并不存在于实际的线形要素抽出图像40中。

在线形要素抽出图像40中，所有线形要素都由不同的水平像素列在垂直方向上连续集合而形成。另外，在图9的线形要素抽出图像40中，线形要素41a～41c、42是由中间行车道标志31和右侧行车道标志33抽出的。因此，分别形成线形要素41a～41c、42的水平像素列的集合，在水平方向宽度和倾角方面在线形要素抽出图像40的垂直方向上都具有连续性。

具体说明垂直方向上的连续性。例如对于构成线形要素，在垂直方向上相邻的各水平方向像素列而言，（a）如果两水平方向像素列在水平方向宽度的差值在规定阈值以内，则认为两水平方向像素列在水平方向宽度方面，于垂直方向上具有连续性。还有，（b）如果两水平方向像素列的水平方向中心点在水平方向位置的差值在规定阈值以内，则认为两水平方向像素列在倾角方面，于垂直方向上具有连续性。还有，对于连接两水平方向像素列的水平方向中心点的直线而 言，可定义为与图4的局部直线44所定义的倾角θ相同的倾角。

对于在垂直方向上相邻的2个水平方向像素列，在讨论垂直方向上的连续性时，也可以根据在垂直方向上连续的规定数量的水平方向像素列群组来判定有无连续性，以替代只对比相邻的两水平方向像素列而判定有无连续性的方法。具体地讲，对于群组中所有在垂直方向上相邻的2个水平方向像素列，求出水平方向宽度的差值的平均值或中心点的水平方向位置的差值的平均值。之后，若这些平均值在规定阈值以内，判定为该群组中所有的水平方向像素列之间在垂直方向上具有连续性。

作为步骤STEP21的处理内容之一，对于线形要素抽出图像40内的各线形要素，构成该线形要素的水平方向像素列在垂直方向上具有连接性，则对由其构成的在垂直方向范围的集合部分，进行赋予一个标签的标注处理。此时的“垂直方向上的连接性”例如为上述的“垂直方向上的连续性”。对于上述的“垂直方向上的连续性”，在倾角方面，根据连接水平方向像素列的中心点的直线的倾角来判断垂直方向上的连续性，但是本发明并不局限于水平方向像素列的中心点，也可根据连接水平方向像素列的2个左端或右端的直线的倾角来判断垂直方向上的连续性。

在步骤STEP21中，由线条置换部67向图9的线形要素抽出图像40的线形要素41a～41c、42分别赋予识别用标签并置换为置换线条85a～85c、89。还有，线条置换部67并不对线形要素抽出图像40的所有线形要素都进行步骤STEP21的处理，只限于对线形要素抽出图像40内的行车道抽出区域45（图4）进行步骤STEP21的处理，这有助于减少处理量。

对于像线形要素42这样垂直方向尺寸较长的弯曲线形要素，即使是其由在垂直方向上具有连接性的水平方向像素列构成的集合部分，线条置换部67也将其分割成在垂直方向上具有规定长度的集合部分，对各分割部分赋予其他标签而将各分割部分置换为1个线条。后述图10的置换线条891a～891c是基于该思路而生成的。

将弯曲线形要素置换为线条，其意义在于防止步骤STEP14的投票处理的投票位置的分散以容易地在步骤STEP15中检测出直线，但是，将较长的弯曲线形要素置换为1条置换线条时，弯曲线形要素的每个要素部分的倾角和置换线条的倾角的差值增大，即使能够防止步骤STEP14的投票分散，在步骤STEP15中检测出的直线的方向也会与实际空间中的行车道标志的方向产生较大的偏差。对此，线条置换部67对各分割部分赋予其他标签而置换为对应于各分割部分的线条，以此解决上述问题。

下面说明由线条置换部67来确定置换线条85a～85c、89的具体确定方法。由线条置换部67使置换线条85a～85c、89在垂直方向上的长度分别等同于线形要素41a～41c、42在垂直方向上的长度。还有，在图9中，将置换线条89的上端设置在与该置换线条89对应的线形要素42在垂直方向上向上延伸途中的、水平方向宽度不足规定阈值的位置。这是因为，对于行车道标志位于相当远方的部分进行识别不仅意义较小，而且去掉识别处理时还能减轻处理负担。

与置换线条85a～85c、89对应的线形要素41a～41c、42的宽度无关，由线条置换部67使置换线条85a～85c、89的宽度相等且使其在整个两端范围内宽度均等。

各线条所对应的线形要素为直线形线形要素时，由线条置换部67将置换线条85a、85c倾角设定成与所对应的线形要素的倾角相等。由线条置换部67在垂直方向上从下向上，对构成线形要素的不同的水平方向像素列，即在垂直方向上位置不同的多个水平方向像素列，从下侧的水平方向像素列的中心向下一个水平方向像素列的中心连接线条，这种处理，在垂直方向上，由下向上对各个水平方向像素列依次重复进行。之后从这样处理后的各线条的倾角的变化判断该线形要素是直线形线形要素还是曲线形线形要素。

对曲线形线形要素41b、42而言，线条置换部67能将其置换的置换线条85b、89的倾角，设定为所对应的线形要素的各部位具有的倾角的最大值和最小值范围内的合适的倾角。具体地讲，线条置换部 67例如能采用以下（a）方法来求出置换线条85b、89的倾角。或者也可采用以下（b）～（d）的其他方法来求出。由于以下计算方法同样适用于线形要素41b、42，所以只说明线形要素41b。

（a）采用最小二乘法将构成线形要素41b的像素作为分布点而作成近似曲线，同时使该近似曲线的垂直方向两端与线形要素41b的垂直方向两端一致。之后，将该近似曲线的长度上的中心点的切线的倾角作为置换线条85b的倾角。

（b）将上述（a）的近似曲线的两端的切线的倾角的平均值作为置换线条85b的倾角。

（c）将上述（a）的近似曲线上设定等间隔区分点，将各区分点的切线的倾角的平均值作为置换线条85b的倾角。

（d）将连接线形要素41b上下端的水平方向像素列的中心像素的线条的倾角的平均值作为置换线条85b的倾角。

例如线条置换部67按以下方法设定线形要素和将其置换的置换线条的位置关系。由于置换线条的垂直方向两端与线形要素的垂直方向两端一致，所以能毫无疑义地确定置换线条的垂直方向位置。置换线条的水平方向位置为线形要素的垂直方向范围的任意1处（例如垂直方向的中心点的垂直方向位置），若有可能，在多个垂直方向位置使置换线条的宽度中心与线形要素的宽度中心一致。更加明确地讲，置换线条的水平方向位置的设定条件为该置换线条至少在1处与作为其出处的线形要素重合。

在图9中，线形要素41a～41c、42和对应的置换线条85a～85c、89在水平方向上稍微离开，这是为了看图方便而为。实际处理中，线形要素41a～41c、42和所对应的置换线条85a～85c、89是重合在一起。

对于线形要素抽出图像40中的线形要素41a～41c、42，行车道识别装置65也可采用图10的置换线条851a～851c、891a～891c，来替代置换线条85a～85c、89。图10表示由中间抽出图像生成部66对线形要素抽出图像40将视角变换成俯视时的视角变换图像70。

由于用于生成线形要素抽出图像40的拍摄图像30是由摄像头11拍摄车辆10的前方情况而得的图像，所以拍摄图像30中的中间行车道标志31和右侧行车道标志33等越是位于远方的部位越向拍摄图像30中的中间靠拢，或在拍摄图像30中的缩小率变大。这会成为以下问题的原因：线形要素抽出图像40上的线形要素的形状与描画在实际空间中的路面上的行车道标志的形状之间的差异变大，因而设定出不合适的置换线条。

为了防止上述设定出不合适的置换线条的情况发生而生成视角变换图像70。由线形要素抽出图像40变换为视角变换图像70，是中间抽出图像生成部66在步骤STEP21内实施处理的部分内容。在视角变换图像70中，线形要素抽出图像40中的线形要素41a～41c、42经视角变换成俯视后而分别被变换为线形要素部分411a～411c、421。视角变换图像70中的线形要素部分411a～411c、421因距离车辆10不同而产生的变形得到消除。

对于实施视角变换的行车道识别装置65而言，线形要素抽出图像40相当于本发明的第2中间抽出图像，在将各线形要素进行置换处理而生成置换线条之前的视角变换图像70相当于本发明的第1中间抽出图像，在将各线形要素进行置换处理而生成置换线条之后的视角变换图像70相当于本发明的线形要素抽出图像，用于设定用来确定局部直线的局部区域。

由于线形要素421缘于连续线条形右侧行车道标志33，所以线条置换部67根据垂直方向连接性对线形要素421进行标注处理，如果对线形要素421只标注1个标签用1个置换线条进行置换时会有以下问题：该置换线条的倾角和线形要素421的各个要素部分的倾角之间的差值变大。为解决这个问题，线条置换部67沿中心线用区段标记91a～91c将线形要素421分割成等长的多个线形要素421a～421c，对每个线形要素421a～421c进行标注处理而用置换线条891a～891c进行置换。

由行车道识别装置65将置换为置换线条851a～851c、891a～891c 的视角变换图像70，在步骤STEP21中置换为线形要素抽出图像40之后，对置换后的视角变换图像70实施图8的步骤STEP13之后的处理。

接下来参照图11～图14说明由图2的行车道识别装置20实施的拐弯道路的行车道分界线的其他识别方法。还有，图11～图14的行车道识别方法，是利用图2的行车道识别装置20的处理对象的图4的线形要素抽出图像40进行说明，但是将行车道识别装置65（图7）作成的图10的视角变换图像70置换为线形要素抽出图像40时，图11～图14的行车道识别方法也适用于行车道识别装置65。

在图11～图14中，对于与图2～图5中的要素或同于步骤STEP的内容，用同于图2～图5的要素或标注于步骤STEP的符号进行表示。

由于图11的步骤STEP11～13处理内容同于图3的步骤STEP11～13，所以省略其说明。在步骤STEP37中，由线形要素抽出图像处理部22设定各行车道抽出区域45的垂直方向尺寸（y轴方向尺寸）。具体地讲，如图12所示，在线形要素抽出图像40中将规定范围在y轴方向分割成5个行车道抽出区域45，越是位于上侧的行车道抽出区域45，其在y轴方向上的尺寸越短。各行车道抽出区域45的y轴方向上的尺寸按照换算成实际空间中的尺寸时，互相相等的距离（例如10～15m以内的规定数值）进行设定。

各行车道抽出区域45的y轴方向上的尺寸也可以是固定的，但优选根据车辆10的行驶状况（该行驶状况包含驾驶状况）进行调整。作为车辆10开始驾驶时的各行车道抽出区域45的y轴方向上的尺寸的初始值，设定为各行车道抽出区域45的y轴方向上的尺寸为在实际空间中车辆10的车辆中心线上例如各10m的长度。

之后，各行车道抽出区域45的y轴方向上的尺寸根据车速而改变。一般来讲，各行车道抽出区域45的y轴方向上的尺寸在车速越快时越大。也可随着行车道抽出区域45的y轴方向上的尺寸的增大而减少行车道抽出区域45的个数。另外，各行车道抽出区域45的y轴方向上的尺寸在道路29呈直线时最大，随道路29的曲率的增大而 减小。

处理时，按照从上侧向下侧的方向对各行车道抽出区域45标注级别1、2、…、5。如图13所示，对各行车道抽出区域45分别设定1个投票空间。图13的投票空间Q1～Q5分别对应于图12的级别1～5的行车道抽出区域45。级别数值越小的行车道抽出区域45（越是位于上侧的行车道抽出区域45），拍摄图像30和线形要素抽出图像40的关注区域的位置分辨率越低。

还有，所谓的线形要素抽出图像40中的关注区域的位置分辨率的定义与关联上述步骤STEP133的式（3）和（4）对拍摄图像30中对关注区域的位置分辨率进行说明时的定义相同。即，所谓的线形要素抽出图像40中的关注区域的位置分辨率，是指根据线形要素抽出图像40中的该关注区域的图像信息识别对该关注区域所对应的实际空间中的位置差异能够进行识别的分辨率。所谓的线形要素抽出图像40中的关注区域的方向分辨率，是指根据线形要素抽出图像40中的该关注区域的图像信息识别对该关注区域所对应的实际空间中的方向差异能够进行识别的分辨率。所谓的线形要素抽出图像40中的关注区域的交点分辨率，即为基准水平线46被设定在该关注区域时，能根据其在线形要素抽出图像40中的该关注区域的图像信息对其在实际空间中与基准水平线46的直线所对应的位置的差异进行识别的分辨率。

在拍摄图像30和线形要素抽出图像40中，关注区域越是拍摄车辆10的远方的图像部分，位置分辨率越低。因此，交点分辨率和方向分辨率也是，关注区域越是拍摄车辆10的远方的图像部分越低。对于各线形要素抽出图像40的各图像部分的局部直线44和基准水平线46的交点，作为从该图像部分检出时的检测精度的与交点对应的实际空间中的位置的检测精度，越是有关交点分辨率较低的图像部分的局部直线44的交点越低。关于各线形要素抽出图像40的各图像部分的直线（包含局部直线44）的方向，从该图像部分检出时的检测精度，即该直线所对应的在实际空间中的直线的方向的检测精度是，越 是方向分辨率较低的图像部分的直线的方向的检测精度越低。

为了整合交点分辨率和方向分辨率与在线形要素抽出图像40上的各部位的位置分辨率，越是位于上侧的行车道抽出区域45，越是降低其交点分辨率和方向分辨率而求出还有，为了整合交点分辨率、方向分辨率和投票空间的坐标成分，将各投票空间Q1～Q5的坐标成分的数值定义为与该投票空间所对应的级别的行车道抽出区域45的局部直线有关的倾角θ和x交点的离散数值相对应的数值。

在步骤STEP38中，由投票处理部24向与每个行车道抽出区域45对应的投票空间Q1～Q5进行投票处理。这样，能够得到每个投票空间Q1～Q5的票数

在步骤STEP39中，由直线检测部25根据各投票空间Q1～Q5的票数检测出各行车道抽出区域45的检测直线。图14表示由直线检测部25检测出的每个行车道抽出区域45的检测直线。在投票空间Q1（即级别1的投票空间56）中，检测出左侧检测直线76a和右侧检测直线79a，在投票空间Q2（即级别2的投票空间56）中，检测出左侧检测直线76b和右侧检测直线79b，在投票空间Q3（即级别3的投票空间56）中，检测出右侧检测直线79c，在投票空间Q4（即级别4的投票空间56）中，检测出右侧检测直线79d，在投票空间Q5（即级别5的投票空间56）中，检测出右侧检测直线79e。

在步骤STEP40中，由识别部26使各行车道抽出区域45的检测直线在行车道抽出区域45之间接合。还有，在跨越行车道抽出区域45将检测直线接合时，并不限于使在y轴方向上相邻的2个行车道抽出区域45的检测直线接合，也包含在y轴方向上跳过中途的1个以上的行车道抽出区域45而使行车道抽出区域45之间的检测直线接合。这是因为，行车道标志为像中间行车道标志31那样呈虚线形时，在y轴方向上中途的1个以上的行车道抽出区域45中，有可能不存在能够接合的检测直线。

在步骤STEP41中，由识别部26根据步骤STEP40的检测直线的接合来识别弯曲形行车道分界线。即，由位于左侧的左侧检测直线 76a、76b、76e的接合识别出对应于虚线形行车道标志的中间行车道标志31的行车道分界线77。另外，由位于右侧的右侧检测直线79a～79e的接合识别出对应于连续线条形行车道标志的右侧行车道标志33的行车道分界线80。

图15是关联于图4说明的用于说明由行车道识别装置20（图2）进行的局部直线的方向求出处理的改进例的图。还有，若用图15的线形要素抽出图像40置换图10的视角变换图像70，该改进例也可适用于行车道识别装置65（图7）。

在图15中，关于1个行车道抽出区域45内的局部区域47的设定，根据局部区域47的y坐标改变倾角θ的区分数量。因此，根据上述（3），的区分数量也根据局部区域47的y坐标变化。如上所述，所谓的局部区域47的y坐标，是指局部区域47内的规定点、例如中心点的y坐标。在线形要素抽出图像40中，由于越是位于上侧的局部区域47,1像素包含的信息量越大，所以方向分辨率降低。

例如，对于倾角θ的范围0～π，与距离实际空间中车辆10直到40m的位置对应的局部区域47（例如图15的位于下侧的2个局部区域47）的局部直线相对应的设定的区分数量为32，与超过40m的位置对应的局部区域47（例如图15的最上边的局部区域47）的局部直线相对应的设定的区分数量为16。

与y轴方向位置无关，vx的区分数量固定下来，只使的区分数量根据y轴方向位置改变而检测出检测直线，下面说明这种检测方式的2个具体例子。如图12所说明的那样，在第1检测方式中，对各区分形式（将区分数量不同的各个区分形式分别算作一种区分形式），即对各同一区分形式的行车道抽出区域部分定义1个投票空间56，检测各同一区分形式的行车道抽出区域部分的检测直线。此时，使检测直线在y轴方向上接合，识别1个行车道抽出区域45中的行车道分界线。

检测直线的第2检测方式是，与的区分数量无关，定义1个投票空间56。例如，若被区分为16个的局部区域47的局部直线的的离散数值，被定义为是将被区分为32个的局部区域47的局部直线的的离散数值（例如）中隔1而设的，则其完全被包含在被区分为32个的局部区域47的离散数值中。因此，可将关于的32个处理用的1个投票空间56共用于为16区分和32区分的两种情形。

另外，在第2检测方式中，对于用32区分表示的局部区域47的局部直线，在向与该对应的投票空间56的坐标投票时的票为1票。对于用16区分表示的局部区域47的局部直线，在向与该对应的投票空间56的坐标和比其大1或小1的离散数值的坐标这2个坐标进行投票，各坐标的票分别为将1票均分为2份的1/2票。对于 为16区分的局部直线，作为分别投1/2票的替代方法，也可以向与该对应的投票空间56的坐标和比其大1以及小1的离散数值的坐标这3个坐标进行投票，各坐标的票分别为将使1票均分为3份的1/3票。

即，与的区分数量无关，1个局部区域47有1票，对于区分数量较少的区分形式的局部区域47的票为将1票除以区分数量而减小的数值分配给多个相应的坐标。之后，计算投票空间56的 检测出对应于作为极大值的的检测直线。

图16是表示又一其他行车道识别装置100的框图。在行车道识别装置100的构成要素中，对于与图2的行车道识别装置20的构成要素相同的，标注同于行车道识别装置20的同一构成要素的符号而省略其说明。作为行车道识别装置20的投票处理部24和直线检测部25的替代，行车道识别装置100具有区域确定部101、数据避让部102、投票重合部103和直线检测部104。

图17是表示由行车道识别装置100实施的行车道识别方法的流程图。在图17的流程图中，对于与上述图3的流程图的步骤STEP的处理内容相同的步骤STEP，标注与图3的流程图的步骤STEP的处理内容相同的步骤STEP的编号。

图17的流程图，是在图3的流程图的步骤STEP14之后追加了步骤STEP51～54。分别由区域确定部101、数据避让部102、投票重合部103和直线检测部104实施步骤STEP51、52、53、54。

图18表示有由行车道识别装置100处理的时间序列的投票空间K1～Kn（例如n=5）。对于图示于图18的左侧的1个投票空间56，图2的行车道识别装置20分别识别道路29的行车道分界线，相对于此，图16的行车道识别装置100根据图示于图18的右侧的时间序列的n个投票空间K1～Kn识别道路29的行车道分界线。在时间序列方面，相邻的2个投票空间的生成时间间隔几乎与拍摄图像30的拍摄时间间隔相等。在图18中，投票空间K1～Kn的顺序为作为其出处的拍摄图像30的拍摄时刻顺序。

对于时间序列投票空间K1～Kn，每生成新的拍摄图像30，缘于最先的拍摄图像30的投票空间被缘于最新的拍摄图像30的投票空间置换，而且按照先后顺序排列替换投票空间K1～Kn。因此，时间序列投票空间K1～Kn始终是最新的n个投票空间。

另外，较为典型的是，每生成新的拍摄图像30，行车道识别装置100都更新道路29的行车道分界线的识别，因此，行车道识别装置20的行车道分界线的识别的更新间隔与拍摄图像30的拍摄间隔相同。也可适当延长由行车道识别装置100实施的行车道分界线的识别的更新间隔，例如为拍摄图像30的生成间隔的整数（2以上的整数）倍。

参照图17的流程图来说明由行车道识别装置100实施的处理。还有，由于图17的步骤STEP11～STEP14处理内容同于图3的步骤STEP11～14，所以省略其说明。

在步骤STEP51中，由区域确定部101根据作为步骤STEP14的处理结果的投票空间56的投票结果来集中投票空间56上的区域。在投票空间56中，极大值的票数中未达到阈值W1（W1＞1）的，可考虑为并非是缘于行车道标志的投票而是缘于一时的干扰产生的投票。

因此，极大值的票数未达到阈值W1（W1＞1）的，从具有顶峰而周围呈缓坡状延伸的投票区域的坐标区域清除，即图19中（a）的包含在区域B的所有坐标的票数（清零）。还有，也可适当减少票数以替代清除票数

另外，不清除极大值的票数在阈值W1以上的坐标区域，即对于图19中（a）的区域A原样保持其票数还有，较为典型的是，阈值W1可以在关联于图3的步骤STEP14而说明的阈值V1以下，但是也可以是大于阈值V1的数值，或根据驾驶状况（例如车速、天气、时间段或道路曲率）来改变。

在步骤STEP52中，由数据避让部102使区域确定部101处理后的投票空间56的数据避让到规定存储器中。所谓的区域确定部101处理后的投票空间56的数据，是单指线形要素抽出图像40的检测直线的区域A的票数的数据。还有，可将避让于该规定存储器中的票数的线形要素抽出图像40的个数限定为规定数量（例如上述n），当避让线形要素抽出图像40的个数达到规定数量时，将最先的线形要素抽出图像40的数据置换为最新的线形要素抽出图像40的数据，这有助于节约所需的存储器容量。

如图示在图18的右侧那样，图17的步骤STEP11～14和51、52的处理结果是生成时间序列投票空间K1～Kn。还有，与线形要素抽出图像40无关，定义于各线形要素抽出图像40的行车道抽出区域45的y轴方向范围相同。因此，只要车速相同，与投票空间K1～Kn的行车道抽出区域45的y轴尺寸对应的实际空间中车辆前后方向长度就相等。

投票重合部103在步骤STEP53中实施的处理和直线检测部104在步骤STEP54中实施的处理，并非是对缘于各线形要素抽出图像40的投票空间56的个别处理，而是对时间序列的n个缘于线形要素抽出图像40的投票空间K1～Kn设定的合计投票空间进行的处理。

在步骤STEP53中，由投票重合部103使时间序列的对线形要素抽出图像40定义的投票空间K1～Kn重合。具体地讲，所谓的使投票空间K1～Kn重合是指在后述图19中（b）说明的生成合计投票空间。

较为典型的是，与车辆10的行驶状况无关，将各时间序列的投票空间K1～Kn的个数n固定下来，但是也可以根据车速或道路29的曲率进行调整。由于线形要素抽出图像40的时间间隔一定，所以可在越是快速时越是减小个数n，以加快行车道分界线的识别的更新间隔。另外，可在越是行驶在曲率变化大的道路29上越是减小个数n，以快速识别道路29的曲率有变化的行车道分界线。

图19中（b）表示在步骤STEP53由投票重合部103实施的处理结果而生成的合计投票空间的具体例子。为与个别的区别，下面将合计投票空间的表示为还有，“t”的使用是取义于total（合计）。

是由数据避让部102或在步骤STEP52临时避让在规定存储器中的多个线形要素抽出图像40（时间序列投票空间）的 的合计。即，对于去除图19中（a）的干扰区域B的 而对区域A的进行集中处理的各投票空间的 是合计时间序列投票空间K1～Kn的的数值。

这里，应引起注意的是，对应于投票空间K1～Kn的实际空间并不是相同范围，而是随着车辆10的行驶朝向车辆行驶方向根据车速而逐渐向车辆前方的范围变化。因此，对应于投票空间K1～Kn的坐标的实际空间中的位置和方向在投票空间K1～Kn之间产生偏差。

同样，道路29为弯曲道路时，对应于投票空间K1～Kn的实际空间在相对于车辆10的相对区域中相同，但以时间方面最靠前的投票空间K1为基准，相对于作为投票空间K1的出处的拍摄图像30的x轴方向和y轴方向则逐渐产生偏差。

作为时间序列上最先的投票空间K1和最新的投票空间Kn的出处的拍摄图像30的拍摄时刻的差值较小时，对应于投票空间K1～Kn的 同一坐标的实际空间中的位置和方向的差异较小，所以只需合计投票空间K1～Kn的2个同一坐标的并作为合计投票空间的即可。

作为时间序列上最先的投票空间K1和最新的投票空间Kn的出处的拍摄图像30的拍摄时刻的差值较大时，则无法忽视对应于投票空间K1～Kn之间的2个同一坐标的实际空间中的位置的偏差。为处理这种情况，将投票空间K1～Kn中的1个（例如K1、Kn或正中间的投票空间）设定为基准投票空间，还将作为该基准投票空间的出处的线形要素抽出图像40的xy坐标设定为基准坐标。

之后，将作为时间序列上基准投票空间以外的投票空间的出处的线形要素抽出图像40的xy坐标变换为基准投票空间的基准坐标，在时间序列上的n个投票空间之间，使同一坐标对应于实际空间中的同一位置。此后，将变换后的坐标作为基准投票空间的xy坐标而求出 向各投票空间的投票而得出合计投票空间的 还有，车辆10的车速或转向角速度为将线形要素抽出图像40的xy坐标变换为基准投票空间的基准坐标时的变换式的计算因素。

在步骤STEP54中，由直线检测部104根据合计投票空间的投票结果检测出检测直线。由识别部26根据直线检测部104检测出来的检测直线来识别行车道分界线。下面说明由直线检测部104检测出检测直线的具体方法。

在合计投票空间中，缘于干扰形成的直线的和对应于行车道标志的直线的的差异更为明显。其原因为，一般情况下，缘于行车道标志的投票有在时间序列拍摄图像30中连续出现的趋势，相反，缘于干扰的投票则有在时间序列拍摄图像30中断续出现或只出现1次的情况。直线检测部104在合计投票空间设定阈值W2（W2＞W1），对于在阈值W2以上成为极大值的坐标分别对应于其的x交点和倾角θ的直线作为检测直线而检测出来。

还有，在时间序列投票空间确定了上述基准投票空间后，作为检测出检测直线的基础的由基准投票空间的基准坐标来表示。

与对单个线形要素抽出图像40的1个投票空间56的 一样，即使对于也可将合计投票空间的极大值限定为包含在靠上规定数量内的极大值的的坐标，只将对应于限定的坐标的直线作为检测直线。

直线检测部104还能进行以下处理。定义时间序列上有时间先后的在前线形要素抽出图像40和在后线形要素抽出图像40。还有，在前线形要素抽出图像40和在后线形要素抽出图像40也可以不是时间序列上相邻的2个线形要素抽出图像40。求出对应于在前线形要素抽出图像40的投票空间56的票数较大的在前坐标和对应于在时间序列上靠后的在后线形要素抽出图像40的投票空间56的票数较大的在后坐标在投票空间56上的距离L（也可以用该距离L换算为实际空间中的距离替代该距离L），距离L在阈值L1以上时，清除在前线形要素抽出图像40在投票空间56在前坐标 的票数

这样，在合计投票空间，相当于在前坐标的坐标的票数大幅减少。如上所述，缘于干扰产生的投票有在时间序列拍摄图像30中断续出现或只出现1次的情况。因此，即使是缘于1个线形要素抽出图像40的投票空间56的票数为W1以上的极大值的在前坐标，其投票缘于干扰产生时，在缘于在时间序列上比前者靠后的在后线形要素抽出图像40的投票空间56，在距离在后坐标的规定距离内，票数在W1以上时不出现极大值的坐标的趋势较大。因此，此时，从合计投票空间去除在前线形要素抽出图像40的在前坐标的票数时，能防止缘于干扰的检测直线被检测出来的情况出现。

上面说明了本发明的实施方式，但在不脱离本发明的主旨的范围内能对其进行各种设计变更。

还有，虽然使用了“投票空间”，但其至多表示处理时的名词而 已，即，对于行车道抽出区域的多个检测直线，汇总其特征（本实施例中为）相同的各局部直线的个数的处理中所使用的场所名而使用，这是本领域技术人员能明确知晓的。因此，如果使处理内容相同，即使采用其他名词，也落入本发明的保护范围内。

【工业实用性】

本发明的行车道识别装置装备在汽车上，能检测出汽车正在行驶的道路或行车道的位置。另外，根据本发明的行车道识别装置而检测出的道路或行车道，还能避免与道路上的规定对象物产生碰撞或进行自动行驶等各种各样的控制。

【附图标记说明】

10，车辆；11，摄像头（拍摄装置）；20、65、100，行车道识别装置；21，图像存储器；22，线形要素抽出图像处理部；23，分辨率确定部；24，投票处理部；25、104，直线检测部；26，识别部；29，道路；30，拍摄图像；31，中间行车道标志；32，左侧行车道标志；33，右侧行车道标志；40，线形要素抽出图像；41、42，线形要素；44，局部直线；45，行车道抽出区域；46，基准水平线；47，局部区域；56，投票空间；66，中间抽出图像生产部；67，线条置换部；70，视角变换图像；76，左侧检测直线；77、80，行车道分界线；79，右侧检测直线；101，区域确定部；102，数据避让部；103，投票重合部。

Claims (13)

1.一种行车道识别装置，利用摄像装置所拍到的显示车辆前方情况的拍摄图像来识别行车道，其特征在于，该行车道识别装置具有：

线形要素抽出图像生成部，抽出包含在上述拍摄图像中的线形要素，生成线形要素抽出图像；

区域设定部，由其在上述线形要素抽出图像中设定具有垂直方向规定范围的行车道抽出区域；

局部直线确定部，由其对上述行车道抽出区域内的各局部区域，根据各局部区域的线形要素部分确定各局部区域的局部直线；

交点求出部，由其求出各局部直线和位于垂直方向规定位置的基准水平线的交点；

投票部，由其在以方向和交点为坐标成分的投票空间对各局部直线的方向和交点进行投票；

检测部，由其根据上述投票空间的投票结果来对检测直线进行检测；

识别部，由其根据上述检测直线来识别行车道分界线，

由上述区域设定部将上述线形要素抽出图像在垂直方向上分割成多个行车道抽出区域，

由上述投票部对与各行车道抽出区域相对应的各投票空间，根据与该投票空间对应的行车道抽出区域的各局部直线进行投票，

由上述检测部根据各投票空间的投票结果来检测出每个行车道抽出区域的检测直线，

由上述识别部根据各行车道抽出区域的检测直线的接合来识别线形要素抽出图像内的行车道分界线。

2.根据权利要求1所述的行车道识别装置，其特征在于，

由上述区域设定部将上述线形要素抽出图像在垂直方向上分割成多个行车道抽出区域，在垂直方向上，越是位于上侧的行车道抽出区域，其在垂直方向上的尺寸越小。

3.根据权利要求1所述的行车道识别装置，其特征在于，

由上述局部直线确定部将规定范围的方向分割成第1规定数量的方向区分，将各局部直线的方向分配到对应的方向区分，进行确定，

由上述交点求出部将上述基准水平线分割成第2规定数量的位置区分，将各局部直线和上述基准水平线的交点分配到对应的作为位置区分的交点区分，进行确定，

由上述投票部使在上述投票空间定义的方向和交点的坐标成分与上述方向区分和交点区分一致。

4.根据权利要求3所述的行车道识别装置，其特征在于，

上述第1规定数量或上述第2规定数量，在位于上侧的行车道抽出区域中设定得小于位于下侧的行车道抽出区域中的相应规定数量。

5.根据权利要求3所述的行车道识别装置，其特征在于，

上述第1规定数量或上述第2规定数量，在同一行车道抽出区域中，在位于上侧的局部区域中设定得小于位于下侧的局部区域中的相应规定数量。

6.根据权利要求1所述的行车道识别装置，其特征在于，

由上述检测部将具有对应于上述投票空间的票数极大的坐标的方向和交点的直线作为检测直线进行检测。

7.根据权利要求1所述的行车道识别装置，其特征在于，

上述拍摄图像中的水平方向相当于实际空间中的车辆的左右方向，

在上述识别部根据时间序列的线形要素抽出图像，判断为检测直线在所述线形要素抽出图像中向水平方向以阈值以上的速度在变化时，识别为行车道分界线呈弯曲形状。

8.根据权利要求1所述的行车道识别装置，其特征在于，

上述线形要素抽出图像生成部具有：

中间抽出图像生成部，抽出包含在上述拍摄图像中的线形要素，生成第1中间抽出图像；

线条置换部，由其根据包含在上述第1中间抽出图像中的各线形要素在水平方向的宽度或倾角在垂直方向上的变化，通过将所述各线形要素置换为1个或多个线条，从而由上述第1中间抽出图像生成上述线形要素抽出图像。

9.根据权利要求8所述的行车道识别装置，其特征在于，

上述中间抽出图像生成部这样生成上述第1中间抽出图像：由其将包含在上述拍摄图像中的线形要素抽出，生成第2中间抽出图像，线形要素在第2中间抽出图像中的位置保持与上述拍摄图像中的位置一致，将所述第2中间抽出图像视角变换为俯视图像，形成所述第1中间抽出图像。

10.根据权利要求1所述的行车道识别装置，其特征在于，

上述投票部针对各个时间序列的行车道抽出区域设定所述投票空间，并向时间序列的各个投票空间，对设定了该投票空间的行车道抽出区域中的各局部区域的局部直线的方向和交点进行投票，所述时间序列的行车道抽出区域是相对时间序列的所述线形要素抽出图像分别设定，该线形要素抽出图像是与时间序列的拍摄图像对应生成的图像，

由上述检测部根据向时间序列的投票空间的投票结果检测出检测直线。

11.根据权利要求10所述的行车道识别装置，其特征在于，

由上述检测部作成合计投票空间，在合计投票空间中，各坐标的票数为将时间序列中的各投票空间的对应坐标的票数合计后的合计值，根据合计投票空间的票数为极大时的坐标检测出上述检测直线。

12.根据权利要求11所述的行车道识别装置，其特征在于，

由上述检测部对各投票空间的票数不足阈值的坐标，在减少该票数后再对时间序列中的各投票空间的各坐标的票数进行合计。

13.根据权利要求11所述的行车道识别装置，其特征在于，

由上述检测部对比时间序列中不同时刻的第1和第2投票空间的投票结果，在与第1投票空间的票数为极大时的坐标距离规定距离范围内的坐标在第2投票空间的票数不是极大时，从合计投票空间的合计中去除第1投票空间的该坐标的票数。