CN115131767A - 车道边界检测装置、车道边界检测方法及车道边界检测用计算机程序 - Google Patents

Abstract

公开车道边界检测装置、车道边界检测方法及车道边界检测用计算机程序。车道边界检测装置具有：识别部(31)，通过将由搭载于车辆(10)的摄像部(2)得到的表示车辆(10)的周边区域的图像输入到以针对每个像素识别在该像素中表示的物体的类别的方式学习的识别器，识别在图像的各像素中表示的物体的类别；以及检测部(32)，针对在图像中与本车道交叉的方向的每个像素列，沿着从该像素列的一端朝向另一端的扫描方向，依次根据在连续的预定数的像素群中表示的物体的类别的排列顺序、以及与扫描方向上的紧接着之前的像素群相当的位置是否为本车道内的判定结果，判定与该像素群相当的位置是否为本车道内，由此检测本车道的边界。

Description

车道边界检测装置、车道边界检测方法及车道边界检测用计 算机程序

技术领域

本发明涉及检测在图像中表示的车道的边界的车道边界检测装置、车道边界检测方法以及车道边界检测用计算机程序。

背景技术

为了对车辆进行自动驾驶控制、或者、为了支援车辆的驾驶员的驾驶，要求正确地检测车辆和该车辆行驶中的车道的位置关系。为此，进行从通过搭载于车辆的摄像机得到的车辆周围的图像，检测车辆行驶中的车道以及该车道的边界线(参照日本特开2019-87134号公报)。

日本特开2019-87134号公报公开的驾驶支援系统根据摄像图像中的像素的亮度值，抽出边缘点。在边缘点中，将内侧像素的亮度比外侧像素的亮度小的边缘点设为上边缘点，将外侧像素的亮度比内侧像素的亮度小的边缘点设为下边缘点。该驾驶支援系统将根据边缘点的位置求出的线候补中的、与去掉满足除外条件的线候补以外的车辆位置最接近的线候补设定为车道边界线。在除外条件中，包括属于构成线候补的上边缘线的边缘点的数量相比于属于下边缘线的边缘点的数量成为预先决定的点阈值以上。

发明内容

搭载于车辆的硬件资源有限，该硬件资源被利用于用于自动驾驶控制或者驾驶支援的各种处理，所以从通过搭载于车辆的摄像机得到的图像检测车辆行驶中的车道(以下有时称为本车道)的边界的处理所需的运算负荷越少越好。

因此，本发明的目的在于提供一种能够减轻用于从图像检测车辆行驶中的车道的边界线的处理所需的运算负荷的车道边界检测装置。

根据一个实施方式，提供车道边界检测装置。该车道边界检测装置具有：识别部，通过将由搭载于车辆的摄像部得到的、表示车辆的周边区域的图像输入到以针对每个像素识别在该像素中表示的物体的类别的方式学习而得到的识别器，识别在图像的各像素中表示的物体的类别，物体的类别至少包括表示是车辆行驶中的本车道内的物体的类别和表示是本车道外的物体的类别；以及检测部，针对在图像中与本车道交叉的方向的每个像素列，沿着从该像素列的一端朝向另一端的扫描方向，依次根据在连续的预定数的像素群中表示的物体的类别的排列顺序、以及与扫描方向上的紧接着之前的像素群相当的位置是否为本车道内的判定结果，判定与该像素群相当的位置是否为本车道内，由此检测本车道的边界。

在该车道边界检测装置中，优选为，检测部在像素列的任意一个中成为本车道内的连续的像素的集合存在多个的情况下，将多个像素的集合中的、最确切地是本车道内的像素的集合确定为表示本车道的本车道区域，将本车道区域的沿着扫描方向的两个边界中的、在相比该边界在图像端侧不存在表示本车道的像素的边界检测为本车道的边界。

或者，在该车道边界检测装置中，优选为，物体的类别还包括设置于道路的车道划区线以外的其他标示，表示是本车道内的物体的类别包括本车道本身，并且表示是本车道外的物体的类别包括本车道以外的其他路面，检测部关于像素列中的、与在图像中从车辆离开大于预定距离的位置相当的像素列，判定为与从相对车辆远离的一方起依次识别的物体的类别按照车道划区线、其他标示、本车道的顺序排列的像素群相当的位置表示本车道的边界，另一方面，关于图像的像素列中的、与在图像中从车辆起预定距离以内的位置相当的像素列，判定为从相对车辆远离的一方起依次识别的物体的类别按照其他路面或者车道划区线、接着本车道的顺序排列的情况下的本车道的位置表示本车道的边界。

根据其他实施方式，提供车道边界检测方法。该车道边界检测方法包括：通过将由搭载于车辆的摄像部得到的、表示车辆的周边区域的图像输入到以针对每个像素识别在该像素中表示的物体的类别的方式学习的识别器，从而识别在图像的各像素中表示的物体的类别，物体的类别至少包括表示是车辆行驶中的本车道内的物体的类别和表示是本车道外的物体的类别；以及针对在图像中与本车道交叉的方向的每个像素列，沿着从该像素列的一端朝向另一端的扫描方向，依次根据在连续的预定数的像素群中表示的物体的类别的排列顺序、以及与扫描方向上的紧接着之前的像素群相当的位置是否为本车道内的判定结果，判定与该像素群相当的位置是否为本车道内，由此检测本车道的边界。

进而，根据其他实施方式，提供车道边界检测用计算机程序。该车道边界检测用计算机程序包括用于使处理器执行如下动作的命令：通过将由搭载于车辆的摄像部得到的、表示车辆的周边区域的图像输入到以针对每个像素识别在该像素中表示的物体的类别的方式学习的识别器，从而识别在图像的各像素中表示的物体的类别，物体的类别至少包括表示是车辆行驶中的本车道内的物体的类别和表示是本车道外的物体的类别；以及针对在图像中与本车道交叉的方向的每个像素列，沿着从该像素列的一端朝向另一端的扫描方向，依次根据在连续的预定数的像素群中表示的物体的类别的排列顺序、以及与扫描方向上的紧接着之前的像素群相当的位置是否为本车道内的判定结果，判定与该像素群相当的位置是否为本车道内，由此检测本车道的边界。

本发明所涉及的车道边界检测装置起到能够减轻用于检测车辆行驶中的车道的边界线的处理所需的运算负荷这样的效果。

附图说明

图1是安装车道边界检测装置的车辆控制系统的概略结构图。

图2是作为车道边界检测装置的一个实施方式的电子控制装置的硬件结构图。

图3是与包括车道边界检测处理的车辆控制处理有关的、电子控制装置的处理器的功能框图。

图4是示出车辆的前方的路面的图像和该图像的各像素的物体的类别的识别结果的一个例子的图。

图5是示出基于每个像素群的物体的类别的排列顺序的、表示与扫描中的关注像素相当的位置如何转变的状态转变图。

图6是示出表示车道划区线和其他标示的图像的一个例子的图。

图7是示出车道划区线不清晰的情况下的道路的图像以及各像素的物体的类别的识别结果的一个例子的图。

图8是包括车道边界检测处理的车辆控制处理的动作流程图。

具体实施方式

以下，参照附图，说明车道边界检测装置以及在该车道边界检测装置中执行的车道边界检测方法以及车道边界检测用计算机程序。该车道边界检测装置通过将由搭载于车辆的摄像部得到的、表示车辆的周边区域的图像输入到以针对每个像素识别在该像素中表示的物体的类别的方式学习的识别器，从而识别在图像的各像素中表示的物体的类别。而且，该车道边界检测装置针对在图像中与本车道的延伸方向交叉的方向(以下有时简称为与本车道交叉的方向)的每个像素列，沿着从该像素列的一端朝向另一端的扫描方向，依次根据在连续的预定数的像素群中表示的物体的类别的排列顺序、以及与扫描方向上的紧接着之前的像素群相当的位置是否为本车道内的判定结果，判定与该像素群相当的位置是否为本车道内。由此，该车道边界检测装置检测从车辆观察的、本车道的左右各自的边界的位置。这样，该车道边界检测装置针对每个像素列通过一次扫描检测本车道的边界的位置，从而减轻运算负荷。另外，该车道边界检测装置沿着特定的方向(例如从左向右)依次扫描即可，所以通过使图像储存于存储器时的像素的排列顺序和其扫描方向一致，能够改善存储器存取的效率。

以下，说明将车道边界检测装置应用于车辆控制系统的例子。在该例子中，车道边界检测装置通过针对由搭载于车辆的摄像机得到的图像执行车道边界检测处理，检测本车道的边界，将其检测结果用于车辆的自动驾驶控制。

图1是安装车道边界检测装置的车辆控制系统的概略结构图。图2是作为车道边界检测装置的一个实施方式的电子控制装置的硬件结构图。在本实施方式中，搭载于车辆10并且控制车辆10的车辆控制系统1具有用于拍摄车辆10的周围的路面的摄像机2和作为车道边界检测装置的一个例子的电子控制装置(ECU)3。摄像机2和ECU3经由遵循控制器局域网这样的标准的车内网络可通信地连接。此外，车辆控制系统1也可以还具有存储在车辆10的自动驾驶控制中使用的地图的存储设备装置(未图示)。进而，车辆控制系统1也可以具有LiDAR传感器或者雷达这样的距离传感器(未图示)、GPS接收机这样的、用于遵循卫星定位系统对车辆10的自己位置进行定位的接收机(未图示)、用于与其他设备无线通信的无线通信终端(未图示)以及用于搜索车辆10的行驶预定路线的导航装置(未图示)等。

摄像机2是生成表示车辆10的周边区域的图像的摄像部的一个例子，具有CCD或者C-MOS等由对可见光或者红外光具有灵敏度的光电变换元件的阵列构成的二维检测器和在该二维检测器上使成为拍摄对象的区域的像成像的成像光学系统。摄像机2例如以朝向车辆10的前方的方式，安装于车辆10的车室内。而且，摄像机2每隔预定的拍摄周期(例如1/30秒～1/10秒)，拍摄包括车辆10的前方的路面的区域，生成摄有该区域的图像。通过摄像机2得到的图像既可以是彩色图像、或者、也可以是灰色图像。此外，车辆控制系统1也可以具有拍摄方向或者视场角不同的多个摄像机2。

摄像机2每当生成图像时，将该生成的图像经由车内网络输出给ECU3。

ECU3控制车辆10。在本实施方式中，ECU3检测从由摄像机2得到的时间序列的一连串的图像检测的本车道的边界，以使车辆10沿着用检测到的本车道的边界确定的本车道行驶的方式，控制车辆10。为此，ECU3具有通信接口21、存储器22以及处理器23。

通信接口21是通信部的一个例子，具有用于将ECU3连接到车内网络的接口电路。即，通信接口21经由车内网络与摄像机2连接。而且，通信接口21每当从摄像机2接收到图像时，将接收到的图像送到处理器23。另外，通信接口21将经由车内网络接收到的、从存储设备装置读入的地图、来自GPS接收机的定位信息等，送到处理器23。

存储器22是存储部的一个例子，例如具有易失性的半导体存储器以及非易失性的半导体存储器。而且，存储器22存储用于实现由ECU3的处理器23执行的各种处理的计算机程序、在车道边界检测处理中使用的各种数据，例如从摄像机2接收到的图像、用于确定在车道边界检测处理中利用的识别器的各种参数等。进而，存储器22存储车道边界检测处理的途中的运算结果。

处理器23是控制部的一个例子，具有1个或者多个CPU(Central ProcessingUnit，中央处理单元)及其周边电路。处理器23也可以还具有逻辑运算单元、数值运算单元或者图形处理单元这样的其他运算电路。而且，处理器23每当在车辆10行驶的期间从摄像机2接收到图像时，针对接收到的图像执行包括车道边界检测处理的车辆控制处理。然后，处理器23根据检测到的本车道的边界，以对车辆10进行自动驾驶、或者、支援车辆10的驾驶员的驾驶的方式，控制车辆10。

图3是与包括车道边界检测处理的车辆控制处理有关的、ECU3的处理器23的功能框图。处理器23具有识别部31、检测部32以及车辆控制部33。处理器23具有的这些各部例如是通过在处理器23上动作的计算机程序实现的功能模块。或者，处理器23具有的这些各部也可以是设置于处理器23的、专用的运算电路。另外，处理器23具有的这些各部中的、识别部31以及检测部32执行车道边界检测处理。

识别部31每当从摄像机2得到图像时，将该图像输入到以针对每个像素识别所表示的物体的类别的方式预先学习的识别器，从而识别在图像的各像素中表示的物体的类别。

在本实施方式中，由识别器识别的物体的类别被用于检测在图像中表示的本车道的边界，所以在成为识别对象的物体的类别中，至少包括表示是本车道内的类别和表示是本车道外的类别。在本实施方式中，在表示是本车道内的物体的类别中，包括本车道本身。另一方面，在表示是本车道外的物体的类别中，包括静止物、本车道以外的路面(以下有时称为其他路面)以及车道划区线。此外，也可以关于车道划区线，个别地识别设置于路面的标识部分和用虚线表示的车道划区线中的标识之间的部分(以下有时称为车道划区线的非标识部分)。在以下的说明中，只要没有特别事先说明，将车道划区线的标识部分和非标识部分总称为车道划区线。进而，在成为利用识别器的识别对象的物体的类别中，也可以包括移动物体、或者、导流道标识或者减速标识这样的、在路面中沿着车道划区线设置的标识等其他标示。

作为识别器，例如使用全卷积网络(fully convolution network，FCN)或者U-Net这样的、具有包括多个卷积层的卷积神经网络型的架构的语义分割用的神经网络。通过将这样的神经网络用作识别器，识别部31能够较精度良好地识别在各像素中表示的物体的类别。此外，作为识别器，也可以使用基于随机森林的语义分割用的识别器这样的、利用神经网络以外的机器学习系统的识别器。

图4是示出车辆10的前方的路面的图像和该图像的各像素的物体的类别的识别结果的一个例子的图。在图4所示的例子中，在图像400中，在本车道401的左右两侧，分别示出用实线表示的车道划区线402以及用点显示来表示的导流道标识403。

因此，在针对图像400的各像素的识别结果410中，将各像素分别分类为本车道401、车道划区线402、其他标示(导流道标识)403、其他路面404、静止物405以及移动物体406中的任意一个。此外，在该例子中，关于与车辆10的行进方向相逆的朝向的车道，并非识别为其他路面404，而识别为静止物405。

识别部31将各像素的识别结果通知给检测部32。

检测部32根据各像素的物体的识别结果，求出表示本车道的左右各自的边界的像素的集合。在本实施方式中，检测部32将车道划区线的本车道侧的端部作为本车道的边界。

在此，假设针对与本车道交叉的方向的每个像素列，在本车道内设定基准点，朝向远离该基准点的方向依次扫描，参照各像素的物体的识别结果，将最初出现车道划区线的位置检测为本车道的边界。在该情况下，针对每个像素列，为了设定基准点而临时扫描该像素列，在设定基准点后，再次扫描该像素列，所以运算负荷变高。因此，不优选为了检测本车道的边界而要求这样的多个扫描。进而，在存储器22或者处理器23的高速缓存存储器中的、存储各像素的值的顺序和扫描方向不同的情况下，在存储器存取的观点上效率降低。

因此，检测部32针对在图像中与本车道交叉的方向的每个像素列，设定从该像素列的一端朝向另一端的扫描方向。然后，检测部32针对每个像素列，沿着该扫描方向，依次根据在连续的预定数的像素群中表示的物体的类别的排列顺序以及与扫描方向上的紧接着之前的像素群相当的位置是否为本车道内的判定结果，判定与该像素群相当的位置是否为本车道内，由此检测本车道的左右各自的边界。

在本实施方式中，本车道的延伸方向在图像上成为垂直方向，所以以使扫描方向和本车道的延伸方向交叉的方式，将扫描方向设定为水平方向。另外，将图像的水平方向的各像素列的各个像素的值从左端向右方向依次存储。因此，检测部32为了提高存储器存取的效率，关于水平方向的各像素列，将左端作为扫描的始点，从该始点朝向右方向依次扫描。另外，在本实施方式中，检测部32在各像素列的扫描中，依次扫描在包括在水平方向上排列的两个像素的像素群中表示的物体的类别的排列顺序。

图5是将基于每个像素群的物体的类别的排列顺序的、与扫描中的关注像素相当的位置如何转变作为状态转变图表示的图。如上所述，在本实施方式中，在成为识别对象的物体的类别中，包括本车道501、车道划区线的标识部分502、车道划区线的非标识部分503、其他标示504、其他路面505、移动物体506以及静止物507这7个种类的物体。因此，各个像素群中的物体的类别的49种排列顺序中的、在本车道的边界的检测中所关注的27种排列顺序被分类为情形1～情形15这15种。例如，情形1表示像素群内的左侧的像素相当于车道划区线，右侧的像素相当于其他标示的情况，情形13表示相对情形1将物体的类别左右相反地排列的情况。另外，情形2表示像素群内的左侧的像素相当于其他标示，右侧的像素相当于本车道的情况，情形7表示相对情形2将物体的类别左右相反地排列的情况。进而，情形3表示像素群内的左侧的像素相当于车道划区线或者其他路面，右侧的像素相当于本车道的情况，情形8表示相对情形3将物体的类别左右相反地排列的情况。进而另外，情形4表示像素群内的左侧的像素相当于移动物体，右侧的像素相当于本车道的情况，情形9表示相对情形4将物体的类别左右相反地排列的情况。进而另外，情形6表示像素群内的左侧的像素相当于静止物，右侧的像素相当于本车道的情况，情形10表示相对情形6将物体的类别左右相反地排列的情况。进而另外，情形5、情形11以及情形12分别表示像素群内的任意一个像素都是本车道的情况、是其他标示的情况以及是移动物体的情况。进而另外，情形14表示像素群内的左侧的像素相当于其他标示，右侧的像素相当于其他路面、移动物体或者静止物的情况。而且，情形15表示像素群内的左侧的像素相当于移动物体，右侧的像素相当于移动物体以及本车道以外的物体的情况。

另外，在状态转变图500中，包括5个状态511～515。其中，状态511表示关注的位置是本车道外。另外，状态512表示关注的位置是本车道内。进而，状态513表示关注的位置有可能是本车道内、并且是表示移动物体的位置。进而另外，状态514表示关注的位置有可能是本车道内、并且是表示其他标示的位置。而且，状态515表示开始扫描时的状态，表示关注的位置未被分类为本车道内或者本车道外的任意一个。而且，各状态之间的箭头表示从该箭头的根部向该箭头的前端的状态转变，附加于该箭头的情形编号表示应用该状态转变的像素群的情形编号(情形1～15中的任意一个)。进而，与各情形编号关联起来的处理在用该情形编号表示关注像素群中的物体的类别的排列的情况下，表示与状态转变一起执行的处理的内容。进而另外，“右端”以及“左端”分别表示本车道的右侧的车道边界线的位置以及本车道的左侧的车道边界线的位置。而且，(k－1)表示与关注的像素群的左侧的像素相当的位置，k表示与关注的像素群的右侧的像素相当的位置。

在扫描开始后，检测部32以使作为扫描开始位置的左端的像素成为关注位置、并且成为关注的像素群的左侧的像素的方式，设定关注的像素群。然后，检测部32依照左端的像素的物体的类别，将关注位置的状态设定为状态511～状态514中的某一个。即，在左端的像素的物体的类别为静止物、其他路面或者车道划区线的情况下，检测部32判定为关注位置的状态为是本车道外的状态511。另一方面，在左端的像素的物体的类别是本车道的情况下，检测部32判定为关注位置的状态为是本车道内的状态512。另外，在左端的像素的类别是移动物体的情况下，检测部32判定为关注位置的状态是关注的位置有可能是本车道内、并且表示是表示移动物体的位置的状态513。即，检测部32将关注位置设为成为本车道内的候补的位置。然后，在左端的像素的类别是其他标示的情况下，检测部32判定为是关注的位置有可能是本车道内、并且表示是表示其他标示的位置的状态514。在该情况下，检测部32也将关注位置设为成为本车道内的候补的位置。

检测部32在判定最初的关注位置的状态后，判定关注的像素群的物体的类别的排列符合情形1～情形15中的哪一个。然后，检测部32参照状态转变图500，使状态依照关注位置的状态下的关注的像素群的物体的排列顺序转变。例如，如果关注位置的状态为是本车道外的状态511、并且关注的像素群的物体的类别的排列顺序符合情形3，则关注的像素群的左侧的像素中的物体的类别是车道划区线或者其他路面，该像素群的右侧的像素中的物体的类别是本车道。因此，检测部32将关注的像素群的右侧像素的位置设定为有效的本车道的左侧的边界的位置，并且使状态转变到是本车道内的状态512。另外，如果关注位置的状态为是本车道外的状态511、并且关注的像素群的物体的类别的排列顺序符合情形6，则关注的像素群的左侧的像素中的物体的类别是静止物，该像素群的右侧的像素中的物体的类别是本车道。因此，在该关注的像素群中，不夹着车道划区线或者其他路面，静止物和本车道相接。因此，检测部32将关注的像素群的右侧像素的位置设定为无效的本车道的左侧的边界的位置，并且使状态转变到是本车道内的状态512。另外，如果关注位置的状态为有可能是本车道内的状态513、并且关注的像素群的物体的类别的排列顺序符合情形15(右侧像素的物体为本车道以及移动物体以外)，则关注位置应为本车道外而不是本车道内，所以检测部32使状态转变到是本车道外的状态511，并且丢弃设定于关注位置的本车道的候补。相反地，如果关注位置的状态为有可能是本车道内的状态513、并且关注的像素群的物体的类别的排列顺序符合情形4(右侧像素的物体为本车道)，则关注位置应为本车道内，所以检测部32使状态转变到是本车道内的状态512。另外，检测部32将设定于关注位置的本车道的候补正式地判定为是本车道内，将本车道的右侧的边界的假想的位置更新为关注的像素群的右侧的像素的位置。同样地，如果关注位置的状态为有可能是本车道内的状态514、并且关注的像素群的物体的类别的排列顺序符合情形13或者情形14，则关注位置应为本车道外而不是本车道内。因此，检测部32使状态转变到是本车道外的状态511，并且丢弃设定于关注位置的本车道的候补。相反地，如果关注位置的状态为有可能是本车道内的状态514、并且关注的像素群的物体的类别的排列顺序符合情形2(右侧像素的物体为本车道)，则关注位置应为本车道内。因此，检测部32使状态转变到是本车道内的状态512。另外，检测部32将设定于关注位置的本车道的候补正式地判定为是本车道内，将本车道的右侧的边界的假想的位置更新为关注的像素群的右侧的像素的位置。进而，如果关注位置的状态为是本车道内的状态512、并且关注的像素群的物体的类别的排列顺序符合情形8或者情形13(右侧像素的物体为车道划区线或者其他路面)，则将关注的像素群的左侧像素的位置设定为有效的本车道的右侧的边界的位置，并且使状态转变到是本车道外的状态511。进而，如果关注位置的状态为是本车道内的状态512、并且关注的像素群的物体的类别的排列顺序符合情形10、情形14或者情形15，则将关注的像素群的左侧像素的位置设定为无效的本车道的右侧的边界，并且使状态转变到是本车道外的状态511。此外，关于其以外的关注位置的状态和关注的像素群的物体的排列顺序的组合，也依照状态转变图500使状态转变即可。

以下，同样地，检测部32一边将关注位置一个像素一个像素地向右侧移动，一边设定将关注位置作为左侧的像素的、要关注的像素群，并且依照状态转变图500，根据当前的关注位置的状态和关注的像素群的物体的类别的排列顺序，使关注位置的状态转变。然后，检测部32在关注位置到达扫描的像素列的右端时，如果有登记为有效的本车道的左侧的边界的位置，则将该位置检测为该像素列中的本车道的左侧的边界的位置。同样地，检测部32如果有登记为有效的本车道的右侧的边界的位置，则将该位置检测为该像素列中的本车道的右侧的边界的位置。进而，检测部32在关注位置到达扫描的像素列的右端时，如果没有登记为有效的本车道的左侧的边界的位置、且仅登记有无效的左侧的位置，则在该像素列中，不检测本车道的左侧的边界。同样地，检测部32在关注位置到达扫描的像素列的右端时，如果没有登记为有效的本车道的右侧的边界的位置、且仅登记有无效的右侧的位置，则在该像素列中，不检测本车道的右侧的边界。

这样，检测部32仅通过关于一个像素列扫描一次，就能够检测本车道的左侧以及右侧的边界。

此外，即使在如导流道标识那样与车道划区线平行地设置有其他标示的情况下，由于该车道划区线和其他标示未相接，所以设想在图像中，也在表示车道划区线的像素与表示其他标示的像素之间存在表示本车道的像素。但是，距车辆10的距离越远的位置，即距摄像机2的距离越远的位置，则存在于该位置的物体在图像上被拍摄得越小。因此，在与从车辆10离开某种程度以上的路面的位置相当的图像上的区域中，处于车道划区线与其他标示之间的、本车道的路面部分的识别变得困难，表示车道划区线的像素和表示其他标示的像素有时相接。因此，检测部32也可以关于与在图像上从车辆10离开预定距离以上的位置相当的像素列，如图5所示的情形1或者情形13那样，将关于各像素识别的物体的类别从相对车辆10远的一方起依次按照车道划区线、其他标示、本车道的顺序排列的情况下的、其他标示的位置检测为本车道的边界。此外，预定距离例如能够设为通过由摄像机2得到的图像的分辨率在图像上无法识别车道划区线与其他标示之间的本车道的路面的距离。

图6是示出表示车道划区线和其他标示的图像的一个例子的图。如图6所示，在图像600中，沿着车道划区线601、并且与车道划区线601隔开一定的间隔，标示了导流道标识602。但是，在图像600内的各像素的物体的类别的识别结果610中，在与区域620相当的位置处，由于过于远离车辆10，所以表示车道划区线601的像素群和表示导流道标识602的像素群相接。但是，如上所述，检测部32将关于各像素识别的物体的类别按照车道划区线、其他标示、本车道的顺序排列的情况、即车道划区线和其他标示相接的情况下的、其他标示的位置检测为本车道的边界的位置，从而在这样的区域620中，也能够正确地检测本车道的边界。因此，检测部32能够直至从车辆10更远方的位置，检测本车道的边界。进而，检测部32关于从车辆10不那么远离的位置，如上所述通过将从相对车辆远的一方起依次按照车道划区线或者其他路面、接着本车道的顺序排列的像素列中的、本车道的位置作为本车道的边界，从而即使在沿着车道划区线设置有如导流道标识那样的其他标示的情况下，也能够防止将其他标示和本车道的边界误检测为本来的本车道的边界。

另外，根据车辆10行驶的道路的路面的状态，车道划区线或者导流道标识等其他标示有时不清晰。在这样的情况下，利用识别器的、各像素的物体的类别的识别精度有时会降低。

图7是示出车道划区线不清晰的情况下的道路的图像以及各像素的物体的类别的识别结果的一个例子的图。在图像700中表示的道路中，车道划区线701以及其他标示702变得不清晰。因此，在针对图像700的各像素的物体的类别的识别结果710中，存在尽管表示其他标示702但被错误地识别为表示车道划区线的像素、以及尽管表示其他路面但被错误地识别为表示本车道的像素。在这样的情况下，有本车道的边界线的位置也被错误地检测的可能性。特别是，关于相对本车道隔着车道划区线邻接的区域中包含的像素，在被错误地识别为表示本车道时，存在在一个像素列中检测到多个判定为是本车道内的区域(以下称为本车道区域)的可能性。

因此，检测部32关于扫描的结果检测到多个本车道区域的像素列，选择多个本车道区域中的、最确切的本车道区域。然后，检测部32在选择的本车道区域的左右各自的端点中，将在相比该选择的本车道区域在图像端侧不存在邻接的其他本车道区域的端点检测为有效的本车道的边界，另一方面，将在相比选择的本车道区域在图像端侧存在邻接的其他本车道区域的端点作为无效的本车道的边界。此外，检测部32例如本车道区域的宽度越宽，则将该本车道区域判定为越确切。例如，在图7所示的像素列720中检测到两个本车道区域721以及722，其中，右侧的本车道区域722的宽度比左侧的本车道区域721的宽度宽。因此，选择右侧的本车道区域722。而且，在本车道区域722的右侧不存在其他本车道区域，所以本车道区域722的右侧的端点被检测为有效的本车道的边界的位置。另一方面，在本车道区域722的左侧存在其他本车道区域721，所以本车道区域722的左侧的端点被视为无效的边界。由此，检测部32即使在图像中表示的车道划区线等不清晰的情况下，也能够抑制错误地检测本车道的边界的位置。

根据变形例，检测部32也可以关于在最新的图像中检测到多个本车道区域的像素列，将该多个本车道区域中的、在紧接着之前的图像中与该像素列最接近的位置的像素列中的与本车道区域的差最小的部分作为最确切的本车道区域。或者，检测部32在成为本车道内的连续的像素的集合存在多个的情况下，也可以将这些多个像素的集合整体合并为本车道区域，将合并的本车道区域的左右各自的端点作为本车道的边界的位置。

检测部32关于各像素列，将检测出的本车道的有效的边界的位置通知给车辆控制部33。

车辆控制部33根据关于各像素列检测出的本车道的边界的位置，控制车辆10的行驶。例如，车辆控制部33根据关于各像素列检测出的本车道的左右各自的边界的位置，以使车辆10通过本车道的中央的方式，生成从车辆10的当前位置起往前预定距离为止的预定的区间中的车辆10的行驶预定路径。因此，车辆控制部33针对表示本车道的左侧的边界的像素的集合，将例如依照最小二乘法近似的线作为本车道的左侧的边界线。同样地，车辆控制部33针对表示本车道的右侧的边界的像素的集合，将例如依照最小二乘法近似的线作为本车道的右侧的边界线。另外，通过摄像机2得到的图像上的各像素的位置对应于从摄像机2观察的向在该像素中表示的物体的方位。因此，车辆控制部33在图像上以使从与沿着车辆10的行进方向的中心线相当的位置至本车道的左右各自的边界线为止的距离成为等间隔的方式，设定行驶预定路径即可。然后，车辆控制部33以使车辆10沿着该行驶预定路径行驶的方式，控制车辆10的各部。例如，车辆控制部33求出用于使车辆10沿着行驶预定路径行驶的操舵角，将与该操舵角对应的控制信号输出给控制车辆10的操舵轮的致动器(未图示)。进而，车辆控制部33以使车辆10按照由驾驶员指定的速度、或者、依照车辆10当前行驶中的道路的法定速度设定的速度、或者、与在车辆10的前方行驶的其他车辆确保一定的车间距离而行驶的方式，根据由车速传感器(未图示)测定的车辆10的当前的车速或者由加速度传感器(未图示)测定的车辆10的加速度等求出车辆10的加速度，以成为该加速度的方式，设定加速器开度或者制动量。然后，车辆控制部33依照设定的加速器开度，求出燃料喷射量，将与该燃料喷射量对应的控制信号输出给车辆10的引擎的燃料喷射装置。或者，车辆控制部33将与设定的制动量对应的控制信号输出给车辆10的制动器。

图8是由处理器23执行的、包括车道边界检测处理的车辆控制处理的动作流程图。处理器23每当从摄像机2接收到图像时，依照图8所示的动作流程图执行车辆控制处理。此外，在以下所示的动作流程图中，步骤S101～S102的处理对应于车道边界检测处理。

处理器23的识别部31通过将图像输入到识别器，识别在图像的各像素中表示的物体的类别(步骤S101)。

处理器23的检测部32针对在图像中与本车道交叉的方向的每个像素列，沿着从该像素列的一端朝向另一端的扫描方向，依次根据在包括连续的预定数的像素的关注像素群中表示的物体的类别的排列顺序、以及与扫描方向上的紧接着之前的像素群相当的位置是否为本车道内的判定结果，判定与该关注像素群相当的位置是否为本车道内，由此检测本车道的左右各自的边界位置(步骤S102)。

处理器23的车辆控制部33根据在各像素列中检测的本车道的左右各自的边界的位置，以使车辆10沿着本车道行驶的方式，控制车辆10(步骤S103)。然后，处理器23结束车辆控制处理。

如以上说明，该车道边界检测装置通过将图像输入到以针对每个像素识别在该像素中表示的物体的类别的方式预先学习的识别器，识别在各像素中表示的物体的种类。然后，该车道边界检测装置针对与本车道交叉的方向的每个像素列，沿着从该像素列的一端朝向另一端的扫描方向，依次根据在包括连续的预定数的像素的关注像素群中表示的物体的类别的排列顺序、以及与扫描方向上的紧接着之前的像素群相当的位置是否为本车道内的判定结果，判定与该关注像素群相当的位置是否为本车道内，由此检测本车道的左右各自的边界的位置。由此，该车道边界检测装置能够针对每个像素列通过一次扫描检测本车道的边界，所以能够减轻运算负荷。另外，该车道边界检测装置沿着特定的方向依次扫描各像素列即可，所以能够使图像储存在存储器时的像素的排列顺序和其扫描方向一致，所以能够改善存储器存取的效率。

此外，根据变形例，检测部32也可以在同一图像上的邻接的像素列之间本车道的边界位置离开预定距离以上的情况下，将任意一个像素列的本车道的边界位置设为无效。例如，检测部32也可以在检测到本车道的边界位置离开预定距离以上的两个像素列的情况下，将关于与远离车辆10的一方的位置对应的像素列的边界位置设为无效。或者，检测部32也可以在时间序列上得到的两个图像之间，相同的位置的像素列彼此的本车道的边界位置离开预定距离以上的情况下，也将这些图像中的最新的图像中的该像素列的本车道的边界位置设为无效。

上述实施方式所涉及的、实现车道边界检测装置的处理器23的各部的功能的计算机程序也可以以记录于半导体存储器、磁记录介质或者光记录介质这样的、计算机可读取的可移动性的记录介质的形式提供。

如以上所述，本领域技术人员能够在本发明的范围内，与实施的方式匹配地进行各种变更。

Claims (5)

1.一种车道边界检测装置，具有：

识别部，通过将由搭载于车辆的摄像部得到的、表示所述车辆的周边区域的图像输入到以针对每个像素识别在该像素中表示的物体的类别的方式学习而得到的识别器，从而识别在所述图像的各像素中表示的物体的类别，所述物体的类别至少包括表示是所述车辆行驶中的本车道内的物体的类别和表示是所述本车道外的物体的类别；以及

检测部，针对在所述图像中与所述本车道交叉的方向的每个像素列，沿着从该像素列的一端朝向另一端的扫描方向，依次根据在连续的预定数的像素群中表示的所述物体的类别的排列顺序、以及与所述扫描方向上的紧接着之前的所述像素群相当的位置是否为所述本车道内的判定结果，判定与该像素群相当的位置是否为所述本车道内，由此检测所述本车道的边界。

2.根据权利要求1所述的车道边界检测装置，其中，

所述检测部在所述像素列的任意一个中成为所述本车道内的连续的像素的集合存在多个的情况下，将所述多个像素的集合中的、最确切是所述本车道内的像素的集合确定为表示所述本车道的本车道区域，将所述本车道区域的沿着所述扫描方向的两个边界中的、在相比该边界在所述图像端侧不存在表示所述本车道的像素的边界检测为所述本车道的边界。

3.根据权利要求1或者2所述的车道边界检测装置，其中，

所述物体的类别还包括设置于道路的车道划区线以外的其他标示，表示是所述本车道内的物体的类别包括所述本车道本身，并且表示是所述本车道外的物体的类别包括所述本车道以外的其他路面，

所述检测部关于所述像素列中的、与在所述图像中从所述车辆离开大于预定距离的位置相当的像素列，判定为从相对所述车辆远离的一方起所述物体的类别按照所述车道划区线、所述其他标示、所述本车道的顺序依次排列的情况下的所述其他标示的位置表示所述本车道的边界，另一方面，关于所述像素列中的、与在所述图像中从所述车辆起所述预定距离以内的位置相当的像素列，判定为从相对所述车辆远离的一方起所述物体的类别按照所述其他路面或者所述车道划区线、接着所述本车道的顺序依次排列的情况下的所述本车道的位置表示所述本车道的边界。

4.一种车道边界检测方法，包括：

通过将由搭载于车辆的摄像部得到的、表示所述车辆的周边区域的图像输入到以针对每个像素识别在该像素中表示的物体的类别的方式学习而得到的识别器，从而识别在所述图像的各像素中表示的物体的类别，所述物体的类别至少包括表示是所述车辆行驶中的本车道内的物体的类别和表示是所述本车道外的物体的类别；以及

针对在所述图像中与所述本车道交叉的方向的每个像素列，沿着从该像素列的一端朝向另一端的扫描方向，依次根据在连续的预定数的像素群中表示的所述物体的类别的排列顺序、以及与所述扫描方向上的紧接着之前的所述像素群相当的位置是否为所述本车道内的判定结果，判定与该像素群相当的位置是否为所述本车道内，由此检测所述本车道的边界。

5.一种车道边界检测用计算机程序，用于使处理器执行：

通过将由搭载于车辆的摄像部得到的、表示所述车辆的周边区域的图像输入到以针对每个像素识别在该像素中表示的物体的类别的方式学习而得到的识别器，从而识别在所述图像的各像素中表示的物体的类别，所述物体的类别至少包括表示是所述车辆行驶中的本车道内的物体的类别和表示是所述本车道外的物体的类别；以及

针对在所述图像中与所述本车道交叉的方向的每个像素列，沿着从该像素列的一端朝向另一端的扫描方向，依次根据在连续的预定数的像素群中表示的所述物体的类别的排列顺序、以及与所述扫描方向上的紧接着之前的所述像素群相当的位置是否为所述本车道内的判定结果，判定与该像素群相当的位置是否为所述本车道内，由此检测所述本车道的边界。

Images