CN101447019A - 图像识别装置以及图像识别程序 - Google Patents

Abstract

提供既能够将运算处理负荷控制得较小又能够高精度地识别车道线种类的图像识别装置以及图像识别程序等。该图像识别装置具有：图像信息获取单元，获取以规定的时间间隔对自身车辆周边至少拍摄道路面所得到的多个帧的图像信息；图像识别单元，用于进行图像识别处理，所述图像识别处理用于检测在图像信息的各帧内设定的检测区域所包含的车道线的始端及终端；距离检测单元，根据检测到车道线的始端及终端中的一端的图像信息的帧和检测到车道线的始端及终端中的另一端的图像信息的帧之间的帧数以及自身车辆的车速，检测从车道线的始端及终端中的一端到另一端的距离并作为检测距离；车道线种类判断单元，根据检测距离，判断车道线的车道线种类。

Description

图像识别装置以及图像识别程序

技术领域

本发明涉及能够获取图像信息并通过对其进行图像识别处理来判断图像信息所包含的车道线的种类的图像识别装置以及图像识别程序等，所述图像信息是对自身车辆周边至少拍摄道路面所得到的信息。

背景技术

近年，在导航装置、汽车的车辆控制装置等领域中，例如，为了识别自身车辆车道、辅助车道保持(lane keep assist)等，开发了用于对设置在道路路面上的实线和虚线等各种车道线进行识别的各种技术。

作为关于这样的车道线识别的技术，例如在下述的专利文献1中，公开了如下的自身车辆车道识别装置的技术。即，该自身车辆车道识别装置首先进行将拍摄的图像变换为从道路的正上方看到的俯视图像的坐标变换处理。接着，使用该俯视图像，检测近侧区域以及远侧区域的各区域内的车道线所占的长度，所述近侧区域以及远侧区域被设定成沿着自身车辆的行驶方向相邻。然后，在检测到各区域内的车道线的长度在两个区域上都比规定值长的情况下，判断车道线为实线，在仅检测到两个区域中的任意一个区域的车道线的长度比规定值长的情况下，判断车道线为虚线，在检测到两个区域的车道线的长度都在规定值以下的情况下，则判断为没有车道线。然后，该自身车辆车道识别装置基于车道线的种类的判断结果，进行自身车辆车道的判断，所述自身车辆车道是自身车辆正在行驶的车道。

另外，例如在下述的专利文献2中，公开了如下的自身车辆车道识别装置的技术。即，该自身车辆车道识别装置与上述的专利文献1的装置相同，首先，进行将拍摄的图像变换为从道路的正上方看到的俯视图像的坐标变换处理。接着，对于该俯视图像的每1帧设定多个车道检测区域，计算出各区域的积分亮度的强度。然后，在计算出的多个区域的积分亮度的强度几乎恒定的情况下，则判断车道线为实线，在检测到的多个区域的积分亮度的强度在时间以及区域的位置上存在偏差的情况下，则判断车道线为虚线。然后，该自身车辆车道识别装置基于车道线的种类的判断结果，进行自身车辆车道的判断。

专利文献1：JP特开2005-322166号公报(第4-5页，图3-5)

专利文献2：JP特开2007-200191号公报(第10-11页，图14)

然而，在上述的以往的车道线识别技术中，需要进行将拍摄的图像变换为从道路的正上方看到的俯视图像的坐标变换处理。另外，需要将拍摄的图像分成多个区域，并对各区域进行规定的图像识别处理。因此，产生这样的问题：用于识别车道线的处理变得复杂，装置的运算处理负荷变大，因此处理会延迟，或者为了实现处理的高速化而需提高成本。

发明内容

本发明是鉴于上述的问题而作出的，其目的在于提供既能够将运算处理负荷控制为较小又能够高精度地识别车道线种类的图像识别装置以及图像识别程序等。

用于实现上述目的本发明的图像识别装置的特征结构在于，具有：图像信息获取单元，其用于获取以规定的时间间隔对自身车辆的周边至少拍摄道路面所得到的多个帧的图像信息；图像识别单元，其用于进行图像识别处理，所述图像识别处理用于检测在所述图像信息的各帧内设定的检测区域所包含的车道线的始端及终端；距离检测单元，其根据检测到所述车道线的始端及终端中的一端的所述图像信息的帧和检测到所述车道线的始端及终端中的另一端的所述图像信息的帧之间的帧数，以及自身车辆的车速，检测从所述车道线的始端及终端中的一端到另一端为止的距离并作为检测距离；车道线种类判断单元，其根据所述检测距离，判断所述车道线的车道线种类。

根据该特征结构，对于所获取的图像信息，仅进行检测各帧内的有限的检测区域所包含的车道线的始端以及终端的处理，因此只要执行简单的图像识别处理即可，无需对图像信息进行坐标变换处理。因此，能够容易地将装置的运算处理负荷控制得较小。另外，根据该特征结构，根据检测到车道线的始端以及终端中的一端的帧和检测到另一端的帧之间的帧数以及自身车辆的车速，检测车道线的始端以及终端中的一端到另一端的距离，并根据该检测距离判断车道线种类，因此能够高精度地判断图像信息所包含的车道线的车道线种类。

在此，优选地，所述距离检测单元根据自身车辆的车速，导出所述图像信息的每1帧所对应的自身车辆的前进距离，将该每1帧所对应的自身车辆的前进距离乘以所述帧数所得到的距离作为所述检测距离。

根据该结构，首先通过例如表、运算式等，导出随着车速的增加变长的图像信息的每1帧所对应的自身车辆的前进距离。然后，将该每1帧所对应的自身车辆的前进距离乘以检测到车道线的始端以及终端中的一端的帧和检测到车道线的始端以及终端中的另一端的帧之间的帧数。由此，能够通过简单的处理，适当地导出车道线的始端以及终端中的一端到另一端的距离即检测距离。

另外，优选地，所述检测区域是以包含所述图像信息的多个帧上的相同位置的方式所设定的各帧内的一部分区域。

根据该结构，对于图像信息的多个帧，在这些帧上的相同位置的周边检测车道线的始端以及终端，因此能够抑制发生如下的情况，即，自身车辆和车道线的始端或者终端之间的位置关系因帧不同而存在差异的情况。因此，能够提高对检测距离进行检测的检测精度，该检测距离是车道线的始端以及终端中的一端到另一端的距离。

另外，优选地，在所述检测距离处于规定的下限值和上限值之间的范围内的情况下，所述车道线种类判断单元将所述车道线种类判断为虚线。

关于虚线车道线，车道线的始端以及终端中的一端到另一端的距离即检测距离与构成该虚线车道线的各线段的线段长度或者间隔相当。因此，根据该结构，例如，通过对应于构成现实存在的虚线车道线的各线段的线段长度或者间隔，确定所规定的下限值和上限值，从而，在所述检测距离处于与构成现实存在的虚线车道线的各线段的线段长度或者间隔相一致的范围内的情况下，能够判断车道线种类为虚线。由此，能够将虚线车道线与实线车道线或者车道线以外的道路标识相区分，从而能够适当地进行判断。

另外，优选地，所述车道线种类判断单元根据所述检测距离，从多种虚线的车道线种类中判断出一种车道线种类，所述多种虚线是构成虚线车道线的各线段的线段长度及间隔之一或其两者互相不同的虚线。

在本申请中，构成虚线车道线的各线段是指，以规定间隔断续地配置而构成虚线车道线的一条一条的线段。而且，各线段的长度是各线段中的一条线段的长度，各线段的间隔是2条线段之间的距离。

根据该结构，通过利用车道线的始端以及终端中的一端到另一端的距离即检测距离与构成虚线车道线的各线段的线段长度或者间隔对应，能够从各线段的线段长度以及间隔之一或其两者互相不同的多种虚线的车道线种类中，适当地判断一种车道线种类。

另外，优选地，所述车道线种类判断单元根据自身车辆正在行驶的道路的道路种类及地域之一或其两者，针对各车道线种类，变更用于判断其为该车道线种类的所述检测距离的范围。

根据该结构，即使是相同车道线种类的车道线，也因道路种类以及地域之一或其两者互相不同而构成该车道线的各线段的线段长度、间隔等也不同，由此能够适当地判断车道线种类。因此，能够更加高精度地判断图像信息所包含的车道线的车道线种类。

另外，优选地，所述车道线种类判断单元将图像识别单元以恒定的周期多次检测到所述车道线的始端及终端之一或其两者作为条件，将所述车道线种类判断为虚线。

在图像信息所包含的车道线的始端或者终端为构成虚线车道线的各线段的始端或者终端的情况下，则该车道线的始端以及终端之一或其两者应该以恒定的周期多次被检测到。根据该结构，通过利用这样的现象判断虚线的车道线种类，由此能够控制发生错误判断。

另外，优选地，在从所述车道线的始端开始的所述检测距离为规定的实线判断阈值以上的情况下，所述车道线种类判断单元将所述车道线种类判断为实线。

根据该结构，例如，将实线判断阈值设定为比在现实存在的虚线车道线中各线段的线段长度最长的该各线段的线段长度更大的值，并在从车道线的始端到终端的距离即检测距离在该实线判断阈值以上的情况下，将车道线种类判断为实线。由此，能够将实线车道线与虚线车道线或者车道线以外的道路标识区分开来适当进行判断，其中，所述实线车道线是没有断开且连续地设置的一条车道线。

另外，优选地，所述车道线种类判断单元按照规定了所述检测距离的范围的判断规则，判断所述车道线种类，所述检测距离的范围是用于对每种所述车道线种类分别判断其为该车道线种类的条件。

根据该结构，将车道线的始端以及终端中的一端到另一端的距离即检测距离的范围，与对应每种车道线种类事先规定的判断规则相对照，根据由距离检测单元检测的检测距离是否包含在车道线种类的范围内，能够判断车道线种类。因此，能够通过简单的运算处理高精度地判断车道线种类。

另外，优选地，所述判断规则针对虚线的车道线种类，规定了所述检测距离的范围的上限值及下限值。

关于虚线车道线，车道线的始端以及终端中的一端到另一端的距离即检测距离与构成该虚线车道线的各线段的线段长度或者间隔相当。因此，根据该结构，例如，通过对应于构成现实存在的虚线车道线的各线段的线段长度或者间隔，确定检测距离的范围的下限值以及上限值，从而能够依照现实适当地设定虚线的车道线种类的判断规则。由此，能够将虚线车道线与实线车道线或者车道线以外的道路标识区分开来适当进行判断。

另外，优选地，所述判断规则针对多种虚线的车道线种类的每一种，规定了所述检测距离的范围，所述多种虚线是构成虚线车道线的各线段的线段长度及间隔之一或其两者互相不同的虚线。

根据该结构，能够适当地设定判断规则，以便利用车道线的始端以及终端中的一端到另一端的距离即检测距离与构成虚线车道线的各线段的线段长度或者间隔相对应，能够判断各线段的线段长度以及间隔之一或其两者互相不同的多种虚线的车道线种类中的每一种。

另外，优选地，所述判断规则针对各车道线种类，规定了多个所述检测距离的范围。

根据该结构，例如因道路种类、地域等不同而构成该车道线的各线段的线段长度、间隔等不同，与此相对能够分别规定各车道线种类的所述检测距离的范围。因此，通过使用这样的判断规则，能够高精度地判断图像信息所包含的车道线的车道线种类。

另外，优选地，所述判断规则针对实线的车道线种类，规定了从所述车道线的始端开始的所述检测距离的范围的下限值。

根据该结构，能够实现如下判断规则：将从所述车道线的始端开始的所述检测距离的范围的下限值设定为，例如比在现实存在的虚线车道线中各线段的线段长度最长的该各线段的线段长度更大的值，由此能够将实线车道线与虚线车道线或者车道线以外的道路标识区分开来适当判断，其中，所述实线车道线是没有断开且连续设置的一条车道线。

本发明的导航装置的特征结构是具有：具有上述各结构的图像识别装置；地图数据库，存储有地图信息；应用程序，通过参照所述地图信息以及所述图像识别装置所判断的车道线种类的信息来进行动作；引导信息输出单元，按照所述应用程序进行动作并输出引导信息。

根据该特征结构，通过使用高精度地判断车道线的车道线种类的结果，能够输出各种引导信息，所述车道线设置在自身车辆的周边的道路面上。因此，例如，根据自身车辆的周边的车道线的种类判断自身车辆正在行驶的车道即自身车辆车道，从而能够更适当地进行输出各种引导信息的处理等。

本发明的自身车辆车道判断装置的特征结构是具有：图像识别装置，其具有上述各结构；自身车辆车道判断单元，根据所述图像识别装置所判断的车道线种类的信息，对于自身车辆车道进行判断，所述自身车辆车道是自身车辆正在行驶的车道。

根据该特征结构，使用高精度地判断车道线的车道线种类的结果，例如根据位于自身车辆的两侧的车道线的种类的组合，能够适当地进行自身车辆车道的判断，其中，所述车道线设置在自身车辆的周边的道路面上。

本发明的图像识别程序的特征结构是使计算机执行以下步骤：图像信息获取步骤，用于获取以规定的时间间隔对自身车辆的周边至少拍摄道路面所得到的多个帧的图像信息；图像识别步骤，用于进行图像识别处理，所述图像识别处理用于检测在所述图像信息的各帧内设定的检测区域所包含的车道线的始端及终端；距离检测步骤，根据检测到所述车道线的始端及终端中的一端的所述图像信息的帧和检测到所述车道线的始端及终端中的另一端的所述图像信息的帧之间的帧数，以及自身车辆的车速，检测从所述车道线的始端及终端中的一端到另一端为止的距离并作为检测距离；车道线种类判断步骤，根据所述检测距离，判断所述车道线的车道线种类。

根据该特征结构，对于所获取的图像信息，仅进行检测各帧内的有限的检测区域所包含的车道线的始端以及终端的处理，因此只要执行简单的图像识别处理即可，无需对图像信息进行坐标变换处理。因此，能够容易地控制在执行程序时的运算处理负荷变得较小。另外，根据该特征结构，由于根据检测到车道线的始端以及终端中的一端的帧和检测到另一端的帧之间的帧数以及自身车辆的车速，检测车道线的始端以及终端中的一端到另一端的距离，并根据该检测距离判断车道线种类，因此能够高精度地判断图像信息所包含的车道线的车道线种类。

附图说明

图1是表示本发明的实施方式的导航装置1的概略结构的框图。

图2是表示实施方式的地图信息的结构例的图。

图3是表示实施方式的自身车辆的拍摄装置的配置结构的一例的图。

图4是表示设置了实施方式的作为识别对象的车道线的道路的一例的图。

图5是表示通过实施方式的图像信息获取部获取的图像信息的具体例的图。

图6是表示通过实施方式的图像信息获取部获取的图像信息的具体例的图。

图7是表示通过实施方式的图像信息获取部获取的图像信息的具体例的图。

图8是表示在实施方式的判断规则表内规定的判断规则的具体例的图。

图9是表示实施方式的模式适用表的具体例的图。

图10是表示实施方式的图像识别处理的全部的顺序的流程图。

图11是表示实施方式的车道线种类判断处理的详细顺序的流程图。

具体实施方式

1.第一的实施方式

首先，参照附图对本发明的第一实施方式进行说明。在本实施方式中，以将本发明的图像识别装置2应用在导航装置1中的情况为例进行说明。图1是表示本实施方式的导航装置1的概略结构的框图。该导航装置1具有图像识别装置2的功能，该图像识别装置2通过获取所拍摄到的自身车辆C的周边的道路面Ro(参照图3)的多个帧的图像信息G，并检测其中所包含的车道线的始端以及终端，从而检测车道线的始端以及终端中的一端到另一端之间的距离并作为检测距离，再基于该检测距离判断车道线种类。另外，该导航装置1还具有自身车辆车道判断装置3的功能，该自身车辆车道判断装置3基于图像识别装置2所判断出的车道线种类，进行对自身车辆车道的判断，所述自身车辆车道是自身车辆C正在行驶的车道。另外，作为一般的导航功能，该导航装置1获取用于表示自身车辆C的当前位置以及行驶方位的自身车辆位置信息P，并且从地图数据库26获取地图信息M，基于这些信息，进行地图上的自身车辆位置显示，从出发地至目的地的路径搜索，到目的地为止的路径引导等的引导处理。

如图1所示的导航装置1的各功能部即图像信息获取部12、自身车辆位置信息获取部16、导航用运算部17、图像识别部31、距离检测部32、车道线种类判断部33以及自身车辆车道判断部36，将相互共享或者分别独立的CPU等运算处理装置作为核心构件，并通过硬件或者软件(程序)或者这两者来安装构成用于对输入的数据进行各种处理的功能部。而且，将这些各功能部构成为能够相互收发信息。另外，地图数据库26例如将硬盘驱动器、具有DVD-ROM的DVD驱动器以及具有CD-ROM的CD驱动器等的具有能够存储信息的存储介质及其驱动单元的装置作为硬件结构。以下，对本实施方式的导航装置1的各部的结构进行详细地说明。

1-1.地图数据库

地图数据库26作为地图信息存储单元发挥作用，用于存储每个规定的车道所划分的地图信息M。图2是表示在地图数据库26中存储的地图信息M的结构例的图。如该图所示，地图信息M具有通过多个节点n与道路链k之间的连接关系表示道路网的道路信息Ra，其中，所述多个节点n对应于交叉路口，所述道路链k对应于连接各交叉路口之间的道路。各节点n具有通过纬度以及经度来表示的地图上的位置(坐标)的信息。各道路链k经由节点n连接。另外，作为各道路链k的属性信息具有道路种类、道路链长、路宽以及用于表示道路链形状的形状内插点等的信息。在此，道路种类信息是例如高速公路、国道、省道、一般道路、次要街道、匝道等，将道路分为多个种类时的道路种类的信息。另外，在图2中，仅示出了一个车道的道路信息Ra，省略了其它车道的道路信息Ra。

该道路信息Ra用于后述的地图匹配，从出发地至目的地的路径搜索，到目的地为止的路径引导等。另外，虽然省略了图示，但是在地图信息M中，除了这样的道路信息Ra以外，还包括描绘信息、交叉路口信息等，该绘图信息具有显示地图所需的各种信息，该交叉路口信息由交叉路口的详细信息构成。另外，在该绘图信息中，包括表示道路形状、建筑物、河川等所必需的背景信息以及表示市街村名、道路名等所必需的文字信息等。

1-2.图像信息获取部

图像信息获取部12作为获取由拍摄装置11拍摄的自身车辆周边的图像信息G的图像信息获取单元而发挥作用。在此，拍摄装置11是具有拍摄元件的车载照相机，并且从自身车辆C向外设置该拍摄装置11，使得对自身车辆C的周边至少能够拍摄道路面。如上所述，在本实施方式中，如图3所示，由于使用了作为拍摄装置11的后照相机，因此该拍摄装置11能够对自身车辆C的后下方的道路面Ro进行拍摄。另外，拍摄装置11以规定的时间间隔进行连续的拍摄。图像信息获取部12经由帧存储器(未图示)等读入由拍摄装置11以规定的时间间隔连续拍摄的多个帧Gf(参照图5～图7)的图像信息G。此时能够将拍摄图像信息G的各帧Gf的时间间隔设定为例如10～50ms左右。作为一个例子，在此，将拍摄图像信息G的各帧Gf的时间间隔设为33.33ms左右，拍摄每秒30帧的图像信息G。图5～图7是该图像信息获取部12获取的多个帧Gf的图像信息G的具体例。随着时间的经过，在图中从上至下，以Gf1…Gf2…Gf3的顺序拍摄这些图所示的各帧Gf。另外，在这些图中，省略地示出了在帧Gf1和Gf2之间以及帧Gf2和Gf3之间的1帧或者2帧以上的帧Gf。另外，在这些图的各帧Gf1、Gf2、Gf3的右侧记载的附图标记是作为各帧Gf的识别信息的帧编号。由该图像信息获取部12获取的图像信息G输出至后述的图像识别部31。

1-3.自身车辆位置信息获取部

自身车辆位置信息获取部16作为获取自身车辆位置信息P的自身车辆位置信息获取单元而发挥作用，所述自身车辆位置信息P表示自身车辆C的当前位置。在此，自身车辆位置信息获取部16与GPS接收机13、方位传感器14以及距离传感器15连接。在此，GPS接收机13是从GPS(Global PositioningSystem)卫星接收GPS信号的装置。通常每隔1秒接收该GPS信号，并输出至自身车辆位置信息获取部16。在自身车辆位置信息获取部16中，对GPS接收机13所接收的来自GPS卫星的信号进行解析，从而能够获取自身车辆C的当前位置(纬度以及经度)、行驶方位、移动速度等的信息。方位传感器14是检测自身车辆C的行驶方位或者该行驶方位的变化的传感器。该方位传感器14由例如陀螺传感器、地磁传感器、安装在转向盘的旋转部上的光学旋转传感器或旋转型电阻调节器、安装在车轮部上的角度传感器等构成。而且，方位传感器14将该检测结果向自身车辆位置信息获取部16输出。距离传感器15是检测自身车辆C的车速v(参照图4)、移动距离的传感器。该距离传感器15由例如车速脉冲传感器、检测自身车辆C的加速度的横摆·G传感器以及对检测到的加速度进行积分的电路等构成，其中，所述车速脉冲传感器在车辆的驱动轴或车轮等每旋转固定量时就输出脉冲信号。而且，距离传感器15将车速v以及移动距离的信息作为该检测结果输出至自身车辆位置信息获取部16。

自身车辆位置信息获取部16基于这些GPS接收机13、方位传感器14以及距离传感器15的输出，通过公知的方法来进行确定自身车辆位置的运算。另外，自身车辆位置信息获取部16通过从地图数据库26获取自身车辆位置周边的地图信息M，基于该信息进行公知的地图匹配，从而将自身车辆C的当前位置与地图信息M所表示的道路上的位置进行匹配，并且进行将自身车辆C的行驶方位与道路的方向相匹配的补正。这样，自身车辆位置信息获取部16获取自身车辆位置信息P，该自身车辆位置信息P包含用纬度以及经度来表示的自身车辆C的当前位置的信息以及自身车辆C的行驶方位的信息。另外，在本实施方式中，自身车辆位置信息获取部16基于距离传感器15的输出，获取表示自身车辆C的当前的车速v的车速信息S。

1-4.导航用运算部

导航用运算部17是为了执行自身车辆位置显示、从出发地到目的地的路径搜索、到目的地为止的路径引导、目的地检索等的导航功能，按照应用程序18进行动作的运算处理单元。在此，应用程序18参照根据自身车辆位置信息P、地图信息M以及后述的车道线种类判断部33所判断出的车道线种类的信息等，使导航用运算部17执行各种导航功能。例如，导航用运算部17进行如下的处理：基于自身车辆位置信息P，从地图数据库26获取自身车辆C周边的地图信息M，在显示输入装置19的显示画面上显示地图的图像，并且在该地图的图像上重叠显示用于表示自身车辆C的当前位置以及行驶方位的自身车辆位置标记。另外，导航用运算部17基于在地图数据库26中存储的地图信息M，进行从规定的出发地到目的地的路径搜索。另外，导航用运算部17基于搜索到的从出发地至目的地的路径和自身车辆位置信息P，使用显示输入装置19以及语音输出装置20之一或其两者，对驾驶员进行路径引导。此时，导航用运算部17对应于后述的自身车辆车道判断部36所判断出的自身车辆车道，适当地输出前进道路变更等的引导信息。

另外，除了这些导航功能之外，导航用运算部17优选地例如在车道保持系统的动作中，在显示输入装置19上不但显示识别出的车道线的位置而且还显示车道线种类，所述车道保持系统用于进行辅助以使自身车辆C的行驶路径维持在车道内。在此，显示输入装置19是液晶显示装置等的显示装置和触摸屏、操作开关等的输入装置成为一体的结构。语音输出装置20具有扬声器等。在本实施方式中，导航用运算部17、显示输入装置19以及语音输出装置20作为输出规定的引导信息的引导信息输出单元21而发挥作用。

1-5.关于作为识别对象的车道线

如上所述，本实施方式中的图像识别装置2(导航装置1)进行判断车道线L的车道线种类并且识别车道线L的处理，所述车道线L包含在所拍摄的自身车辆C的周边的道路面Ro的多个帧的图像信息G中。在此，图像识别装置2的作为识别对象的车道线L包括白线、黄线等，用于表示道路中车道的边界以及道路中车辆的通行区域的最外侧的边界，而且所述车道线L例如包括实线、各种间隔的虚线、双实线等的现实的道路中存在的多种线。图4是表示设有这样的车道线L的道路的一例的图，具体的讲，表示了高速公路的分岔路口附近的状况。该图所示的例子，作为车道线L包括普通虚线车道线L1、粗虚线车道线L2、实线车道线L3。在此，普通虚线车道线L1是设在车道的边界等上的普通的虚线车道线L。另一方面，粗虚线车道线L2是例如在位于高速公路的分岔路口或交汇路口的主线与连接道路之间的边界等处设置的虚线车道线L，与普通虚线车道线L1相比，构成该虚线的各线段的线段长度以及间隔短，各线段的宽度宽。实线车道线L3是例如在车道的边界以及车辆所通行的区域的最外侧边界等处设置的实线车道线。根据本申请的发明，虽然也能够判断这3类以外的车道线种类，但为了简略地说明本实施方式，图像识别装置2仅以判断这3类车道线种类的的情况为例来进行说明。另外，在下面的说明中，在仅称为车道线L的情况下，则是这些多个车道线种类的车道线L1～L3的总称。

图5～图7是分别表示由图像信息获取部12获取的图像信息G的具体例的图。在此，图5是图4中C1所示的自身车辆C所获取的图像信息G的例子，而且是自身车辆C的两侧存在普通虚线车道线L1的情况的例子。图6是图4中C2所示的自身车辆C所获取的图像信息G的例子，而且是自身车辆C的左侧(图像信息G的右侧)存在粗虚线车道线L2，右侧(图像信息G的左侧)存在普通虚线车道线L1的情况的例子。图7是图4中C3所示的自身车辆C所获取的图像信息G的例子，而且是自身车辆C的左侧(图像信息G的右侧)存在实线车道线L3，右侧(图像信息G的左侧)存在普通虚线车道线L1的情况的例子。如这些图所示，图像信息获取部12获取以规定的时间间隔连续拍摄自身车辆C的后下方的道路面Ro的多个帧Gf的图像信息G。另外，这些图仅示出了多个帧中的一部分的帧Gf。由图像信息获取部12获取的这些图像信息G被输出至下面要说明的图像识别部31，并作为图像识别处理的对象。

1-6.图像识别部

图像识别部31作为对图像信息获取部12所获取的图像信息G进行图像识别处理的图像识别单元而发挥作用。该图像识别部31进行图像识别处理，该图像识别处理检测在图像信息G的各帧Gf内设定的检测区域A(参照图5～图7)所包含的车道线L的始端Pb以及终端Pe。如图4所示，车道线L的始端Pb以及终端Pe是构成车道线L的各线段的长度方向的任一端部，始端Pb是自身车辆C的行驶方向后方侧的端部，终端Pe是自身车辆C的行驶方向前方侧的端部。另外，构成车道线L的各线段是构成车道线L的一条连续的线，虚线车道线L1、L2是在一条线上以规定间隔排列的一条一条的多条线，实线车道线L3是连续的长的一条线。

如图5～图7所示，检测区域A是在图像信息G的多个帧Gf(Gf1～Gf3)中以包含相同位置的方式所设定的各帧Gf内的一部分区域。在本实施方式中，检测区域A与自身车辆C的车速v等无关，而设定成在所有的帧Gf中成为相同的位置以及大小。具体的讲，检测区域A设定在各帧Gf的下部，在水平方向上具有与各帧Gf相同的宽度，在铅垂方向上具有比各帧Gf的高度小但具有一定的高度的区域。在此，设定检测区域A的位置位于帧Gf的下半部分，优选地位于下面3分之1的区域内。这样，若将检测区域A配置在帧Gf的下部，则能够将在靠近自身车辆C的位置所拍摄的图像的信息作为对象，因此，在检测车道线L的始端Pb以及终端Pe时，能够容易地提高对从自身车辆C到该始端Pb或者终端Pe为止的距离的分辨率。

另外，若检测区域A的铅垂方向的高度过高，则图像识别处理的运算负荷变大，并且基于在检测区域A内的哪个位置上检测到车道线L的始端Pb或者终端Pe所产生的从自身车辆C到该始端Pb或者终端Pe为止的距离之差变大。因此，在能够检测到车道线L的始端Pb以及终端Pe的适当的范围内，优选地将检测区域A的铅垂方向的高度设定为尽可能的小。此时，对应于在一定时间内拍摄的帧Gf的数、帧Gf内的铅垂方向的检测区域A的位置以及假想的自身车辆C的最高车速等，即使自身车辆C的车速v(参照图4)处于高速的状态，只要设定为在邻接的帧Gf的检测区域A之间不存在未包含在内的道路面Ro的区域即可。这样，不论是否存在车道线L的始端Pb或者终端Pe，由于在检测区域A内不包含上述区域，因此能够防止发生图像识别部31不能够检测到车道线的问题。

另外，如上所述，检测区域A的水平方向的宽度与帧Gf的水平方向的宽度相同。根据这样的结构，与检测区域A是帧Gf内的水平方向的一部分的区域的情况相比，能够不受自身车辆C的位置相对于道路的车道的位置的影响，从而能够提高检测到车道线L的始端Pb以及终端Pe的可能性。因而，在设定了这样的检测区域A的情况下，在自身车辆C行驶于车道的中央部的情况下，能够以位于自身车辆C的两侧的两条车道线L为对象来进行图像识别处理。但是，在以下的说明中，为了简化说明，所说明的例子是仅以位于自身车辆C的左侧(图像信息G的右侧)的车道线L为对象来进行图像识别处理的情况。另外，实际上，图像识别部31将包含在检测区域A内的所有的车道线L，即位于自身车辆C的两侧的两条车道线L作为对象来进行图像识别处理。

而且，图像识别部31对在图像信息G的各帧Gf中设定的检测区域A内的图像的信息进行检测车道线L的始端Pb以及终端Pe的图像识别处理。具体的讲，图像识别部31对获取的各帧Gf内的检测区域A进行二值化处理、边缘提取处理等，提取该检测区域A内的道路标识(包括车道线L)等的轮廓信息。接着，图像识别部31判断所提取的轮廓信息是否具有与车道线L的始端Pb或者终端Pe相当的特征。在此，与车道线L的始端Pb或者终端Pe相当的特征是指例如具有与车道线L的宽度相当的宽度的呈“コ”字形的轮廓形状等。另外，图像识别部31像通过检测在检测区域A内的图像的特定区域的亮度变化来检测车道线L的始端Pb以及终端Pe等一样，当然也能够通过其他的识别方法进行图像识别处理。

而且，在从检测区域A内提取的轮廓信息具有与车道线L的始端Pb相当的特征的情况下，图像识别部31判断为在该检测区域A内包含有车道线L的始端Pb。此时，图像识别部31将始端检测信息向距离检测部32输出，该始端检测信息表示在该帧Gf的检测区域A内检测到了车道线L的始端Pb。在此，始端检测信息除了包含表示已检测到始端Pb的信息之外，还包含检测到该车道线L的始端Pb的帧Gf的识别信息(在本实施方式中为帧编号)。另外，在从检测区域A内提取的轮廓信息具有与车道线L的终端Pe相当的特征的情况下，图像识别部31判断在该检测区域A内包含车道线L的终端Pe。在该情况下，图像识别部31将表示在该帧Gf的检测区域A内检测到了车道线L的终端Pe的终端检测信息向距离检测部32输出。在此，终端检测信息除了包含表示以检测到终端Pe的信息之外，还包含检测到该车道线L的终端Pe的帧Gf的识别信息(在本实施方式中为帧编号)。另外，在由于检测区域A的高度相对于自身车辆C的车速v(参照图4)大从而在多个帧Gf的检测区域A中检测到了同一车道线L的始端Pb或者终端Pe的情况下，图像识别部31仅针对最初检测到该始端Pb或者终端Pe的帧Gf，输出始端检测信息或者终端检测信息。

在图5所示的例子中，在以位于自身车辆C的左侧(图像信息G的右侧)的车道线L为对象进行图像识别处理的情况下，图像识别部31在帧Gf1的检测区域A内检测车道线L(在图示的例子中为普通虚线车道线L1)的始端Pb，在帧Gf3的检测区域A内检测车道线L的终端Pe。因此，图像识别部31输出包含帧Gf1的帧编号“100xx”的始端检测信息，然后，输出包含帧Gf3的帧编号“100zz”的终端检测信息。另外，在图6所示的例子中，在以位于自身车辆C的左侧(图像信息G的右侧)的车道线L为对象进行图像识别处理的情况下，图像识别部31在帧Gf1的检测区域A内检测车道线L(在图示的例子中是粗虚线车道线L2)的始端Pb，在帧Gf3的检测区域A内检测车道线L的终端Pe。因此，图像识别部31输出包含帧Gf1的帧编号“200xx”的始端检测信息，然后，输出包含帧Gf3的帧编号“200zz”的终端检测信息。另外，在图7所示的例子中，在以位于自身车辆C的左侧(图像信息G的右侧)的车道线L为对象进行图像识别处理的情况下，图像识别部31在帧Gf1的检测区域A内检测车道线L(在图示的例中是实线车道线L3)的始端Pb，但是即使超过帧Gf3也没有在检测区域A内检测到车道线L的终端Pe。因此，图像识别部31输出包含帧Gf1的帧编号“300xx”的始端检测信息，但是之后即使帧Gf3的图像识别处理结束也不输出终端检测信息。

1-7.距离检测部

距离检测部32作为距离检测单元而发挥作用，该距离检测单元检测车道线L的始端Pb以及终端Pe的一端到另一端的距离并作为检测距离d。此时，在本实施方式中，根据自身车辆D的车速v以及检测到车道线L的始端Pb的图像信息G的帧Gf和检测到车道线L的终端Pe的图像信息G的帧Gf之间的帧数N，检测检测距离d。即，在本实施方式中，距离检测部32检测相当于构成车道线L的各线段的线段长度的从车道线L的始端Pb到终端Pe的距离并作为检测距离d。

具体的讲，距离检测部32根据车速信息S所示的自身车辆C的车速v，导出与图像信息G的每1帧所对应的自身车辆C前进的距离并作为帧单位距离U，并且导出将该帧单位距离U与所述帧数N相乘后所得到的距离并作为检测距离d。在此，根据由自身车辆位置信息获取部16获取的车速信息S得到自身车辆C的车速v。而且，如下述的式(1)所示，能够通过车速信息S所示的自身车辆C的车速v除以拍摄装置11在单位时间内拍摄到的拍摄帧数来导出帧单位距离U。

(帧单位距离U)＝(车速v)/(单位时间所对应的拍摄帧数)  (1)

因此，例如，在自身车辆C的车速v为54km/时，拍摄帧数为每秒30帧的情况下，帧单位距离U是0.5m。

另外，根据作为在始端检测信息以及终端检测信息中分别包含的各帧Gf的识别信息的帧编号，能够检测在检测到车道线L的始端Pb的帧Gf与检测到终端Pe的帧Gf之间的帧数N。即，在各帧Gf的帧编号为连续编号的情况下，能够通过终端检测信息所包含的帧编号减去始端检测信息所包含的帧编号来导出帧数N。例如，在图5所示的例子中，如上所述，图像识别部31输出包含帧Gf1的帧编号“100xx”的始端检测信息，然后，输出包含帧Gf3的帧编号“100zz”的终端检测信息。因此，能够通过帧编号“100zz”减去帧编号“100xx”来导出帧数N。

然后，如下述的式(2)所示，距离检测部32通过将该帧数N与上述的帧单位距离U相乘，导出检测距离d。

(检测距离d)＝(帧单位距离U)×(帧数N)   (2)

因此，例如，如上所述，在帧单位距离U为0.5m、帧数N为16的情况下，距离检测部32检测到检测距离d为8m。如图4所示，如上所述的距离检测部32检测到的检测距离d与从车道线L的始端Pb到终端Pe的距离大致相等，因此，构成车道线L的各线段的线段长度大致相等。另外，车道线L是实线车道线L3，因此在即使超过了规定帧数也不会从图像识别部31输出终端检测信息的情况下，此时，优选如下的结构：假设检测到了终端Pe而导出检测距离d，在后述的车道线种类判断部33中将车道线种类判断为“实线”。在此，为了能够将车道线种类判断为“实线”，将规定帧数设定为足够大的数。这样，在获取实线车道线L3的图像信息G时，能够更迅速地判断出该车道线种类。

1-8.判断规则表

如下所述，在本实施方式中，车道线种类判断部33按照规定的判断规则R来判断车道线种类。因此，下面对判断规则表34中所规定的判断规则R进行说明。判断规则R是规定了检测距离d的范围(以下称为“检测距离范围”)的规则，所述检测距离d的范围是针对每种车道线种类判断其为该车道线种类的条件。图8是表示本实施方式的判断规则表34的具体例的图。如该图所示，判断规则R针对虚线的车道线种类(在本实施方式中是“普通虚线”以及“粗虚线”)规定检测距离范围的上限值以及下限值。另一方面，判断规则R针对实线车道线L3的车道线种类即“实线”，规定检测距离范围的下限值。另外，判断规则R分别针多种虚线的车道线种类规定检测距离范围，所述多种虚线车道线是构成虚线车道线L的各线段的线段长度以及间隔之一或其两者互相不同的虚线。即，在本实施方式中，判断规则R针对虚线车道线L(L1、L2)的车道线种类即“普通虚线”以及“粗虚线”各自的车道线种类，规定检测距离范围。另外，判断规则R针对各车道线种类规定了多种检测距离范围。即，在本实施方式中，针对3种车道线种类的每一种，规定了多种模式的检测距离范围，具体的讲，规定了模式(A)、模式(B)以及模式(C)的3种检测距离范围。

以下，进一步对判断规则表34中规定的判断规则R进行具体的说明。如图8所示，在判断规则表34中，针对“粗虚线”、“普通虚线”以及“实线”这3种车道线种类的每一种，规定了作为判断规则R的检测距离范围。具体的讲，例如，就模式(A)而言，判断规则R规定“粗虚线”的车道线种类的检测距离范围(上限值以及下限值)为“a1～a2”，“普通虚线”的车道线种类的检测距离范围(上限值以及下限值)为“a3～a4”，“实线”的车道线种类的检测距离范围(下限值)为“a5以上”。在此，各车道线种类的检测距离范围用于如下的车道线种类的判断：后述的车道线种类判断部33依据由距离检测部32检测到的检测距离d属于哪一个范围，进行车道线种类的判断。因此，将这些各车道线种类的检测距离范围设定为相互不重复的范围。即，规定检测距离范围的各值为a1<a2<a3<a<a5的关系。而且，将这些各车道线种类的检测距离范围设定为，例如对应于模式(A)所假想的道路种类、地域等的构成各车道线种类的车道线L(L1～L3)的各线段的线段长度，包含该线段长度而不包含其他的车道线种类的车道线L的线段长度的范围。另外，将“实线”的车道线种类的检测距离范围的下限值“a5”设定为，比该模式(A)所假想的道路种类、地域等的普通虚线车道线L1的线段长度充分大的值。在本实施方式中，该“实线”的车道线种类的检测距离范围的下限值“a5”相当于检测距离d的规定的实线判断阈值，所述实线判断阈值成为后述的车道线种类判断部33判断车道线种类为“实线”的条件。以上的内容对于模式(B)以及模式(C)也相同。

各车道线种类的模式(A)、模式(B)以及模式(C)这3种检测距离范围是这样规定的：根据因道路种类、地域等而不同，规定了构成普通虚线车道线L1以及粗虚线车道线L2的各线段的线段长度以及间隔之一或其两者(在本实施方式中是线段长度)。例如，一般来讲，就普通虚线车道线L1的线段长度以及间隔而言，高速公路比国道等的一般道路更长。另外，即使道路种类相同，也会根据管理道路的行政区划等地域的不同，普通虚线车道线L1、粗虚线车道线L2的线段长度以及间隔不同。因此，在本实施方式中，为了根据因这样的道路种类及地域之一或其两者不同而不同的各线段的线段长度来使用适当的检测距离范围从而提高车道线种类的判断精度，而对于各车道线种类规定了模式(A)～(C)的3种检测距离范围。

具体的讲，例如，就“粗虚线”的车道线种类而言，将检测距离范围(上限值以及下限值)在模式(A)中规定为“a1～a2”，在模式(B)中规定为“b1～b2”，在模式(C)中规定为“c1～c2”。在此，各模式(A)～(C)的检测距离范围用于判断车道线种类，即，后述的车道线种类判断部33根据自身车辆C正在行驶的道路的道路种类以及地域之一或其两者，从这些3种模式(A)～(C)中选择使用一种模式，进行车道线种类的判断。因此，这些各模式(A)～(C)的检测距离范围不会被同时使用，因此可以设定为相互重复的范围，也可以设定为不相互重复的范围。即，将这些模式(A)～(C)的检测距离范围设定成，对应于各模式(A)～(C)所假想的道路种类、地域等的例如构成粗虚线车道线L2的各线段的线段长度，包含该线段长度的范围。以上的内容，对于普通虚线车道线L1以及实线车道线L3也相同。另外，将“实线”的车道线种类的检测距离范围的下限值“a5”、“b5”、“c5”设定为比各模式(A)～(C)所假想的道路种类、地域等的普通虚线车道线L1的线段长度更大的值。

1-9.车道线种类判断部

车道线种类判断部33作为车道线种类判断单元而发挥作用，该车道线种类判断单元根据由距离检测部32检测到的检测距离d，判断车道线L的车道线种类。此时，在检测距离d处于判断规则R所规定的下限值和上限值之间的范围内的情况下，车道线种类判断部33判断车道线种类为虚线(在本实施方式中是“普通虚线”以及“粗虚线”)。另一方面，在检测距离d在规定的实线判断阈值(在本实施方式中是图8的“a5”、“b5”、“c5”)以上的情况下，车道线种类判断部33判断车道线种类为“实线”。另外，车道线种类判断部33根据检测距离d，从多种虚线的车道线种类中判断出一种车道线种类，所述多种虚线是构成虚线车道线L的各线段的线段长度以及间隔之一或其两者互相不同的虚线。即，在本实施方式中，车道线种类判断部33根据检测距离d，从作为虚线车道线L(L1、L2)的车道线种类的“普通虚线”以及“粗虚线”中，判断出一种虚线的车道线种类。另外，车道线种类判断部33根据自身车辆C正在行驶的道路的道路种类以及地域之一或其两者，针对各车道线种类变更用于判断其为该车道线种类的检测距离范围。因此，在本实施方式中，车道线种类判断部33按照上述的判断规则表34所规定的判断规则R进行车道线种类的判断。

具体的讲，车道线种类判断部33首先根据由自身车辆位置信息获取部16获取的自身车辆位置信息P以及在地图数据库26中存储的地图信息M，确定自身车辆C正在行驶的道路的道路种类以及该道路所存在的地域。然后，车道线种类判断部33按照模式适用表35，从多种模式(在本实施方式中是模式(A)～(C)的3种模式)中选择判断规则R，该判断规则R适用于自身车辆C正在行驶的道路的道路种类以及地域。在此，模式适用表35规定了判断规则R，该判断规则R适用于多个道路种类与多个地域的组合的每一个。图9是表示了本实施方式的模式适用表35的具体例的图。如该图所示，在此，模式适用表35将道路种类区分为“高速公路”和“一般道路”，将地域区分为都、道、府、县，规定分别适用于这些道路种类以及地域的组合的判断规则R的模式((A)～(C))。因此，例如，在自身车辆C正在行驶的道路的道路种类为“高速公路”且该道路所存在的地域为“北海道”的情况下，车道线种类判断部33选择并适用模式(A)的判断规则R。由此，车道线种类判断部33根据自身车辆C正在行驶的道路的道路种类以及地域这两者，针对各车道线种类能够变更用于判断其为该车道线种类的检测距离范围。

然后，车道线种类判断部33如下地判断车道线种类：按照如上所述选择的任一种模式((A)～(C))的判断规则R，由距离检测部32检测到的检测距离d属于在该判断规则R中规定的每个车道线种类的检测距离范围的哪一个范围，对应与此判断车道线种类。即，在距离检测部32所检测到的检测距离d属于判断规则R所规定的每个车道线种类的检测距离范围的任一种范围的情况下，则判断该车道线L是该所属范围的车道线种类，而在不属于任何一种范围的情况下，则判断由图像识别部31识别的道路标识等的地物不是车道线L。具体的讲，例如在选择了模式(A)的判断规则R的情况下，车道线种类判断部33在由距离检测部32检测到的检测距离d包含在车道线种类“粗虚线”的检测距离范围“a1～a2”内的情况下，判断车道线种类为“粗虚线”，在检测距离d包含在车道线种类“普通虚线”的检测距离范围“a3～a4”内的情况下，判断车道线种类为“普通虚线”，在检测距离d包含在车道线种类“实线”的检测距离范围“a5以上”的情况下，判断车道线种类为“实线”。然后，在距离检测部32所检测到的检测距离d未包含在上述任意一种范围内的情况下，车道线种类判断部33判断由图像识别部31检测到的始端Pb以及终端Pe的道路标识等的地物不是车道线L。

根据上述内容，车道线种类判断部33根据由距离检测部32检测到的车道线L的从始端Pb到终端Pe的距离即检测距离d，能够适当地判断图像识别部31检测到的始端Pb以及终端Pe的车道线L的车道线种类。将由该车道线种类判断部33判断的车道线种类的信息输出至后述的自身车辆车道判断部36、导航用运算部17等，并用于判断自身车辆车道以及输出各种引导信息等。

1-10.自身车辆车道判断部

自身车辆车道判断部36作为根据由车道线种类判断部33判断的车道线种类的信息进行自身车辆车道的判断的自身车辆车道判断单元而发挥作用，所述自身车辆车道是自身车辆C正在行驶的车道。如上所述，为了简化说明，至此仅对位于自身车辆C的一侧的车道线L作为对象判断车道线种类的情况进行了说明。但是，实际上，图像识别部31以位于自身车辆C的两侧的两条车道线L为对象进行图像识别处理，因此，距离检测部32分别检测自身车辆C的两侧的车道线L的检测距离d，车道线种类判断部33分别判断自身车辆C的两侧的车道线L的车道线种类。自身车辆车道判断部36根据这样判断的自身车辆C的两侧的车道线L的车道线种类的信息，判断自身车辆车道。

具体的讲，自身车辆车道判断部36根据由车道线种类判断部33判断的位于自身车辆C两侧的两条车道线L的车道线种类的组合，判断自身车辆车道。即，例如，根据自身车辆位置信息P以及地图信息M，在已知自身车辆C正在行驶的道路的车道数为3车道的情况下，在车道线种类判断部33判断出自身车辆C的左侧是实线车道线L3、右侧是普通虚线车道线L1的情况下，如图4所示的C3那样，能够判断出自身车辆C行驶在3车道中的最左侧的车道上。因此，在该情况下，自身车辆车道判断部36判断自身车辆车道是3车道中的最左侧的车道。同样，在车道线种类判断部33判断出在自身车辆C的两侧上具有普通虚线车道线L1的情况下，则自身车辆车道判断部36判断自身车辆车道是3车道中的中央的车道(参照图4的C1)。另外，在车道线种类判断部33判断出左侧是普通虚线车道线L1、右侧是实线车道线L3的情况下，自身车辆车道判断部36判断自身车辆车道是3车道中的最右侧的车道。另外，在车道线种类判断部33判断出左侧是粗虚线车道线L2、右侧是普通虚线车道线L1的情况下，自身车辆车道判断部36判断自身车辆车道是3车道中的最左侧的车道(参照图4的C2)。将该自身车辆车道判断部36判断出的自身车辆车道的信息输出至导航用运算部17，并用于输出各种的引导信息等。

1-11.图像识别处理方法

接着，对在本实施方式的包括图像识别装置2的导航装置1中执行的用于识别车道线的图像识别处理的顺序(图像识别程序)进行说明。图10是表示本实施方式的图像识别处理的全部的顺序的流程图。另外，图11是表示图10的步骤#11中的车道线种类判断处理的详细顺序的流程图。针对以下要说明的处理顺序，通过构成上述的各功能部的硬件或软件(程序)或者这两者来执行。在上述的各功能部由程序构成的情况下，导航装置1所具有的运算处理装置作为执行图像识别程序的计算机而进行动作，所述图像识别程序构成了上述的各功能部。以下，按照流程图进行说明。

如图10所示，在识别车道线的图像识别处理中，导航装置1首先通过图像信息获取部12，获取拍摄装置11所拍摄的1帧的图像信息G(步骤#01)。如上所述，在该图像信息G中，至少包含自身车辆C的周边的道路面Ro(参照图4等)的图像。然后，通过图像识别部31进行图像识别处理，从而检测在图像信息G的各帧Gf内设定的检测区域A(参照图5～图7)所包含的车道线L的始端Pb(步骤#02)。作为图像识别处理的结果，在该帧Gf内的检测区域A中没有检测到车道线L的始端Pb的情况下(步骤#03：“否”)，返回步骤#01，获取下一帧的图像信息G，再次进行检测车道线L的始端Pb的图像识别处理(步骤#02)。另一方面，作为图像识别处理的结果，在该帧Gf内的检测区域A中检测到车道线L的始端Pb的情况下(步骤#03：“是”)，图像识别部31向距离检测部32输出始端检测信息(步骤#04)。

然后，通过图像信息获取部12获取下一帧的图像信息G(步骤#05)。然后，通过图像识别部31进行图像识别处理，从而检测在图像信息G的各帧Gf内设定的检测区域A(参照图5～图7)所包含的车道线L的终端Pe(步骤#06)。作为图像识别处理的结果，在该帧Gf内的检测区域A中没有检测到车道线L的终端Pe的情况下(步骤#07：“否”)，返回步骤#05，获取下一帧的图像信息G，再次进行检测车道线L的终端Pe的图像识别处理(步骤#06)。另一方面，作为图像识别处理的结果，在该帧Gf内的检测区域A中检测到了车道线L的终端Pe的情况下(步骤#07：“是”)，图像识别部31向距离检测部32输出终端检测信息(步骤#08)。

然后，导航装置1通过自身车辆位置信息获取部16获取表示自身车辆C的当前的车速v的车速信息S(步骤#09)。然后，通过距离检测部32检测从车道线L的始端Pb到终端Pe的距离并作为检测距离d(步骤#10)。此时，如上所述，距离检测部32根据检测到车道线L的始端Pb的图像信息G的帧Gf和检测到车道线L的终端Pe的图像信息G的帧Gf之间的帧数N以及自身车辆D的车速v，检测检测距离d。即，在本实施方式中，距离检测部32根据车速信息S所表示的自身车辆C的车速v，导出图像信息G的每1帧所对应的自身车辆C的前进距离并作为帧单位距离U，导出将该帧单位距离U与所述帧数N相乘后所得到的距离并作为检测距离d。然后，通过车道线种类判断部33，根据由距离检测部32检测到的检测距离d，进行判断车道线L的车道线种类的车道线种类判断处理。针对该车道线种类判断处理的内容，以下根据图11的流程图详细地说明。经过以上的步骤，处理结束。

接着，对车道线种类判断部33的车道线种类判断处理的内容进行说明。如图11所示，在车道线种类判断处理中，首先，通过自身车辆位置信息获取部16，获取自身车辆位置信息P(步骤#21)。接着，根据在步骤#21中获取的自身车辆位置信息P以及在地图数据库26中存储的地图信息M，确定自身车辆C正在行驶的道路的道路种类以及该道路所存在的地域(步骤#22)。然后，按照在步骤#22中确定的道路种类以及地域，选择判断规则R的模式(步骤#23)。在本实施方式中，车道线种类判断部33按照模式适用表35，从模式(A)～(C)的3种模式之中选择一种模式的判断规则R。

然后，判断车道线种类“粗虚线”的检测距离范围是否包含在步骤#10中检测到的检测距离d(步骤#24)，所述车道线种类“粗虚线”被在步骤#23中选择的判断规则R规定。然后，在判断规则R所规定的车道线种类“粗虚线”的检测距离范围包含检测距离d的情况下(步骤#24：“是”)，车道线种类判断部33判断由图像识别部31检测到始端Pb以及终端Pe的车道线L的车道线种类为“粗虚线”(步骤#25)。另一方面，在判断规则R所规定的车道线种类“粗虚线”的检测距离范围不包含检测距离d的情况下(步骤#24：“否”)，接着，对在步骤#23中选择的判断规则R所规定的车道线种类“普通虚线”的检测距离范围是否包含在步骤#10中检侧到的检测距离d进行判断(步骤#26)。然后，在判断规则R所规定的车道线种类“普通虚线”的检测距离范围包含检测距离d的情况下(步骤#26：“是”)，车道线种类判断部33将由图像识别部31检测到始端Pb以及终端Pe的车道线L的车道线种类判断为“普通虚线”(步骤#27)。

另一方面，在判断规则R所规定的车道线种类“普通虚线”的检测距离范围不包含检测距离d的情况下(步骤#26：“否”)，接着，对在步骤#23中选择的判断规则R所规定的车道线种类“实线”的检测距离范围是否包含在步骤#10中检测到的检测距离d(步骤#28)。然后，在判断规则R所规定的车道线种类“实线”的检测距离范围包含检测距离d的情况下(步骤#28：“是”)，车道线种类判断部33将由图像识别部31检测到始端Pb以及终端Pe(根据情况为假想的终端Pe)的车道线L的车道线种类判断为“实线”(步骤#29)。另一方面，在判断规则R所规定的车道线种类“实线”的检测距离范围不包含检测距离d的情况下(步骤#28：“否”)，车道线种类判断部33将由图像识别部31检测到始端Pb以及终端Pe的道路标识等的地物判断为不是车道线L(步骤#30)。经过以上步骤，车道线种类判断处理结束。

2.第二实施方式

接着，对本发明的第二实施方式的图像识别装置2进行说明。在上述第一实施方式中，对如下情况进行了说明：距离检测部32检测与构成车道线L的各线段的线段长度相当的从车道线L的始端Pb到终端Pe的距离，并作为检测距离d的情况。与此相对，在本实施方式中，距离检测部32检测与构成车道线L的各线段的间隔相当的从车道线L的终端Pe到始端Pb的距离，并作为检测距离d。然后，与这样的距离检测部32的结构相对应地，判断规则表34所规定的判断规则R以及车道线种类判断部33的结构都具有与上述第一实施方式不同的部分。本实施方式的图像识别装置2如此地检测与构成车道线L的各线段的间隔相当的距离，并作为检测距离d，并根据该检测距离d判断车道线种类。因此，将该图像识别装置2作为针对虚线车道线L识别车道线种类的装置适用，所述虚线车道线L以规定的间隔配置用于构成车道线L的各线段的虚线车道线L。具体的讲，在本实施方式中，将如下的情况作为例子进行说明：针对与上述第一实施方式相同的普通虚线车道线L1和粗虚线车道线L2这两种虚线车道线L，识别车道线种类的情况。其他的结构基本上与上述第一实施方式相同，在本实施方式中，也能够将图像识别装置2应用在导航装置1中。以下，针对本实施方式的图像识别装置2，以与上述第一实施方式的不同点为中心进行说明。

如上所述，在本实施方式中，距离检测部32检测从车道线L的终端Pe到始端Pb的距离并作为检测距离d。即，距离检测部32根据检测到车道线L的终端Pe的图像信息G的帧Gf和检测到车道线L的始端Pb的图像信息G的帧Gf之间的帧数N以及自身车辆D的车速v，检测检测距离d。具体的讲，距离检测部32根据车速信息S所表示的自身车辆C的车速v，导出图像信息G的每1帧所对应的自身车辆C的前进距离并作为帧单位距离U，导出将该帧单位距离U与所述帧数N相乘后得到的距离并作为检测距离d。导出帧单位距离U以及帧数N的方法与上述第一实施方式相同。如图4所示，这样距离检测部32检测到的检测距离d与从车道线L的终端Pe到始端Pb的距离大致相等，因此，构成车道线L的各线段的间隔几乎相等。

对应于上述那样的距离检测部32的结构，判断规则表34所规定的判断规则R按照构成各车道线种类的车道线L的各线段的间隔，规定每种车道线种类(在本实施方式中是“普通虚线”以及“粗虚线”)的检测距离范围的值，所述检测距离范围的值是用于判断其为该车道线种类的条件。即，关于这些各车道线种类的检测距离范围，例如对应于分别构成模式(A)所假想的道路种类、地域等的普通虚线车道线L1以及粗虚线车道线L2的各线段的间隔，设定为包含该间隔，而不包含其他的车道线种类的车道线L的间隔的范围。另外，在判断规则R针对各车道线种类规定多个检测距离范围这一点上，具体的讲，在针对“普通虚线”以及“粗虚线”的两种车道线种类中的每一种，规定了多种模式(模式(A)～(C)3种)的检测距离范围这一点上，与上述第一实施方式相同。

而且，车道线种类判断部33根据上述的判断规则R以及检测距离d，判断车道线L的车道线种类，该检测距离d由距离检测部32检测到且相当于构成车道线L的各线段的间隔。此时，车道线种类判断部33从虚线车道线L(L1、L2)的车道线种类即“普通虚线”及“粗虚线”中，对应检测距离d判断一种虚线的车道线种类。即，车道线种类判断部33在由距离检测部32检测到的检测距离d被车道线种类“粗虚线”的检测距离范围包含的情况下，判断车道线种类为“粗虚线”，在不被车道线种类“普通虚线”的检测距离范围包含的情况下，判断车道线种类为“普通虚线”。另外，车道线种类判断部33对应于自身车辆C正在行驶的道路的道路种类以及地域之一或其两者，针对各车道线种类变更用于判断其为该车道线种类的检测距离范围，这一点与上述第一实施方式相同。

根据上述说明，车道线种类判断部33根据由距离检测部32检测到的从车道线L的终端Pe到始端Pb的距离即检测距离d，能够适当地判断由图像识别部31检测到始端Pb以及终端Pe的车道线L的车道线种类。与上述第一实施方式相同，将由该车道线种类判断部33判断出的车道线种类的信息向后述的自身车辆车道判断部36、导航用运算部17等输出，用于判断自身车辆车道以及输出各种引导信息等。

3.其他实施方式

(1)在上述第一实施方式中，针对如下情况进行了说明：距离检测部32检测与构成车道线L的各线段的线段长度相当且从车道线L的始端Pb到终端Pe的距离，并作为检测距离d的情况。另外，在上述第二实施方式中，这对如下的情况进行了说明：距离检测部32检测与构成车道线L的各线段的间隔相当且从车道线L的终端Pe到始端Pb的距离，并作为检测距离d的情况。但是，本发明的实施方式并不仅限于此。即，下面这样的情况也是本发明的最佳实施方式中的一种：距离检测部32检测与构成车道线L的各线段的线段长度相当且从车道线L的始端Pb到终端Pe的距离并作为第一检测距离，并且检测与构成车道线L的各线段的间隔相当且从车道线L的终端Pe到始端Pb的距离并作为第二检测距离，车道线种类判断部33使用上述这两者来判断车道线种类的结构。在该情况下，优选地，判断规则R针对第一检测距离以及第二检测距离的两者，规定检测距离范围，所述检测距离范围是用于判断各车道线种类的条件。另外，如下的情况也是本发明的最佳实施方式中的一种：针对虚线车道线L，进行这样的基于第一检测距离以及第二检测距离的组合的车道线种类的判断，针对实线车道线L，进行仅基于第一检测距离的车道线种类的判断。

(2)在上述的各实施方式中，针对如下的情况进行了说明：车道线种类判断部33根据一次检测从车道线L的始端Pb及终端Pe的一端到另一端之间的距离并作为检测距离d的结果，判断车道线种类的情况。但是，一般来讲，就虚线车道线L而言，应该是以恒定的周期多次反复检测到始端Pb及终端Pe之一或其两者。因此，车道线种类判断部33将图像识别部31以恒定的周期多次反复检测到车道线L的始端Pb及终端Pe之一或其两者作为条件，判断车道线种类是虚线(在上述的实施方式中是“普通虚线”或“粗虚线”)，这样的结构也是本发明的最佳实施方式中的一种。

(3)在上述的各实施方式中，举例说明在图像信息G的各帧Gf上设定的检测区域A的高度恒定的情况。但是，本发明的实施方式并不仅限于此。因此，例如，对应于自身车辆C的车速可变地设定检测区域A的铅垂方向的高度，这也是本发明的最佳实施方式中的一种。如果采用这样的结构，在消除了不包含在相邻帧Gf的检测区域A之间的道路面Ro的区域的同时，能够对应于自身车辆C的车速，使检测区域A的铅垂方向的高度设定得尽可能小。因此，不但能够减小图像识别处理的运算负荷，而且还能够减小如下的距离：基于在检测区域A内的哪个位置上检测到车道线L的始端Pb或者终端Pe所产生的从自身车辆C到该始端Pb或者终端Pe的距离之差。

(4)在上述的各实施方式中，举例说明在图像信息G的各帧Gf上设定的检测区域A的水平方向的宽度与帧Gf的水平方向的宽度相同的情况。但是，本发明的实施方式并不仅限于此。即，将检测区域A设定在帧Gf内的水平方向的一部分区域内的情况，这也是本发明的最佳实施方式中的一种。在该情况下，在自身车辆C行驶在车道的中央部的情况下，优选地，将检测区域A设定成包含存在着自身车辆C的两侧的车道线L的区域。根据该结构，与检测区域A的水平方向的宽度与帧Gf的水平方向的宽度相同的情况相比，能够使图像识别处理的运算负荷更小。

(5)在上述的各实施方式中，举例说明了如下的情况：距离检测部32根据始端检测信息以及终端检测信息分别包含的作为各帧Gf的识别信息的帧编号，对检测到车道线L的始端Pb的帧Gf和检测到终端Pe的帧Gf之间的帧数N进行检测的情况。但是，检测该帧数N的方法并不仅限于此。即，例如下述结构也适合本发明：距离检测部32从图像识别部31检测到车道线L的始端Pb的时刻开始，对由图像信息获取部12获取的图像信息G的帧数开始计数，并且在图像识别部31检测到车道线L的终端Pe的时刻，结束该帧数的计数，将由此计数的帧数作为检测到车道线L的始端Pb的帧Gf和检测到终端Pe的帧Gf之间的帧数N。

(6)在上述的各实施方式中，举例说明了如下的情况：车道线种类判断部33对应于自身车辆C正在行驶的道路的道路种类以及地域的两者，针对各车道线种类变更由判断规则R规定的检测距离范围的情况，所述检测距离范围用于判断其为该车道线种类。但是，本发明的适用范围并不仅限于此。因此，车道线种类判断部33对应于自身车辆C正在行驶的道路的道路种类以及地域的其一，针对各车道线种类变更用于判断其为该车道线种类的检测距离范围，这种结构也是本发明的最佳实施方式中的一种。在该情况下，优选地，模式适用表35用于规定适用于多个道路种类的每一种的判断规则R的模式((A)～(C))，或者用于规定适用于多个地域的每个地域的判断规则R的模式((A)～(C))。另外，当然也可以是根据这样的道路种类、地域不变更判断规则R所规定的检测距离范围的结构。另外，在使用多种这样的判断规则R的模式的情况下，判断规则R的模式的数量可以是2种，也可以是4种以上。

(7)在上述的各实施方式中，举例说明了将本发明的图像识别装置2应用于作为自身车辆车道判断装置起作用的导航装置1中的情况。但是，本发明的实施方式不仅限于此，获取对车辆周边至少拍摄道路面所得到的图像信息，并通过对该图像信息进行图像识别处理，判断图像信息中所包含的车道线的种类，能够对利用该判断结果的信息的各种装置应用本发明。因此，向以车道保持辅助为首的车辆的行驶控制装置等应用本发明的图像识别装置2，这也是本发明的最佳实施方式中的一种。

本发明能够利用于这样的图像识别装置以及图像识别程序等，即，获取对自身车辆周边至少拍摄道路面所得到的图像信息，并通过对该图像信息进行图像识别处理，判断图像信息中所包含的车道线的种类的图像识别装置以及图像识别程序，另外，例如，能够优选地利用于以导航装置、自身车辆车道判断装置以及车道保持辅助为首的车辆的行驶控制装置等各种装置及其动作程序中。

Claims (16)

1.一种图像识别装置，其特征在于，具有：

图像信息获取单元，其用于获取以规定的时间间隔对自身车辆的周边至少拍摄道路面所得到的多个帧的图像信息；

图像识别单元，其用于进行图像识别处理，所述图像识别处理用于检测在所述图像信息的各帧内设定的检测区域所包含的车道线的始端及终端；

距离检测单元，其根据检测到所述车道线的始端及终端中的一端的所述图像信息的帧和检测到所述车道线的始端及终端中的另一端的所述图像信息的帧之间的帧数，以及自身车辆的车速，检测从所述车道线的始端及终端中的一端到另一端为止的距离并作为检测距离；

车道线种类判断单元，其根据所述检测距离，判断所述车道线的车道线种类。

2.如权利要求1所述的图像识别装置，其特征在于，所述距离检测单元根据自身车辆的车速，导出所述图像信息的每1帧所对应的自身车辆的前进距离，将该每1帧所对应的自身车辆的前进距离乘以所述帧数所得到的距离作为所述检测距离。

3.如权利要求1或2所述的图像识别装置，其特征在于，所述检测区域是以包含所述图像信息的多个帧上的相同位置的方式所设定的各帧内的一部分区域。

4.如权利要求1至3中任一项所述的图像识别装置，其特征在于，在所述检测距离处于规定的下限值和上限值之间的范围内的情况下，所述车道线种类判断单元将所述车道线种类判断为虚线。

5.如权利要求4所述的图像识别装置，其特征在于，所述车道线种类判断单元根据所述检测距离，从多种虚线的车道线种类中判断出一种车道线种类，所述多种虚线是构成虚线车道线的各线段的线段长度及间隔之一或其两者互相不同的虚线。

6.如权利要求4或5所述的图像识别装置，其特征在于，所述车道线种类判断单元根据自身车辆正在行驶的道路的道路种类及地域之一或其两者，针对各车道线种类，变更用于判断其为该车道线种类的所述检测距离的范围。

7.如权利要求4至6中任一项所述的图像识别装置，其特征在于，所述车道线种类判断单元将图像识别单元以恒定的周期多次检测到所述车道线的始端及终端之一或其两者作为条件，将所述车道线种类判断为虚线。

8.如权利要求1至7中任一项所述的图像识别装置，其特征在于，在从所述车道线的始端开始的所述检测距离为规定的实线判断阈值以上的情况下，所述车道线种类判断单元将所述车道线种类判断为实线。

9.如权利要求1至8中任一项所述的图像识别装置，其特征在于，所述车道线种类判断单元按照规定了所述检测距离的范围的判断规则，判断所述车道线种类，所述检测距离的范围是用于对每种所述车道线种类分别判断其为该车道线种类的条件。

10.如权利要求9所述的图像识别装置，其特征在于，所述判断规则针对虚线的车道线种类，规定了所述检测距离的范围的上限值及下限值。

11.如权利要求9或10所述的图像识别装置，其特征在于，所述判断规则针对多种虚线的车道线种类的每一种，规定了所述检测距离的范围，所述多种虚线是构成虚线车道线的各线段的线段长度及间隔之一或其两者互相不同的虚线。

12.如权利要求9至11中任一项所述的图像识别装置，其特征在于，所述判断规则针对各车道线种类，规定了多个所述检测距离的范围。

13.如权利要求9至12中任一项所述的图像识别装置，其特征在于，所述判断规则针对实线的车道线种类，规定了从所述车道线的始端开始的所述检测距离的范围的下限值。

14.一种导航装置，其特征在于，具有：

权利要求1至13中任一项所述的图像识别装置；

地图数据库，存储有地图信息；

应用程序，通过参照所述地图信息以及所述图像识别装置所判断的车道线种类的信息来进行动作；

引导信息输出单元，按照所述应用程序进行动作并输出引导信息。

15.一种自身车辆车道判断装置，其特征在于，具有：

权利要求1至13中任一项所述的图像识别装置；

自身车辆车道判断单元，根据所述图像识别装置所判断的车道线种类的信息，对于自身车辆车道进行判断，所述自身车辆车道是自身车辆正在行驶的车道。

16.一种图像识别程序，其特征在于，使计算机执行以下步骤：

图像信息获取步骤，用于获取以规定的时间间隔对自身车辆的周边至少拍摄道路面所得到的多个帧的图像信息；

图像识别步骤，用于进行图像识别处理，所述图像识别处理用于检测在所述图像信息的各帧内设定的检测区域所包含的车道线的始端及终端；

距离检测步骤，根据检测到所述车道线的始端及终端中的一端的所述图像信息的帧和检测到所述车道线的始端及终端中的另一端的所述图像信息的帧之间的帧数，以及自身车辆的车速，检测从所述车道线的始端及终端中的一端到另一端为止的距离并作为检测距离；

车道线种类判断步骤，根据所述检测距离，判断所述车道线的车道线种类。

Images