CN110088807B - 分隔线识别装置 - Google Patents

Abstract

本发明能够实现能够高精度地判断路面上的分隔线的种类的分隔线识别装置。在步骤301中，从由各摄像机拍摄的图像中提取特征量。这相当于特征点提取部的处理。接下来的步骤302将提取的特征量变换为作为共用坐标的俯瞰坐标。这相当于坐标变换部的处理。接着，在步骤303中，判断选择的摄像机。这是摄像机判断部的处理。接着，在步骤304中，使用在步骤303中选择的摄像机的特征点坐标，判断俯瞰坐标上的特征点出现位置的状态转移。这是状态转移判断部的处理。最后，在步骤305中，判断线种类。这是线种类判断部的处理。

Description

分隔线识别装置

技术领域

本发明涉及用于识别车辆行驶环境中的路面标志的分隔线识别装置。

背景技术

作为识别路面标志的分隔线识别装置，例如有专利文献1中记载的技术。专利文献1中记载的分隔线识别装置包括：对包括车辆前方的路面在内进行摄像的摄像单元(单一的前方摄像机)；从该摄像单元输出的图像信息中提取路面内的边缘点的边缘点提取单元；从边缘点中提取具有相当于分隔线的可能性的线段组的线段提取单元；从线段组中检测相当于分隔线的线段的检测单元；和确定检出的确定单元。

确定单元构成为：在上述检测单元的检出未发生规定未检出次数以上的情况下，在规定再次检出次数以上连续地发生了检测单元的检出的情况下，确定该检出。

专利文献2中记载了一种从图像信息中识别本车行驶的车道的车道识别装置，其包括：设置在车辆中的多个摄像机，其对设置在车道左右的道路分隔线的不同部分进行拍摄；与这些摄像机分别对应地设置的、对图像中的道路分隔线进行识别的多个道路分隔线识别部；和判断部，其通过核对道路分隔线识别部的各识别结果来判断识别是否成功。

现有技术文献

专利文献

专利文献1：日本特开2013-3634号公报

专利文献2：日本特开2002-92796号公报

发明内容

发明要解决的技术问题

专利文献1公开了使用前方摄像机单体的识别状态的状态转移来确定分隔线的检测的技术。

但是，专利文献1中记载的技术中，因为使用单一摄像机，所以对于分隔线，即使发生了转移未检测/误检测，也没有排除它们的手段，在线种类判断时，未检测/误检测被原样地反映。

这样，单一摄像机的检测结果的可靠性存在极限。

另一方面，专利文献2公开了在车辆行驶中的车道中的白线的检测中，用多个摄像机检测同一白线，通过核对它们的结果来判断是否为白线的技术。

在该情况下，通过核对多个摄像机彼此的结果，即使某一个摄像机存在未检测/误检测的可能性，也能够得知。

但是，专利文献2中记载的技术中，由于摄像机的污渍等，不一定总是能够用多个摄像机检测同一白线。例如，在前方或后方的摄像机有污渍、或者因拥堵而无法看见白线的情况下，不能发挥作用。

专利文献2中记载的技术，只是得知未检测/误检测的可能性，关于判断线种类的技术并没有公开。

也可以考虑基于在图像的各帧中看见白线的周期来进行线种类判断的方法。

但是，白线看起来的样子依赖于车辆与白线的距离。例如，在车辆距白线远的情况下，有可能看见多条虚线，当车辆接近白线时，也有可能仅看见1条。另外，在车辆距离白线远的情况下，有可能虚线看起来像一条实线，当车辆接近白线时，也有可能实际上就是虚线。

即使利用边缘强度的总和等相同的基准对这些图像进行评价，也难以得到恰当的周期的值，难以进行分隔线的种类判断。

本发明的目的在于实现能够高精度地判断路面上的分隔线的种类的分隔线识别装置。

用于解决技术问题的手段

为了实现上述目的，本发明的技术方案如下。

一种分隔线识别装置，其特征在于，包括：

多个摄像机；特征点提取部，其从由所述多个摄像机中的各个摄像机拍摄的道路的路面的图像中提取特征点；坐标变换部，其将所述特征点提取部提取的特征点的坐标变换为所述多个摄像机共用的俯瞰坐标系的坐标；摄像机判断部，其判断所述多个摄像机中可使用的摄像机；状态转移判断部，其判断从由所述摄像机判断部判断为可使用的摄像机拍摄的图像中提取的特征点的状态转移；和线种类判断部，其基于所述状态转移判断部对所述状态转移的判断结果，判断分隔线的种类。

发明效果

采用本发明，能够实现能够高精度地判断路面上的分隔线的种类的分隔线识别装置。

附图说明

图1是本发明的一个实施例中的分隔线识别装置的概略结构图。

图2是表示本发明的一个实施例中的软件结构的例子的图。

图3是本发明的一个实施例中的概略处理流程图。

图4是特征点提取部的处理流程图。

图5是坐标变换部的处理流程图。

图6是摄像机判断部的处理流程图。

图7是图6所示的步骤602的误检测判断的处理流程图。

图8是图7所示的步骤701的评分化的处理流程图。

图9是表示特征点的出现的一个例子的图。

图10是表示对全部区段的组合执行、生成的数据的表。

图11是步骤702的可信度的判断处理流程图。

图12是将步骤702的可信度的判断应用于图10的数据1001的情形的说明图。

图13是用于说明基于俯瞰坐标将车辆1301的周边区域分割而得到的区域的定义的图。

图14是表示分隔线是虚线的状态转移模型的图。

图15是与车速相应地预测节点，判断是否符合虚线的状态转移的例子的说明图。

图16是判断位于状态转移模型的哪个节点的处理流程图。

图17是判断线种类的流程图。

图18是表示特征点的出现事例的图。

图19是表示在内部保持的数据结构的表。

图20是图16所示的步骤1602的掩蔽区域判断的处理流程图。

图21是表示认为侧面摄像机不可信赖的情况下的虚线的状态转移模型的图。

图22是应对弯道所需的处理的流程图。

图23是示意性地表示弯道应对处理的图。

图24是车道变更时的处理流程图。

图25是表示各种道路分隔线信息的例子的图，其中，各种道路分隔线信息表示道路种类和与其对应的道路宽度的关系。

图26是与虚线间隔相应的白线捕捉区域的处理流程图。

具体实施方式

下面，参照附图对本发明的实施例进行说明。上述以外的技术问题、特征和效果，通过下面的实施例的说明将变得明确。

实施例

下面，对将本发明应用于车辆中的分隔线识别装置的情况的例子进行说明。

图1是本发明的一个实施例中的分隔线识别装置的概略结构图。

在图1中，分隔线识别装置包括用于监视车辆前方的前方摄像机101-Fr、用于监视车辆后方的后方摄像机101-Rr、用于监视车辆左侧方的左侧摄像机101-SL、用于监视车辆右侧方的右侧摄像机101-SR、处理来自该多个摄像机(多个摄像部)的图像的图像处理装置102、和用于存储地图信息等的存储装置103。

分隔线识别装置包括CPU 104、存储器105和CAN I/F 106。

CPU 104将使用图像处理装置102的处理结果构成车辆的本车道、相邻车道的白线的信息储存在存储器105中。然后，将该信息通过CAN I/F 106传输至CAN总线107，发送至车辆控制单元108。

图2是本发明的一个实施例中的软件结构的例子，是包括图像处理装置102和CPU104的内部功能模块的图。

在图2中，与各摄像机101-Fr、101-Rr、101-SL和101-SR对应地，包括特征点提取部201(201-SL、201-SR、201-Rr、201-Fr)、坐标变换部202(202-SL、202-SR、202-Rr、202-Fr)。

特征点提取部201设置在图像处理装置102中，从由摄像机101(摄像机101-Fr、101-Rr、101-SL和101-SR)拍摄的图像中提取特征点。关于提取特征点的方法，例如存在使用亮度值相当于黑色与相当于白色的边界边缘的方法。如果它们的距离相当于白线宽度则作为特征点。除此以外也可以考虑各种方法，但是本实施例中可以是任意的方法。

坐标变换部202设置在图像处理装置102中，将由特征点提取部201得到的特征点的坐标变换为俯瞰坐标。变换为俯瞰坐标的结果，被集中在设置在存储器105中的共用坐标缓存206中。

摄像机判断部203判断采用从哪个摄像机检测的特征点。判断各摄像机的污渍情况、各摄像机是否没有误检测白线，选择适当的摄像机(判断可使用的摄像机(摄像部))。

状态转移判断部204判断被集中在共用坐标缓存206中的特征点的出现位置，将各位置处的特征点区段(特征点的集合)的有无状况确定为状态转移模型的节点(特征点区段的出现状态)。进而，判断从前一帧的节点的转移，判断是否符合虚线的状态转移模型。特征点区段是彼此的距离近的特征点的集合。例如，定义为彼此的距离为10cm以内的特征点的集合。

线种类判断部205基于状态转移判断部204的结果来判断线种类。

摄像机判断部203、状态转移判断部204和线种类判断部205是CPU 104内的功能模块。

在本实施例中，对于道路，对作为路面上的分隔线的实线、虚线和它们的未检测进行处理。关于线种类的判断，根据转移状况符合虚线的状态转移模型、不是误检测或未检测的状况判断为虚线。在并非如此的情况下，是实线或未检测。详细的处理将在后文中说明。

图3是本实施例中的概略处理流程图。该处理流程图是1帧图像的处理。

首先，在图3的步骤301中，从由各摄像机101(101-SL、101-SR、101-Rr、101-Fr)拍摄的图像中提取特征量。这相当于特征点提取部201的处理。

接下来的步骤302将提取的特征量变换为作为共用坐标的俯瞰坐标。这相当于坐标变换部202的处理。

接着，在步骤303中，判断选择的摄像机。这是摄像机判断部203的处理。

接着，在步骤304中，使用步骤303中选择的摄像机的特征点坐标，判断俯瞰坐标上的特征点出现位置的状态转移。这是状态转移判断部204的处理。

最后，在步骤305中，判断线种类。这是线种类判断部205的处理。

图4是表示特征点提取部201的处理流程的图。在此，设想车辆中搭载的前方摄像机和后方摄像机进行说明。

首先，在图4的步骤401中，从由摄像机101输入的图像中提取边缘。作为提取边缘的方法，优选例如使用索贝尔滤波器等微分滤波器生成边缘图像的方法。或者，也可以是与亮度相应地将整个图像分类为路面、白线、其他，将各分类的边界视为边缘提取出来。

接着，对于提取的各边缘调查边缘强度，探索强度极大、极小的边缘(步骤402)。首先，在各y坐标中，从左向右(按x坐标从小到大)探索边缘，寻找边缘强度为正的边缘(从亮度低变成亮度高的边界)。进而，向右探索，寻找边缘强度为负的边缘(从亮度高变成亮度低的边界)。

判断这些边缘的x坐标的彼此的差是否在阈值的范围内(步骤403)，如果在阈值以内，则将其中与本车距离近的边缘坐标作为特征点保存(步骤404)。通过对全部边缘坐标执行该处理，能够提取白线特征量。

在侧面摄像机的情况下，需要使x、y坐标的处理相反。例如，如果在图4所示的流程图中使x、y坐标的处理相反、或者将图像旋转90°进行处理，则能够进行同样的处理。

图5是坐标变换部202的处理流程。分隔线的判断处理，适合使用俯瞰坐标，图5所示的处理流程是以此为前提的。

首先，在图5的步骤501中，获取各摄像机101的外部参数和内部参数。这是被称为校准的处理，已公开了各种技术。该校准处理有多种，包括在机动车出厂时仅实施1次的情况、和在行驶中总是实时地执行的情况等。

在本实施例中，可以是获取已保持的校准结果，也可以是在行驶中每次执行。

接着，对各摄像机图像中的全部特征点，使用摄像机101的参数变换为俯瞰坐标(步骤502)。通常，图像坐标与俯瞰坐标的关系能够用摄像机的外部参数和内部参数来描述。变换为俯瞰坐标之后，将结果缓存(步骤503(保存在共用坐标缓存206中))。

图5所示的步骤被执行摄像机101的数量和特征点的数量的次数。

接着，对摄像机判断部203的处理进行说明。在摄像机判断部203中，排除有污渍的摄像机，或者排除被认为从白线以外的部分提取了特征点的特征点区段。

图6是表示摄像机判断部203的处理流程的图，是表示相当于图3的步骤303的处理的流程的图。这对摄像机101分别执行。

首先，在图6的步骤601中，执行镜头有无污渍的判断。该方法可以使用例如日本特开2014-027539号公报等中公开的那样的方法(基于镜头的亮度梯度来计算镜头表面的白浊度的方法)。

对全部摄像机101污渍判断完成后，转移至步骤602的误检测判断。该误检测判断基于各摄像机101中提取的特征点的坐标，判断是否误检测，基于判断为“无污渍”的摄像机的特征点坐标执行。步骤602的处理将在后文中说明。

在不存在没有污渍的摄像机的情况下，不能进行误检测的判断。

接着，以无污渍的摄像机101为对象，得到步骤602的误检测判断结果(步骤603)，判断是否发生了误检测。如果没有发生误检测则前进至步骤605，将从判断为没有误检测的摄像机101得到的特征点的俯瞰坐标展开至共用坐标缓存206(如作为后述的图19所示的数据结构那样保存在共用坐标缓存206中)。

图7是图6所示的步骤602的误检测判断的处理流程(用于将从作为分隔线的白线以外的部分提取了特征点的摄像机判断(确定)为发生了误检测的摄像机的处理流程)。首先，在图7的步骤701中，将从各摄像机101提取的特征点区段之间的距离评分化。接着，使用该评分，判断各特征点区段的可信度，保留可信度为阈值以上的特征点区段(步骤702)。关于步骤701、702的处理，将使用附图进一步说明。

图8是图7所示的步骤701的评分化的处理流程。

首先，在图8的步骤801中，选择自身以外的特征点区段(作为对象的特征点区段以外的特征点区段)。即，是将自身与所选择的区段的关系评分化。判断从本车看这两者是否位于同一侧(路面的右侧或左侧)(步骤802)。如果在同一侧，则按照步骤803的式子(下式(1)、(2))计算评分。

距离误差＝|x坐标平均的差|……(1)

评分＝30-距离误差[cm]……(2)

这是在同一侧的区段的情况下，如果距离差为30cm以内则视为从同一白线提取出的特征点。而且设定成如果距离差为30cm以内则评分为正。

而在彼此相反侧的区段的情况下，按照步骤804的式子(下式(3)、(4))计算评分。

距离误差＝||区段间距离|-350|……(3)

评分＝60-距离误差[cm]……(4)

上述式(3)中，350是车道宽度(cm)。

如果区段彼此位于相反侧，则这些区段间距离应当相当于车道宽度。从而，距离误差为区段间距离与车道宽度的差。评分是从60cm减去距离误差而得到的。

因为在区段位于同一侧的情况下如果距离差为30cm以内则视为同一白线，所以如果区段彼此位于相反侧，则如果距离差为其2倍即60cm以内则位置关系上是妥当的。于是，设定成在距离差为60cm以内的情况下评分为正。计算评分之后，在步骤805中将评分缓存(保存在存储器105中)。对全部区段执行该处理。

但是，图8中使用的30cm或60cm的值，是用于本实施例的说明的值，在实施时需要适当地调整。

接着，对于图7和图8所示的步骤701的评分化的处理，设想图9所示的特征点的出现例进行说明。图9的圈1～圈6的线段，分别表示前方左侧、左侧、后方左侧、前方右侧、右侧、后方右侧的区段。对于该位置关系，如图8的步骤803、804所示的那样(式(1)～(4))，定义2条白线的相对的距离误差，对全部白线的组合计算评分。

在图9中，坐标系是以本车中心为原点的俯瞰坐标系。图9所示的单位是cm，圈1～圈6的区段中的x坐标平均值分别是-170、-240、-168、-180、280、181。

例如，考虑将图9所示的区段圈1与区段圈2的关系评分化的情况。区段圈1和区段圈2从本车看位于同一侧，区段圈1的距离是-170，区段圈2的距离是-240，距离误差是|-170-(-240)|＝70，因此，评分为30-70＝-40。

将区段圈1与区段圈4的关系评分化时，区段圈1和区段圈4从本车看位于不同侧，区段圈4的距离是180，因此，距离误差是||(-170-180)|-350|＝0，评分为60-0＝60。

对区段圈1～圈6的全部区段的组合执行这些计算。图10是表示对区段圈1～圈6的全部区段的组合执行这些计算而生成的数据1001的表。

在此，将车道宽度假定为350cm进行了说明，但是实际上车道宽度因道路而不同。为了对应不同的车道宽度，例如优选从车辆导航系统获取行驶中的道路种类，设定与该种类相应的车道宽度。或者，也可以是从车辆导航系统获取行驶中的道路的车道宽度。

图25是表示各种道路分隔线信息的例子的图，其中，各种道路分隔线信息表示道路种类和与其对应的道路宽度的关系。在图25中，各种道路分隔线信息2501是从车辆导航系统使用的地图数据获取的信息，例如是作为文本数据或数据库保存在存储装置103中的数据。

各种道路分隔线信息2501所示的道路种类、道路宽度、虚线间隔是一个例子，并不限定于此。可以通过参照该数据来获取车道宽度。

接着，对图7的步骤702的可信度的判断处理进行说明。图11是步骤702的可信度的判断处理流程。

在图11中，首先，对全部特征点区段，计算评分的合计(步骤1101)。接着，在步骤1102中，判断评分合计的最小值是否为0或负值，并且判断是否保留有评价对象的区段。如果两者都是“是”，则前进至步骤1103，排除评分合计最小的区段。然后，以剩余的区段为对象再次计算评分合计(步骤1104)。再次计算评分合计时，将已排除的区段的评分除去来执行。之后，返回到步骤1102执行相同的判断。如果判断条件中的任一者为“否”则结束处理，如果判断条件为“是”则反复进行上述步骤1103以后的处理。

图12是将步骤702的可信度的判断应用于图10的数据1001的情形的说明图。用图12来说明步骤702的可信度的判断。

在图12中，图11所示的步骤1101的处理(评分的合计计算)的结果如数据1201所示。接着，在步骤1102中，对评分合计值的最小值进行判断。此时，区段圈5的评分-297是最小且是负值。从而，前进至步骤1103，将区段圈5的数据排除，在步骤1104中再次计算评分合计。其结果为数据1202。

接着，返回到图11的步骤1102对评分最小值进行判断。此时，数据1202的评分-103是最小且是负值。从而，前进至步骤1103，将区段圈2的数据排除，在步骤1104中再次计算评分合计。其结果为数据1203。

当返回到步骤1102对评分最小值进行判断时，在数据1203的全部剩余区段中评分为正，因此，处理在此结束。结果，被认为发生了误检测的区段是区段圈2和区段圈5，剩余的区段圈1、圈3、圈4和圈6的特征点被展开至共用坐标缓存206。

接着，对使用状态转移进行的线种类判断进行说明。其中使用在图11所示的处理流程中判断为误检测的区段以外的区段，但是首先对不存在误检测的情况进行说明。对于存在误检测的情况下的处理，将另外进行说明。

图13是用于说明基于俯瞰坐标将车辆1301的周边区域分割而得到的区域的定义的图。这是由状态转移判断部204判断有无特征点区段的区域。在图13中，在本实施例中，区域FL、FR是前方摄像机101-Fr的前方，区域RL、RR是后方摄像机101-Rr的后方，区域SL、SR是前方摄像机101-Fr与后方摄像机101-Rr之间。区域FL、SL、RL是车辆1301的中心的左侧，区域FR、SR、RR是右侧。

如果基于如图13所示的那样设定的区域，则前方摄像机101-Fr的特征点出现在区域FL、FR中，后方摄像机101-Rr的特征点出现在区域RL、RR中。另外，在区域FL、RL中有可能出现摄像机101-SL的特征点，在区域FR、RR中有可能出现摄像机101-SR的特征点。

图14是表示分隔线是虚线的状态转移模型(表示节点的转移状态的、预先决定的状态转移模型，其中，节点表示作为特征点的集合的区段的出现状态)的图。在本实施例中，设状态转移模型保持6个节点1401～1406来进行说明。

在图14中，本状态转移模型是左右的白线共用的，各节点从上方起记录了前方区域、侧面区域、后方区域中有无特征点区段。例如，左白线的节点1401是表示区域FL中有特征点区段(圈符号)，区域SL、RL中无特征点区段(×符号)的节点。

从各节点直接转移至该节点的线，表示维持该状态。

连接各节点的箭头，是线种类为虚线的情况下转移的节点。即，假设如果顺时针转移、且转移至相邻节点或其相邻的节点，则符合虚线的转移。例如，在当前帧中位于节点1401的情况下，如果下一帧中转移至节点1402或1403中的任一者则符合虚线的状态转移模型，如果该符合状态持续1周以上则是虚线。

例如，从节点1401转移至节点1402，接着从节点1402转移至节点1404，进而从节点1404转移至节点1406，然后从节点1406转移至节点1401，由此转移1周(对应于后述的累积值为6)，判断为虚线。

但是，关于将转移的节点设为相邻节点或其相邻的节点、符合状态为1周以上时视为虚线等条件，是为了本实施例的说明而设定的，不一定限定于此。例如，也可以是不预先决定转移的节点，而与车速相应地预测认为要转移的节点，如果与其符合则认为符合虚线的转移。

关于这一点，参照图15进行说明。图15是与车速相应地预测节点，判断是否符合虚线的状态转移的例子的说明图。

在图15中，捕捉白线的区域是区域1504，设白线1504L的下端的y坐标为y(t)。

设在车辆1301的左侧存在作为分隔线的虚线，构成它的白线的长度是d0，白线彼此之间的距离是d1。此时，车辆1301在区域FL(包围FL的点线)中捕捉了白线1502的下端点，在区域RL(包围RL的点线)中捕捉了白线1501的上端点。白线1502的下端点和白线1501的上端点的y坐标分别是y(p2)和y(p1)。

白线1501的下端的y坐标是y(p0)＝y(p1)-d0，在捕捉区域1504的区域外。白线1502的上端点也同样，y坐标是y(p3)＝y(p2)+d0，在捕捉区域1504的区域外。

在时刻t时，求出车辆1301的直线前进方向上的虚线的端点坐标。求出坐标的范围，由直到得到下一图像帧为止的时间和车速决定。例如，设直到得到下一图像帧为止的时间是1秒，车速是40km/h时，车辆1301在时刻t+1前会前进约11m。从而，求出被预测在约11m前方捕捉的白线的端点坐标。

在此，设d0＝3.5m，d1＝4.5m时，车辆1301在前进11m的期间会前进虚线的1个周期(d0+d1)+3m。从而，在捕捉区域1505的区域FL中捕捉到的白线的下端点，在从车辆1301相对地看的情况下，位于3m下方，y坐标成为y(p2)＇。

在区域RL中捕捉到的白线上端点也同样，在从车辆1301相对地看的情况下，偏向3m下方，成为捕捉白线的捕捉区域1505的区域外。位于捕捉区域外的白线1502的上端点偏向3m下方，看起来进入了捕捉区域1505内。从而，关于白线1503的端点，在捕捉区域1505的区域FL中上端点被捕捉，在区域SL中下端点被捕捉。

进而，如果求出各端点的相对坐标，并求出各区域的区段长度，则可得知节点模式。本实施例的情况下，在捕捉区域1505中，FL中有、SL中有、RL中无，因此是“○○×”，能够预测为转移至节点1402。在时刻t+1，实际确定节点模式，判断是否符合预测即可。

图16是判断位于状态转移模型的哪个节点的处理流程。图16所示的处理流程对左右的白线分别实施。首先在步骤1601中，将各摄像机101的特征点按图13的每个区域集中。每个区域的集中不考虑提取该特征点的摄像机101，仅基于各特征点的俯瞰坐标来执行。接着，在步骤1602中，判断是否使用各区域的特征点。这基于图7的步骤702的可信度判断的结果来执行。关于步骤1602的处理将在后文中说明。

接着，进入各区域的循环。各区域例如如果是左白线则是指FL、SL、RL。

首先，在步骤1603中，评价步骤1602的结果，在不使用该区域的数据的情况下返回循环的起点，执行下一个区域的处理。如果并非如此，则在步骤1604中，求出各区域中的特征点区段长度的最大值。

接着，在步骤1605中，判断该长度是否比阈值1长。如果比阈值1长则判断为存在区段(步骤1606)，如果比阈值1短则判断为不存在区段(步骤1607)。

区段长度是特征点之间的距离的累积，如果特征点之间的距离小于阈值2(未图示)则判断为区段继续，如果为阈值2以上则判断为区段间断。对各区域判断有无区段之后，确定当前帧的节点(步骤1608)。在任一区域中都不存在区段的情况下，按不存在任何节点进行处理。

图17是判断线种类的流程。首先，在图17的步骤1701中，得到用图16的流程确定的当前帧的节点。接着，在步骤1702中，判断是否不存在节点，如果未检出节点，则在步骤1704中，判断是否连续3次不存在节点。如果连续3次不存在节点，则视为未检出(步骤1710)。在并非如此的情况下，继续前一帧的结果(步骤1708)。

步骤1702中存在节点的情况下，判断前一帧中是否未检出(步骤1703)。前一帧中未检出的情况下视为实线(步骤1711)。即，在未检出后最初成为存在节点的情况下视为实线。

在步骤1703中，前一帧中存在节点的情况下，在步骤1705中，判断状态转移是否符合虚线的模式。在该判断中，在从前一帧的节点到当前帧的节点的移动距离为0～2的情况下，视为符合虚线的模式。但是，0(即不移动)仅限连续3次以内的情况。

在步骤1705的判断中，不符合虚线的转移模式的情况下，判断是否连续第3次(步骤1706)。在是连续第3次的情况下视为实线(步骤1711)。在不是连续第3次的情况下继续前一帧的结果(步骤1709)。

在步骤1705的判断中，符合虚线的转移模式的情况下，在步骤1707中，判断图7的转移是否已转移1周(使用节点的时序数据来判断)。如果已转移1周则将线种类确定为虚线(步骤1712)，在并非如此的情况下视为实线(步骤1711)。是否已转移1周，可以根据对与前一帧的节点的差进行累积而得到的值是否达到6以上进行判断。该累积值在线种类在步骤1704的判断中为“否”、或者在步骤1703的判断中为“是”的情况下被复位为0，在并非如此的情况下被累积。

对以上的处理，使用图18所示的特征点的出现事例进一步说明。图18的(a)～(e)分别表示图13中定义的白线的捕捉区域。

在图18的(a)中，分别从摄像机101-Fr提取了特征点区段1801、1804，从摄像机101-SL提取了特征点区段1802，从摄像机101-Rr提取了特征点区段1803。按捕捉区域来看，区域FL、SL、RL、FR中出现了特征点区段。

从而，左白线的节点模式是“○○○”，图14所示的节点1403是当前帧的节点。右白线的节点模式是“○××”，节点1401是当前帧的节点。此时，右白线、左白线都被判断为实线。

在接下来的图18的(b)中，左白线的节点模式与图18的(a)相同。关于图18的(b)的右白线，从摄像机101-Fr提取了特征点区段1804，从摄像机101-SR提取了特征点区段1805。因为在区域FR、SR中出现了区段，所以节点模式为“○○×”，节点1402为当前帧的节点。右白线中，从前一帧的节点起的移动距离为1，累积值也为1。此时，右白线、左白线也都被判断为实线。

在接下来的图18的(c)中，左白线的节点模式没有变化。另一方面，关于右白线，从摄像机101-SR提取了特征点区段1805，从摄像机101-Rr提取了特征点区段1806。因为在区域SR、RR中出现了区段，所以节点模式为“×○○”，节点1404为当前帧的节点。从前一帧起的移动距离为2，累积值为3。此时，右白线、左白线也都被判断为实线。

在接下来的图18的(d)中，左白线的节点模式没有变化。另一方面，关于右白线，从摄像机101-Rr提取了特征点区段1806。因为仅在区域RR中出现了区段，所以节点模式为“××○”，节点1405为当前帧的节点。从前一帧起的移动距离为1，累积值为4。此时，右白线、左白线也都被判断为实线。

在接下来的图18的(e)中，左白线的节点模式没有变化。另一方面，关于右白线，从摄像机101-Fr提取了特征点区段1807。因为仅在区域FR中出现了区段，所以节点模式为“○××”，节点1401为当前帧的节点。从前一帧起的移动距离为2，累积值为6(使图14的节点转移1周)。此时，判断为右白线是实线，左白线是虚线。

图19是表示在内部保持的数据结构的表。图19所示的数据按图13所示的每个区域保持。

在图19中，区域数1901是保持有数据的区域数，在本实施例中，是FL、FR、SL、SR、RL和RR这6个。区域信息1902是线种类判断所需要的信息。其中，当前节点1903是当前帧的节点，保存对节点1401～1406分配的ID。区段长度1904是特征点区段的长度，优选以cm单位保存。停止数1905是在同一节点停滞的连续帧数。

误检测数1906是未进入状态转移的连续帧数。未检测数1907是不能确定线种类的连续帧数。特征点数1909是该区域中包括的特征点数。俯瞰坐标1910保存了相当于特征点数1909的特征点的俯瞰坐标。掩蔽标志1911关于在线种类判断时是否使用该区域的数据，按每个区域存储有标志。在存在设置了该标志的区域的情况下，在线种类判断时，在节点1401～1406的节点模式中，将该区域掩蔽。

图20是图16所示的步骤1602的掩蔽区域判断的处理流程。摄像机101-Fr、101-Rr中，因为在设置场所的前方可看见白线，所以提取出的特征点也分别仅被集中至区域FL、FR、区域RL、RR。另一方面，摄像机101-SL、101-SR中，在实线的情况下看起来是横长的，提取的特征点分散在多个区域中。

从而，在摄像机101-SL不可信的情况下，可以将区域SL掩蔽。另一方面，在摄像机101-Fr、101-Rr不可信的情况下，需要考虑摄像机101-SL中的特征点提取状况和可信度来判断掩蔽的有无。图20是基于这一点的处理流程。以左白线的判断为前提进行说明。

在图20中，首先，步骤2001是取决于摄像机101-SL是否可信的分支。在不可信的情况下，在步骤2002中将区域SL掩蔽。在可信的情况下，前进至步骤2003的、摄像机101-SL是否未检出的分支，在并非未检出的情况下不进行任何处理而使处理结束。在步骤2003中，摄像机101-SL未检出的情况下执行摄像机101-Fr、101-Rr的掩蔽判断。在图20中，摄像机101-Fr的判断在先，但是可以先执行任一者。

步骤2004是摄像机101-Fr是否可信的分支，在不可信的情况下在步骤2005中将区域FL掩蔽。在并非如此的情况下，前进至步骤2006的、摄像机101-Rr是否可信的分支，在不可信的情况下在步骤2007中将区域RL掩蔽。在并非如此的情况下处理结束。

掩蔽处理也能够应用于车道变更。车道变更中车辆1301所跨的白线，无法由侧面摄像机101-SL、101-SR捕捉。从而，在车道变更的方向上设置的侧面摄像机101-SL或101-SR中的信息视为不可信，执行图19的处理即可。例如，在向右车道移动的情况下，认为摄像机101-SR不可信而执行处理即可。

图21是表示认为侧面摄像机不可信的情况下的虚线的状态转移模型的图。认为不可信的理由，如上所述是摄像机镜头有污渍、存在误检测的可能性等。在此，也以左白线的判断为前提，以区域SL被掩蔽的情况为例进行说明。在该情况下，在各节点的节点模式中将区域SL的部分掩蔽(在图21中，用灰色表示与区域SL对应的部位)。即，仅用区域FL、RL的信息判断线种类。根据特征点提取结果生成的节点模式也同样地将SL的部分掩蔽。通过这样，能够不重新生成状态转移模型就执行线种类判断。

在前方摄像机101-Fr不可信的情况下也同样地，生成将FL的部分掩蔽的状态转移模型。在该情况下，利用左侧摄像机101-SL和后方摄像机101-Rr，仅用区域SL、RL的信息判断线种类。在后方摄像机101-Rr不可信的情况下也同样地，生成将区域RL的部分掩蔽的状态转移模型。在该情况下，利用前方摄像机101-Fr和左侧摄像机101-SL，仅用区域FL、SL的信息判断线种类。

上面以直线道路为前提进行了说明，但是在道路是弯道的情况下也能够应用。在弯道中，将特征点变换为俯瞰坐标时，特征点区段也看起来弯曲。在该情况下，通过基于弯道的曲率将特征点重新排列为直线状，能够执行上面说明的处理。

图22是为了应对上述的弯道所需要的处理的流程。该处理由坐标变换部202进行。

图22中，首先，在步骤2201中，基于单侧的白线的全部特征点坐标进行曲线近似。关于曲线近似，各种方法是公知的，因此能够应用这些方法。接着，在步骤2202中，在该曲线中，求出x坐标极大(或极小)的y坐标。接着，在步骤2203中，将特征点按y坐标顺序排序。

接着，进入特征点的y坐标顺序的循环。首先，在步骤2204中，调查与曲线距离最短的x坐标。确定它之后，计算用其之前的y坐标确定的、与到曲线的距离最短的特征点的欧几里得距离(步骤2205)。然后，将特征点坐标和距离缓存(步骤2206)。

离开循环后，设定x＝极大(极小)x坐标的直线(步骤2207)，保持特征点之间的距离，同时将与曲线的距离最短的特征点重新排列在该直线上(步骤2208)。

图23是示意性地表示上述弯道应对处理的图。图23的(a)是处理前的图，图23的(b)是处理后的图。

在图23的(a)中，曲线2301是基于从左白线提取的特征点p_l1～p_l5的近似曲线。曲线2302是基于从右白线提取的特征点p_r1～p_r4的近似曲线。特征点的记号的下标，表示按y坐标顺序排序。各特征点之间的距离d_l1～d_l4、d_r1～d_r3，是图22所示的步骤2205中计算得到的结果。车道宽度w是曲线2301、2302的极大(极小)的点之间的距离。执行图22的步骤2207时，将通过这些极大(极小)点的直线设定为与y轴平行，因此，车道宽度w维持原样。

这样，对曲线2301、2302设定的直线，是图23的(b)所示的直线2303、2304。在图22所示的步骤2208中，在这些直线上，重新排列特征点p_l1～p_l5、p_r1～p_r4。此时，以维持距离d_l1～d_l4、d_r1～d_r3的方式重新排列。这样，即使是弯道也能够使用与直线相同的处理。

接着，对车道变更时的处理进行说明。例如向右车道变更时车辆跨右白线，它最终成为左白线。即使在车道变更中，所跨的白线也被持续捕捉，并且其捕捉位置也变化。从而，例如向右车道变更时，将对右白线得到的信息继承至左白线，向左车道变更时将对左白线得到的信息继承至右白线。由此，能够防止车道变更时的性能降低。

关于车道变更的处理，使用图24所示的车道变更的处理流程进行说明。在图24中，首先，在步骤2401中，判断是否切换捕捉的白线。在该判断中，优选使用车辆1301与所跨的白线的位置关系。例如向右车道变更的情况下，决定为所跨的白线从车辆1301的正中央向左移动的时刻等即可。如上所述，车道变更方向的白线无法由侧面摄像机捕捉，因此，该判断优选使用前方摄像机101-Fr和后方摄像机101-Rr中的任一者或两者。

步骤2402是取决于步骤2401的结果的分支。不需要切换的情况下，在步骤2405中，执行图3所示的处理。图3的处理如上文所述。

在步骤2402中，在需要切换的情况下，在步骤2403中，将变更方向的白线信息移动至相反侧白线信息缓存，在步骤2404中，将变更方向的白线信息初始化。这样，对于所跨的白线，即使在车道变更中也能够持续地进行线种类判断。

车道变更的判断处理由状态转移判断部204进行。

在上面说明的线种类判断方法中，通过与虚线间隔相应地改变区域SL、SR的范围，能够应对各种虚线间隔。通过从车辆导航系统接收车辆行驶中的道路种类，进而参照图25的各种道路分隔线信息2501，能够得到虚线间隔。

在本实施例中，将SL的范围设为摄像机101-Fr与101-Rr之间的区域，但是通过使该范围可变，能够应对各种虚线间隔。

对于该处理在图26中表示出了处理流程。在图26中，首先，在步骤2601中，得到行驶中的道路种类。接着，在步骤2602中，以该道路种类为键(key)得到虚线间隔信息。接着，在步骤2603中，对当前的区域SL、SR的y方向长度、与从虚线间信息得到的虚线间隔进行比较。如果区域SL、SR的y方向长度更长，则前进至步骤2604，将区域SL、SR的y方向长度设为与虚线间隔相同的值。

对于高速公路等的分流、合流处的较粗的虚线，也能够通过从车辆导航系统得到车辆1301的行驶地点，从而进行应对较粗的虚线的区域设定。

在使用图14所示的状态转移模型进行的虚线判断中，转移1周所需要的最少的节点数是3(例如，如果是1401→1403→1405→1401，则是节点1401、1403和1405这3个)。因此，虚线判断所需要的图像帧最少是3帧。

如上所述，在前方摄像机101-Fr不可信的情况下，使用左侧摄像机101-SL和后方摄像机101-Rr，在后方摄像机101-Rr不可信的情况下，使用前方摄像机101-Fr和左侧摄像机101-SL。侧面摄像机101-SL不可信的情况下，使用前方摄像机101-Fr和后方摄像机101-Rr。

因此，具有用于分隔线判断所需要的可靠性的摄像机的个数，在车辆单侧最少是2个。

但是，如果侧面摄像机101-SL是能够拍摄至区域FL的下端部的上方和区域RL的上端部的下方的摄像机，则能够仅用侧面摄像机101-SL进行分隔线判断，因此，在该情况下，在侧面摄像机101-SL具有可靠性时，用于分隔线判断所需要的摄像机的个数，在车辆单侧最少是1个，从而，作为车辆整体具有可靠性的摄像机的个数是2个。

因此，作为本发明的其他实施例，也包括如下构成：仅在车辆的两侧面(左右侧面)配置摄像机(左右的侧面摄像机101-SL、101-SR)，判断该摄像机的可靠性，判断具有可靠性的摄像机的转移状态来判断分隔线的种类。

如上所述，依照本发明的一个实施例，包括在车辆的前方、后方和侧方(侧面)配置的多个摄像部，基于该多个摄像部拍摄的图像，判断可信度(可使用的摄像部的判断)，排除来自判断为发生了误检测的摄像部的图像，提取图像的特征点来判断特征点的出现位置的状态转移，从而判断分隔线的种类。

从而，能够实现能够高精度地判断路面上的分隔线的种类的分隔线识别装置。

本发明并不限定于上述实施例，可包括各种变形例。例如，上述实施例是为了易于理解地说明本发明而详细地进行的说明，本发明不一定限定于包括前面所说明的全部结构。

例如，上述例子是将本发明的分隔线识别装置搭载在车辆中的情况的例子，但是也能够应用于搭载在利用分隔线行驶的移动体(行驶机器人等)中的情况。

附图标记说明

101……摄像机，102……图像处理装置，103……存储装置，104……CPU，105……存储器，108……车辆控制单元，201……特征点提取部，202……坐标变换部，203……摄像机判断部，204……状态转移判断部，205……线种类判断部，206……共用坐标缓存，1301……车辆。

Claims (8)

1.一种分隔线识别装置，其用于配置在移动体中，在所述移动体移动时对路面上的分隔线进行识别，其特征在于，包括：

多个摄像机，其对所述移动体的前方和后方进行拍摄；

特征点提取部，其从由所述多个摄像机中的各个摄像机拍摄的道路的路面的图像中提取特征点；

坐标变换部，其将所述特征点提取部提取的所述特征点的坐标变换为所述多个摄像机共用的俯瞰坐标系的坐标；

摄像机判断部，其判断所述多个摄像机中可使用的摄像机；

状态转移判断部，其使用规定的状态转移模型来判断从由所述摄像机判断部判断为可使用的摄像机拍摄的图像中提取的多个特征点所构成的特征点区段、和至少1个所述特征点区段的所述移动体的前后方向的出现位置的转移模式，其中，所述转移模式是从对所述移动体的前方和后方进行拍摄的多个摄像机中的各个摄像机拍摄的图像提取的；和

线种类判断部，其基于所述状态转移判断部对所述转移模式的判断结果，判断分隔线的种类是虚线还是实线。

2.如权利要求1所述的分隔线识别装置，其特征在于：

所述多个摄像机是至少2个摄像机，配置在所述移动体的左右的侧面。

3.如权利要求2所述的分隔线识别装置，其特征在于：

所述多个摄像机是4个摄像机，配置在所述移动体的左右的侧面、前方和后方。

4.如权利要求3所述的分隔线识别装置，其特征在于：

所述状态转移判断部使用由所述多个摄像机中配置在前方和后方的摄像机中的至少1个摄像机拍摄的图像，判断所述移动体的车道变更。

5.如权利要求1所述的分隔线识别装置，其特征在于：

所述状态转移判断部使用表示节点的转移状态的预先决定的状态转移模型，判断所述状态转移，从而判断分隔线的种类，其中，所述节点表示区段的出现状态，所述区段是从由所述摄像机判断部判断为可使用的摄像机拍摄的图像中提取的特征点的集合。

6.如权利要求5所述的分隔线识别装置，其特征在于：

所述状态转移判断部将与所述摄像机判断部判断为不可使用的摄像机拍摄的区域对应的节点掩蔽。

7.如权利要求6所述的分隔线识别装置，其特征在于：

所述摄像机判断部使用从由所述多个摄像机拍摄的图像中提取的特征点的位置关系，计算从各个所述摄像机提取的各特征点区段的可信度，确定提取出构成计算出的可信度为一定值以下的特征点区段的特征点的摄像机，将确定的该摄像机以外的摄像机判断为可使用的摄像机。

8.如权利要求1所述的分隔线识别装置，其特征在于：

当所述道路是弯道时，所述坐标变换部使用从所述多个摄像机得到的特征点的位置进行曲线近似，使用曲线近似的结果将上述特征点重新排列为直线状。