CN104951745B - 车外环境识别装置 - Google Patents

Abstract

本发明提供一种车外环境识别装置。其通过抑制处理负荷的增大，并且适当地判定当前行驶的国家，从而提高道路标识的内容的特定精度。所述车外环境识别装置具备：图像获取部，用于获取图像；标识特定部，使用图像，将以任意像素为中心的预定半径的圆特定为道路标识；标识内容识别部，识别所特定的道路标识的内容；标识内容确定部，使用由虚线表示的一个国家的模板，根据所识别的道路标识的内容的相关性评价值累积标识累积分，使用与具有标识累积分的道路标识的内容对应的、由实线表示的多个国家的模板，根据所识别的道路标识的内容的综合评价值累积国别累积分，确定当前行驶的国家。

Description

车外环境识别装置

技术领域

本发明涉及一种识别在车外确认的道路标识的内容的车外环境识别装置。

背景技术

以往，检测位于本车辆前方的车辆等特定物，避免与先行车辆发生碰撞(碰撞避免控制)，或者进行控制以将与先行车辆的车间距离保持在安全距离(巡航控制)的技术已被人们所知(例如，专利文献1)。另外，为了降低由超速引起的事故，对于识别每段道路上设定的限制速度而控制本车辆速度的技术的需求也在不断升高。

为了使本车辆的速度在限制速度范围内而使车辆安全行驶，需要识别配置于路崖和/或门的道路标识的内容，正确掌握当前行驶中的道路的限制速度。例如，专利文献2中记载有如下技术：对相当于画面上的边缘的部位执行霍夫变换而识别圆形的道路标识的图像(以下，将道路标识的图像简称为道路标识)。在相关技术中，通过减轻霍夫变换所耗费的处理负荷，能够提高特定道路标识的效率。

现有技术文献

专利文献

专利文献1：日本特许第3349060号公报

专利文献2：日本特开2012-243051号公报

发明内容

技术问题

为了执行霍夫变换而识别圆形的道路标识，首先，特定相当于圆周的部分部位的特征点，然后，对于从特征点间隔预定距离的圆周上投票，根据其得票数而特定具有圆的中心位置和半径的道路标识的候选。然后，针对上述道路标识的候选，通过图像匹配等来识别道路标识的内容。然而，根据国家不同，存在提示限制速度的道路标识的数值大小、形状、数值间的距离各异的情况，如果忽略该差异而进行图像匹配，则可能原本不应被匹配的内容匹配成立，会对安全行驶带来障碍。

本发明是鉴于这样的问题而提出的，其目的在于提供一种抑制处理负荷的增加，并且适当地判定当前行驶的国家，从而能够提高道路标识的内容的特定精度的车外环境识别装置。

技术方案

为了解决上述课题，本发明的车外环境识别装置的特征在于，具备：图像获取部，用于获取图像；标识特定部，使用图像，将以任意像素为中心的预定的半径的圆特定为道路标识；标识内容识别部，识别所特定的道路标识的内容；标识内容确定部，使用一个国家的模板，基于所识别的道路标识的内容的相关性评价值而累积标识累积分，使用与具有标识累积分的道路标识的内容对应的多个国家的模板，基于所识别的道路标识的内容的综合评价值而累积国别累积分，确定当前行驶的国家。

为了易于选择当前识别的国家及与该国邻接的国家，标识内容确定部可以针对当前识别的国家或者当前识别的国家及与该国邻接的国家，对综合评价值进行加权。

标识内容确定部可以将具有标识累积分的道路标识的图像存储于图像存储器，基于所识别的道路标识的内容的相关性评价值而累积标识累积分，使用一个国家的模板，在基于所识别的道路标识的内容的相关性评价值进行国别累积分的累积处理的空闲时间执行确定当前行驶的国家的处理。

有益效果

根据本发明，通过抑制处理负荷的增大，并且适当地判定当前行驶的国家，从而能够提高道路标识的内容的特定精度。

附图说明

图1是表示车外环境识别系统的连接关系的框图。

图2是用于说明彩色图像和距离图像的说明图。

图3是表示车外环境识别装置的大致功能的功能框图。

图4是说明道路标识的说明图。

图5是表示车外环境识别处理的流程的流程图。

图6是用于说明图像获取部所获取的彩色图像的说明图。

图7是用于说明霍夫变换的说明图。

图8是用于说明霍夫变换的说明图。

图9是用于说明第四抽出条件的说明图。

图10是表示特征点特定处理的一个例子的流程图。

图11是表示特征点特定处理的一个例子的说明图。

图12是用于说明投票处理的说明图。

图13是用于说明投票表的说明图。

图14是用于说明中心点候选单的说明图。

图15是用于说明标志表的说明图。

图16是表示标识特定处理的一个例子的流程图。

图17是用于说明标识校正部的处理的说明图。

图18是表示标识内容识别处理的具体处理的流程的流程图。

图19是用于说明识别对象区域的说明图。

图20是用于说明提示限制速度解除的道路标识的说明图。

图21是用于说明垂直方向定位处理的说明图。

图22是用于说明模板的说明图。

图23是用于说明水平方向的匹配处理的说明图。

图24是用于说明DP匹配的说明图。

图25是用于说明关注部位的匹配处理的说明图。

图26是用于说明评价判定结果的说明图。

图27是表示道路标识的结果报告的流程的时间图。

图28是表示各国的道路标识的表示方式的说明图。

图29是用于说明道路标识的模板的说明图。

符号说明

120：车外环境识别装置

160：图像获取部

162：位置信息导出部

164：特征点特定部

166：投票部

168：标识特定部

170：标识校正部

172：标识内容识别部

174：标识内容确定部

具体实施方式

以下，参照附图，对本发明的优选的实施方式进行详细说明。该实施方式所示的尺寸、材料、其它具体的数值等仅是用于容易理解发明的例示，除了特别说明以外，均不限定本发明。应予说明，在本说明书和附图中，通过对具有实质上相同的功能、构成的要素标注相同的符号而省略重复说明，另外，对与本发明没有直接关系的要素省略图示。

(车外环境识别系统100)

图1是表示车外环境识别系统100的连接关系的框图。车外环境识别系统100包括设置在本车辆1内的摄像装置110、车外环境识别装置120和车辆控制装置(ECU：EngineControl Unit)130而构成。

摄像装置110包括CCD(Charge-Coupled Device)和/或CMOS(ComplementaryMetal-Oxide Semiconductor)等摄像元件而构成，能够拍摄相当于本车辆1前方的环境，生成由彩色值表示的彩色图像。在此，彩色值是由如下颜色空间中的任一个表示的数值组，即，由一个亮度(Y)和两个色差(U、V)构成的YUV格式的颜色空间，由三个色相(R(红)、G(绿)、B(蓝))构成的RGB格式的颜色空间，或者由色相(H)、饱和度(S)、明度(B)构成的HSB格式的颜色空间。在本实施方式中，作为图像，列举基于YUV格式的彩色值的彩色图像进行说明，在任意部分的处理中，对于能够不依赖彩色图像的情况下进行处理的应用，不仅可以使用彩色图像，还可以使用由亮度(Y)表示的亮度图像(单色图像)。

另外，摄像装置110以两个摄像装置110各自的光轴在本车辆1的行进方向侧大致平行的方式大致在水平方向隔开配置。摄像装置110例如以1/60秒生成一帧(60fps)的方式连续生成对存在于本车辆1前方的检测区域的对象物进行拍摄而得的彩色图像。在此，识别的对象物不仅包括车辆、行人、信号灯、道路(行进道路)、道路标识、门、护栏、建筑物之类的独立存在的立体物，还包括道路标识的内容、刹车灯、高位刹车灯、尾灯、闪光信号灯、信号灯的各照明部分等能够作为立体物的一部分而特定的物体。以下的实施方式中的各功能部以这样的彩色图像的更新为契机而对每帧进行各种处理。

并且，在本实施方式中，摄像装置110通过根据车外环境的亮度(光度计的测量结果等)的表示曝光时间和/或光圈的第一曝光方式拍摄检测区域，生成第一图像。另外，摄像装置110生成能够辨别光电显示型的道路标识等特定的发光源是否自行发光的图像。作为其方法，可以使用动态范围广的摄像元件进行拍摄，以避免不发光的对象物暗部缺失、而发光源高光溢出，也可以利用曝光方式(曝光时间、光圈)与第一曝光方式不同的第二曝光方式拍摄检测区域，生成第二图像。例如，若是白天，则使第二曝光方式的曝光时间比与明亮的车外环境对应的第一曝光方式的曝光时间短，或者增加光圈而生成第二图像。在本实施方式中，将第一图像和第二图像分别用作彩色图像和距离图像。另外，上述第一曝光方式和第二曝光方式通过如下方法实现。

例如，通过对摄像装置110的周期性的拍摄时机进行分时，交替进行基于第一曝光方式的拍摄与基于第二曝光方式的拍摄，从而能够依次生成第一图像和第二图像。另外，在每个像素设置有两个电容器并能够对该两个电容器并行充电的摄像元件中，也可以在一次曝光中使充电时间不同而并行生成曝光方式不同的两个图像。并且，也可以通过在一个电容器的充电中使时间不同而读取两次，并行生成曝光方式不同的两个图像等来实现上述目的。另外，也可以预先准备使曝光方式不同的两套摄像装置110(在此，为两个摄像装置110×两套)，由两套摄像装置110分别生成图像。

车外环境识别装置120利用所谓的图像匹配导出视差和包括表示任意的块在画面内的位置的画面位置的视差信息，所述图像匹配是分别从两个摄像装置110获取彩色图像，从另一个彩色图像检索与从一个彩色图像任意抽出的块(例如水平4像素×垂直4像素的排列)对应的块。在此，水平方向表示所拍摄的图像的画面横向方向，垂直方向表示所拍摄的图像的画面纵向方向。作为该图像匹配，可以考虑在一对图像间以任意的块为单位比较亮度(Y)。例如，有如下方法，即，利用亮度的差分的SAD(Sum of Absolute Difference)、将差分平方而使用的SSD(Sum of Squared intensity Difference)和/或利用从各像素的亮度中减去平均值而得的分散值的相似度的NCC(Normalized Cross Correlati)等。车外环境识别装置120对映在检测区域(例如600像素×200像素)的所有的块进行这种块为单位的视差导出处理。在此，使块为4像素×4像素，但块内的像素数可以任意设定。

然而，在车外环境识别装置120中虽然能够导出以检测分辨率为单位的每个块的视差，但无法识别该块是哪个对象物的一部分。因此，视差信息不是以对象物为单位导出，而是以检测区域中的检测分辨率为单位(例如块单位)独立地导出。在此，与上述彩色图像进行区分，将对应地具有由此导出的视差信息的图像称为距离图像。

图2是用于说明彩色图像126和距离图像128的说明图。例如，假设通过两个摄像装置110针对检测区域124生成了图2(a)那样的彩色图像126。其中，为了容易理解，在此示意性地表示两个彩色图像126中的一个。车外环境识别装置120从这样的彩色图像126中求出每个块的视差，形成图2(b)那样的距离图像128。在距离图像128中的各块中关联有该块的视差。在此，为了便于说明，用黑点表示导出视差的块。在本实施方式中，分别基于第一图像和第二图像生成这样的彩色图像126和距离图像128。

另外，在车外环境识别装置120中，利用基于彩色图像126的彩色值以及基于距离图像128算出的、包括与本车辆1的相对距离在内的实际空间中的三维位置信息，将彩色值相等且三维位置信息相近的块彼此作为对象物而进行分组，特定本车辆1前方的检测区域中的对象物是否与某一特定物(例如，先行车辆)对应。例如，根据相对距离等特定在前方行驶的先行车辆，再根据彩色值准确识别该先行车辆的刹车灯是否点亮，从而能够掌握先行车辆的加速和减速。另外，车外环境识别装置120特定配置于路崖和/或门的道路标识，并且识别该道路标识的内容，例如限制速度，通过车辆控制装置130将本车辆1的速度控制在限制速度内的安全速度。

应予说明，上述相对距离是通过利用所谓的立体法将距离图像128中的每个块的视差信息转换成三维位置信息而求出的。在此，立体法是通过利用三角测量法，从对象物的视差导出该对象物相对于摄像装置110的相对距离的方法。

回到图1进行说明，车辆控制装置130通过方向盘132、加速器踏板134、制动踏板136接受驾驶员的操作输入，并通过将其传递到转向机构142、驱动机构144、制动机构146来控制本车辆1。另外，车辆控制装置130根据车外环境识别装置120的指令控制驱动机构144、制动机构146。

以下，对车外环境识别装置120的构成进行详述。在此，对在本实施方式中作为特征的道路标识的特定处理进行详细说明，对于与本实施方式的特征没有关系的构成省略说明。

(车外环境识别装置120)

图3是表示车外环境识别装置120的大致功能的功能框图。如图3所示，车外环境识别装置120包括I/F部150、数据保持部152和中央控制部154而构成。

I/F部150是用于与摄像装置110和/或车辆控制装置130进行双向信息交换的接口。数据保持部152由RAM、闪存、HDD等构成，存储以下所示的各功能部的处理所必需的各种信息，另外，暂时保持从摄像装置110接收的图像(基于第一图像和第二图像的彩色图像126、距离图像128)。

中央控制部154由包括中央处理装置(CPU)、存储有程序等的ROM、作为工作区的RAM等的半导体集成电路构成，通过系统总线156来控制I/F部150、数据保持部152等。另外，在本实施方式中，中央控制部154也作为图像获取部160、位置信息导出部162、特征点特定部164、投票部166、标识特定部168、标识校正部170、标识内容识别部172、标识内容确定部174发挥作用。以下，在本实施方式中，说明作为识别目标的道路标识，然后，根据该中央控制部154的各功能部的动作对在本实施方式中作为特征的车外环境识别处理进行详述。

图4是说明道路标识的说明图。作为道路标识的种类，有提示限制速度的道路标识和/或提示限制速度解除的道路标识。提示限制速度的道路标识像图4(a)那样，在圆形的框内记载有表示限制速度的数值。另外，在提示限制速度解除的道路标识中，有像图4(b)那样，在单色背景上记载有从右上方向左下方倾斜的线的标识，也有像图4(c)那样，将表示限制速度的数值为背景记载该斜线的标识。

另外，作为道路标识的表示方式，有具有LED等发光源的光电显示型以及不具有发光源而仅进行颜色区分的非光电显示型。另外，作为道路标识的配置，有配置在道路的路崖上的道路标识，或者配置在与横跨道路的两个路崖上而立设成拱形的门的道路上方对应的位置的道路标识。

本实施方式的车外环境识别装置120根据上述的中央控制部154的各功能部来识别这样的配置、表示方式、种类不同的道路标识各自的内容。识别道路标识的内容时，车外环境识别装置120能够将该内容，例如当前行驶的道路的限制速度报告给驾驶员，或者在当前的速度超过限制速度时将该情况报告给驾驶员，或者对车辆控制装置130进行控制以使得车辆不超过限制速度等。因此，本车辆1未必要在到达能够确认道路标识的位置的瞬间识别道路标识，只要能够在通过道路标识的时刻或者之后进行识别即可。因此，可以用多个帧识别道路标识，从该多个帧的信息中确定道路标识的内容。

(车外环境识别处理)

图5是表示车外环境识别处理的流程的流程图。在车外环境识别处理中，依次执行大致划分的如下处理，即，获取图像的图像获取处理(S200)、检测道路标识、特别是圆形的框的标识检测处理(S202)、识别道路标识的内容(数值和/或符号的图案)的标识内容识别处理(S204)、在时间方向累积所识别的道路标识的内容而进行确定的标识内容确定处理(S206)。

(图像获取处理S200)

图像获取部160从摄像装置110获取彩色图像126。如上所述，在本实施方式中，在作为对象的道路标识中，有像光电显示型和非光电显示型那样表示方式不同的道路标识，另外，也有在路崖和门那样配置位置不同的道路标识。因此，摄像装置110在第一曝光方式和第二曝光方式这两个曝光方式中，分别拍摄能够检测路崖和门的两个检测区域，图像获取部160获取由此拍摄的四个彩色图像126。

图6是用于说明图像获取部160所获取的彩色图像126的说明图。例如，在摄像装置110中，利用曝光时间相对较长的第一曝光方式拍摄图6(a)和图6(b)所示的彩色图像126。其中，图6(a)表示以能够检测路崖的视角拍摄的彩色图像126，图6(b)表示为了检测门而切换成视角比图6(a)宽的方向而进行拍摄的彩色图像126。然后，摄像装置110将曝光方式切换为第二曝光方式，例如，将曝光时间设定为相对较短而拍摄图6(c)和图6(d)所示的彩色图像126。然而，图6(c)和图6(d)与图6(a)和图6(b)同样，根据检测对象切换视角来进行了拍摄。在此，虽然举出了四个彩色图像126，但只要能够检测路崖和门，就可以任意设定其数目和种类。

由此，获取曝光方式和检测区域不同的四个彩色图像126。这样，通过以多个曝光方式和/或在检测区域进行拍摄，能够消除发光源的亮度饱和或者过度扩大视角而导致分辨率降低等问题，能够充分提高检测精度。上述四个彩色图像126可以分时拍摄，可以任意设定其顺序。但是，在本实施方式中，只要能够在通过道路标识的时刻或者在之后识别道路标识即可，因此并不需要在相同时刻拍摄四个彩色图像126。

位置信息导出部162从两个摄像装置110中分别获取基于通过第一曝光方式拍摄的第一图像的彩色图像(图6(a)、图6(b))，利用图像匹配导出包括视差和表示任意的块在画面内的位置的画面位置的视差信息而生成距离图像128。然后，位置信息导出部162利用立体法，将距离图像128中的检测区域124内的每个块的视差信息转换成包括水平距离x、高度y和相对距离z的三维位置信息，其中，水平距离x是以本车辆1的水平方向中央为中心的水平方向的相对距离，高度y是距离道路表面的高度，相对距离z是与本车辆1的进深方向的相对距离。其中，位置信息导出部162在转换成三维位置信息前预先求出道路表面的垂直位置，由每个块的垂直位置与道路表面的垂直位置之间的相对距离导出距离道路表面的高度y。在此，视差信息表示距离图像128中的各块的视差，与此相对，三维位置信息表示实际空间中的各块的相对距离z的信息。另外，视差信息不是以像素为单位而是以块为单位、即以多个像素为单位导出时，该视差信息被认为是属于块的所有像素的视差信息而能够执行以像素为单位的计算。对于向上述三维位置信息的转换，可以参照日本特开2013-109391号公报等现有的技术，因此这里省略其详细的说明。

(标识检测处理S202)

在本实施方式中，目的在于识别道路标识中的、特别是圆形的道路标识。这样的圆形的道路标识可以利用霍夫变换来检测。在此，霍夫变换是在彩色图像上的特征点中对可能有对象存在的某点进行投票，检测得票数多(为预定值以上)的对象的技术。这样，虽然在本实施方式中说明了专门利用霍夫变换的方法，但在车外环境识别处理的任意部分的处理中不需要依赖霍夫变换，对于能够特定道路标识的应用而言，不仅可以利用霍夫变换，也可以利用霍夫变换以外的模板匹配和/或最小二乘法等现有的各种形状识别方法。

图7和图8是用于说明霍夫变换的说明图。在此，假设从彩色图像126中抽出了图7(a)那样的具有边缘的三个像素220c、220d、220e。上述三个像素220c、220d、220e原本是圆形道路标识222的一部分，但通常无法从彩色图像126中明确掌握其为圆形。

霍夫变换是利用多个点检测圆和/或直线等几何学形状的方法，理论基础是通过任意像素220且半径为n的圆的中心存在于以该任意像素220为中心的半径n的圆周上。例如，通过图7(a)的三个像素220c、220d、220e的圆的中心位于分别以该三个像素220c、220d、220e为中心的圆周上。然而，对于仅具有边缘的信息，无法特定该半径n，因此准备不同的多级半径n，对以三个像素220c、220d、220e为中心的多级半径n的圆上的像素进行投票，如果得票数为预先确定的预定值以上，则将半径n和中心确定为道路标识222。

例如，如图7(b)、图7(c)、图7(d)所示，以三个像素220c、220d、220e为中心形成不同半径n＝4、5、6的圆，对该圆的轨迹中所包含的像素进行投票(关联单位指标)。这样，在图7(b)中，两个像素224的得票数为2(关联两个单位指标)。另外，在图7(c)中，三个像素224的得票数为2，一个像素226的得票数为3。同样，在图7(d)中，六个像素224的得票数为2。

此时，得票数为3(预定值以上)的仅为像素226，将该像素226作为通过三个像素220c、220d、220e的圆的中心，能够将导出该像素226时的半径n＝5特定为圆的半径。由此，像图7(e)那样来特定通过三个像素220c、220d、220e的圆228。在此，为了便于说明，虽然列举三个像素220c、220d、220e进行了说明，但有时会有不包含在圆228中的像素成为特征点，或者因像素化(离散化)而出现在与原来的位置不同的位置的像素成为特征点等的情况，因此为了避免这种噪声的影响，实际上，在投票中使用多个点，根据数目的原理进行稳定的检测。在本实施方式中，将这样的霍夫变换应用于例如图6(b)所示的彩色图像126，通过特征点特定部164、投票部166、标识特定部168来特定圆形的道路标识。以下，利用图8说明各功能部的基本处理。

首先，特征点特定部164从彩色图像126中特定相当于圆周的部分部位的特征点(特征点特定处理)。例如，特征点特定部164在图8(a)的彩色图像126中特定具有边缘的像素220f、220g、220h、220i、220j、220k作为特征点。应予说明，图8(a)的点线对应于行驶车道。

接着，投票部166从特征点中对相当于半径n的预定距离进行投票(投票处理)。在此，针对上述六个像素220，为了便于说明，将像素220f、220g、220h的半径n假设为30像素，将像素220i、220j、220k的半径n假设为23像素。投票部166在图8(b)的彩色图像126中以像素220f、220g、220h、220i、220j、220k为中心，对于从各像素220的距离为半径n(30像素，23像素)的圆上的所有像素进行投票。然后，对图8(c)所示的投票表230中的投票目标(像素，半径n)投1票(加法)。在此，投票表230是基于霍夫变换的投票空间，由作为投票目标的像素的画面位置(x，y)和半径n这三个维度表示。

接下来，标识特定部168检测投票表230的得票数，基于得票数多的投票目标的像素和半径n导出圆的中心和半径n。然后，像图8(d)那样，形成以得票数多的像素234为中心而读取的半径n的圆236，将其特定为道路标识(标识特定处理)。以下，说明分别基于特征点特定部164、投票部166、标识特定部168的特征点特定处理、投票处理、标识特定处理的具体动作。

(特征点特定处理)

特征点特定部164使用彩色图像126，作为第一抽出条件，将像素220中的具有预定的边缘强度的像素220作为特征点的候选。边缘强度例如可以通过佐贝尔(Sobel)滤波表示。特征点特定部164在将各像素220的坐标记为(i，j)、将亮度记为A(i，j)的情况下，利用以下的数学式1导出垂直方向的佐贝尔滤波与水平方向的佐贝尔滤波的绝对值之和，如果该值(边缘强度)为预先确定的预定值以上，则将该像素(i，j)作为特征点的候选。

边缘强度＝|A(i+1,j+1)+2A(i+1,j)+A(i+1,j-1)-A(i-1,j+1)-2A(i-1,j)-A(i-1,j-1)|+|A(i+1,j+1)+2A(i,j+1)+A(i-1,j+1)-A(i+1,j-1)-2A(i,j-1)-A(i-1,j-1)|…(数学式1)

在此，虽然举出了通过佐贝尔滤波导出边缘强度的例子，但不限于上述情况，也可以使用普瑞维特(Prewitt)滤波等现有的各种技术。

另外，特征点特定部164使用彩色图像126，作为第二抽出条件，如果像素220中具有预定的彩色值的预定的颜色成分，例如YUV格式的颜色空间中的V成分为预先确定的预定值以上，则将该像素220作为特征点的候选。提示限制速度的道路标识由周围为红色的圆构成，提示限制速度解除的道路标识由周围为白色或者黑色的圆构成。因此，仅抽出V成分属于预定值以上的区域的颜色作为特征点的候选。这样，能够排除行驶中的在大多情况下确认的树木等绿色系的像素，能够进行特征点的适当缩小。

应予说明，在彩色图像由RGB格式的颜色空间构成的情况下，通过任意的转换式转换成YUV格式的颜色空间。由于相关的转换式是现有的技术，所以在此省略其详细的说明。

另外，特征点特定部164使用距离图像128，作为第三抽出条件，将像素220中的、满足相对距离z在预定范围内、距离路面的高度y在预定范围内以及水平距离x在预定范围内的任一个或多个条件的像素220作为特征点的候选。

具体而言，特征点特定部164从距离图像128中抽出任意像素220，参照该像素220的三维位置信息，在与像素220对应的对象物的相对距离z为例如10m以上且小于50m的情况下，将该像素220作为特征点的候选。这是因为如果小于10m，则在曝光时间内图像上的对象物的移动量变长，随之，图像模糊的影响变大，另外，如果为50m以上，则因为图像分辨率的关系，多数情况下无法正确识别道路标识的内容。通过这样限制相对距离z，从而能够减轻处理负荷，并且能够降低错误识别。

另外，特征点特定部164在与该像素220对应的对象物距离路面的高度y为例如0.5m以上且小于6.0m的情况下，将该像素220作为特征点的候选。通过使上述范围为0.5m以上，从而能够作为识别对象而排除路面标记和/或车道，另外，通过小于6.0m，从而能够排除位于其上的树木等。根据上述条件，也能够减轻处理负荷，并且能够降低错误识别。

另外，特征点特定部164在与该像素220对应的对象物的水平距离x位于例如12m的范围(-12m以上且小于12m)的情况下，将该像素220作为特征点的候选。通过使上述范围为12m，从而能够排除与本车辆1行驶的车道相关的道路标识以外的道路标识。根据上述条件，也能够减轻处理负荷，并且能够降低错误识别。

另外，特征点特定部164使用彩色图像126和距离图像128，作为第四抽出条件，将接近的像素220彼此有至少一种颜色成分(例如U成分)的差分在预定范围内且这样的像素220彼此在预定的一个方向不连续预定距离(长度)以上的像素作为特征点的候选。

图9是用于说明第四抽出条件的说明图。例如，图9(a)的路崖上所示的满是红叶的树木240等，有时满足整个第一抽出条件～第三抽出条件。另外，满是红叶的树木240中有很多地方可能被识别为特征，因此在广泛的范围内作为特征点而被提取的情况很多。这样，在特征多的树木240等中，在广泛的范围内有特征点被特定，导致处理负荷增大。

因此，特征点特定部164判定像素220彼此的距离，即进深方向的距离、垂直方向的距离和水平方向的距离中的任一个或多个合成距离是否小于例如预定距离(例如0.5m)、且一个颜色成分(例如U成分)的差分是否在预定值(例如10)以内。然后，特征点特定部164在合成距离小于0.5m且U成分的差分在10以内的像素220彼此在画面的一个方向(例如水平方向)连续30像素的情况下，从特征点中排除所有的该像素220。在道路标识中，如图9(b)所示，其周围由相同颜色的圆构成，但在预定的一个方向，例如水平方向和/或垂直方向上不会连续30像素。通过根据这样的道路标识的表示形式的特征来特定特征点，从而能够排除原本不应作为特征点抽出的满足第一抽出条件～第三抽出条件的像素220，能够实现特征点的特定效率的提高。

然而，道路标识在彩色图像126上的大小根据相对距离z而变化。因此，特征点特定部164可以根据与本车辆1的相对距离z而改变作为判断像素220彼此在预定的方向是否连续的阈值的预定距离。具体而言，相对距离z越短使预定距离越长，相对距离z越长使预定距离越短。由此，能够根据道路标识在彩色图像126上的大小而设定适当的阈值，能够适当排除原本不应作为特征点抽出的满足第一抽出条件～第三抽出条件的像素220。

然后，特征点特定部164在均满足第三抽出条件和第四抽出条件的像素220中，将满足第一抽出条件或第二抽出条件的像素220特定为特征点。如此特定适当的像素220作为特征点。

另外，如果特征点的数目达到预先确定的预定值以上，则特征点特定部164可以中止一帧中的该特征点特定处理。彩色图像126根据车外环境发生各种变化，根据所拍摄的环境有时特征点变得非常多。如果特征点的数目如此增加，则处理负荷增大，可能会超过分配到一帧中的处理时间。因此，如果特征点的数目为预先确定的预定值以上，则特征点特定部164中止一帧中的该特征点特定处理，仅针对该时刻之前特定的特征点进行投票处理以后的处理。

然而，因为道路标识大多位于彩色图像126的较上方，因此特征点特定部164从彩色图像126的上方依次特定特征点。这样，能够适当抽出相当于道路标识的圆周的部分部位的特征点。

另外，如上所述，为了将特征点的数目抑制到预定值以内，特征点特定部164可以在每帧中改变第一抽出条件中的边缘强度的预定值和/或第二抽出条件中的V成分的预定值。由于车外环境在以帧为单位时变化很小，所以特征点的数目也不怎么改变。因此，如果在一帧中抽出了多个特征点，则在以后的帧中也会连续抽出多个特征点。因此，为了不超过分配到一帧中的特征点的特定的处理时间，在预定的范围内(40～150)反复调整第一抽出条件中的边缘强度的预定值和/或第二抽出条件中的V成分的预定值，从而将特征点的数目抑制在预定的范围内(200～2000)。

图10是表示特征点特定处理的一个例子的流程图。如图10(a)所示，特征点特定部164判定在一帧中以第一抽出条件抽出的特征点的数目是否超过特征点上限值(在此为2000)(S240)。其结果，如果特征点的数目超过了特征点上限值(S240中的YES)，则特征点特定部164判定边缘强度的预定值是否小于边缘强度上限值(在此为150)(S242)。其结果，如果边缘强度的预定值小于边缘强度上限值(S242中的YES)，则特征点特定部164对边缘强度的预定值进行加法计算(S244)。上述边缘强度的预定值从下一帧的特定物特定处理中得以反映。另外，如果边缘强度的预定值为边缘强度上限值以上(S242中的NO)，则特征点特定部164不会对边缘强度的预定值进行加法计算，维持达到边缘强度上限值的预定值(维持在预定的范围内)。

在步骤S240中，如果特征点的数目为特征点上限值以下(S240中的NO)，则特征点特定部164判定在一帧中抽出的特征点的数目是否小于特征点下限值(在此为200)(S246)。其结果，如果特征点的数目小于特征点下限值(S246中的YES)，则特征点特定部164判定边缘强度的预定值是否超过边缘强度下限值(在此为40)(S248)。其结果，如果边缘强度的预定值超过边缘强度下限值(S248中的YES)，则特征点特定部164对边缘强度的预定值进行减法计算(S250)。另外，如果边缘强度的预定值为边缘强度下限值以下(S248中的NO)，则特征点特定部164不会对边缘强度的预定值进行减法计算，维持达到特征点下限值的预定值(维持在预定的范围内)。另外，如果特征点的数目为特征点下限值以上(S246中的NO)，则不进行任何处理。

另外，如图10(b)所示，特征点特定部164判定在一帧中以第二抽出条件下抽出的特征点的数目是否超过特征点上限值(在此为2000)(S260)。其结果，如果特征点的数目超过了特征点上限值(S260中的YES)，则特征点特定部164判定V成分的预定值是否小于V成分上限值(在此为150)(S262)。其结果，如果V成分的预定值小于V成分上限值(S262中的YES)，则特征点特定部164对V成分的预定值进行加法计算(S264)。上述V成分的预定值从下一帧的特定物特定处理中得以反映。另外，如果V成分的预定值为V成分上限值以上(S262中的NO)，则特征点特定部164不会对V成分的预定值进行加法计算，维持达到特征点上限值的预定值(维持在预定的范围内)。

在步骤S260中，如果特征点的数目为特征点上限值以下(S260中的NO)，则特征点特定部164判定在一帧中抽出的特征点的数目是否小于特征点下限值(在此为200)(S266)。其结果，如果特征点的数目小于特征点下限值(S266中的YES)，则特征点特定部164判定V成分的预定值是否超过V成分下限值(在此为40)(S268)。其结果，如果V成分的预定值超过V成分下限值(S268中的YES)，则特征点特定部164对V成分的预定值进行减法计算(S270)。另外，如果V成分的预定值为V成分下限值以下(S268中的NO)，则特征点特定部164不会对V成分的预定值进行减法计算，维持达到特征点下限值的预定值(维持在预定的范围内)。另外，如果特征点的数目为特征点下限值以上(S266中的NO)，则不进行任何处理。

如上所述，在本实施方式中，将均满足第一抽出条件或第二抽出条件的的像素220特定为特征点。因此，第一抽出条件和第二抽出条件像图10(a)和图10(b)那样独立地调整特征点的数目。这样，能够将第一抽出条件中的边缘强度的预定值和/或第二抽出条件中的V成分的预定值抑制在预定的范围内(40～150)，且能够将特征点的数目调整到预定的范围内(200～2000)，能够维持分配到一帧中的该特征点的特定的处理时间。

另外，特征点特定部164也可以根据路面的颜色成分而在每帧中改变第二抽出条件中的V成分的预定值。彩色图像126整体的颜色成分因日照条件和/或照明环境而变化。例如，在设有橙色照明的隧道内，彩色图像126整体的V成分增加。因此，特征点特定部164通过根据路面的颜色成分而改变第二抽出条件中的V成分的预定值，从而抑制日照和/或照明的变化对特征点的特定造成的影响。

图11是表示特征点特定处理的一个例子的说明图。如图11(a)所示，特征点特定部164获取很可能映射在彩色图像126中的车辆前方的路面的、位于预先确定的相对距离z的四个点280的RGB格式的彩色值。然后，特征点特定部164分别求出四个点280的G成分/R成分，导出其值的平均值AV。接着，特征点特定部164将该平均值AV与彩色图像126的所有像素的R成分相乘，转换成YUV形式，对该转换后的V成分与预定值进行比较而特定特征点的候选。

然而，如图11(b)所示，在车外环境识别装置120所识别的先行车辆的相对距离z位于预定范围内(例如20m以内)的情况下，不根据该彩色图像126求出平均值AV，而利用上一帧中导出的(使用的)平均值AV。这是为了避免将先行车辆的颜色成分获取为路面的颜色成分，对V成分造成影响而抽出错误的特征点的候选。

另外，即使在曝光方式没有变化(周围的亮度没有大的改变)的情况下，在这一帧中计算的平均值AV和在上一帧中导出的(使用的)平均值AV的差别在预先确定的预定值(例如±50％)以上的情况下，也不根据该彩色图像126求出平均值AV，而是利用上一帧中导出的(使用的)平均值AV。这是因为在路面被红色系的涂料涂成彩色时，避免对V成分造成影响而抽出错误的特征点的候选。但是，在路面上有影子的情况下，因为灰色均等地影响RGB方式的各颜色成分(RGB)，不会对G成分/R成分的值造成影响，所以不存在问题。

(投票处理)

投票部166对于从特征点特定部164所特定的特征点间隔半径n的圆周上进行投票。其依据在于，假设特征点相当于任意的圆周的部分部位，则从该特征点间隔半径n的圆周上应该存在以特征点为圆周的部分部位的圆的中心。因此，投票部166对能够成为以特征点为圆周的部分部位的圆的中心的对应点以及半径n的点进行投票。

图12是用于说明投票处理的说明图。在此，假设举出一个半径n进行说明时，如图12(a)所示，投票部166通常将以特征点300为中心的半径为n的圆周302上的所有像素220作为对应点304，对该画面位置的半径为n的点进行投票。然而，由于与这样的半径n相关的对应点304是圆周302上的所有像素220，所以数目多，并且，如果改变半径n，则其数目无限多。因此，为了实现有效投票，限制相对于一个半径n的对应点304和半径n的数目。

在此，已知圆的切线与连结切点与圆的中心的线段垂直。另外，圆的切线相当于像素220中的边缘延伸方向。因此，对应点304仅出现在与特征点300的边缘延伸方向垂直的线段上。因此，投票部166能够掌握特征点300的边缘延伸方向，能够在与边缘延伸方向垂直的方向确定对应点304。

在此，在投票部166中，将以各像素220的坐标为(i，j)时的亮度记为A(i，j)时，如以下的数学式2所示，根据垂直方向的佐贝尔滤波与水平方向的佐贝尔滤波的绝对值之比而导出与边缘延伸方向垂直的线段。

与边缘延伸方向垂直的线段＝atan(|A(i+1,j+1)+2A(i,j+1)+A(i-1,j+1)-A(i+1,j-1)-2A(i,j-1)-A(i-1,j-1)|/|A(i+1,j+1)+2A(i+1,j)+A(i+1,j-1)-A(i-1,j+1)-2A(i-1,j)-A(i-1,j-1)|) …(数学式2)

在此，举出了通过佐贝尔滤波而导出与边缘延伸方向垂直的线段的例子，但不限于上述情况，可以利用现有的各种技术。另外，在数学式2中，利用除法和反正切(atan)，但处理负荷因此而增大时，也可以利用将垂直方向的佐贝尔滤波与水平方向的佐贝尔滤波的绝对值作为输入数据而唯一导出与边缘延伸方向垂直的线段的查表法。

例如，如图12(b)所示，在用虚线的线段306表示特征点300的边缘延伸方向时，能够在相当于与该线段306垂直的方向的单点划线的线段308上确定对应点304。在此，假设举出一个半径n，对应点304在与特征点300的边缘延伸方向垂直的方向的线段308上，能够从特征点300集中到相隔半径n的两个点。

另外，道路标识根据每个国家的法律和/或规则而其大小被确定为1或者多个。此时，能够根据相对距离z确定道路标识在彩色图像126上的大小。因此，投票部166根据相对距离z，利用导出三维位置信息的函数的逆函数来推断彩色图像126上的道路标识的大小(半径n)，减少投票所使用的半径n的数目。例如，在将提示限制速度的道路标识和/或提示限制速度解除的道路标识的大小限制为3个时，如图12(c)所示，对应点304可被缩减为该数(3)×2。

这样，通过将相对于一个半径n的对应点304限制在与特征点300的边缘延伸方向垂直的方向的线段308上，另外，根据预定的大小和相对距离z而将半径n的数目限制为一个或多个，从而能够避免对于原本不应存在对应点304的不情愿的投票。因此，能够防止因对应点304的错误设定而导致的道路标识的错误检测，并且能够避免徒劳的霍夫变换处理而能够实现处理负荷的减少。

投票部166在这样限制对应点304之后对上述的投票表230进行投票。在此，虽然举出三维的投票空间进行了说明，但作为对于道路标识在横向和/或上下方向倾斜时的处理，也可以形成向与横向和/或上下方向相关的维度(例如旋转)进行扩张的M维(M为正整数)的投票空间。

图13是用于说明投票表230的说明图。投票表230通常如图13(a)所示，像通过彩色图像126的水平像素数H×垂直像素数V×半径n取得的值N那样，由三维的投票空间构成，在作为投票目标的像素的画面位置(x，y)和半径n的三维位置(点)保持得票数。例如，使得票数的最大值为255(1BYTE)时，投票表230的大小为H×V×N(BYTE)。此时，假设在使用高分辨率的彩色图像126的情况下，除了产生投票表230所占的存储器的存储区域变大的问题之外，在得票数有限(少的)的情况下，还会产生因噪声等的影响而导致难以出现得票数的峰的问题。

对于后者的问题，可以进行考虑噪声部分并附加差值的投票处理，例如，不仅对对应点304的半径n进行投票，对对应点304附近的半径n也进行投票，但与此相伴，会产生处理负荷增大的问题。另外，也考虑降低分辨率，例如以水平2像素×垂直2像素的块为单位进行投票，但因为降低了分辨率，无法避免对应点304的道路标识的特定精度变差。

因此，在本实施方式中，设置维度和分辨率不同的两个投票表230a(第一投票表)、230b(第二投票表)，投票部166同时对各投票表230a、230b进行投票。

投票表230a如图13(b)所示，是使彩色图像126的分辨率照常为水平像素数H×垂直像素数V，但省略半径n的信息而去掉一个维度而得的二维(水平像素位置，垂直像素位置)的投票空间。因此，投票表230a的大小为H×V(BYTE)，在作为投票目标的像素的画面位置(x，y)的二维位置保持针对所有半径n的得票数。另一方面，投票表230b如图13(c)所示，是使半径n相关的分辨率照常为值N且未省略维度，而将彩色图像126的分辨率在水平和垂直方向上分别压缩成1/4(降低分辨率)而得到水平像素数为H/4(压缩水平像素数而得的值)×垂直像素数为V/4(压缩垂直像素数而得的值)的三维的投票空间。因此，投票表230b的大小为H/4×V/4×N(BYTE，字节)，在作为投票目标的像素的画面位置(x，y)所属的块(水平4像素×垂直4像素)和半径n的三维位置保持得票数。这样，投票表230a、230b分别成为敢于降低半径n的分辨率和敢于降低画面的位置的分辨率的投票表。

投票部166在基于特征点300而导出对应点304时，同时对各投票表230a、230b进行投票。然而，对于投票表230a，不仅对半径n进行投票，也对与对应点304相当的一个点进行投票，对于投票表230b，对对应点304所属的块的半径n的点进行投票。这样，在投票结束时，投票部166能够将投票表230a中半径n的综合得票数多的点(对应点304)作为道路标识的中心位置的候选，将投票表230b中与该中心位置对应的块中得票数多的半径n作为道路标识的半径n的候选。

如此，能够高精度地维持道路标识的中心的特定精度，并且能够使投票表230的综合存储容量降低到H×V+H/4×V/4×N(BYTE)。在此，若H＝600像素，V＝200像素，N＝20像素，则原本需要600×200×20＝2，400，000字节，能够降低到相当于约1/10的600×200+600/4×200/4×20＝270，000字节。

然而，投票部166在所有的特征点结束投票处理后，从投票表230的各点中抽出得票数，将其半径n的综合得票数为预定值以上的对应点304作为道路标识的中心点的候选。然而，虽说使投票表230的存储容量降低，但在投票空间具有一定程度的广度时，判定投票表230整体的票数的大小会增大处理负荷。因此，投票部166通过与投票并行地选定中心点的候选，从而提高中心点的候选的提取效率。

图14是用于说明中心点候选单310的说明图。在此，除投票表230以外还设置中心点候选单310。在上述中心点候选单310中至少登记与投票表230a相关的画面位置(x，y)。如果当前投票的点在投票表230a上的得票数为预定量以上，则投票部166将与该点相当的对应点304随时追加登记到该中心点候选单310。然后，投票部166在全部的特征点结束投票处理后，仅将登记到该中心点候选单310的点作为道路标识的候选。

通过上述构成，从而能够避免判定所有投票表230的得票数的大小，即，能够减少处理负荷，并且能够适当抽出中心点的候选。应予说明，投票部166将登记到中心点候选单310的中心点的候选限制到预定值(例如50)。这是因为以下原因。即，如果对应点304因噪声等的影响而分散到多个中心点的候选，则原本为1的道路标识，有时多个中心点成为候选。此时，不应无限制地抽出中心点的候选，另外，因为通常在彩色图像126中存在50个以上标识的可能性小。这样，如果中心点候选单310的中心点候选为50以上，则投票部166中止一帧中的该投票处理，并仅对该时刻之前特定的中心点候选进行标识特定处理以后的处理。

如此，通过投票部166生成中心点候选单310，在中心点候选单310上除了关联有画面位置(中央位置)，还关联有半径、投票表230a、230b中的得票数、该像素的三维位置之类的信息。

如果投票部166这样进行对投票表230a、230b的投票，则为了下一帧中的投票，对投票表230a、230b的各点进行初始化以使各点的得票数为0。然而，根据彩色图像126的分辨率，也不能忽视投票表230a、230b的初始化所耗费的处理时间，例如有时占具该标识检测处理S202整体的40％。在投票表230a、230b中，由于维度数越增加，存储器的存储容量越增大，所以特别是对三维投票表230b进行初始化处理的负荷的影响变大。

图15是用于说明标志表320的说明图。在此，除了投票表230a、230b以外还设置标志表320。上述标志表320如图15(a)所示，是将投票表230b的维度数减少半径n而得的(减少一个维度)表，在作为投票目标的像素的画面位置(x，y)所属的块(水平4像素×垂直4像素)的二维位置设定有标志。因此，标志表320的大小为H/4×V/4(BYTE)。

在投票部166对图15(b)中由交叉影线表示的投票表230b中的任意的块的任意半径n进行投票时，使图15(a)中由交叉影线表示的标志表320中的与该块相等的块的标志开启。因此，如果对投票表230b的各块中的半径n中的任一个进行投票，则与其对应的标志表320的块被开启。然后，如果结束对投票表230a、230b的投票，则投票部166仅对与图15(a)中由影线表示的标志表320中开启了标志的块对应的、图15(b)中由影线表示的投票表230b的N个块进行初始化，使各点的得票数为0。换言之，投票部166对于与标志表320中标志被关闭的块对应的投票表230b的块不进行初始化处理。

在此，举出了投票表230b作为标志表320的对象，但不限于这种情况，该标志表320的概念也可以适用于大小为H×V×N(BYTE)的投票表230。这种情况下，标志表320的大小为H×V(BYTE)。

另外，作为代替设置标志表320的方式可以采用如下方式，即，可以判定是否对与投票表230a的各块对应的区域进行了投票，如果进行了投票，则仅对与该块对应的投票表230b的块进行初始化以使各点的得票数为0。这样，无需使投票表230b的所有点初始化，因此能够显著降低初始化处理的负荷。

另外，结束对投票表230a、230b的投票时，投票部166如图15(c)中由影线表示的那样，仅对与标志表320中开启标志的块对应的投票表230a的多个像素(水平4像素×垂直4像素)进行初始化以使各点的得票数为0。这样，与投票表230b相同，由于无需将投票表230a的所有点初始化，所以能够显著降低初始化处理的负荷。

然后，投票部166在上述初始化处理结束后，使标志表320的标志全部初始化为关闭。这样，能够在不导致初始化处理的负荷增大的情况下，适当地实现投票表的初始化。

(标识特定处理)

标识特定部168基于第一缩小条件～第三缩小条件将由投票部166导出的道路标识的候选数量缩小，特定道路标识。

在标识特定部168中，作为第一缩小条件，将投票表230a的得票数为预定值以上、投票表230b中的块的得票数为预定值以上的半径n分别作为中心点和半径进行限制。然而，如上所述，投票部166也根据投票表230a、230b的得票数而将其对应点304随时登记到中心点候选单310。然而，向上述中心点候选单310进行登记是在最终的得票数尚不明确的投票过程中进行的，因此并不是判定投票结束时的得票数的依据。因此，在本实施方式中，通过将登记到中心点候选单310的对应点304再次与比登记时大的预定值统一进行比较，从而能够排除相当于噪声的对应点304，仅残留适当的对应点304。

接着，标识特定部168基于上述中心位置和半径n，将以半径n的2倍的长度为一边、以中心位置为中心的矩形作为占有区域而导出。然而，对于任意的两个对应点304，如果上述占有区域重复(重叠)，则可能因一方而导致另一方无法识别。此时，当无法识别的另一方的对应点304的道路标识为提示限制速度的道路标识等重要的道路标识时，会产生无法识别这种重要的道路标识的情况。因此，在标识特定部168中，作为第二缩小条件，在任意的对应点304的占有区域与其它对应点304的占有区域在画面上重复时，通过排除作为道路标识的可靠性低的道路标识而留下可靠性高的道路标识。这样的道路标识的可靠性根据二维的投票表230a的得票数与三维的投票表230b的得票数的大小关系求得。

图16是表示标识特定处理的一个例子的流程图。如图16所示，标识特定部168从道路标识的候选中依次选择两个候选(S330)。然后，标识特定部168判定所选择的两个候选的占有区域是否重复(S332)。其结果，如果两个候选的占有区域重复(S332中的YES)，则标识特定部168判定一方的候选的投票表230a、230b的得票数C1、D1是否均大于另一方的候选的投票表230a、230b的得票数C2、D2(S334)。其结果，如果均大，即，C1>C2且D1>D2(S334中的YES)，则标识特定部168排除另一方的候选(S336)。另外，如果两个候选的占有区域不重复(S332中的NO)，则将处理转移到步骤S344。

另外，如果不为C1>C2且D1>D2(S334中的NO)，则标识特定部168判定一方的候选的投票表230a、230b的得票数C1、D1是否均小于另一方的候选的投票表230a、230b的得票数C2、D2(S338)。其结果，如果均小，即，C1<C2且D1<D2(S338中的YES)，则标识特定部168排除一方的候选(S340)。这样，在候选的投票表230a、230b的得票数均大的情况下，道路标识的可靠性高，排除得票数均小的候选，仅留下得票数均大的候选。

另外，如果不为C1<C2且D1<D2(S338中的NO)，则标识特定部168基于一方的候选和另一方的候选在彩色图像126上的位置，排除位于任一方的下方的候选(S342)。这样，在候选的投票表230a、230b的得票数中的一方大、一方小的情况下，无法仅用得票数判定，因此仅采用位于上方的候选，排除位于下方的候选。这是因为假设在垂直方向上下配置有两个道路标识时，相对重要的、提示限制速度的道路标识被配置在上方。

在如此选择的两个候选重复的情况下，在决定排除哪个时，标识特定部168判定应该选择的两个候选的所有组合是否结束(S344)。其结果，如果结束(S344中的YES)，则结束该标识特定处理，如果未结束(S344中的NO)，则反复进行从步骤S330开始的处理。这样，即使在道路标识的两个候选的占有区域重复的情况下，也能够适当地缩小成可靠性高的候选。

接下来，在标识特定部168中，作为第三缩小条件，判定通过第一缩小条件和第二缩小条件缩小的道路标识的候选是否超过候选上限值(在此为3)。在此，如果超过候选上限值，则标识特定部168将候选缩小到候选上限值以下，对于其它候选，不执行以后的处理。具体而言，在道路标识的候选超过候选上限值时，比较所有候选在三维位置中的水平距离x，按距本车辆1的车道的水平距离x短的顺序缩小为候选上限值的候选。这样，能够适当抽出作为针对本车辆1的道路标识的可能性高的、接近本车辆1的车道的候选。

接着，标识校正部170进行缩小到候选上限值以下的道路标识的位置和/或大小的校正。这是因为，在本实施方式中，在识别道路标识的内容以后利用模板匹配，而图像的位置偏移对模板匹配的识别精度造成较大影响。因此，在此，校正投票部166导出的中心位置和/或半径n，重新设定道路标识的占有区域。因此，标识校正部170从道路标识的各候选的中心位置检测在水平方向和垂直方向这四个方向上存在的红色框，将占有区域校正为与该红色框(道路标识的圆周部分)外接的矩形。具体而言，按以下(1)～(7)的顺序校正占有区域。

图17是用于说明标识校正部170的处理的说明图。(1)首先，标识校正部170将图17(a)所示的、以半径n的两倍的长度为一边、以中心位置为中心的矩形作为占有区域346，求出整个该占有区域346中的V成分的直方图(将横轴作为V成分进行投票)。并且，在标识校正部170中，如果V成分的直方图的最大值与最小值的差分为预定值以上，则将该候选判断为红色框。另外，如果V成分的直方图的最大值与最小值的差分小于预定值，则将该候选判定为黑色框，将V成分的直方图换成Y成分的直方图。以下，举出红色框的候选对占有区域346的校正处理进行说明，但黑色框当然也能够适用。

(2)标识校正部170导出上述V成分在直方图中占前预定百分比例如为30％的(将直方图换算成面积时前面积：后面积为3：7)V成分的值(阈值Vthr)。上述阈值Vthr与用于特定特征点的V成分的预定值不同。这是为了设定对于每个候选最适的阈值。应予说明，阈值Vthr为预定值(例如-5)以下时，作为不适当的阈值而不进行以后的处理。

(3)标识校正部170如图17(b)中箭头所示，从道路标识的各候选的中心位置判定各像素的V成分是否为阈值Vthr以上，并且在水平方向和垂直方向这四个方向移动检测像素。并且，如果V成分为阈值Vthr以上的像素连续预定数目(例如三个像素)，则将开始检测该阈值Vthr以上的V成分的像素作为红色框的内缘边缘348。在此，虽然列举了水平方向和垂直方向这四个方向作为检测方向进行了说明，但不限于这种情况，只要是正交的放射状的四个方向即可，另外，加上倾斜的方向等也能够提高检测精度。

(4)接着，标识校正部170判定红色框的内缘边缘348的位置是否处于原本应该所处的预定范围内的位置。具体而言，例如，在水平右侧方向检测时，将中心的横坐标记为J、将占有区域346的水平右端的x坐标记为R、将所求得的红色框的内缘边缘348的坐标记为RE时，满足以下的数学式3的情况下，将该红色框的内缘边缘348的坐标RE作为不适当的值，不进行以后的处理。

RE<(R-J)×K+J… (数学式3)

在此，K是0～1中的任意值的系数。例如，在水平方向的检测中取值为0.6，在垂直方向的检测中取值为0.5。另外，(R-J)×K是内缘边缘348可取的径向的下限值(内缘边缘下限值)。上述处理是例如在光电显示型的道路标识中数值为橙色的情况下，用于防止因为对V成分造成影响而采取错误的内缘边缘348的处理。

(5)接下来，标识校正部170在任意的道路标识中，在水平方向和垂直方向这四个方向全部适合的情况下，根据各内缘边缘348的位置再次导出图像的中心位置和半径n。具体而言，将水平方向的内缘边缘348中的、位于左侧的内缘边缘348记为LE、将位于右侧的内缘边缘348记为RE时的中心位置由(LE+RE)/2确定，半径n由(RE-LE)/2确定。另外，对于垂直方向的内缘边缘348，也用同样的处理确定中心位置和半径n。这样，重新规定通过道路标识的中心位置特定的占有区域346。

(6)接着，标识校正部170对道路标识比较校正前的半径n与校正后的半径n，如果其比率偏离预定范围(例如，0.75倍以上且小于1.5倍)，则作为不适合的值而不进行以后的处理。

(7)最后，标识校正部170将校正后的占有区域346调整成水平预定像素×垂直预定像素的矩形并结束该校正处理。由此，通过进行道路标识的中心位置和/或半径的再次调整，从而能够实现基于图像匹配的识别的高精度化。应予说明，作为调整，可以使用近邻法等通常的方法。

(标识内容识别处理S204)

图18是表示标识内容识别处理S204的具体处理的流程的流程图。标识内容识别部172针对标识校正部170所校正的道路标识，在原有的图像中将与占有区域346对应的图像的亮度离散化(S350)，判定该道路标识是否为提示限制速度解除的道路标识(S352)。然后，如果不是提示限制速度解除的道路标识，则标识内容识别部172将该道路标识判定为提示限制速度的道路标识而进行垂直方向的定位(S354)，定位后，执行水平方向的匹配(S356)。接着，标识内容识别部172关注道路标识的内容的预定的部位，进行该关注部位的模板匹配(S358)，导出综合评价值来判定是否为任意限制速度(S360)。

然而，如上所述，作为本实施方式的目标的道路标识有光电显示型和非光电显示型。光电显示型具有道路标识的内容(例如数值)的亮度比其周围的亮度高的特性，非光电显示型具有道路标识的内容(例如数值)的亮度比其周围的亮度低的特性。

在该标识内容识别处理S204中，由于没有掌握到底是哪一种显示型，所以假定为两种显示型而执行识别处理。例如，标识内容识别部172使用标识校正部170校正的道路标识的图像执行直到步骤S350～S360的一系列处理，判定是否能够有效识别道路标识的内容(S362)。其结果，在步骤S350～S360中的某一个处理中，如果判定为无法有效识别道路标识的内容(S362中的NO)，则将标识校正部170校正的道路标识的亮度反转(S364)，对于将亮度反转而得的道路标识(反转道路标识)，再次执行直到步骤S350～S360的一系列处理。

另外，在步骤S350～S360的某一处理中，如果判定为能够有效识别道路标识的内容(S362中的YES)，则不进行道路标识的反转或者不识别反转道路标识的内容，而将处理转移到步骤S366。这样，能够识别标识校正部170校正的道路标识或反转道路标识中的任一个，与光电或非光电等的显示类型无关，能够适当识别道路标识的内容。

然而，在反转前的步骤S350～S360的某一个处理中，如果判定为无法有效识别道路标识的内容，则即使在识别处理的中途也中断处理，能够省略以后的处理而将处理转移到步骤S362。这样，能够避免不必要的识别处理，减少处理负荷。由于对将校正后的图像及其亮度反转而得的图像实施相同的处理，所以为了便于说明，以下，说明校正后的图像的处理，对将亮度反转而得的图像省略详细的说明。

在此，虽然在对校正后的图像进行处理之后，再对亮度反转的图像进行处理，但上述顺序可以相反。例如，根据车外环境，提示限制速度的道路标识位于路崖时，因为道路标识为非光电显示型的可能性高，因此预先对校正后的图像进行处理，位于门时，因为道路标识为光电显示型的可能性高，因此预先对将亮度反转而得的图像进行处理。由此，通过从用一个循环(步骤S350～S360)即可结束评价的可能性高的一方预先进行处理，从而能够实现标识内容识别处理S204的效率化。

另外，在校正后的图像或将其亮度反转而得的反转图像的任一个中，如果能够有效识别道路标识的内容(S362中的YES)，则标识内容识别部172判定是否对所有的标识校正部170校正的道路标识执行了这样的步骤S350～S364的处理(S366)。其结果，如果没有完成对于所有道路标识的处理(S366中的NO)，则标识内容识别部172在结束(S366中的YES)之前，重复从步骤S350的处理。以下，详述步骤S350～S360的处理的内容。

(亮度离散化处理S350)

针对标识校正部170校正的道路标识的各占有区域346，标识内容识别部172使各像素的亮度离散化。这样，不依赖于摄像状态而转换为可识别的图像图案。

图19是用于说明识别对象区域370的说明图。首先，标识内容识别部172设定水平预定像素×垂直预定像素的矩形中的要实施识别处理的区域(以下，称为识别对象区域)370。上述识别对象区域370为图19所示的占有区域346中的、与红色框的内缘边缘348相接的矩形的区域，在以后的处理中，对上述识别对象区域370实施处理。

接着，标识内容识别部172将识别对象区域370的各像素离散化，实现N值化。例如N＝2的情况下，各像素的亮度具有0或255中的某一个值。在此，N为2以上的值，但为了在受到阈值的设定等的影响而不能很好地进行二值化情况下抑制给图像匹配造成的影响，所以在本实施方式中，例如N＝5。五值化的情况下，离散化的阈值为四个，在亮度的直方图中设定前四个预定％(例如20％、25％、35％、40％)。上述预定％可以独立且任意地设定。

通过上述构成，不管亮度值的分布是否相同，都能够适当识别道路标识的内容。另外，在此，由于以亮度的直方图的前几个值为基准，所以不管识别对象区域370各自的亮度分布如何，均能够适当地进行五值化，能够实现离散化和正规化。

(限制速度解除判定处理S352)

标识内容识别部172对五值化的识别对象区域370进行分别对应于提示限制速度解除的道路标识或提示限制速度的道路标识的识别处理，但由于前者能够减小处理负荷，所以先以前者为前提进行处理，如果不为前者，则进行对后者的处理。这样，能够避免没有必要地进行提示限制速度的道路标识的识别处理。

图20是用于说明提示限制速度解除的道路标识的说明图。标识内容识别部172分别累积与在图20所示的识别对象区域370中的、在识别对象区域370上交叉的、具有倾斜角的(倾斜的)四个线段L1、L2、L3、L4对应的多个像素的亮度，将各线段L1、L2、L3、L4的累积亮度值记为S1、S2、S3、S4。上述线段的倾斜角是与提示限制速度解除的道路标识的表示方式匹配的角度。在此，将用于判定各累积亮度值S1、S2、S3、S4的阈值记为TS1、TS2、TS3、TS4。其中，TS4由具有TS4a<TS4b关系的两个阈值构成。另外，可以为TS2＝TS3。标识内容识别部172根据对四个线段L1、L2、L3、L4中的深浅的差异进行数值化的以下的数学式4，在满足所有数学式4的情况下，将该道路标识识别为提示限制速度解除的道路标识。

S1<TS1

S2>TS2

S3>TS3

TS4a<S4<TS4b… (数学式4)

在此，由于校正位置偏移和/或亮度产生的亮度偏差，所以能够像上述的数学式4那样，以非常简单的处理识别道路标识的内容。

(垂直方向定位处理S354)

在通过上述处理而未能判定为提示限制速度解除的道路标识的情况下，将该道路标识判定为提示限制速度的道路标识。标识内容识别部172首先对识别对象区域370中的数值占有的数值区域进行垂直方向的定位。这是因为有时识别对象区域370包括微小的位置偏移，或者根据国家或国家的设置方式，数值大小、形状、数值间的距离等不同。

图21是用于说明垂直方向定位处理的说明图。标识内容识别部172像图21那样，在水平方向累积识别对象区域370的各像素的亮度，将其累积亮度值在垂直方向排列而生成垂直方向的亮度分布372。然而，为图21的道路标识的情况下，由于数值部分相对于周围亮度低，所以在图21的亮度分布372中，为了抽出数值部分，在将亮度反转之后求出累积亮度值。然后，标识内容识别部172从识别对象区域370的中心部分到垂直上下区域均求出累积亮度值的最大值374，将其最大值的预定％(例如25％)作为阈值，从中心部分垂直上下地移动检测像素，如果亮度累积值低于阈值的像素连续预定次数(例如两次)，则将该位置作为数值区域376的上端和下端。

接下来，标识内容识别部172利用这样导出的数值区域376的上端和下端，将垂直方向的大小扩大或缩小而进行正规化。例如，在将数值区域376的上端与下端之间的距离记为HI、将模板的垂直方向的距离记为HT时，标识内容识别部172使数值区域376在垂直方向为HT/HI倍。这样，能够使数值区域376的大小与之后进行匹配的模板的垂直方向的大小匹配。另外，校正通过近邻法进行。

通过这样的处理，例如，在图21的下方，虽然在累积亮度值中产生噪声，但能够排除其影响，能够适当抽出经正规化的数值区域376。

(水平方向匹配处理S356)

图22是用于说明模板的说明图。标识内容识别部172识别进行了垂直方向定位的识别对象区域370的内容，即数值。上述识别通过与预先准备的模板匹配来进行。模板如图22所示，例如以每隔10的方式准备10～90(2位)、100～130(3位)共13种。

图23是用于说明水平方向的匹配处理的说明图。标识内容识别部172像图23那样，将在垂直方向经正规化的识别对象区域370的各像素在垂直方向累积，将其累积亮度值在水平方向排列而生成水平方向的亮度分布380。由此进行二维图像的一维化。然而，与垂直方向的定位同样，由于数值部分为低亮度，所以在图23的亮度分布380中，为了抽出数值部分，在将亮度反转之后求出累积亮度值。另外，垂直方向的累积范围仅是利用垂直方向的定位导出的数值区域376的上端到下端的范围。因此，能够避免对于垂直方向的数值区域以外的不需要的区域的亮度的累积。标识内容识别部172通过对这样导出的图23的亮度分布380和基于模板的亮度分布进行DP匹配，从而计算与各模板的相关性评价值(相关性评价值越低相关性越高)。

在此，与垂直方向的定位相同，由于存在数值大小不同和/或数值间空白间隔等的不同，因此若使用固定尺寸的模板则无法发挥充分的性能。因此，利用允许在水平方向伸缩的DP匹配。虽然在原理上二维地进行上述DP匹配也是可行的，但由于处理量变得非常大，所以在本实施方式中使用一维的DP匹配。

图24是用于说明DP匹配的说明图。标识内容识别部172例如与“130”的模板进行DP匹配，得到图24那样的结果。在此，虚线表示DP匹配前的识别对象区域370的亮度分布380，实线表示DP匹配后的识别对象区域370的亮度分布382，单点划线表示模板的亮度分布384。在DP匹配中，以配合模板的亮度分布384的方式使识别对象区域370的亮度分布380伸缩而进行匹配。因此，参照图24可以理解，伸缩前的识别对象区域370的亮度分布380与模板的亮度分布384的相关性低，但伸缩后的识别对象区域370的亮度分布382与模板的亮度分布384的相关性高。

然而，在此，不管相关性的高低，均求出伸缩后的识别对象区域370的亮度分布382和多个模板的亮度分布384之间的所有相关性评价值。具体而言，在将伸缩后的识别对象区域370的亮度分布382记为im、将模板的数值(限制速度)记为T时，标识内容识别部172将作为伸缩后的相关性评价值(差分的平方和)的DP(im，T)依次导出至DP(im，10)～DP(im，130)。

然而，对于明显与模板不同的候选不进行以后的处理。例如，相对于识别对象区域370的亮度分布382为“130”的情况而言，由于两位的“10”～“90”其位数根本就不同，因此与“10”～“90”对应的DP(im，10)～DP(im，90)的相关性低。因此，对DP(im，T)的值超过阈值(相关性低)的模板省略后续的处理。

(关注部位匹配处理S358)

在此，不管数值的位数如何，均求出相关性评价值DP(im，T)，但像本实施方式那样，在预先确定数值的变化趋势的情况下，不宜在所有两位和/或三位的数值中进行匹配。这是因为，例如，在“10”～“90”的数值中，所有数值共同具有个位数“0”的部分，在“100”～“130”中，共同具有个位数“0”的部分和百位数“1”的部分。因此，对于该共同具有的部分，由于任意数值均一致，因此如果以所有的位数为对象进行匹配，则在相关性评价值中难以产生差异。

因此，标识内容识别部172如上所述那样求出相关性评价值DP(im，T)的同时，仅对在数值的形状中有差异的十位数进行匹配。然而，由于识别对象区域370的亮度分布382在水平方向伸缩，所以必须要导出识别对象区域370的亮度分布382的哪一部分与模板的亮度分布384的哪一部分一致。因此，标识内容识别部172导出相当于模板的十位数的起始位置的水平坐标TS(T)的、相当于识别对象区域370的亮度分布382的十位数的起始位置的水平坐标DPR(im，T)。上述水平坐标可以根据在DP匹配中组合特征点的处理历史求得。具体而言，预先存储与特征点的组合相关的信息(例如根)，对其进行逆运算，从而导出水平坐标。通过上述构成，能够利用DP匹配的中间结果有效地求出水平坐标。对于这样的DP匹配的具体的顺序，已经通过各种技术文献进行了公开，因此在此省略其详细的说明。

图25是用于说明关注部位的匹配处理的说明图。如上所述，求出了相当于十位数的数值区域的起始位置的水平坐标时，标识内容识别部172进行简单的模板匹配。对于模板匹配，可以利用任何指标，例如利用差的绝对值之和(SAD)。上述匹配的对象范围如图25的“130”的例子所示，根据相当于识别对象区域370的亮度分布382的起始位置的水平坐标DPR(im，T)和相当于模板的十位数的起始位置的水平坐标TS(T)，作为模板的十位数的数值的水平方向的长度部分。在此，由于已经进行了水平方向的定位，所以无需进行使位置偏移的匹配中的最适值探索等处理，处理负荷大幅降低。

然而，例如，在数值为两位的情况和为三位的情况下，由于水平方向的长度(数值宽度)不同，所以有时数值的宽度不同会对匹配的结果造成影响。因此，标识内容识别部172在十位数的DP匹配的相关性评价值TM(im，T)中，根据位数多的数值的识别对象区域370的宽度与位数少的数值的识别对象区域370的宽度之比，乘以每个模板预先确定的正规化系数。例如，如果两位的数值与三位的数值的宽度之比为3：2，则在标识内容识别部172导出“100”～“130”的十位数的相关性评价值TM(im，T)后，再在该值上乘以3/2，将其结果作为TM(im，T)。这样，无论位数多少，均能够进行适当的评价。

(评价值判定处理S360)

接着，标识内容识别部172利用针对每个模板求出的相关性评价值DP(im，T)、十位数的相关性评价值TM(im，T)，通过以下的数学式5、6导出针对每个模板的综合评价值E(im，T)。

综合评价值E(im，T)＝DP(im，T)×TM(im，T)/F(im)… (数学式5)

F(im)＝max(min(TM(im，T))，th) …(数学式6)

在此，由于数值整体的相关性由DP(im，T)表现，所以直接使用该值，十位数的部分的相关性通过与其它模板进行比较TM(im，T)/F(im)而表示。在此，F(im)为相关性评价值的最小值min(TM(im，T))，但如果min(TM(im，T))的值变得过小，则综合评价值E(im，T)可能发散，所以如果min(TM(im，T))比预定的值th小，则采用值th作为F(im)。

图26是用于说明评价判定结果的说明图。在此，虚线表示相关性评价值DP(im，T)，单点划线表示十位数的相关性评价值TM(im，T)，实线表示综合评价值E(im，T)。参照图26可以理解，对于“100”～“130”的数值的所有位数进行匹配时，原来的数值与其它数值之间的差异小，但通过加上仅针对十位数的匹配，从而与作为实际数值的“130”的模板进行的匹配的综合评价值E(im，T)变得最小(相关性最大)。应予说明，为了便于说明，图26也表示原本省略计算的模板，另外，表示直到“150”的模板。

由此，通过进行针对数值的所有位数的匹配和仅针对十位数的匹配这两个阶段，从而能够提高精度，并且也能够减少处理时间。

(标识内容确定处理S206)

以上，识别了道路标识的内容。然而，如上所述，无需在到达在前方能够确认道路标识的位置的瞬间识别道路标识，只要能够在通过道路标识的时刻或者之后识别即可。因此，可以通过多个帧识别道路标识，由该多个帧的信息确定道路标识的内容。因此，标识内容确定部174如此将在一帧内识别的道路标识的内容在时间方向上进行累积而确定。

在此，为了确定道路标识的内容，使用标识累积分、限制速度候选、标识无检测时间、限制速度输出这四个变量。在此，标识累积分分别设置在道路标识的一个或多个候选，表示与标识内容识别处理S204中的各评价值(E(im，T)、DP(im，T)、TM(im，T))对应的分。限制速度候选表示限制速度为1的候选。标识无检测时间表示没有检测到任何道路标识的持续时间。限制速度输出用于限制速度候选的锁定。如果利用限制速度候选更新限制速度输出，则在上述限制速度输出中保持值的期间，将该值报告给驾驶员，或者作为车辆控制装置130的控制输入而利用。

标识内容确定部174使用标识内容识别部172导出的、评价限制速度的确定性的各种评价值(E(im，T)、DP(im，T)、TM(im，T))，根据以下(1)～(4)的条件累积标识累积分。

(1)如果为E(im，T)<ETHR1&DP(im，T)<DTHR1&TM(im，T)<TTHR1，则+4分

(2)如果不满足(1)的条件且E(im，T)<ETHR2&DP(im，T)<DTHR2&TM(im，T)<TTHR2，则+2分

其中，ETHR1<ETHR2、DTHR1<DTHR2、TTHR1<TTHR2

(3)在满足(1)的条件的模板中，E(im，T)的最小值EM与其它所有模板的E(im，T)之差为预定值以上的情况下，在最小值EM的模板中+2分

(4)在满足(1)的条件的模板中，E(im，T)的最小值EM与其它1以上的模板的E(im，T)之差在预定值(ETHR3)以内的情况下，在预定值以内的所有模板中+1分，

如此，根据(1)、(2)的条件加上基本的分，根据(3)、(4)的条件加上基于与其它模板比较的分。

例如，在图26的例子中，如果(1)～(4)的条件为ETHR1＝80，ETHR2＝100，ETHR3＝5，DTHR1＝80，DTHR2＝100，TTHR1＝100，TTHR2＝150，基于(1)的条件而“120”、“130”为+4分，基于(2)的条件而“100”、“150”为+2分，基于(3)的条件而“130”为+2分。综上，“130”为6分，“120”为4分，“100”、“150”为2分，其它数值为0分。应予说明，在限制速度解除判定处理中，在识别为提示限制速度的道路标识的情况下一律为6分。

标识内容确定部174根据这样求出的标识累积分，如下所述那样将道路标识的内容在时间方向上累积，进行最终的输出。

图27是表示报告道路标识的结果的流程的时间图。标识内容确定部174在每帧中对检测到的道路标识的所有候选始终分别累积标识累积分。然后，标识内容确定部174对这一帧的标识累积分与上一帧的标识累积分进行比较，如果分没有变化，则如图27(1)所示，认为在这一帧中没有检测到道路标识而对标识无检测时间进行加法计算。另外，如果分变化，则如图27(2)所示，认为在这一帧中检测到道路标识，将标识无检测时间复位到0。

另外，如果在这一帧检测到道路标识，则标识内容确定部174如图27(3)所示，从多个道路标识候选中抽出标识累积分大的两个道路标识候选的标识累积分和各自识别的限制速度。由于在该时刻确定是否重新更新限制速度输出，所以对当前维持的限制速度输出进行复位。因此，不进行限制速度的报告。这样能够避免不必要地持续报告上次的速度限制。

标识内容确定部174在标识累积分的最大值超过预定值(例如8分)时，如果最大值与第二大的标识累积分之差为预定值(例如4分)以上，则如图27(4)所示，以标识累积分为最大值的道路标识的限制速度(例如40)更新限制速度候选(作为输出候选而确定)。由此抽出限制速度的候选。如果小于预定值，则将限制速度候选更新为“不定”。另外，在标识累积分的最大值为预定值以下的情况下，不更新限制速度候选。因此，限制速度候选维持“无候选”。

并且，在标识累积分的变化(通过了道路标识)消失后，若标识无检测时间经过了输出设定时间(例如3秒)，则如图27(5)所示，标识内容确定部174判定是否存在限制速度候选。并且，如果存在限制速度候选，则以该限制速度候选(例如40)更新限制速度输出，再次开始限制速度的报告。这样，能够排除道路标识的内容的噪声的输入。

接着，在标识累积分的变化消失后，若标识无检测时间经过了比输出设定时间长的复位时间(例如5秒)，则如图27(6)所示，标识内容确定部174作为下次的道路标识的准备，将标识累积分和限制速度候选复位。由此进行用于新的道路标识的识别的准备。

接着，在标识累积分的变化消失后，若标识无检测时间经过报告上限时间(例如10分钟)，则如图27(7)所示，标识内容确定部174将限制速度输出复位。这样能够避免不必要地持续报告上次的限制速度。

另外，如果标识内容确定部174判断本车辆1处于左转过程中或右转过程中(例如转向角的绝对值超过360度)，则将标识累积分、限制速度候选、限制速度输出全部复位。这是因为如果本车辆1进行左转或右转，则行驶的道路改变，因此不适用在此期间行驶的道路的限制速度。

通过这样构成，从而标识内容确定部174能够在通过道路标识之后3秒后报告限制速度，然后直到经过10分钟为止，或者在右转左转、或者检测到其它道路标识为止维持限制速度。另外，能够排除道路标识的内容的噪声的输入，提高道路标识的内容的特定精度。

另外，为了进一步提高实用性，也可以附加进行以下的处理。例如，在车辆的车道为多个时，在配置于门的道路标识中，有每个车道的限制速度不同的情况。在本实施方式中，由于将识别的道路标识的数目限制在三个以内，所以这样在每个车道的限制速度不同的情况下，存在不同的道路标识的各自的标识累积分。假定在各道路标识中仅累积正确的限制速度，则任何限制速度的标识累积分均为例如6分。此时，即使积分被适当地进行了累积，但在上述的判定中将限制速度候选更新为“不定”。

因此，在本实施方式中，标识内容确定部174在一帧中同时具有多个标识累积分为有效值的道路标识的候选时，导出各水平距离x，在某一道路标识的水平距离x小于阈值(例如3m)，而其它道路标识为阈值以上时，对一个道路标识加一分，对其它道路标识减一分。这样，能够优先地将最接近本车辆1的道路标识的限制速度作为限制速度候选。

(每个国家的道路标识的不同)

图28是表示各国的道路标识的表示方式的说明图。通过将图28(a)的德国的提示限制速度的道路标识与图28(b)的瑞士的提示限制速度的道路标识进行比较来可以了解到，有时提示限制速度的道路标识因国家不同而数值大小、形状、数值间的距离各异。另外，通过将图28(c)的德国的提示限制速度解除的道路标识与图28(d)的意大利的提示限制速度解除的道路标识进行比较来可以了解到，有时斜线的角度不同。

因此，标识内容确定部174如上所述，在时间方向上累积而确定道路标识的内容的同时，判定限制速度候选是哪一国家的道路标识。然后，正确掌握当前行驶的国家，使用该国的模板来适当识别限制速度等。

图29是用于说明道路标识的模板的说明图。国家判定处理基本上使用每个国家的模板来执行。因此，准备如图29那样每个国家(A国～Z国)和每个限制速度(“10”～“150”)的二维排列的模板。应予说明，对于提示限制速度解除的道路标识，保持斜线的角度信息来代替模板。另外，标识检测处理S202中的半径n和/或标识内容识别处理S204中的N值化的阈值(预定％)等信息，也按照国家分开保存。

在此，在该车外环境识别系统100与导航系统联动的情况下，利用由该导航系统得到的目前国家信息切换模板即可，但未与导航系统联动的情况下，按照如下的顺序进行国家判定。

应予说明，由于国家判定处理的实时性的要求低，所以如果获取一次识别对象区域的图像，则将其暂时保存在临时的图像存储器，在每帧的车外环境识别处理结束后的空闲时间，跨过帧而进行处理。另外，在此，为了判定国家，使用分别设置于国家的一个或多个候选的国别累积分作为变量。标识内容确定部174在预定的时刻将临时的图像存储器区域和国别累积分初始化。

在国家判定处理中，标识内容确定部174在这一帧判定是否已经执行国家判定处理。其结果，如果已经执行国家判定处理，则继续该处理，如果前次的国家判定处理结束，则重新开始国家判定处理。由于上述国家判定处理如上所述，在空闲时间进行，所以在处理的过程中到达帧的预定处理时间的情况下，暂时停止处理，在下一帧继续进行。

并且，标识内容确定部174在这一帧的上述的标识内容确定处理S206中，在道路标识的一个或多个候选中，判定是否只有一个限制速度(也包括在多个道路标识中相同的情况)得到标识累积分。其结果，在没有检测到道路标识，或者在多个道路标识中针对多个限制速度得到了积分等，没有只对一个道路标识的限制速度得到标识累积分时，结束这一帧的处理，在下一帧重复该标识累积分的判定。

接着，标识内容确定部174在只有一个限制速度得到标识累积分的情况下，将该限制速度的识别结果作为限制速度V，将识别对象区域370的图像存储到临时的图像存储器。在此，对于成为候选的所有的多个道路标识，在限制速度V得到标识累积分的情况下，存储综合评价值E(im，V)最低(相关性最大)的候选的识别对象区域370的图像。在此，存储的图像是正规化为标识检测处理S202结束后的水平预定像素×垂直预定像素的矩形的占有区域346。

接下来，标识内容确定部174根据存储到图像存储器的占有区域的图像，对各国的限制速度V的模板执行标识内容识别处理S204。即，在上述的标识内容识别处理S204中，如图29的模板中虚线所示，使用与一个国家相关的各限制速度T的模板，在此，如图29的模板中实线所示，使用与一个限制速度V有关的各国的模板。因此，在将国家的识别码记为CN，将限制速度记为V时，导出综合评价值E(CN，V)来代替综合评价值E(im，T)。在上述处理中，能够得到作为模板准备的区分国家的评价值E(CN，V)。

然而，在本实施方式中，使当前识别的国家和其它的评价值E(CN，V)，的加权不同。例如，标识内容确定部174在当前识别的国的评价值E(CN，V)上乘以加权系数(例如1以下的0.8)。这是为了相对降低当前识别的国家的评价值E(CN，V)(增大相关性)，防止在国家判定的结果中产生振荡。另外，在掌握与当前识别的国家邻接的国家时，也可以在该邻接的国家乘以加权系数(例如0.8～1的0.95)。

标识内容确定部174对如此导出的与所有国家相关的评价值E(CN，V)进行比较而导出最小值ECM。并且，如果最小值ECM与其它所有模板的评价值E(CN，V)之差为预定值以上，则在最小值ECM的模板的国别累积分中+1。

接着，标识内容确定部174对国别累积分的最大值与其它所有的国别累积分进行比较，如果该差在预定值(例如30)以上，则判定作为最大值的国家是否与当前识别的国家相同。其结果，如果作为最大值的国家与当前识别的国家相同，则在所有的国别累积分乘以1/2，为了进行公正的判断，降低整体的标识累积分。另外，如果作为最大值的国家与当前识别的国家不同，则判定为行驶的国家改变，将当前识别的国家更新为国别累积分最大值的国家，使临时的图像存储器区域和国别累积分初始化。另外，如果国别累积分的最大值与其它所有的国别累积分之差小于预定值，则使临时的图像存储器区域初始化，在下一帧重复该标识累积分的判定。

这样，通过适当地判定当前行驶的国家，从而能够提高道路标识的内容的特定精度。另外，通过用一个国家的道路标识的识别处理的基础处理(underground)执行以上的国家判定处理，从而能够抑制处理负荷的增大。

如上所述，在本实施方式的车外环境识别装置120中，能够抑制处理负荷增大，并且能够提高道路标识的内容的识别精度。

另外，也提供将计算机作为车外环境识别装置120发挥功能的程序和/或记录该程序的、能够由计算机读取的软盘、光盘、ROM、CD、DVD、BD等存储介质。在此，程序是用任意的语言和/或记述方法记述的数据处理手段。

以上，参照附图对本发明的优选的实施方式进行了说明，但可以说本发明不限于上述实施方式。可以明确如果是本领域技术人员，则在权利要求记载的范围内能够想到各种变更例或修正例，而且可知这种变更例或修正例也属于本发明的技术范围。

应予说明，本说明书的车外环境识别处理的各步骤未必以流程图中记载的顺序来按照时间序列处理，也可以包括并列的或子流程的处理。

产业上的可利用性

本发明可以用于识别设置在路上的道路标识的内容的车外环境识别装置。

Claims (3)

1.一种车外环境识别装置，其特征在于，具备：

图像获取部，用于获取图像；

标识特定部，使用所述图像，将以任意像素为中心的预定半径的圆特定为道路标识；

标识内容识别部，识别所特定的所述道路标识的内容；和

标识内容确定部，使用一个国家的分别对应于多个道路标识的内容的模板，特定相关性最高的一个道路标识的内容，使用多个国家中每一个国家的与所特定的该一个道路标识的内容对应的模板来确定相关性最高的一个国家。

2.一种车外环境识别装置，其特征在于，

图像获取部，用于获取图像；

标识特定部，使用所述图像，将以任意像素为中心的预定半径的圆特定为道路标识；

标识内容识别部，识别所特定的所述道路标识的内容；和

标识内容确定部，使用一个国家的分别对应于多个道路标识的内容的模板，特定相关性最高的一个道路标识的内容，使用多个国家中每一个国家的与所特定的该一个道路标识的内容对应的模板来确定相关性最高的一个国家，

所述标识内容确定部相对于当前识别的国家，或者相对于当前识别的国家及与该国邻接的国家，对每个国家进行加权，以便容易选择该当前识别的国家及与该国邻接的国家。

3.根据权利要求1或2所述的车外环境识别装置，其特征在于，所述标识内容确定部将特定为所述道路标识的图像存储到图像存储器，在空闲的时间执行使用所述多个国家中每一个国家的与所特定的一个道路标识的内容对应的模板来确定相关性最高的一个国家的处理，所述空闲的时间是使用所述一个国家的分别对应于多个道路标识的内容的模板来特定相关性最高的一个道路标识的内容的处理的空闲的时间。