CN112740293A - 道路标志识别装置 - Google Patents

Abstract

本发明根据道路标志的识别结果来正确地决定车辆的控制内容。本发明的道路标志识别装置(10)具备：图像获取部(101)，其获取图像；道路标志识别部(102)，其从图像获取部(101)所获取到的图像中识别道路标志；道路标志数据记录部(103)，其储存与多种道路标志的组合相关的道路标志信息；以及车辆控制信息确定部(104)，其决定用于自身车辆的控制的车辆控制信息。车辆控制信息确定部(104)根据道路标志识别部(102)得到的道路标志的识别结果和道路标志数据记录部(103)中储存的道路标志信息来决定车辆控制信息。

Description

道路标志识别装置

技术领域

本发明涉及道路标志识别装置。

背景技术

为了实现自动驾驶、防止交通事故，业界比较关注在行驶中的车辆上识别道路标志、将其识别结果用于车辆的控制的道路标志识别技术。

道路标志中，有的是将表示针对车辆的各种管制内容的主标志与表示适用主标志的管制内容的条件等对主标志的补充信息的辅助标志组合而成。在识别像这样将主标志与辅助标志组合而成的道路标志来进行车辆的控制的情况下，根据辅助标志的识别结果来进行针对车辆的主标志的管制内容的有效性判断是比较重要的。

关于将主标志与辅助标志组合而成的道路标志的识别，例如在专利文献1中揭示有一种标志识别装置，其具备：标志有效范围数据记录部，其预先储存有主标志和辅助标志所表示的有效范围条件；标志识别部，其使用拍摄车辆前方得到的图像来识别主标志和辅助标志；以及标志有效范围判定部，其使用该车辆的信息、地图信息以及所述标志有效范围数据记录部内的有效范围条件来判定该车辆是否处于所述标志识别部识别出的主标志和辅助标志所指定的有效范围内。

现有技术文献

专利文献

专利文献1：日本专利特开2010-282278号公报

发明内容

发明要解决的问题

在专利文献1的标志识别装置中，作为正确地判定车辆是否处于道路标志的有效范围内的前提，需要能够准确地识别道路标志。然而，辅助标志的文字和图案通常比主标志小，容易发生误识别。因而，在将专利文献1的标志识别装置用于车辆的控制的情况下，存在难以根据道路标志的识别结果来正确地决定控制内容这一问题。

鉴于这样的问题，本发明的目的在于提供一种根据道路标志的识别结果来正确地决定车辆的控制内容的技术。

解决问题的技术手段

本发明的道路标志识别装置具备：图像获取部，其获取图像；道路标志识别部，其从所述图像获取部所获取到的所述图像中识别道路标志；道路标志数据记录部，其存储与多种道路标志的组合相关的道路标志信息；以及车辆控制信息确定部，其决定用于自身车辆的控制的车辆控制信息，所述车辆控制信息确定部根据所述道路标志识别部得到的道路标志的识别结果和所述道路标志数据记录部中存储的所述道路标志信息来决定所述车辆控制信息。

发明的效果

根据本发明，可以根据道路标志的识别结果来正确地决定车辆的控制内容。

附图说明

图1为表示本发明的第1实施方式的道路标志识别装置的构成的功能框图。

图2为表示用于说明本发明的第1实施方式的道路标志识别装置的动作的场景的图。

图3为表示本发明的第1实施方式的道路标志识别装置的处理的流程的流程图。

图4为表示本发明的第1实施方式中的道路标志信息的例子的图。

图5为表示本发明的第1实施方式中的辅助标志的识别结果的例子的图。

图6为表示本发明的第2实施方式中的道路标志信息的例子的图。

图7为表示本发明的第3实施方式的道路标志识别装置的处理的流程的流程图。

图8为表示本发明的第4实施方式的道路标志识别装置的处理的流程的流程图。

图9为表示用于说明本发明的第5实施方式的道路标志识别装置的动作的场景的图。

图10为表示本发明的第5实施方式的道路标志识别装置的处理的流程的流程图。

图11为表示本发明的第5实施方式中的道路标志信息的例子的图。

图12为表示本发明的第6实施方式的道路标志识别装置的构成的功能框图。

图13为表示用于说明本发明的第6实施方式的道路标志识别装置的动作的场景的图。

图14为表示本发明的第6实施方式的道路标志识别装置的处理的流程的流程图。

图15为表示本发明的第6实施方式中的道路标志信息的例子的图。

图16为表示本发明的第6实施方式中的辅助标志的识别结果的例子的图。

图17为表示用于说明本发明的第7实施方式的道路标志识别装置的动作的场景的图。

图18为表示本发明的第7实施方式的道路标志识别装置的处理的流程的流程图。

图19为表示本发明的第7实施方式中的道路标志信息的例子的图。

图20为表示本发明的第8实施方式的道路标志识别装置的构成的功能框图。

图21为表示用于说明本发明的第8实施方式的道路标志识别装置的动作的场景的图。

图22为表示本发明的第8实施方式的道路标志识别装置的处理的流程的流程图。

图23为表示本发明的第8实施方式中的重写前的道路标志信息的例子的图。

图24为表示本发明的第8实施方式中的辅助标志的识别结果的例子的图。

图25为表示本发明的第8实施方式中的重写后的道路标志信息的例子的图。

具体实施方式

下面，对本发明的实施方式进行详细说明。

[第1实施方式]

图1为表示本发明的第1实施方式的道路标志识别装置的构成的功能框图。如图1所示，本实施方式的道路标志识别装置10与摄像装置20及车辆控制装置30连接，具备图像获取部101、道路标志识别部102、道路标志数据记录部103以及车辆控制信息确定部104。道路标志识别装置10例如是使用具有CPU等运算装置和ROM、RAM、闪存等存储装置的电脑来构成的，通过由运算装置执行存储装置中储存的控制程序而作为上述各功能块进行动作。再者，也可使用FPGA等硬件来构成道路标志识别装置10所具有的功能的一部分或全部。

摄像装置20是搭载于车辆上的摄像机，拍摄该车辆周围例如前方的风景。以下，将搭载有摄像装置20的车辆称为“自身车辆”。摄像装置20例如按每个规定的帧率将拍摄到的图像输出至道路标志识别装置10。从摄像装置20输出的图像在道路标志识别装置10中输入至图像获取部101。

图像获取部101通过控制摄像装置20的动作来获取摄像装置20拍摄到的图像而输出至道路标志识别部102。图像获取部101例如根据刚刚的图像来算出控制摄像时的亮度的摄像机控制值，在下一次摄像时之前对摄像装置20进行指示。摄像机控制值有摄像装置20的曝光时间、模拟增益值、镜头的F值等。图像获取部101例如能以图像中的路面、天空区域的亮度为基准来算出摄像机控制值。

道路标志识别部102从图像获取部101所获取到的图像中识别道路标志，并将其识别结果输出至车辆控制信息确定部104。道路标志识别部102能够识别主标志与辅助标志组合而成的道路标志等各个种类的道路标志。道路标志识别部102视为识别对象的主标志例如有看板式主标志、光电式主标志、由背光源加以照明的内部照明式主标志等。此外，道路标志识别部102视为识别对象的辅助标志例如有看板式辅助标志、光电式辅助标志等。再者，也可将不组合辅助标志而仅由主标志构成的道路标志包含在道路标志识别部102的识别对象中，但下面是对道路标志识别部102识别主标志与辅助标志组合而成的道路标志的情况进行说明。

在道路标志识别部102从图像中识别道路标志时，可以利用公知的各种处理方法。例如有通过实施霍夫变换或MSER(Maximally Stable Extremal Regions)等而在图像中确定包含圆形状物体或矩形形状物体的候选区域、其后对确定出的候选区域实施识别处理的方法。作为识别处理，例如可以进行使用识别对象道路标志的模板图像的模板匹配处理，获取与相关性最高的模板图像相关联的道路标志的类别作为识别结果。此外，也可以通过使用基于拍摄道路标志得到的大量图像的机器学习的统计性方法来获取道路标志的每一类别的识别得分，获取得分值最高的类别作为识别结果。除此以外，只要能获得恰当的识别结果，可以使用任意处理方法从图像中识别道路标志。

此处，由于辅助标志不单独作为道路标志加以设置，因此，道路标志识别部102可在检测到主标志之后检测辅助标志。具体而言，可仅将图像中被识别为主标志的区域的周边部分作为对象来确定包含矩形形状物体的候选区域，通过模板匹配处理或者使用机器学习的统计性方法对该候选区域实施辅助标志的识别处理。

再者，道路标志识别部102在进行道路标志的识别处理时，可通过参考道路标志数据记录部103中储存的后文叙述的道路标志信息来限定视为识别对象的道路标志的种类。具体而言，可以限定用于模板匹配的模板图像数来实施识别处理。

道路标志数据记录部103中储存有与对自身车辆所行驶的道路设置的各种道路标志相关的道路标志信息。该道路标志信息例如包含表示道路标志当中可能获取到的主标志与辅助标志的各种组合的信息、表示每一组合的出现频次的信息、表示每一主标志的辅助标志的并设容易度的信息等。道路标志数据记录部103中储存的道路标志信息供道路标志识别部102、车辆控制信息确定部104参考，在它们所实施的处理中加以利用。

车辆控制信息确定部104根据道路标志识别部102得到的道路标志的识别结果和道路标志数据记录部103中储存的道路标志信息来决定用于自身车辆的控制的车辆控制信息。具体而言，例如车辆控制信息确定部104根据道路标志识别部102得到的主标志及辅助标志的识别结果和道路标志数据记录部103中储存的道路标志信息所表示的主标志与辅助标志的关系性来确定辅助标志的类别，根据该辅助标志的类别来决定车辆控制信息。由此，能够准确地确定辅助标志的类别而决定车辆控制信息。由车辆控制信息确定部104决定的车辆控制信息从道路标志识别装置10输出至车辆控制装置30。再者，车辆控制信息确定部104对车辆控制信息的决定方法的详情于后文叙述。

车辆控制装置30根据从道路标志识别装置10输出的车辆控制信息来实施自身车辆的控制。例如，可以将适用于自身车辆的管制内容显示在自身车辆中设置的显示器上而呈现给驾驶员，或者控制自身车辆的行驶速度。

接着，以图2所示的场景下的动作为例对以上说明过的本实施方式的道路标志识别装置10的动作进行说明。图2展示了自身车辆为卡车、在自身车辆的前方设置有主标志与辅助标志组合而成的道路标志的场景。图2中，主标志T101是表示最高限速为时速50km的标志，辅助标志T102是表示卡车为管制对象车辆的标志。以下，将主标志T101的类别称为“最高速度50km标志”，将辅助标志T102的类别称为“卡车标志”。根据这些标志的组合得知，身为卡车的自身车辆的最高速度限制在时速50km。

图3为表示本发明的第1实施方式的道路标志识别装置10的处理的流程的流程图。本实施方式的道路标志识别装置10例如通过CPU等运算装置在每个规定的处理周期实施图3的流程图所示的处理。下面，按照该图3的流程图对图2的场景下的道路标志识别装置10的具体的动作例进行说明。

在步骤S101中，通过图像获取部101获取利用摄像装置20拍摄自身车辆周围得到的图像。此处，获取通过由摄像装置20拍摄图2所示的场景得到的包含主标志T101的像以及辅助标志T102的像的图像作为之后的处理对象图像。

在步骤S102～S105中，通过道路标志识别部102来进行从步骤S101中获取到的图像中识别道路标志的处理。在该处理中，首先在步骤S102、S103中进行主标志的识别处理，其后在步骤S104、S105中进行辅助标志的识别处理。

在步骤S102中，实施圆检测处理。在该圆检测处理中，在步骤S101中获取到的图像当中检测相当于主标志的形状的圆形状区域，将该区域作为主标志的候选区域。由此，在图像中检测出与图2的主标志T101相对应的圆形状的候选区域。

在步骤S103中，根据步骤S102的圆检测处理的结果来实施主标志识别处理。在该主标志识别处理中，对包含步骤S102中检测到的主标志的候选区域的图像区域实施前文所述那样的识别处理，检测主标志并确定其类别。由此，在图像中检测出图2的主标志T101，并确定其类别为最高速度50km标志。

在步骤S104中，实施矩形检测处理。在该矩形检测处理中，在处于步骤S103中检测到主标志的区域的周边的图像区域例如位于检测到主标志的区域之下的规定范围的图像区域中，检测相当于辅助标志的形状的矩形形状的区域，将该区域作为辅助标志的候选区域。由此，在图像中检测出与图2的辅助标志T102相对应的矩形形状的候选区域。

在步骤S105中，根据步骤S104的矩形检测处理的结果来实施辅助标志识别处理。在该辅助标志识别处理中，对包含步骤S104中检测到的辅助标志的候选区域的图像区域实施前文所述那样的识别处理来检测辅助标志，并算出该辅助标志的识别得分。所谓识别得分，是表示对应于检测到的辅助标志的图像识别结果的每一类别的准确度也就是对应于该辅助标志的每一类别的识别的精度的信息。由此，在图像中检测出图2的辅助标志T102，并算出每一类别的识别得分。但在该时间点上，辅助标志T102的类别没有确定出来。

在步骤S106中，通过车辆控制信息确定部104从道路标志数据记录部103获取基于步骤S103的识别结果的道路标志信息。在该处理中，读出道路标志数据记录部103中储存的道路标志信息当中与步骤S103中确定出的主标志的类别相对应的道路标志信息。

图4为表示本发明的第1实施方式中储存在道路标志数据记录部103中的道路标志信息T111的例子的图。在图4所示的道路标志信息T111当中，针对各种类别的主标志而按其每一类别记载有表示主标志与辅助标志的组合的信息。具体而言，图4的道路标志信息T111中包含与最高速度50km标志相对应的组合信息T112和与驻车禁止标志相对应的组合信息T113。在这些组合信息T112、T113的右端那一列中分别记载有与各种类别的辅助标志T114～T117的组合的可否。另外，辅助标志T114是表示开始主标志的管制的位置的标志，辅助标志T115～T117是分别表示管制对象车辆的种类的标志。具体而言，辅助标志T115表示卡车为管制对象车辆，辅助标志T116表示乘用车为管制对象车辆，辅助标志T117表示牵引车辆为管制对象车辆。以下，将辅助标志T114的类别称为“开始标志”，将辅助标志T116的类别称为“乘用车标志”，将辅助标志T117的类别称为“牵引车辆标志”。

在图4的道路标志信息T111中，组合信息T112表示最高速度50km标志有可能与开始标志或卡车标志同时设置、不会与乘用车标志或牵引车辆标志同时设置。另一方面，组合信息T113表示驻车禁止标志有可能分别与开始标志、卡车标志、乘用车标志、牵引车辆标志同时设置。

另外，图4所示的道路标志信息T111为一例，道路标志数据记录部103中储存的道路标志信息的内容不限定于此。例如，可相较于图4的例子而言进一步增加道路标志信息中记载的主标志的类别、辅助标志的类别来储存在道路标志数据记录部103中。

在之后的说明中，在步骤S103的主标志识别处理中，像前文所述那样针对图2的场景而获得了主标志T101的类别为最高速度50km标志这一识别结果。因此，在步骤S106的道路标志信息获取处理中，车辆控制信息确定部104获取道路标志数据记录部103中储存的道路标志信息T111中的与最高速度50km标志相关的辅助标志的组合信息T112。

返回至图3的说明，在步骤S107中，通过车辆控制信息确定部104而根据步骤S103、S105中分别得到的主标志及辅助标志的识别结果和步骤S106中获取到的道路标志信息来决定自身车辆的控制内容。在该处理中，对步骤S105中得到的辅助标志的识别结果与步骤S106中获取到的道路标志信息进行对照，由此来确定辅助标志的类别。继而，根据确定出的辅助标志的类别和步骤S103中确定出的主标志的类别来判断适用于自身车辆的管制内容，按照该管制内容来决定自身车辆的控制内容。

图5为表示本实施方式的道路标志识别装置10中在步骤S105中得到的辅助标志T102的识别结果T121的例子的图。在图5所示的识别结果T121中，横轴表示辅助标志的类别，纵轴表示对应于各类别的识别得分。此处，识别得分越高，表示识别的准确度越高。图5的识别结果T121表示对于辅助标志T102而言得到了按照乘用车标志、卡车标志、开始标志、牵引车辆标志的顺序从高到低的识别得分。即，对于像图2所示那样实际上为卡车标志的辅助标志T102而言，乘用车标志的识别得分最高。

在步骤S107的车辆控制内容决定处理中，车辆控制信息确定部104将满足步骤S106中获取到的组合信息T112中记载的组合条件的辅助标志的类别当中在识别结果T121中识别得分最高的辅助标志的类别确定为辅助标志T102的类别。具体而言，图5的识别结果T121中识别得分最高的乘用车标志在图4的组合信息T112中组合条件为“×”，表示不会与最高速度50km标志同时设置。因此，判断辅助标志T102不可能是乘用车标志，从而将乘用车标志从辅助标志T102的类别中排除。另一方面，识别结果T121中识别得分第二高的卡车标志在图4的组合信息T112中组合条件为“〇”，表示能与最高速度50km标志同时设置。因此，将卡车标志确定为辅助标志T102的类别。结果，针对辅助标志T102而获得正确的识别结果。

当在步骤S107中决定了自身车辆的控制内容时，车辆控制信息确定部104生成与该控制内容相应的车辆控制信息并输出至车辆控制装置30。其后，结束图3的流程图所示的处理。

如以上所说明，在本实施方式的道路标志识别装置10中，对于图案和文字等较小、仅靠图像识别难以识别的辅助标志而言，充分利用与主标志的组合信息等其他信息来确定其类别。因此，可以减少误识别、提高识别性能。

此外，根据图案和文字等较大、易于识别的主标志的识别结果来选择确定辅助标志的类别时利用的组合信息。因此，可以从道路标志数据记录部103中储存的道路标志信息当中正确地获取最佳的组合信息。

根据以上说明过的本发明的第1实施方式，取得以下作用效果。

(1)道路标志识别装置10具备：图像获取部101，其获取图像；道路标志识别部102，其从图像获取部101所获取到的图像中识别道路标志；道路标志数据记录部103，其储存与多种道路标志的组合相关的道路标志信息T111；以及车辆控制信息确定部104，其决定用于自身车辆的控制的车辆控制信息。车辆控制信息确定部104根据道路标志识别部102得到的道路标志的识别结果和道路标志数据记录部103中储存的道路标志信息T111来决定车辆控制信息(步骤S107)。因此，可以根据道路标志的识别结果来正确地决定自身车辆的控制内容。

(2)道路标志信息T111包含与主标志与辅助标志的组合相关的信息即组合信息T112、T113。因此，可以根据主标志的识别结果来可靠地决定与该主标志组合使用的辅助标志而决定自身车辆的控制内容。

(3)车辆控制信息确定部104根据道路标志识别部102得到的主标志T101的识别结果从道路标志数据记录部103获取与该主标志T101相对应的组合信息T112(步骤S106)。在步骤S107中，根据步骤S106中获取到的组合信息T112以及步骤S105中的道路标志识别部102得到的辅助标志T102的识别结果来确定用于车辆控制信息的决定的辅助标志T102的类别。因此，对于图案和文字等较小、仅靠图像识别难以识别的辅助标志而言，也能准确地确定该辅助标志的类别而用于车辆控制信息的决定。

[第2实施方式]

接着，对本发明的第2实施方式进行说明。在上述第1实施方式中，对道路标志数据记录部103中储存的道路标志信息中的组合信息为按主标志的每一类别来表现与辅助标志的组合的可否的二值的情况的例子进行了说明。相对于此，在本发明的第2实施方式中，下面对将道路标志数据记录部103中储存的道路标志信息中的组合信息设为按主标志的每一类别来表现与辅助标志的出现频次的连续值的例子进行说明。

另外，本实施方式的道路标志识别装置10的构成与第1实施方式中在图1中说明过的相同，因此以下省略说明。此外，本实施方式的道路标志识别装置10的处理的流程与第1实施方式中在图3中说明过的相同，仅步骤S107的处理内容的一部分不一样。因而，以下省略本实施方式的道路标志识别装置10所实施的处理当中与第1实施方式重复的部分的说明。

图6为表示本发明的第2实施方式中储存在道路标志数据记录部103中的道路标志信息T131的例子的图。与图4所示的第1实施方式的道路标志信息T111中的组合信息T112、T113相比，图6的道路标志信息T131中的组合信息T132、T133在右端那一列中记载的内容上存在差异。具体而言，在组合信息T132、T133中，右端那一列中记载的是辅助标志的每一类别的出现频次而不是图4那样的辅助标志的每一类别的组合的可否。即，该出现频次的值越大，表示与对应的主标志同时设置该辅助标志的可能性越高。

在使用图6所示的道路标志信息T131的情况下，在图3的步骤S106中，车辆控制信息确定部104获取道路标志信息T131中的与最高速度50km标志相关的辅助标志的组合信息T132。在接下来的步骤S107中，车辆控制信息确定部104按照辅助标志的每一类别算出步骤S105中得到的图5的识别结果T121中的识别得分的值与步骤S106中获取到的组合信息T132中的出现频次的值的积。继而，将算出的积的值最高的辅助标志的类别确定为辅助标志T102的类别。具体而言，例如在乘用车标志的情况下，识别得分为0.5，出现频次为0.1，因此算出它们的积的值为0.05。通过实施同样的计算，分别算出卡车标志、开始标志、牵引车辆标志的积的值为0.14、0.05、0.00。因此，将积的值最高的卡车标志确定为辅助标志T102的类别。结果，针对辅助标志T102而获得正确的识别结果。

如以上所说明，在本实施方式的道路标志识别装置10中，利用连续的值来表现道路标志数据记录部103中储存的道路标志信息中的组合信息，由此，能够细致地设定主标志与辅助标志的每一组合的频次。因此，能够更深刻地反映实际环境下的道路标志的设置条件来确定辅助标志的类别。

根据以上说明过的本发明的第2实施方式，除了第1实施方式中说明过的各作用效果(1)～(3)以外，还取得以下作用效果(4)。

(4)组合信息T132、T133包含主标志与辅助标志的每一组合的出现频次的信息。因此，可以根据主标志的识别结果更准确地确定与该主标志组合使用的辅助标志。

[第3实施方式]

接着，对本发明的第3实施方式进行说明。在上述第1、第2各实施方式中，对不论道路标志识别部102得到的辅助标志的识别结果如何都利用道路标志数据记录部103中储存的道路标志信息来确定辅助标志的类别的例子进行了说明。相对于此，在本发明的第3实施方式中，下面对根据道路标志识别部102对辅助标志的识别精度来切换是否利用道路标志数据记录部103中储存的道路标志信息的例子进行说明。

再者，本实施方式的道路标志识别装置10的构成与第1实施方式中在图1中说明过的相同，因此以下省略说明。

图7为表示本发明的第3实施方式的道路标志识别装置10的处理的流程的流程图。本实施方式的道路标志识别装置10例如通过CPU等运算装置在每一规定的处理周期中实施图7的流程图所示的处理。

在步骤S111～S115中，通过图像获取部101和道路标志识别部102来分别实施与图3的步骤S101～S105同样的处理。

在步骤S116中，判定通过步骤S115的辅助标志识别处理得到的辅助标志的识别结果的准确度也就是辅助标志的识别精度是否在规定值以上。结果，若辅助标志的识别结果的准确度不到规定值，则前进至步骤S117。

在该情况下，在步骤S117、S118中分别实施与图3的步骤S106、S107同样的处理。

另一方面，在步骤S116中判定辅助标志的识别结果的准确度在规定值以上的情况下，不实施步骤S117的处理而前进至步骤S118。在该情况下，由于不实施步骤S117的处理，因此不会从道路标志数据记录部103获取与主标志的类别相对应的辅助标志的组合信息。因此，在步骤S118中，车辆控制信息确定部104不使用道路标志数据记录部103中储存的组合信息而仅根据步骤S115中得到的辅助标志的识别结果来确定辅助标志的类别。继而，根据确定出的辅助标志的类别和步骤S113中确定出的主标志的类别来判断适用于自身车辆的管制内容，按照该管制内容来决定自身车辆的控制内容。

具体而言，例如考虑用于步骤S116的判定的针对辅助标志的识别结果的准确度的阈值为0.6、步骤S115的辅助标志识别处理中针对某一辅助标志的类别的识别得分为0.9的情况。在该情况下，步骤S116作出肯定判定，因此车辆控制信息确定部104不实施步骤S117的道路标志信息获取处理而仅根据步骤S115中得到的辅助标志的识别结果来确定辅助标志的类别。即，仅使用步骤S113的主标志识别处理得到的主标志的识别结果和步骤S115的辅助标志识别处理得到的辅助标志的识别结果来确定用于车辆控制的道路标志的种类。

另一方面，在步骤S115的辅助标志识别处理中最高的识别得分为不到阈值的值例如0.3的情况下，步骤S116作出否定判定，因此车辆控制信息确定部104实施步骤S117的道路标志信息获取处理。继而，根据步骤S115中得到的辅助标志的识别结果和步骤S117中获取到的组合信息来确定辅助标志的类别。即，除了步骤S113的主标志识别处理得到的主标志的识别结果和步骤S115的辅助标志识别处理得到的辅助标志的识别结果以外，还使用道路标志数据记录部103中储存的道路标志信息中的组合信息来确定用于车辆控制的道路标志的种类。

如以上所说明，在本实施方式的道路标志识别装置10中，在对辅助标志的图像识别的准确度较高、可以判断仅靠图像识别就能正确地识别辅助标志的类别的情况下，仅靠图像识别的结果来确定用于车辆控制的道路标志的种类。因此，可以省略用于获取主标志与辅助标志的组合相关的组合信息的道路标志信息获取处理，从而能削减对道路标志数据记录部103的访问次数。因而，可以缩短处理时间。

根据以上说明过的本发明的第3实施方式，除了第1实施方式、第2实施方式中说明过的各作用效果(1)～(4)以外，还取得以下作用效果(5)。

(5)在道路标志识别部102对辅助标志的识别精度在规定值以上的情况下(步骤S116：是)，车辆控制信息确定部104在不使用道路标志数据记录部103中储存的组合信息的情况下确定用于车辆控制信息的决定的辅助标志的类别(步骤S118)。因此，可以减少对道路标志数据记录部103的访问次数而谋求处理时间的缩短。

[第4实施方式]

接着，对本发明的第4实施方式进行说明。在上述第3实施方式中，对根据道路标志识别部102对辅助标志的识别精度来切换是否将道路标志数据记录部103中储存的道路标志信息用于辅助标志的类别的确定的例子进行了说明。相对于此，在本发明的第4实施方式中，下面对根据道路标志识别部102对辅助标志的识别精度来切换利用道路标志数据记录部103中储存的道路标志信息的优先度的例子进行说明。

再者，本实施方式的道路标志识别装置10的构成与第1实施方式中在图1中说明过的相同，因此以下省略说明。

图8为表示本发明的第4实施方式的道路标志识别装置10的处理的流程的流程图。本实施方式的道路标志识别装置10例如通过CPU等运算装置在每一规定的处理周期中实施图8的流程图所示的处理。

在步骤S121～S126中，通过图像获取部101、道路标志识别部102以及车辆控制信息确定部104来分别实施与图3的步骤S101～S106同样的处理。

在步骤S127中，判定通过步骤S125的辅助标志识别处理得到的辅助标志的识别结果的准确度也就是辅助标志的识别精度是否在规定值以上。结果，若辅助标志的识别结果的准确度在规定值以上，则前进至步骤S129。在该情况下，在步骤S129中实施与图3的步骤S107同样的处理，由此来确定辅助标志的类别而决定自身车辆的控制内容。

另一方面，在步骤S127中判定辅助标志的识别结果的准确度不到规定值的情况下，前进至步骤S128。在步骤S128中，由车辆控制信息确定部104实施用于使步骤S126中从道路标志数据记录部103获取到的道路标志信息优先于辅助标志的识别结果的处理即道路标志信息优先化处理。在该处理中，例如使获取到的道路标志信息中的辅助标志的每一类别的组合信息放大，由此使道路标志信息优先于辅助标志的识别结果。具体而言，例如考虑从道路标志数据记录部103读出第2实施方式中说明过的图6的道路标志信息T131中的组合信息T132的情况。在该情况下，可以对组合信息T132中记载的辅助标志的每一类别的出现频次的值分别加上或乘以规定值，由此来放大组合信息T132。再者，只要能使道路标志信息优先于辅助标志的识别结果，道路标志信息优先化处理的内容便不限定于此。

当在步骤S128中实施了道路标志信息优先化处理时，车辆控制信息确定部104前进至步骤S129，使用放大后的组合信息来实施步骤S129的处理。由此，相较于步骤S125中得到的辅助标志的识别结果而言，优先使用步骤S126中从道路标志数据记录部103获取到的道路标志信息来确定辅助标志的类别。继而，根据确定出的辅助标志的类别和步骤S123中确定出的主标志的类别来判断适用于自身车辆的管制内容，按照该管制内容来决定自身车辆的控制内容。

如以上所说明，在本实施方式的道路标志识别装置10中，例如在辅助标志处于远方等对辅助标志的图像识别的准确度较低的情景下，优先利用与主标志和辅助标志的组合相关的道路标志信息来确定用于车辆控制的道路标志的类别。因此，即便在对辅助标志的图像识别的准确度较低的情景下，也能高精度地识别辅助标志而实施车辆控制。

再者，在图8的流程图中，在辅助标志的识别结果的准确度在规定值以上的情况下也从道路标志数据记录部103获取道路标志信息而使用它来确定辅助标志的类别。但也可像第3实施方式中说明过的那样，在辅助标志的识别结果的准确度在规定值以上的情况下，不使用道路标志数据记录部103中储存的道路标志信息而仅根据步骤S125中得到的辅助标志的识别结果来确定辅助标志的类别。例如，可以调换图8的步骤S126与S127的顺序，在步骤S127中判定辅助标志的识别结果的准确度在规定值以上的情况下，不实施步骤S126及S128的处理，由此，仅根据辅助标志的识别结果来确定辅助标志的类别。或者也可使用两种阈值，由此，根据辅助标志的识别结果的准确度来分别区分使用以下情况：不使用道路标志信息的情况、直接使用从道路标志数据记录部103获取到的道路标志信息的情况、以及相较于辅助标志的识别结果而言优先使用获取到的道路标志信息的情况。

根据以上说明过的本发明的第4实施方式，除了第1实施方式～第3实施方式中说明过的各作用效果(1)～(5)以外，还取得以下作用效果(6)。

(6)在道路标志识别部102对辅助标志的识别精度不到规定值的情况下(步骤S127：否)，车辆控制信息确定部104相较于道路标志识别部102得到的辅助标志的识别结果而言优先使用步骤S126中从道路标志数据记录部103获取到的组合信息来确定用于车辆控制信息的决定的辅助标志的类别(步骤S129)。因此，即便在辅助标志的识别精度较低的情况下，也能准确地确定用于车辆控制信息的决定的辅助标志的类别。

[第5实施方式]

接着，对本发明的第5实施方式进行说明。在本实施方式中，下面对考虑辅助标志与主标志的并设容易度来进行辅助标志的识别的例子进行说明。

再者，本实施方式的道路标志识别装置10的构成与第1实施方式中在图1中说明过的相同，因此以下省略说明。

以图9所示的场景下的动作为例对本实施方式的道路标志识别装置10的动作进行说明。图9展示了自身车辆为卡车、在自身车辆前方设置有主标志与辅助标志组合而成的道路标志而且沿道路设置有大量树木的场景。图9中，主标志T141和辅助标志T142与图2的主标志T101及辅助标志T102一样分别为最高速度50km标志和卡车标志。

图10为表示本发明的第5实施方式的道路标志识别装置10的处理的流程的流程图。本实施方式的道路标志识别装置10例如通过CPU等运算装置在每一规定的处理周期中实施图10的流程图所示的处理。下面，按照该图10的流程图对图9的场景下的道路标志识别装置10的具体的动作例进行说明。

在步骤S121中，通过图像获取部101获取利用摄像装置20拍摄自身车辆周围得到的图像。此处，获取通过由摄像装置20拍摄图9所示的场景得到的包含主标志T141的像以及辅助标志T142的像的图像作为之后的处理对象图像。

在步骤S122、S123中，通过道路标志识别部102来进行从步骤S121中获取到的图像中识别主标志的处理。具体而言，在步骤S122中，与图3的步骤S102一样，实施在步骤S121中获取到的图像中检测相当于主标志的形状的圆形状区域、将该区域作为主标志的候选区域的圆检测处理。在接下来的步骤S123中，与图3的步骤S103一样，对包含通过步骤S122的圆检测处理检测到的主标志的候选区域的图像区域实施主标志识别处理，由此来检测主标志并确定其类别。

另外，在以下的说明中，对如下情况进行说明：通过步骤S122、S123的处理在图像中检测到图9的主标志T141，确定其类别为最高速度50km标志，而且，沿道路设置的树木的部分区域T143～T145分别被误识别为表示最高限速为时速100km的主标志(以下称为“最高速度100km标志”)。

在步骤S124中，通过车辆控制信息确定部104从道路标志数据记录部103获取基于步骤S123的识别结果的道路标志信息。在该处理中，读出道路标志数据记录部103中储存的道路标志信息当中与步骤S123中确定出的主标志的类别相对应的道路标志信息。

图11为表示本发明的第5实施方式中储存在道路标志数据记录部103中的道路标志信息T151的例子的图。图11所示的道路标志信息T151中包含与最高速度50km标志相对应的组合信息T152和与最高速度100km标志相对应的组合信息T153，这些组合信息T152、T153中，在右端那一列分别记载有辅助标志的每一类别的出现频次。

进而，组合信息T152、T153中还分别记载有表示每一主标志的辅助标志的并设容易度的辅助标志并设度。辅助标志并设度的值越高，表示并设有辅助标志的可能性越高。在图11的例子中，组合信息T152中的辅助标志并设度的值为8，组合信息T153中的辅助标志并设度的值为1，因此表示最高速度50km标志并设有辅助标志的可能性比最高速度100km标志高。

在图9的场景下，如前文所述，在步骤S123中获得主标志T141的类别为最高速度50km标志这一识别结果，而且因误识别而获得树木的部分区域T143～T145的类别为最高速度100km标志这一识别结果。因此，在步骤S124的道路标志信息获取处理中，车辆控制信息确定部104获取道路标志数据记录部103中储存的道路标志信息T151中的与最高速度50km标志相关的辅助标志的组合信息T152和与最高速度100km标志相关的辅助标志的组合信息T153。

返回至图10的说明，在步骤S125中，根据步骤S124中获取到的道路标志信息在图像内决定辅助标志的识别候选区域。在该处理中，参考步骤S124中获取到的道路标志信息的组合信息中的辅助标志并设度的值，在步骤S123中识别出的多个主标志当中从辅助标志并设度的值较高的主标志起依序在规定的上限数以内选择主标志。继而，将处于选出的各主标志周边的规定的图像区域分别设定为辅助标志的识别候选区域。由此，以从图像中识别出的多个主标志当中在获取到的组合信息中辅助标志的并设容易度较高的主标志的周边为优先，在道路标志识别部102中实施辅助标志识别处理。

再者，步骤S125中选择的主标志的上限数例如可以参考辅助标志识别处理所需的处理时间、对图10的流程图的处理分配的每一次的处理时间等来预先决定好。或者，也可根据识别出各主标志时的识别得分、识别出的主标志的数量等来设定要选择的主标志的上限数。

在图11的道路标志信息T151中，如前文所述，组合信息T152中的辅助标志并设度的值为8，组合信息T153中的辅助标志并设度的值为1。此处，若步骤S125中选择的主标志的上限数为1，则在图9的场景下仅选择与组合信息T152相对应的主标志T141，不选择被误识别为主标志的树木的部分区域T143～T145。继而，将选出的主标志T141周边的规定区域例如位于主标志T141正下方的规定范围的区域设定为辅助标志的识别候选区域。

在步骤S126中，对步骤S125中设定的各识别候选区域分别实施步骤S127、S128的处理，由此来进行识别辅助标志的处理。具体而言，在步骤S127中实施在各识别候选区域内检测相当于辅助标志的形状的矩形形状的区域、将该区域作为辅助标志的候选区域的矩形检测处理。

在接下来的步骤S128中，对包含通过步骤S127的矩形检测处理检测到的辅助标志的候选区域的图像区域实施辅助标志识别处理，由此来检测辅助标志并算出该辅助标志的识别得分。由此，针对设定在图9的主标志T141周边的辅助标志的识别候选区域，在图像中检测出辅助标志T142，并算出每一类别的识别得分。但在该时间点上，辅助标志T142的类别没有确定出来。

当对步骤S125中设定的所有识别候选区域实施了步骤S127、S128的处理时，前进至步骤S129。在步骤S129中，通过车辆控制信息确定部104而根据步骤S123、S128中分别得到的主标志及辅助标志的识别结果和步骤S124中获取到的道路标志信息来决定自身车辆的控制内容。即，与前文所述的各实施方式一样，对步骤S128中得到的辅助标志的识别结果与步骤S124中获取到的道路标志信息进行对照，由此来确定辅助标志的类别。继而，根据确定出的辅助标志的类别和步骤S123中确定出的主标志的类别来判断适用于自身车辆的管制内容，按照该管制内容来决定自身车辆的控制内容。

如以上所说明，在本实施方式的道路标志识别装置10中，可以对设置辅助标志的可能性较高的区域优先实施辅助标志的识别处理。因此，即便在出现多个应根据主标志的识别结果来实施辅助标志的识别处理的候选区域、由于处理时间的制约而无法对所有候选区域实施识别处理的情况下，也会以辅助标志出现的可能性较高的区域为优先来实施识别处理，从而能高精度地识别辅助标志。

根据以上说明过的本发明的第5实施方式，除了第1实施方式～第4实施方式中说明过的各作用效果(1)～(6)以外，还取得以下作用效果(7)。

(7)组合信息T152、T153包含与每一主标志的辅助标志的并设容易度相关的信息。道路标志识别部102在从图像中识别出多个主标志的情况下，以这多个主标志当中在组合信息T152、T153中辅助标志的并设容易度较高的主标志T141的周边为优先来实施辅助标志的识别处理(步骤S125～S128)。因此，即便在从图像中误识别出多个主标志的情况下，也能高精度地识别辅助标志。

[第6实施方式]

接着，对本发明的第6实施方式进行说明。图12为表示本发明的第6实施方式的道路标志识别装置的构成的功能框图。如图12所示，本实施方式的道路标志识别装置10A与图1中说明过的第1实施方式的道路标志识别装置10一样，与摄像装置20及车辆控制装置30连接。本实施方式的道路标志识别装置10A具备图像获取部201、道路标志识别部202、道路标志数据记录部203、车辆控制信息确定部204以及行驶环境获取部205。道路标志识别装置10A例如是使用具有CPU等运算装置和ROM、RAM、闪存等存储装置的电脑来构成的，通过由运算装置执行存储装置中储存的控制程序而作为上述各功能块进行动作。

再者，也可使用FPGA等硬件来构成道路标志识别装置10A所具有的功能的一部分或全部。

与图1的图像获取部101一样，图像获取部201通过控制摄像装置20的动作来获取摄像装置20拍摄到的图像而输出至道路标志识别部202。

与图1的道路标志识别部102一样，道路标志识别部202从图像获取部201所获取到的图像中识别道路标志，并将其识别结果输出至车辆控制信息确定部204。

道路标志数据记录部203中储存有与对自身车辆所行驶的道路设置的各种道路标志相关的道路标志信息。例如像第1～第5各实施方式中说明过的那样，该道路标志信息包含表示道路标志当中可能获取到的主标志与辅助标志的各种组合的信息、表示每一组合的出现频次的信息、表示每一主标志的辅助标志的并设容易度的信息等。进而，本实施方式中使用的道路标志信息包含与每一道路标志的行驶环境相关的信息。该信息按道路标志的每一种类来表示设置该道路标志的可能性较高的道路的特征，例如借助高速公路、市区道路等道路类别来加以表现。该信息例如根据每一国家或地域的道路标志的设置基准、设置数来决定。或者，也可将多个国家或地域的道路标志信息与对应于各道路标志的行驶环境的信息一起储存在道路标志数据记录部203中。

行驶环境获取部205获取自身车辆周边的行驶环境信息。例如，获取自身车辆正在行驶的道路的类别、自身车辆正在行驶的国家或地域的信息作为自身车辆周边的行驶环境信息。继而，将获取到的行驶环境信息输出至车辆控制信息确定部204。行驶环境获取部205例如与未图示的汽车导航系统连接，可以从该汽车导航系统获取行驶环境信息。汽车导航系统例如根据GPS(Global Positioning System)信号等公知的定位信息来获取自身车辆的位置信息并参考预先存储的地图信息，由此，可以确定自身车辆周边的行驶环境信息。或者，也可通过无线通信从自身车辆外部获取行驶环境信息。

车辆控制信息确定部204根据道路标志识别部102得到的道路标志的识别结果、行驶环境获取部205获取到的行驶环境信息、以及道路标志数据记录部203中储存的道路标志信息来决定用于自身车辆的控制的车辆控制信息。

具体而言，例如车辆控制信息确定部204根据行驶环境获取部205获取到的行驶环境信息来确定道路标志数据记录部203中储存的道路标志信息当中与自身车辆的行驶环境相对应的道路标志信息。继而，根据道路标志识别部102得到的主标志及辅助标志的识别结果和与自身车辆的行驶环境相对应的道路标志信息所表示的主标志与辅助标志的关系性而与图1的车辆控制信息确定部104同样地确定辅助标志的类别，并根据该辅助标志的类别来决定车辆控制信息。由此，可以考虑自身车辆的行驶环境来准确地确定辅助标志的类别、决定车辆控制信息。由车辆控制信息确定部204决定的车辆控制信息从道路标志识别装置10A输出至车辆控制装置30。

接着，以图13所示的场景下的动作为例对以上说明过的本实施方式的道路标志识别装置10A的动作进行说明。图13展示了自身车辆正在普通道路上行驶、在自身车辆前方设置有主标志与辅助标志组合而成的道路标志的场景。图13中，主标志T201为前文所述的最高速度50km标志，辅助标志T202为前文所述的开始标志。根据这些标志的组合得知，从主标志T201及辅助标志T202组合而成的道路标志的设置地点起，自身车辆的最高速度在前方限制在时速50km。

图14为表示本发明的第6实施方式的道路标志识别装置10A的处理的流程的流程图。本实施方式的道路标志识别装置10A例如通过CPU等运算装置在每一规定的处理周期中实施图14的流程图所示的处理。下面，按照该图14的流程图对图13的场景下的道路标志识别装置10A的具体的动作例进行说明。

在步骤S201中，通过图像获取部201获取利用摄像装置20拍摄自身车辆周围得到的图像。此处，获取通过由摄像装置20拍摄图13所示的场景得到的包含主标志T201的像以及辅助标志T202的像的图像作为之后的处理对象图像。

在步骤S202～S205中，通过道路标志识别部202来分别实施与图3的步骤S101～S105同样的处理。由此，在图像中分别检测出图13的主标志T201及辅助标志T202，确定主标志T201的类别为最高速度50km标志，并按每一类别算出辅助标志T202的识别得分。

在步骤S206中，通过行驶环境获取部205获取与自身车辆的位置相对应的前文所述那样的信息作为自身车辆周边的行驶环境信息。此处，例如获取表示自身车辆正在行驶的道路的类别为普通道路的信息作为自身车辆周边的行驶环境信息。

在步骤S207中，通过车辆控制信息确定部204从道路标志数据记录部203获取基于步骤S203的识别结果的道路标志信息。在该处理中，读出道路标志数据记录部203中储存的道路标志信息当中与步骤S203中确定出的主标志的类别相对应的道路标志信息。

图15为表示本发明的第6实施方式中储存在道路标志数据记录部203中的道路标志信息T211的例子的图。图15所示的道路标志信息T211中包含与最高速度50km标志相对应的组合信息T212和与最高速度100km标志相对应的组合信息T213，与图4一样，这些组合信息T212、T213中分别记载有与各辅助标志的组合的可否。

进而，组合信息T212、T213中还分别记载有可能设置各辅助标志的道路的类别作为每一辅助标志的设置环境。在图15的道路标志信息T211中，组合信息T212表现了以下情况：最高速度50km标志在普通道路上可能与开始标志并设，在高速公路上可能与卡车标志并设，不会与乘用车标志或牵引车辆标志并设。另一方面，组合信息T213表现了以下情况：最高速度100km标志在普通道路上可能与乘用车标志并设，在高速公路上可能与牵引车辆标志并设，不会与开始标志或卡车标志并设。

在之后的说明中，在步骤S203的主标志识别处理中，像前文所述那样针对图13的场景而获得了主标志T201的类别为最高速度50km标志这一识别结果。因此，在步骤S207的道路标志信息获取处理中，车辆控制信息确定部204获取道路标志数据记录部203中储存的道路标志信息T211中的与最高速度50km标志相关的辅助标志的组合信息T212。

返回至图14的说明，在步骤S208中，通过车辆控制信息确定部204而根据步骤S203、S205中分别得到的主标志及辅助标志的识别结果、步骤S206中获取到的行驶环境信息、以及步骤S207中获取到的道路标志信息来决定自身车辆的控制内容。在该处理中，对步骤S205中得到的辅助标志的识别结果以及步骤S206中获取到的行驶环境信息与步骤S207中获取到的道路标志信息进行对照，由此来确定辅助标志的类别。继而，根据确定出的辅助标志的类别和步骤S203中确定出的主标志的类别来判断适用于自身车辆的管制内容，按照该管制内容来决定自身车辆的控制内容。

图16为表示本实施方式的道路标志识别装置10A中在步骤S205中得到的辅助标志T202的识别结果T221的例子的图。在图16所示的识别结果T221中，横轴表示辅助标志的类别，纵轴表示对应于各类别的识别得分。此处，识别得分越高，表示识别的准确度越高。图16的识别结果T221表示对于辅助标志T202而言得到了按照卡车标志、开始标志、乘用车标志、牵引车辆标志的顺序从高到低的识别得分。即，对于像图13所示那样实际上为开始标志的辅助标志T202而言，卡车标志的识别得分最高。

在步骤S208的车辆控制内容决定处理中，车辆控制信息确定部204根据步骤S206中获取到的行驶环境信息，在步骤S207中获取到的组合信息T212当中确定与自身车辆的行驶环境相对应的组合条件，将满足该组合条件的辅助标志的类别当中在识别结果T221中识别得分最高的辅助标志的类别确定为辅助标志T202的类别。具体而言，图16的识别结果T221中识别得分最高的卡车标志在图15的组合信息T212中对于高速公路而言组合条件为“〇”，表示在获取到的行驶环境信息所表示的普通道路上不会与最高速度50km标志并设。因此，判断辅助标志T202不可能是卡车标志，从而将卡车标志从辅助标志T202的类别中排除。另一方面，识别结果T221中识别得分第二高的开始标志在图15的组合信息T212中对于普通道路而言组合条件为“〇”，表示在获取到的行驶环境信息所表示的普通道路上可能会与最高速度50km标志并设。因此，将开始标志确定为辅助标志T202的类别。结果，针对辅助标志T202而获得正确的识别结果。

当在步骤S208中决定了自身车辆的控制内容时，车辆控制信息确定部204生成与该控制内容相应的车辆控制信息并输出至车辆控制装置30。其后，结束图14的流程图所示的处理。

如以上所说明，在本实施方式的道路标志识别装置10A中，获取自身车辆正在行驶的道路的类别作为行驶环境信息，使用它来确定辅助标志的类别。因此，能够考虑自身车辆的行驶环境来确定辅助标志的类别，从而能进一步提高识别性能。

再者，在图14的流程图中，在步骤S202～S207中依序实施了圆检测处理、主标志识别处理、矩形检测处理、辅助标志识别处理、行驶环境信息获取处理、道路标志信息获取处理。但也可调换这些处理的实施顺序。例如，也能以如下方式变更处理顺序：在实施步骤S202的圆检测处理和步骤S203的主标志识别处理之后，实施步骤S206的行驶环境信息获取处理和步骤S207的道路标志信息获取处理，其后实施步骤S204的矩形检测处理和步骤S205的辅助标志识别处理。在该情况下，基于步骤S206中获取到的行驶环境信息、根据步骤S207中获取到的道路标志信息来确定与自身车辆的行驶环境相对应的辅助标志的类别，在其后的矩形检测处理和辅助标志识别处理中，也可以仅将确定出的辅助标志的类别作为识别对象。具体而言，例如在步骤S206中获取到表示高速公路的行驶环境信息，在接下来的步骤S207中获取到的道路标志信息中记载有可能设置在高速公路上的辅助标志为卡车标志和牵引车辆标志这一内容。在该情况下，在步骤S205的辅助标志识别处理中，可以仅将卡车标志和牵引车辆标志作为识别对象来实施使用它们的模板图像的图像识别。

通过如以上说明过的处理，可以根据自身车辆的行驶环境来限定视为识别对象的道路标志的种类。因此，可以削减模板匹配时利用的模板图像的数量，从而能更高速地确定道路标志的种类。

根据以上说明过的本发明的第6实施方式，除了第1实施方式～第5实施方式中说明过的各作用效果(1)～(7)以外，还取得以下作用效果(8)、(9)。

(8)道路标志识别装置10A还具备获取自身车辆周边的行驶环境信息的行驶环境获取部205。道路标志信息T211包含与每一道路标志的行驶环境相关的信息。车辆控制信息确定部204根据道路标志识别部202得到的道路标志的识别结果、行驶环境获取部205获取到的行驶环境信息、以及道路标志数据记录部203中储存的道路标志信息T211来决定车辆控制信息(步骤S208)。因此，可以考虑自身车辆的行驶环境而根据道路标志的识别结果来更恰当地决定自身车辆的控制内容。

(9)道路标志信息T211包含与主标志和辅助标志的每一道路类别的组合相关的组合信息T212、T213。车辆控制信息确定部204根据道路标志识别部202得到的主标志T201的识别结果而从道路标志数据记录部203获取与该主标志T201相对应的组合信息T212(步骤S207)。

在步骤S208中，根据步骤S207中获取到的组合信息T212、步骤S205中的道路标志识别部202得到的辅助标志T202的识别结果、以及步骤S206中由行驶环境获取部205获取到的行驶环境信息所表示的道路类别来确定用于车辆控制信息的决定的辅助标志T202的类别。因此，可以根据自身车辆正在行驶的道路的类别来准确地确定辅助标志的类别，从而用于车辆控制信息的决定。

[第7实施方式]

接着，对本发明的第7实施方式进行说明。在本实施方式中，下面对根据自身车辆正在行驶的国家或地域来切换确定辅助标志的类别时所使用的道路标志信息的例子进行说明。

再者，在本实施方式的道路标志识别装置10A中，在道路标志数据记录部203中针对自身车辆可能行驶的多个国家或地域分别储存有内容按各个国家或地域而不同的道路标志信息。即，在本实施方式中，在道路标志数据记录部203中储存有反应并设定了按每一国家或地域而不同的道路标志的设置条件、设置状况的道路标志信息。除此以外与第6实施方式中在图12中说明过的相同，因此以下省略说明。

以图17所示的场景下的动作为例对本实施方式的道路标志识别装置10A的动作进行说明。图17展示了自身车辆正在日本国内行驶、在自身车辆的前方设置有主标志与辅助标志组合而成的道路标志的场景。图17中，主标志T231和辅助标志T232与前文所述的图13的场景一样分别为最高速度50km标志和开始标志。

图18为表示本发明的第7实施方式的道路标志识别装置10A的处理的流程的流程图。本实施方式的道路标志识别装置10A例如通过CPU等运算装置在每一规定的处理周期中实施图18的流程图所示的处理。下面，按照该图18的流程图对图17的场景下的道路标志识别装置10A的具体的动作例进行说明。

在步骤S211中，通过行驶环境获取部205获取表示自身车辆正在行驶的国家或地域的行驶国信息作为自身车辆周边的行驶环境信息。此处，例如分别获取基于GPS信号的自身车辆的位置信息和汽车导航系统或道路标志识别装置10A内的存储器中预先登记的地图信息作为行驶环境信息并对它们进行对照，由此确定自身车辆的行驶国为日本。

在步骤S212中，根据步骤S211中获取到的行驶国信息来切换道路标志数据记录部203中储存的道路标志信息当中在后文叙述的步骤S219中实施的道路标志信息获取处理中视为获取对象的道路标志信息。由此，像前文所述那样按每一国家或地域加以分类而储存在道路标志数据记录部203中的道路标志信息当中例如与日本相对应的道路标志信息被选择作为之后的处理中加以利用的道路标志信息。

图19为表示本发明的第7实施方式中储存在道路标志数据记录部203中的道路标志信息T241的例子的图。图19所示的道路标志信息T241包含有记载有与日本的道路标志相关的信息的道路标志信息T242和记载有与德国的道路标志相关的信息的道路标志信息T243。与前文所述的各实施方式一样，这些道路标志信息T242、T243中包含有与各种主标志与辅助标志的组合相关的信息。

对于图17的场景，在像前文所述那样在步骤S211中得到了表示自身车辆的行驶国为日本这一内容的行驶国信息的情况下，在步骤S212的国别信息切换处理中选择道路标志数据记录部203中储存的道路标志信息T241中的日本相关的道路标志信息T242作为之后的处理中的利用对象。

返回至图18的说明，在步骤S213～S220中，通过图像获取部201、道路标志识别部202、车辆控制信息确定部204以及行驶环境获取部205来分别实施与图14的步骤S201～S208同样的处理。当在步骤S220中决定了自身车辆的控制内容时，车辆控制信息确定部204生成与该控制内容相应的车辆控制信息并输出至车辆控制装置30。其后，结束图18的流程图所示的处理。

如以上所说明，在本实施方式的道路标志识别装置10A中，在道路标志数据记录部203中储存有按每一国家或地域分类好的道路标志信息，根据自身车辆的行驶国来切换要利用的行驶环境信息。因此，即便在道路标志的设置条件、设置状况按每一国家或地域而不同的情况下，也能准确地确定道路标志的类别。

再者，在本实施方式中，对以国家单位来切换道路标志数据记录部203中储存的道路标志信息的例子进行了说明，但也可按欧洲、亚洲等每一地域来实施道路标志信息的切换。由此，可以削减道路标志数据记录部203中储存的信息量，所以会削减存储器等的存储容量。

此外，在图18的流程图中，是首先在步骤S211、S212中实施行驶国信息的获取和国别信息的切换处理，其后依序实施步骤S213之后的各处理。但也可调换这些处理的实施顺序。例如，也可在步骤S215中实施主标志识别处理之后或者在步骤S217中实施辅助标志识别处理之后实施行驶国信息的获取和国别信息的切换处理。

只要能根据自身车辆正在行驶的国家或地域来切换要在步骤S220的车辆控制信息决定处理中利用的道路标志信息，各处理的实施顺序可以任意变更。

在本实施方式中，对道路标志数据记录部203中储存有自身车辆可能行驶的多个国家或地域相关的道路标志信息的例子进行了说明，而在工厂或生产线的阶段就确定了要使用道路标志识别装置10A的国家的情况下，也可在该阶段确定要储存至道路标志数据记录部203中的道路标志信息的内容。由此，可以将道路标志数据记录部203中储存的信息限定在特定的国家或地域，所以会削减存储器等的存储容量。

根据以上说明过的本发明的第7实施方式，除了第1实施方式～第6实施方式中说明过的各作用效果(1)～(9)以外，还取得以下作用效果(10)。

(10)道路标志数据记录部203针对多个国家或地域而分别储存有道路标志信息。车辆控制信息确定部204根据步骤S211中由行驶环境获取部205获取到的行驶环境信息所表示的国家或地域来切换要在步骤S220的处理中用于车辆控制信息的决定的道路标志信息。因此，可以根据自身车辆正在行驶的国家或地域来利用最佳的道路标志信息而进行车辆控制信息的决定。

[第8实施方式]

接着，对本发明的第8实施方式进行说明。图20为表示本发明的第8实施方式的道路标志识别装置的构成的功能框图。如图20所示，本实施方式的道路标志识别装置10B与图1、图12中分别说明过的道路标志识别装置10、10A一样与摄像装置20及车辆控制装置30连接。本实施方式的道路标志识别装置10B具备图像获取部301、道路标志识别部302、道路标志数据记录部303、车辆控制信息确定部304、行驶环境获取部305以及道路标志信息重写部306。道路标志识别装置10B例如是使用具有CPU等运算装置和ROM、RAM、闪存等存储装置的电脑来构成的，通过由运算装置执行存储装置中储存的控制程序而作为上述各功能块进行动作。再者，也可使用FPGA等硬件来构成道路标志识别装置10B所具有的功能的一部分或全部。

与图1的图像获取部101、图12的图像获取部201一样，图像获取部301通过控制摄像装置20的动作来获取摄像装置20拍摄到的图像而输出至道路标志识别部302。与图1的道路标志识别部102、图12的道路标志识别部202一样，道路标志识别部302从图像获取部301所获取到的图像中识别道路标志，并将其识别结果输出至车辆控制信息确定部304和道路标志信息重写部306。

道路标志数据记录部303中储存有对自身车辆所行驶的道路设置的与各种道路标志相关的道路标志信息。像第1实施方式中说明过的那样，该道路标志信息中包含表示道路标志当中可能获取到的主标志与辅助标志的各种组合的信息。进而，也可以将像其他各实施方式中说明过的各种信息包含在本实施方式的道路标志信息中。

与图12的行驶环境获取部205一样，行驶环境获取部305获取自身车辆正在行驶的道路的类别、自身车辆正在行驶的国家或地域的信息等作为自身车辆周边的行驶环境信息。继而，将获取到的行驶环境信息输出至车辆控制信息确定部304。

与图12的车辆控制信息确定部204一样，车辆控制信息确定部304根据道路标志识别部302得到的道路标志的识别结果、行驶环境获取部305获取到的行驶环境信息、以及道路标志数据记录部303中储存的道路标志信息来决定用于自身车辆的控制的车辆控制信息。由车辆控制信息确定部304决定的车辆控制信息从道路标志识别装置10B输出至车辆控制装置30。

道路标志信息重写部306根据道路标志识别部302得到的道路标志的识别结果来实施道路标志数据记录部303中储存的道路标志信息的重写处理。具体而言，在尽管道路标志识别部302得到的道路标志的识别结果中得到了极高的识别准确度但该识别结果与道路标志数据记录部303中储存的道路标志信息中记载的内容不一致的情况下，根据道路标志的识别结果来重写道路标志信息。此时，可根据针对从摄像装置20输出的单一帧图像的道路标志的识别结果来重写道路标志信息，或者，也可根据针对多帧图像的道路标志的识别结果来判断重写的必要性，根据该判断结果来实施道路标志信息的重写。

接着，以图21所示的场景下的动作为例对以上说明过的本实施方式的道路标志识别装置10B的动作进行说明。图21展示了自身车辆正在高速公路上行驶、在自身车辆的前方设置有主标志与辅助标志组合而成的道路标志的场景。图21中，主标志T301为前文所述的最高速度50km标志，辅助标志T302为前文所述的牵引车辆标志。根据这些标志的组合得知，牵引车辆的最高速度限制在时速50km。

图22为表示本发明的第8实施方式的道路标志识别装置10B的处理的流程的流程图。本实施方式的道路标志识别装置10B例如通过CPU等运算装置在每一规定的处理周期中实施图22的流程图所示的处理。下面，按照该图22的流程图对图21的场景下的道路标志识别装置10B的具体的动作例进行说明。

在步骤S301中，通过图像获取部301获取利用摄像装置20拍摄自身车辆周围得到的图像。此处，获取通过由摄像装置20拍摄图21所示的场景得到的包含主标志T301的像以及辅助标志T302的像的图像作为之后的处理对象图像。

在步骤S302～S307中，通过道路标志识别部302、车辆控制信息确定部304以及行驶环境获取部305来分别实施与图14的步骤S202～S207同样的处理。由此，在图像中分别检测出图21的主标志T301及辅助标志T302，确定主标志T301的类别为最高速度50km标志，并按每一类别算出辅助标志T302的识别得分。此外，获取表示自身车辆正在行驶的道路的类别为高速公路的信息作为自身车辆周边的行驶环境信息。继而，通过车辆控制信息确定部304读出道路标志数据记录部303中储存的道路标志信息当中与步骤S303中确定出的主标志的类别相对应的道路标志信息。

图23为表示本发明的第8实施方式中储存在道路标志数据记录部303中的重写前的道路标志信息T311的例子的图。与前文所述的图15所示的道路标志信息T211一样，图23所示的道路标志信息T311包含与最高速度50km标志相对应的组合信息T312和与最高速度100km标志相对应的组合信息T313，这些组合信息T312、T313中分别记载有与各辅助标志的组合的可否和可能设置各辅助标志的道路的类别。

在之后的说明中，在步骤S303的主标志识别处理中，像前文所述那样针对图21的场景而获得了主标志T301的类别为最高速度50km标志这一识别结果。此外，在步骤S306的行驶环境信息获取处理中，像前文所述那样获取到了表示自身车辆正在行驶的道路的类别为高速公路的信息作为自身车辆周边的行驶环境信息。因此，在步骤S307的道路标志信息获取处理中，车辆控制信息确定部304获取道路标志数据记录部303中储存的道路标志信息T311中的与最高速度50km标志相关的辅助标志的组合信息T312。

返回至图22的说明，在步骤S308中，通过道路标志信息重写部306而根据步骤S305中得到的辅助标志的识别结果和步骤S307中由车辆控制信息确定部304从道路标志数据记录部303获取到的道路标志信息来判断有无进行道路标志信息的重写的必要。具体而言，判定步骤S305中得到的辅助标志的识别结果中对应于某一类别的识别得分是否大于规定阈值(第1条件)而且该辅助标志的类别与主标志的类别的组合内容是否与步骤S306中读出的道路标志信息中记载的内容不匹配(第2条件)。结果，在这两个条件都满足的情况下，判断有必要进行道路标志信息的重写而前进至步骤S309，在至少一个条件不满足的情况下，判断不必进行道路标志信息的重写而前进至步骤S310。

在步骤S309中，通过道路标志信息重写部306来实施道路标志数据记录部303中储存的道路标志信息的重写处理。此处，按照步骤S305中得到的辅助标志的识别结果来重写道路标志数据记录部303中储存的道路标志信息中的有关部分的内容。由此，在尽管通过图像识别得到的辅助标志的识别结果的准确度较高但道路标志数据记录部303中储存的道路标志信息的内容与辅助标志的识别结果不一致的情况下，使用辅助标志的识别结果将道路标志信息重写为正确的内容。当步骤S309中完成了道路标志信息的重写时，前进至步骤S310。

图24为表示本实施方式的道路标志识别装置10B中在步骤S305中得到的辅助标志T302的识别结果T321的例子的图。在图24所示的识别结果T321中，横轴表示辅助标志的类别，纵轴表示对应于各类别的识别得分。此处，识别得分越高，表示识别的准确度越高。图24的识别结果T321表现了如下情况：对应于牵引车辆标志的识别得分为0.85，是最高的值，除此以外的对应于开始标志、乘用车标志、卡车标志这各类别的识别得分均为0.05。

在步骤S308中，作为针对前文所述的两个条件中的第1条件的判定，道路标志信息重写部306将识别结果T321中的辅助标志的每一类别的识别得分的值分别与规定阈值进行比较，针对某一辅助标志的类别而判定识别得分是否超过阈值。例如在阈值设定成0.8的情况下，在图24的识别结果T321中，牵引车辆标志的识别得分为0.85，超过了阈值。因此，判定识别结果T321满足第1条件。

此外，在步骤S308中，作为针对前文所述的两个条件中剩下的第2条件的判定，道路标志信息重写部306判定识别结果T321的内容是否与步骤S307中获取到的组合信息T312的内容一致。例如，在像上述那样判定识别结果T321中牵引车辆标志的识别得分超过了阈值的情况下，在图23的组合信息T312中，牵引车辆标志与最高速度50km标志的组合条件为“×”，与识别结果T321不一致。因此，判定识别结果T321也满足第2条件。

在像上述那样判定第1条件、第2条件都满足的情况下，道路标志信息重写部306在步骤S309中根据识别结果T321来重写道路标志数据记录部303中储存的道路标志信息T311中的组合信息T312的内容。由此，反映识别结果T321来更新道路标志数据记录部303。

图25为表示本发明的第8实施方式中储存在道路标志数据记录部303中的重写后的道路标志信息T331的例子的图。在图25所示的道路标志信息T331中，与图23所示的重写前的道路标志信息T311相比，组合信息T332当中表示牵引车辆标志的组合条件的部分T333的记载内容得到了重写。具体而言，牵引车辆标志与最高速度50km标志的组合条件从“×”重写为“〇”，而且记载了高速公路上有可能设置牵引车辆标志这一内容。

返回至图22的说明，在步骤S310中，通过车辆控制信息确定部304而根据步骤S303、S305中分别得到的主标志及辅助标志的识别结果、步骤S306中获取到的行驶环境信息、以及步骤S307中获取到的道路标志信息来决定自身车辆的控制内容。在该处理中，与图14的步骤S208一样，对步骤S305中得到的辅助标志的识别结果以及步骤S306中获取到的行驶环境信息与步骤S307中获取到的道路标志信息进行对照，由此来确定辅助标志的类别。此时，在步骤S309中重写了道路标志数据记录部303中储存的道路标志信息的情况下，使用重写后的道路标志信息来确定辅助标志的类别。继而，根据确定出的辅助标志的类别和步骤S303中确定出的主标志的类别来判断适用于自身车辆的管制内容，按照该管制内容来决定自身车辆的控制内容。

当在步骤S310中决定了自身车辆的控制内容时，车辆控制信息确定部304生成与该控制内容相应的车辆控制信息并输出至车辆控制装置30。其后，结束图22的流程图所示的处理。

如以上所说明，在本实施方式的道路标志识别装置10B中，在得到的道路标志的识别结果的准确度较高的情况下重写道路标志数据记录部303中储存的道路标志信息。由此，即便在道路标志的设置条件发生了变化的情况下也能准确地识别道路标志。

再者，在本实施方式中，对重写道路标志数据记录部303中储存的道路标志信息T311当中对应于最高速度50km标志的组合信息T312的一部分的例子进行了说明，但也可重写其他部分。道路标志信息重写部306可以在道路标志数据记录部303中储存的道路标志信息中任意重写任何信息。

此外，在本实施方式中，对根据针对从摄像装置20输出的单一帧图像的道路标志的识别结果来判断有无必要实施道路标志数据记录部303中储存的道路标志信息的重写处理的例子进行了说明，但也可根据针对同一场景下得到的多帧图像的道路标志的识别结果来判断道路标志信息的重写处理的必要性。具体而言，例如将图22的步骤S308中的第1条件替换为多帧图像中的道路标志的识别得分的平均值在规定值以上这一条件。由此，可以防止因单一帧的识别得分突发性地升高而误重写道路标志信息这一情况。

进而，也可根据多个场景下的道路标志的识别结果来判断道路标志信息的重写处理的必要性。具体而言，例如将每单个场景下得到的识别得分储存在存储器中，计算多个场景间的识别得分的平均值。继而，判定多个场景间的识别得分的平均值是否在规定值以上，在规定值以上的情况下，判定满足前文所述的第1条件。由此，例如即便在单个场景下因道路标志被其他车辆等遮挡而没有得到足够值的识别得分的情况下，也能准确地实施道路标志信息的重写。

在本实施方式中，对道路标志识别装置10B具有行驶环境获取部305的例子进行了说明，但没有行驶环境获取部305也不要紧。在该情况下，图22的流程图中可以省略步骤S306的行驶环境信息获取处理。此外，在步骤S310的处理中，与图3的步骤S107一样，不使用行驶环境信息而根据步骤S303、S305中分别得到的主标志及辅助标志的识别结果和步骤S307中获取到的道路标志信息来决定自身车辆的控制内容即可。如此一来，道路标志信息重写部306也可以根据道路标志识别部302得到的道路标志的识别结果来实施道路标志数据记录部303中储存的道路标志信息的重写处理。

根据以上说明过的本发明的第8实施方式，除了第1实施方式～第7实施方式中说明过的各作用效果(1)～(10)以外，还取得以下作用效果(11)。

(11)道路标志识别装置10B还具备根据道路标志识别部302得到的道路标志的识别结果来重写道路标志数据记录部303中储存的道路标志信息的道路标志信息重写部306。因此，即便在道路标志的设置条件发生了变化的情况下，也可以根据实际环境来正确地更新道路标志而应用于道路标志的识别。

再者，在以上说明过的第1～第8各实施方式中，记载了道路标志数据记录部103、203、303中储存的道路标志信息包含主标志与辅助标志的组合信息、利用该组合信息来确定辅助标志的类别的例子，但也可将其他信息包含在道路标志信息中而储存在道路标志数据记录部103、203、303中。

例如，可以将与主标志和主标志的组合相关的信息、与辅助标志和辅助标志的组合相关的信息等作为道路标志信息储存在道路标志数据记录部103、203、303中。如此一来，即便在同一场景内出现多个主标志或多个辅助标志的情况下，也可以利用道路标志数据记录部103、203、303中储存的与这多个标志彼此的组合相关的道路标志信息来准确地确定用于车辆控制的道路标志的类别。

此外，在上述各实施方式中，对进行道路标志的识别的道路标志识别装置进行了说明，但本发明的对象并不限定于道路标志识别装置。例如，在识别指示目的地的看板等其他对象的装置中也能运用本发明。

以上说明过的实施方式、各种变化例只是一例，只要无损发明的特征，本发明便不限定于这些内容。本发明不限定于上述实施方式和变形例，可以在不脱离本发明的宗旨的范围内进行各种变更。可以在本发明的范围内对本发明的构成或详情加入本领域技术人员能够理解的各种变更。

符号说明

10、10A、10B…道路标志识别装置，20…摄像装置，30…车辆控制装置，101、201、301…图像获取部，102、202、302…道路标志识别部，103、203、303…道路标志数据记录部，104、204、304…车辆控制信息确定部，205、305…行驶环境获取部，306…道路标志信息重写部。

Claims (11)

1.一种道路标志识别装置，其特征在于，具备：

图像获取部，其获取图像；

道路标志识别部，其从所述图像获取部所获取到的所述图像中识别道路标志；

道路标志数据记录部，其储存与多种道路标志的组合相关的道路标志信息；以及

车辆控制信息确定部，其决定用于自身车辆的控制的车辆控制信息，

所述车辆控制信息确定部根据所述道路标志识别部得到的道路标志的识别结果和所述道路标志数据记录部中储存的所述道路标志信息来决定所述车辆控制信息。

2.根据权利要求1所述的道路标志识别装置，其特征在于，

所述道路标志信息包含与主标志和辅助标志的组合相关的组合信息。

3.根据权利要求2所述的道路标志识别装置，其特征在于，

所述组合信息包含主标志和辅助标志的每一组合的出现频次的信息。

4.根据权利要求2所述的道路标志识别装置，其特征在于，

所述组合信息包含与每一主标志的辅助标志的并设容易度相关的信息，

所述道路标志识别部在从所述图像中识别出多个主标志的情况下，以所述多个主标志当中在所述组合信息中所述辅助标志的并设容易度较高的主标志的周边为优先来实施辅助标志的识别处理。

5.根据权利要求2至4中任一项所述的道路标志识别装置，其特征在于，

所述车辆控制信息确定部根据所述道路标志识别部得到的主标志的识别结果从所述道路标志数据记录部获取与该主标志相对应的所述组合信息，根据获取到的所述组合信息以及所述道路标志识别部得到的辅助标志的识别结果来确定用于所述车辆控制信息的决定的辅助标志的类别。

6.根据权利要求5所述的道路标志识别装置，其特征在于，

在所述道路标志识别部对辅助标志的识别精度在规定值以上的情况下，所述车辆控制信息确定部在不使用所述道路标志数据记录部中储存的所述组合信息的情况下确定用于所述车辆控制信息的决定的辅助标志的类别。

7.根据权利要求5所述的道路标志识别装置，其特征在于，

在所述道路标志识别部对辅助标志的识别精度不到规定值的情况下，所述车辆控制信息确定部相较于所述道路标志识别部得到的辅助标志的识别结果而言优先使用从所述道路标志数据记录部获取到的所述组合信息来确定用于所述车辆控制信息的决定的辅助标志的类别。

8.根据权利要求1至4中任一项所述的道路标志识别装置，其特征在于，

还具备获取所述自身车辆周边的行驶环境信息的行驶环境获取部，

所述道路标志信息包含与每一道路标志的行驶环境相关的信息，

所述车辆控制信息确定部根据所述道路标志识别部得到的道路标志的识别结果、所述行驶环境获取部获取到的所述行驶环境信息、以及所述道路标志数据记录部中储存的所述道路标志信息来决定所述车辆控制信息。

9.根据权利要求8所述的道路标志识别装置，其特征在于，

所述道路标志信息包含与主标志和辅助标志的每一道路类别的组合相关的组合信息，

所述车辆控制信息确定部根据所述道路标志识别部得到的主标志的识别结果，从所述道路标志数据记录部获取与该主标志相对应的所述组合信息，根据获取到的所述组合信息、所述道路标志识别部得到的辅助标志的识别结果、以及所述行驶环境获取部获取到的所述行驶环境信息所表示的道路类别来确定用于所述车辆控制信息的决定的辅助标志的类别。

10.根据权利要求8所述的道路标志识别装置，其特征在于，

所述道路标志数据记录部针对多个国家或地域而分别储存有所述道路标志信息，

所述车辆控制信息确定部根据所述行驶环境获取部获取到的所述行驶环境信息所表示的国家或地域来切换用于所述车辆控制信息的决定的所述道路标志信息。

11.根据权利要求1至4中任一项所述的道路标志识别装置，其特征在于，

还具备根据所述道路标志识别部得到的道路标志的识别结果来重写所述道路标志数据记录部中储存的所述道路标志信息的道路标志信息重写部。

Images