CN1841023A

CN1841023A - 车辆位置识别装置及车辆位置识别方法

Info

Publication number: CN1841023A
Application number: CNA2006100069549A
Authority: CN
Inventors: 宫岛孝幸; 中村正树; 中村元裕
Original assignee: Aisin AW Co Ltd; Toyota Motor Corp
Current assignee: Aisin AW Co Ltd; Toyota Motor Corp
Priority date: 2005-01-28
Filing date: 2006-01-26
Publication date: 2006-10-04
Also published as: US20060233424A1; EP1686538A2; KR20060087449A; JP2006208223A

Abstract

一种车辆位置识别装置和车辆位置识别方法，其利用由装载在车辆上的拍摄装置拍摄的图像信息及地图信息和车辆信息，能更详细地确定车辆在行驶的道路中的位置，其具有：获取由装载在车辆的拍摄装置(2)至少拍摄道路路面的图像信息的图像信息获取机构(3)；从地图信息获取有关图像信息的拍摄位置周边的地上物的道路特征信息的道路特征信息获取机构(9)；对图像信息进行识别处理并识别出包含在图像信息的对应于地上物的识别对象物的图像的图像信息识别机构(10)；基于由道路特征信息获取机构获取的道路特征信息、由图像信息识别机构识别的识别对象物的图像在图像信息中的配置，确定车辆在道路宽度方向的位置的车辆位置确定机构(17)。

Description

车辆位置识别装置及车辆位置识别方法

技术领域

本发明涉及一种装载在车辆等上并对在道路上拍摄的图像信息中所包含的规定的识别对象物的图像进行识别，并对车辆的道路宽度方向的位置进行确定处理的车辆位置识别装置及车辆位置识别方法。

背景技术

近年来，例如在导航装置等中，为了对行驶中的车辆的位置进行确定，而广泛采用通过利用来自GPS(Global Positioning System：全球定位系统)的电波信号来进行定位的方法。但是，这种利用GPS对车辆进行定位的精度含有几十m左右的误差，很难以更高精度进行详细的位置确定。因此，为了弥补该利用GPS定位的精度的缺点，至今为止已经提出了许多种技术。

作为这种技术，例如在下面的专利文献1中公开有如下的技术：对于利用装载在车辆上的拍摄装置来拍摄的图像信息，识别部基于图像的亮度等而识别车道线，并据此判定车辆行驶中的道路是一般道路还是高速公路。

即，该技术中，将在拍摄的图像中具有一定范围的窗口内的亮度超过一定基准的部分，识别为车道线的图像，或对拍摄的图像进行微分处理，并将由边界所包围的部分识别为车道线的图像。这样识别出的车道线作为长度、车道线之间空白部分的长度、车道线的重复间隔等这样的特征提取数据而输出到判定部中。并且，判定部基于分别在一般道路和高速公路进行规化的车道线的设置基准来进行处理而判定行驶中的道路是一般道路还是高速公路。

专利文献1：JP实开平5-23298号公报(第6-8页，第1-3图)。

根据上述技术，在例如一般道路和高速公路相邻而设置的情况下等，能判定车辆行驶在一般道路上还是高速公路上，因此可防止由于GPS的定位误差，而虽然车辆行驶在一般道路上却被判定为行驶在高速公路上，或者相反虽然行驶在高速公路上却被判定为行驶在一般道路上的情况。因此，可以对应于车辆行驶的道路是一般道路还是高速公路，而对车辆进行速度控制等。

但是，上述技术中，虽然能够判定车辆行驶中的道路是一般道路还是高速公路，却不能确认在行驶中的道路中的车辆位置，例如当车辆行驶在沿行驶方向有多条车道的道路时，不能确认车辆行驶在哪一条车道上等，从而不能确认车辆在行驶中的道路中的道路宽度方向的位置。

发明内容

本发明是鉴于上述问题而提出的，其目的在于提供一种通过除了利用装载在车辆上的拍摄装置在道路上拍摄的图像信息以外，还利用地图信息、车辆信息等，而能够对车辆在行驶中的道路中的位置进行更详细地确定的车辆位置识别装置及车辆位置识别方法。

为了达到上述目的，本发明的车辆位置识别装置的特征结构在于，具有：图像信息获取机构，其获取由装载在车辆上的拍摄装置至少拍摄了道路路面的图像信息；道路特征信息获取机构，其从地图信息中获取与上述图像信息的拍摄位置周边的地上物有关的道路特征信息；图像信息识别机构，其进行上述图像信息的识别处理，对上述图像信息中所包含的与上述地上物对应的识别对象物的图像进行识别；车辆位置确定机构，其基于由上述道路特征信息获取机构获取的上述道路特征信息、和由上述图像信息识别机构识别出的上述识别对象物的图像在上述图像信息中的配置，确定上述车辆在道路宽度方向上的位置。

根据该特征结构，通过除了利用装载在车辆上的拍摄装置拍摄的图像信息以外，还利用从地图信息获取的与图像信息的拍摄位置周边的地上物有关的道路特征信息，而能够对利用图像信息识别机构识别出的与上述地上物相对应的识别对象物的图像在图像信息中的配置、和道路特征信息进行对比，从而能够对车辆在行驶中的道路中的道路宽度方向上的位置进行确定。

这里，上述车辆位置确定机构优选采用如下的结构：对由上述图像信息识别机构识别出的1个或2个以上的识别对象物的图像在上述图像信息中的配置、和上述道路特征信息中所包含的与上述1个或2个以上的识别对象物对应的物体的位置信息进行对比，确定上述车辆在道路宽度方向上的位置。

这样，能够对特定的识别对象物的图像在图像信息中的配置、与包含在道路特征信息中的与该特定的识别对象物相对应的物体的位置信息进行对比，从而能够高精度地确定出拍摄装置在道路宽度方向上的拍摄位置、即车辆在道路宽度方向上的位置。

还有，上述图像信息识别机构优选采用如下的结构：从上述图像信息中提取上述识别对象物的候选图像，并与上述道路特征信息进行对比，将与上述道路特征信息匹配性高的上述候选图像识别为上述识别对象物的图像。

这样，由于能够将与从地图信息获取的道路特征信息匹配性高的候选图像识别为被识别对象物的图像，因此，即使被拍摄的图像信息中包含具有容易错误识别为识别对象物的图像的特征的地上物时，也可以提高识别对象物的识别率，从而能够高精度地确定车辆在道路宽度方向的位置。

本发明的车辆位置识别装置的进一步的特征结构在于，具有：图像信息获取机构，其获取由装载在车辆上的拍摄装置至少拍摄了道路路面的图像信息；道路特征信息获取机构，其从地图信息中获取与上述图像信息的拍摄位置周边的地上物有关的道路特征信息，而作为以在上述道路宽度方向上不同的多个位置为基准的每个位置的信息；图像信息识别机构，其进行上述图像信息的识别处理，对上述图像信息中所包含的与上述地上物对应的识别对象物的图像进行识别；车辆位置确定机构，其分别将由上述道路特征信息获取机构获取的上述道路宽度方向上的每个位置的道路特征信息，与由上述图像信息识别机构识别出的上述识别对象物的图像在上述图像信息中的配置进行对比，将作为匹配性高的上述道路特征信息的基准的道路宽度方向上的位置确定为上述车辆在道路宽度方向上的位置。

根据该特征结构，通过分别将从地图信息获取的以在道路宽度方向上不同的多个位置为基准的每个位置的道路特征信息，与基于利用装载在车辆上的拍摄装置拍摄的图像信息而由图像信息识别机构所识别出的识别对象物的图像在图像信息中的配置进行对比，将作为匹配性高的道路特征信息的基准的道路宽度方向上的位置确定为车辆在道路宽度方向上的位置，从而能够确定出车辆在行驶中的道路中的道路宽度方向的位置，同时由于能够使该确定用的运算处理为判断各位置的道路特征信息与图像信息识别机构的识别结果的匹配性的高低的处理，因此可以减轻进行用于确定车辆在道路宽度方向的位置的运算处理时的装置的负荷。

这里，优选具有车辆位置推测机构，该车辆位置推测机构基于来自车辆信息获取机构与过去路线获取机构中的一方或双方的信息来推测上述车辆在道路宽度方向上的位置，该车辆信息获取机构获取与上述车辆的前进道路有关的来自上述车辆的信息，该过去路线获取机构获取与上述车辆的过去行驶路线有关的信息，上述车辆位置确定机构基于上述车辆位置推测机构的推测结果，决定上述道路宽度方向上的每个位置的道路特征信息的对比的顺序。

这样，基于根据车辆现在的状况和过去的行驶路线等的车辆位置推测机构的推测结果，可以从将匹配的可能性高的道路宽度方向的位置作为基准的道路特征信息开始，先与图像信息识别机构的识别结果进行对比，因此能够提高用于确定车辆在道路宽度方向的位置的运算处理速度，同时能够进一步减轻进行该运算处理时的装置的负荷。

还有，优选具有车辆位置推测机构，该车辆位置推测机构基于来自车辆信息获取机构与过去路线获取机构中的一方或双方的信息来推测上述车辆在道路宽度方向上的位置，该车辆信息获取机构获取与上述车辆的前进道路有关的来自上述车辆的信息，过去路线获取机构获取与上述车辆的过去行驶路线有关的信息，上述车辆位置确定机构，在上述车辆在道路宽度方向上的位置的确定中，采用上述车辆位置推测机构的推测结果。

这样，在用于确定车辆在道路宽度方向的位置的信息中，再加上根据车辆现在的状况和过去的行驶路线的车辆位置推测机构的推测结果，因此能够更加高精度地确定出车辆在道路宽度方向的位置。

还有，上述道路特征信息如果包括与上述地上物有关的位置信息、和形状信息及色彩信息中的至少一方，就能够以可以容易地与利用图像信息识别机构识别的上述识别对象物的图像在上述图像信息中的配置进行对比的形式获取道路特征信息。

还有，上述车辆位置确定机构优选采用如下结构：基于由上述道路特征信息获取机构获取的上述道路特征信息、和由上述图像信息识别机构识别出的上述识别对象物的图像在上述图像信息中的配置，确定上述车辆在道路长度方向上的位置。

这样，通过与用于确定车辆在道路宽度方向的位置的处理相同的处理，也可以确定出车辆在道路长度方向的位置。因此，能够更加详细地确定出车辆在行驶中的道路中的位置。

还有，上述道路特征信息获取机构优选采用如下的结构：从构成导航装置的地图信息数据库所具有的地图信息中，获取在由上述拍摄装置拍摄上述图像信息时由构成上述导航装置的位置信息获取机构获取的位置周边的上述道路特征信息。

这样，能够利用导航装置必备的功能而容易获取道路特征信息。因此，不需要作为车辆位置识别装置的专用结构而设置具有道路特征信息的地图信息的数据库和图像信息的拍摄位置的识别装置等，也可以构成廉价的车辆位置识别装置。

本发明的车辆位置识别装置的另一个特征结构在于，具有：图像信息获取机构，其获取由装载在车辆上的拍摄装置至少拍摄了道路路面的图像信息；图像信息识别机构，其进行上述图像信息的识别处理，对上述图像信息中所包含的识别对象物的图像进行识别；车辆位置推测机构，其基于来自车辆信息获取机构与过去路线获取机构中的一方或双方的信息来推测上述车辆在道路宽度方向上的位置，该车辆信息获取机构获取与上述车辆的前进道路有关的来自上述车辆的信息，该过去路线获取机构获取与上述车辆的过去行驶路线有关的信息；车辆位置确定机构，其基于由上述图像信息识别机构识别出的上述识别对象物的图像在上述图像信息中的配置、和上述车辆位置推测机构的推测结果，确定上述车辆在道路宽度方向上的位置。

根据该特征结构，通过除了利用由装载在车辆上的拍摄装置拍摄的图像信息以外，还利用基于车辆现在的状况和过去的行驶路线等的车辆位置推测机构的推测结果，而使用由图像信息识别机构识别出的识别对象物的图像在图像信息中的配置、和车辆位置推测机构的推测结果双方，确定车辆在行驶中的道路中的道路宽度方向上的位置。

这里，作为上述地上物，例如包括设置在道路路面上的车道线、各前进方向通行区分标记等的涂料标记。

还有，上述图像信息获取机构优选采用如下的结构：以规定的时间间隔获取利用装载在车辆上的拍摄装置拍摄的图像信息。

这样，可以随着车辆的行驶而实时进行利用车辆位置识别装置对车辆在道路宽度方向上的位置进行确定的处理。

本发明的车辆位置识别方法的特征结构在于，具有：图像信息获取工序，获取由装载在车辆上的拍摄装置至少拍摄了道路路面的图像信息；道路特征信息获取工序，从地图信息中获取与上述图像信息的拍摄位置周边的地上物有关的道路特征信息；图像信息识别工序，进行上述图像信息的识别处理，对上述图像信息中所包含的与上述地上物对应的识别对象物的图像进行识别；车辆位置确定工序，基于由上述道路特征信息获取工序获取的上述道路特征信息、和由上述图像信息识别工序识别出的上述识别对象物的图像在上述图像信息中的配置，确定上述车辆在道路宽度方向上的位置。

根据该特征结构，通过除了利用装载在车辆上的拍摄装置拍摄的图像信息以外，还利用从地图信息获取的与图像信息的拍摄位置周边的地上物有关的道路特征信息，而能够对利用图像信息识别工序识别出的与上述地上物相对应的识别对象物的图像在图像信息中的配置、和道路特征信息进行对比，从而能够对车辆在行驶中的道路中的道路宽度方向的位置进行确定。

本发明的车辆位置识别方法的特征结构还在于，具有：图像信息获取工序，获取由装载在车辆上的拍摄装置至少拍摄了道路路面的图像信息；道路特征信息获取工序，从地图信息中获取与上述图像信息的拍摄位置周边的地上物有关的道路特征信息，而作为以在上述道路宽度方向上不同的多个位置为基准的每个位置的信息；图像信息识别工序，进行上述图像信息的识别处理，对上述图像信息中所包含的与上述地上物对应的识别对象物的图像进行识别；车辆位置确定工序，分别将由上述道路特征信息获取工序获取的在上述道路宽度方向上的每个位置的道路特征信息，与由上述图像信息识别工序识别出的上述识别对象物的图像在上述图像信息中的配置进行对比，将作为匹配性高的上述道路特征信息的基准的道路宽度方向上的位置确定为上述车辆在道路宽度方向上的位置。

根据该特征结构，通过分别将从地图信息获取的以在道路宽度方向上不同的多个位置为基准的每个位置的道路特征信息，与基于利用装载在车辆上的拍摄装置拍摄的图像信息而由图像信息识别工序识别出的识别对象物的图像在图像信息中的配置进行对比，将作为匹配性高的道路特征信息的基准的道路宽度方向的位置确定为车辆在道路宽度方向上的位置，从而能够确定出车辆在行驶中的道路中的道路宽度方向的位置，同时由于能够使该确定用的运算处理为判断各位置的道路特征信息与图像信息识别工序的识别结果的匹配性的高低的处理，因此可以减轻进行用于确定车辆在道路宽度方向的位置的运算处理时的负荷。

本发明的车辆位置识别方法的另一个特征结构在于，具有：图像信息获取工序，获取由装载在车辆上的拍摄装置至少拍摄了道路路面的图像信息；图像信息识别工序，进行上述图像信息的识别处理，对上述图像信息中所包含的识别对象物的图像进行识别；车辆位置推测工序，基于来自车辆信息获取工序与过去路线获取工序中的一方或双方的信息来推测上述车辆在道路宽度方向上的位置，该车辆信息获取工序获取与上述车辆的前进道路有关的来自上述车辆的信息，该过去路线获取工序获取与上述车辆的过去行驶路线有关的信息；车辆位置确定工序，基于由上述图像信息识别工序识别出的上述识别对象物的图像在上述图像信息中的配置、和上述车辆位置推测工序的推测结果，确定上述车辆在道路宽度方向上的位置。

根据该特征结构，通过除了利用由装载在车辆上的拍摄装置拍摄的图像信息以外，还利用基于车辆现在的状况和过去的行驶路线等的车辆位置推测工序的推测结果，而使用由图像信息识别工序识别出的识别对象物的图像在图像信息中的配置、和车辆位置推测工序的推测结果双方，确定车辆在行驶中的道路中的道路宽度方向上的位置。

附图说明

图1为表示本发明第一实施方式的车辆位置识别装置的硬件结构的概略方框图。

图2为表示本发明第一实施方式的车辆位置识别装置中的拍摄装置的配置例的图。

图3为表示本发明第一实施方式的车辆位置识别装置中存储在地图信息数据库中的地图信息的内容的说明图。

图4为表示本发明第一实施方式的车辆位置识别装置中的车辆位置识别处理的具体例的流程图。

图5为表示图4中的步骤#06的处理的详细内容的流程图。

图6为表示图4中的步骤#07的处理的详细内容的流程图。

图7(a)为利用拍摄装置拍摄的图像信息的一例。

图7(b)为对于图7(a)所示的图像信息进行前处理后的图像信息的一例。

图8为以图式的方式表示本发明第一实施方式的车辆位置识别装置中的道路特征信息获取运算部所获得的道路特征信息的一例的图。

图9(a)为只表示利用步骤#63的处理而从图像信息中提取的涂料标记的图像的图。

图9(b)为表示基于图9(a)所示的图像而以车道线来区分区域的状态的图。

图10为表示对于图7(a)、图7(b)所示的图像信息检测出道路宽度方向各位置的边界点数的结果的曲线图。

图11为表示本发明第一实施方式的图像识别装置的图像信息识别运算部中作为识别对象物而被识别的图像的图。

图12为在本发明第一实施方式的图像识别装置的车辆位置确定运算部中，用于说明确定详细的拍摄位置的方法的一例的说明图。

图13为表示本发明第二实施方式的车辆位置识别装置的硬件结构的概略方框图。

图14为表示本发明第二实施方式的车辆位置识别装置中的车辆位置识别处理的具体例的流程图。

图15(a)～图15(c)为以图式的方式表示本发明第二实施方式的车辆位置识别装置中的道路特征信息获取运算部所获得的道路特征信息的一例的图。

图16(a)～图16(c)为表示将图15(a)～图15(c)所示的各车道线道路特征信息转换成可以与图像信息G进行对比的信息形式的数据的图。

具体实施方式

(第一实施方式)

以下参照附图，说明本发明的第一实施方式。图1为表示本发明第一实施方式的车辆位置识别装置1的硬件结构的概略方框图。

本实施方式的车辆位置识别装置1基于利用拍摄装置2拍摄的图像信息的识别结果和从地图信息获得的道路特征信息C，进行处理而对车辆M行驶中的道路11内的详细位置、即道路宽度方向和道路长度方向的详细位置进行确定。

如该图1所示，本实施方式的车辆位置识别装置1作为主要结构而具有：图像信息获取部3，其获取来自装载在车辆M(参照图2)上的拍摄装置2的图像信息G；GPS(全球定位系统)接收机4；大致位置确定运算部7，其进行运算而基于来自方位传感器5和距离传感器6的输出来确定拍摄装置2的大致的拍摄位置；道路特征信息获取运算部9，其为了从存储在地图信息数据库8中的地图信息中获取与拍摄装置2的大致的拍摄位置周边的地上物有关的道路特征信息C而进行运算；图像信息识别运算部10，其进行运算而利用所获取的道路特征信息C对图像信息G进行识别处理，并对图像信息G中所包含的与上述地上物相对应的识别对象物的图像进行识别；车辆位置确定运算部17，其基于利用道路特征信息获取运算部9获取的道路特征信息C、利用图像信息识别运算部10识别的识别对象物的图像在图像信息G中的配置，对车辆M行驶中的道路11内的详细位置进行确定。

其中，大致位置确定运算部7、GPS接收机4、方位传感器5、距离传感器6、和地图信息数据库8可以利用装载在车辆上并用于进行对车辆的路线引导等的导航装置的结构。此时，位置确定运算部7、GPS接收机4、方位传感器5、距离传感器6等相当于本发明中的“位置信息获取机构”。

拍摄装置2具有例如CCD传感器或CMOS传感器等的拍摄元件、和构成用于将光线引导到该拍摄元件的光学系统的透镜等。该拍摄装置2配置在车辆M的例如在图2中的Q1～Q3所示的位置并朝着前方或后方，而至少能够拍摄车辆M行驶的道路11的路面，并且在这里设置成还能拍摄该道路11的周围。作为这种拍摄装置2，为了拍摄车辆M的前方或后方等的图像而可以采用以前也设置的的车载拍摄机等。

图像信息获取部3具有用于与拍摄装置2连接的接口电路12、对来自拍摄装置2的图像信息G进行前处理的图像前处理电路13、存储前处理后的图像信息G的图像存储器14。接口电路12具有模拟/数字转换器等，而以规定时间间隔获取由拍摄装置2拍摄的模拟的图像信息G，并转换成数字信号而输出到图像前处理电路13。利用该接口电路12获取图像信息G的时间间隔可以设定为例如10～50ms左右。这样，图像信息获取部3几乎可以连续地获取车辆M行驶的道路11的图像信息。这里，图像前处理电路13作为对图像信息G的前处理而进行使利用图像信息识别运算部10的图像识别变得容易的处理，如二值化处理、边界检测处理等。并且，将这种进行过前处理后的图像信息G存储在图像存储器14中。

还有，接口电路12，与向图像前处理电路13传送的图像信息G不同，还直接向图像存储器14输出图像信息G。因此，利用图像前处理电路13进行前处理后的图像信息G2、和没有进行前处理的原来的图像信息G1二者都存储在图像存储器14中。

本实施方式中，该图像信息获取部3构成本发明中的“图像信息获取机构”。

本实施方式中，大致位置确定运算部7与GPS接收机4、方位传感器5、和距离传感器6连接。其中，GPS接收机4为接收来自GPS卫星的信号的装置，而可以获得GPS接收机4的位置(纬度和经度)和移动速度等各种信息。方位传感器5由地磁传感器或陀螺传感器、或安装在方向盘的旋转部上的光学式旋转传感器或旋转型的电阻调节器、安装在车轮部的角度传感器等构成，而可以检测车辆M的前进方向。距离传感器6由检测车轮转速的车速传感器、检测车辆M的加速度的横摆·G传感器和对所检测的加速度进行2次积分的电路的组合等构成，而可以检测车辆M的移动距离。并且，大致位置确定运算部7进行运算而基于来自这些GPS接收机4、方位传感器5和距离传感器6的输出来确定车辆M的现在的大致位置。这样运算的车辆M的位置为拍摄装置2的位置。

利用该大致位置确定运算部7能够确定的车辆的大致位置的精度很大程度上受GPS接收机的精度的影响。因此，现实中含有数十m左右的误差。所以，该大致位置确定运算部7不能对车辆M在道路宽度方向和道路长度方向的详细位置进行确定。

还有，大致位置确定运算部7也与图像信息获取部3的接口电路12连接。该接口电路12按照拍摄装置2进行拍摄的时刻，向大致位置确定运算部7输出信号。因此大致位置确定运算部7通过运算接收来自该接口电路12的信号的输入时刻的拍摄装置2的位置，可以对图像信息G的大致的拍摄位置进行确定。这样，利用大致位置确定运算部7确定的图像信息G的大致的拍摄位置由纬度和经度的信息表示，并输出到道路特征信息获取运算部9。

该大致位置确定运算部7具有利用硬件或软件或二者的方式安装有功能部的结构，该功能部将CPU等运算处理装置作为核心部件并对输入的数据进行各种处理。

道路特征信息获取运算部9与大致位置确定运算部7和地图信息数据库8连接。

图3为表示存储在地图信息数据库8中的地图信息内容的说明图。如该图所示，本实施方式的地图信息数据库8中存储有作为地图信息的道路网络层L1、道路形状层L2、地上物层L3。

道路网络层L1表示道路11之间的连接信息。具体来说，包括：具有通过纬度和经度表示的地图上的位置信息的许多节点N的信息，和连接2个节点N并构成道路11的许多路段L的信息。还有，各路段L具有作为该路段信息的道路11的类型(高速公路、收费公路、国道、省道等类型)和路段长度等的信息。

道路形状层L2是与道路网络层L1建立关联而被存储的、表示道路11的形状的层。具体来说，包括：配置在2个节点N之间(路段L上)并具有通过纬度和经度表示的地图上的位置信息的许多道路形状补充点S的信息，和各道路形状补充点S处的道路宽度W的信息。

地上物层L3是与道路网络层L1和道路形状层L2建立关联而被存储的、表示设置在道路11上和道路11周边的各种地上物的信息的层。作为存储在该地上物层L3中的地上物信息，存储有关于至少在该车辆位置识别装置1中能够成为识别对象物的地上物的位置、形状、色彩等信息。具体来说，本实施方式中关于设置在道路11的路面上的涂料标记P、与道路11相邻的不可行驶区域I、设置在道路11上的各种标识15以及信号机16等各种地上物，具有以道路形状补充点S或节点N为基准的地图上的位置、和形状及色彩等地上物信息。其中，涂料标记P中，包括有例如区分车道的车道线(也包括实线、虚线、双重线等的车道线的种类的信息)、斑马线区、指定各车道前进方向的各前进方向通行区分标记、停止线、人行横道、速度表示等。还有，虽然若正确地区分并非以涂料制作的标记，但是，在这里将同样设置在道路11的路面上的窨井也包括在涂料标记P中。不可行驶区域I例如包括与道路11相邻的路肩、人行道、隔离带等。

另外，地图信息数据库8作为硬件结构而具有这样的装置，该装置具有可存储信息的记录介质及其驱动机构，例如硬盘驱动器、具有DVD-ROM的DVD驱动器、具有CD-ROM的CD驱动器等。

道路特征信息获取运算部9基于利用大致位置确定运算部7确定的表示图像信息G的拍摄位置的纬度和经度的信息进行运算而从存储在地图信息数据库8中的地图信息中获取与图像信息G的拍摄位置周边的地上物有关的道路特征信息C。这里，道路特征信息获取运算部9进行运算处理，而将图像信息G的拍摄位置周边的、至少包括拍摄装置2的拍摄区域的区域内所包含的地上物的位置、形状、色彩等的地上物信息作为道路特征信息C，从地图信息数据库8的地上物层L3中提取。

该道路特征信息获取运算部9具有利用硬件或软件或其二者的方式安装有功能部的结构，该功能部将CPU等运算处理装置作为核心部件并对输入的数据进行各种处理。

本实施方式中，该道路特征信息获取运算部9构成本发明中的“道路特征信息获取机构”。

图像信息识别运算部10对图像信息G进行识别处理，并进行用于识别图像信息G中所包含的识别对象物的图像的运算。本实施方式中，图像信息识别运算部10与图像信息获取部3的图像存储器14和道路特征信息获取运算部9连接，而利用由道路特征信息获取运算部9获取的道路特征信息C，对图像信息G进行识别处理。

还有，在图像信息识别运算部10中进行图像识别的识别对象物为上述涂料标记P、不可行驶区域I、以及各种标识15与信号机16等的与作为地上物信息而存储在地上物层L3的地上物相对应的物体。

该图像信息识别运算部10具有利用硬件或软件或其二者的方式安装有功能部的结构，该功能部将CPU等运算处理装置为核心部件并对输入的数据进行各种处理。

本实施方式中，该图像信息识别运算部10构成本发明的“图像信息识别机构”。

作为图像信息识别运算部10中利用道路特征信息C来识别处理图像信息G的具体方法，该车辆位置识别装置1分别单独或组合采用以下2个方法。

第一图像识别处理方法为这样的处理方法：从图像信息G提取识别对象物的候选图像，并与道路特征信息C进行对比，将与道路特征信息C匹配性高的候选图像作为识别对象物进行识别的处理方法。

还有，第二图像识别处理方法为这样的处理方法：基于道路特征信息C来推测图像信息G中存在识别对象物的图像的区域，并基于该推测结果来在推测为存在识别对象物的图像的区域内调整识别算法，以使判断是否为识别对象物的判断基准低于其它区域，从而从图像信息G中识别出识别对象物的图像。

本实施方式中，如后面利用流程图进行说明的那样，图像信息识别运算部10组合该第一和第二图像识别处理方法，进行处理而对设置在道路11的路面上的涂料标记P、与道路11相邻的不可行驶区域I进行识别。因此，该图像信息识别运算部10具有涂料标记识别运算部10a、道路特征信息核对部10b、区域推测部10c、和不可行驶区域识别部10d。

车辆位置确定运算部17基于利用道路特征信息获取运算部9获取的道路特征信息C、和利用图像信息识别运算部10识别的识别对象物的图像在图像信息G中的配置进行运算而确定车辆M行驶的道路11内的详细位置。因此，本实施方式中，进行确定车辆M在道路宽度方向和道路长度方向二个方向上的详细位置的运算处理。

本实施方式中，如后面利用流程图进行说明的那样，车辆位置确定运算部17对利用图像信息识别运算部10识别的1个或2个以上的识别对象物的图像在图像信息G中的配置、和道路特征信息C中所包含的与1个或2个以上的识别对象物相对应的地上物的位置信息进行对比，而对图像信息G的拍摄位置进行详细确定，由此，进行确定车辆M在道路宽度方向和车辆M在道路长度方向的详细位置的运算处理。因此，该车辆位置确定运算部17具有配置信息提取部17a、对比运算部17b、和拍摄位置确定部17c。

该车辆位置确定运算部17具有利用硬件或软件或其二者的方式安装有功能部的结构，该功能部将CPU等运算处理装置作为核心部件，并对输入的数据进行各种处理。

本实施方式中，该车辆位置确定运算部17构成本发明中的“车辆位置确定机构”。

因此，接着，利用在图4～图6所示的流程图，详细说明基于利用拍摄装置2拍摄的图像信息的识别结果、和从地图信息中获取的道路特征信息C，对车辆M行驶中的道路11内的详细位置进行确定的处理的具体例。

如图4所示，车辆位置识别装置1首先进行获取利用拍摄装置2拍摄的图像信息G的处理(步骤#01)。具体来说，将利用车载拍摄机等构成的拍摄装置2拍摄的图像信息G通过接口电路12传送到图像前处理电路13和图像存储器14。还有此时，接口电路12按照从拍摄装置2获取图像信息G的时刻、即与利用拍摄装置2进行拍摄的时刻几乎相同的时刻，向大致位置确定运算部7输出信号。该信号为向大致位置确定运算部7通知拍摄的时刻的信号。

在接收到图像信息G的输入后的图像前处理电路13，对图像信息G进行前处理(步骤#02)。这里进行的前处理为使利用图像信息识别运算部10的图像识别变得容易的各种处理，例如二值化处理或边界检测处理等。图7(a)为利用拍摄装置2拍摄的图像信息G(G1)的一例，而图7(b)为对于图7(a)所示的图像信息G进行前处理后的图像信息G(G2)的一例。在该图7(b)所示的例中，利用边界检测处理提取了表示作为图像信息G而被拍摄的物体轮廓的图像。并且，将在该步骤#02中进行前处理后的图像信息G2、及从接口电路12直接传送来的图像信息G1存储在图像存储器14中(步骤#03)。

还有，大致位置确定运算部7中，与步骤#02和#03的处理并行地进行对图像信息G的大致的拍摄位置进行确定的处理(步骤#04)。具体来说，当从接口电路12输出表示获取图像信息G的时刻的信号时，将其作为拍摄装置2的拍摄时刻，并基于GPS接收机4、方位传感器5和距离传感器6来进行确定车辆M大致的现在位置的运算。并且，将由此确定出的车辆M的大致的现在位置作为图像信息G的大致的拍摄位置。这里确定出的大致拍摄位置的信息作为纬度和经度的信息而被传送到道路特征信息获取运算部9。

接着，在道路特征信息获取运算部9，进行处理而从存储在地图信息数据库8中的地图信息获取有关图像信息G的拍摄位置周边的地上物的道路特征信息C(步骤#05)。此时，道路特征信息获取运算部9从存储在地图信息数据库8的大范围的地图信息中提取并获取在步骤#04中确定的大致的拍摄位置周边的一定范围R内的道路特征信息C。其中，大致的拍摄位置周边的一定范围R应优选设定成至少包括利用拍摄装置2作为图像信息G而拍摄的区域。

图8为以图式的方式表示利用道路特征信息获取运算部9获得的道路特征信息C的一例的图。本例中，作为道路特征信息C所包含的地上物，作为涂料标记P包括：表示单侧3车道的道路11的车道外缘的2根实线的车道线P1a、P1b；在3车道之间进行分割的2根虚线的车道线P2a、P2b；设置在3车道中的左侧车道上的窨井P3。还有，作为不可行驶区域I包括：与道路11的左侧相邻的人行道I1、与道路11的右侧相邻的中央隔离带I2。另外，该图8仅为一个例子，根据图像信息G的拍摄位置，道路特征信息C中会包含各种各样的地上物。

并且，该道路特征信息C的内容由这些各地上物的位置信息、形状信息和色彩信息构成。其中，各地上物的位置信息通过以道路形状补充点S(如果存在交叉点等的节点N时，也包括节点N(参照图3))为基准的位置信息来表示。即，对于例如涂料标记P中的实线的车道线P1a、P1b或虚线的车道线P2a、P2b、或不可行驶区域I的人行道I1或中央隔离带I2等沿着道路11设置的地上物，只利用离道路形状补充点S(或节点N)的距离(偏移量)来表示。另一方面，对于例如未沿着道路11设置的窨井P3、停止线、标识等地上物，则利用离特定的道路形状补充点S(或节点N)的距离和方向来表示位置信息。

还有，各地上物的形状信息有将由上述位置信息确定的位置作为基准而在纵、横、高方向上分别具有怎样的尺寸、具有怎样的形状(轮廓)等的信息。该形状信息优选为简略表示的信息，以便容易与图像信息G进行对比。

各地上物的色彩信息若不是如道路标识等的单一色彩的地上物，则其优选为在每个上述形状信息中的区域中存储色彩信息的信息。

接着，在图像信息识别运算部10中，进行图像信息G的识别处理，并对包含在图像信息G中的识别对象物的图像进行识别处理(步骤#06)。本实施方式中，在图像信息G中所包含的地上物图像中将涂料标记P和不可行驶区域I作为识别对象物。并且，作为该识别对象物的图像识别处理，在进行识别容易的涂料标记P的图像识别后，基于此而调整识别算法，而对于比涂料标记P难以识别的不可行驶区域I进行图像识别处理。将这种图像信息G的识别处理的具体例表示在图5的流程图中。

另外，之所以不可行驶区域I的图像识别比涂料标记P的图像识别困难，是因为涂料标记P与道路11的路面相比亮度和色彩的差别大，图像识别比较容易，相对于此，由于路肩、人行道、隔离带等不可行驶区域I与道路11及其周围相比亮度和色彩的差别小，因此即使利用边界检测等也常常很难对轮廓进行确定。

如图5所示，该图像信息G的识别处理中，首先在图像信息识别运算部10的涂料标记识别运算部10a中，进行提取包含在图像信息G中的可能为涂料标记P的候选图像的处理(步骤#61)。具体来说，如图7(b)所示，进行如下的处理：从进行边界检测处理等前处理后的图像信息G2中，提取与表示车道线、窨井等涂料标记P的特征的模板等预先规定的特征数据匹配性高的图像，并将其作为涂料标记P的候选图像。在图7(a)、图7(b)所示例中，在前方行驶的车辆的图像GS和与其重叠的右侧虚线的车道线的图像GP2b被除去，并作为涂料标记P的候选图像而提取其他的图像、即左侧虚线的车道线的图像GP2a、左侧实线的车道线的图像GP1a、处于其外侧的人行道的路边石的图像GI1a、右侧实线的车道线的图像GP1b、以及窨井的图像GP3。

然后，在图像信息识别运算部10的道路特征信息核对部10b中，对在步骤#61中提取的涂料标记P的候选图像、和在步骤#05中获得的道路特征信息C中与涂料标记P相关的信息进行对比(步骤#62)。并且，该对比的结果，提取对于位置关系、形状、以及色彩和亮度等各信息的匹配性高的候选图像，并将所提取的候选图像识别为涂料标记P的图像(步骤#63)。在图8所示例中，基于与涂料标记P相关的道路特征信息C，可以得知实线和虚线的车道线P1a、P1b、P2a、P2b的位置关系(间隔)、这些车道线P1a、P1b、P2a、P2b与窨井P3的位置关系、以及这些车道线P1a、P1b、P2a、P2b和窨井P3的形状、色彩和亮度等。因此，通过提取与这些道路特征信息C的匹配性高的图像信息G中的涂料标记P的候选图像，可以只提取涂料标记P的可能性高的候选图像。在图7(a)、图7(b)所示例中，通过步骤#63的处理，除去处于左侧实线的车道线的图像GP1a的外侧的人行道路边石的图像GI1a。并且，将这样提取的候选图像识别为涂料标记P的图像。另外，可以从存储在图像存储器14中的没有进行前处理的图像信息G中获得涂料标记P的候选图像的色彩、亮度等信息。

图9(a)为只表示利用步骤#63的处理而从图像信息G中提取的涂料标记P的图像的图。另外，右侧虚线的车道线的图像GP2b与车辆的图像GS一起从涂料标记P的候选图像中被除去，因此在这里没有包括在被提取的涂料标记P的图像中(另外，在图9(a)中以虚线表示)。

接着，以所识别的涂料标记P的图像为基准，对图像信息G与道路特征信息C进行核对(步骤#64)。即，通过使图像信息G中的所识别的涂料标记P的图像的位置、与包含在道路特征信息C中的涂料标记P的位置建立对应从而使其相互一致，而可以使道路特征信息C所包含的各地上物的信息与图像信息G所包含的图像建立对应。此时，通过以沿道路11设置的车道线GP1a、GP2a等地上物为基准，可以使道路11宽度方向的位置关系正确地互相对应，从而，能够通过以没有沿道路11设置的窨井P3、图中未表示的停止线、标识等地上物为基准，使沿道路11方向的位置关系正确地相互对应。

然后，在图像信息识别运算部10的区域推测部10c，基于步骤#64中对道路特征信息C与图像信息G的核对结果，进行推测在图像信息G中存在不可行驶区域I的图像的区域的处理(步骤#65)。即，若基于上述步骤#64中对图像信息G与道路特征信息C的核对结果，则可以推测在图像信息G中包括涂料标记P和不可行驶区域I的各地上物的图像的配置。因此，进行从步骤#07的核对结果，推测与道路特征信息C中所包含的不可行驶区域I的位置和形状相对应的图像信息G中的区域的运算。并且，将作为该步骤#08的处理结果而被进行运算的区域推测为存在不可行驶区域I的图像的区域。

本实施方式中，如图9(b)所示，基于通过步骤#63的处理所识别的涂料标记P中的车道线P1a、P1b、P2a，将作为图像信息G而拍摄的图像范围简单地分割为车道线P1a、P1b、P2a各自所属的区域A1～A3、被这些区域A1～A3隔着的区域A4～A7。并且，基于步骤#64的核对结果来判断各自的区域A4～A7是否包含不可行驶区域I，从而进行推测存在不可行驶区域I的图像的区域的处理。这里，如图8所示，基于道路特征信息C，可以判断道路11两侧的实线的车道线P1a、P1b的外侧分别存在不可行驶区域I，因此可以推测在该道路11两侧的实线的车道线P1a、P1b所属的区域A1和A3的外侧区域A4和A7内，存在不可行驶区域I的图像。

接着，基于步骤#65的推测结果，调整图像信息识别运算部10的不可行驶区域识别部10d的识别算法(步骤#66)，进行对图像信息G中所包含的不可行驶区域I的图像的识别(步骤#67)。

本实施方式中，对于在步骤#08中推测为存在不可行驶区域I的图像的区域A4和A7内调整识别算法，以使判断是否为不可行驶区域I的判断基准低于其它区域(这里为区域A5和A6)。即，如上所述，由于人行道I1、隔离带I2、路肩等不可行驶区域I与道路11及其周围相比亮度和色彩的差别小，因此即使采用了边界检测等，也常常很难对轮廓进行确定，从而一般来说其图像识别比涂料标记P困难。因此，对于推测为存在不可行驶区域I的图像的区域A4和A7，通过将识别算法向比其他区域更容易识别不可行驶区域I的方向进行调整，从而可以提高不可行驶区域I的识别率。

另外，为了调整识别算法，以使判断是否为不可行驶区域I的判断基准低于其它区域，除了采用使在推测为存在不可行驶区域I的图像的区域A4和A7的判断基准低于其他区域的方法以外，还可采用相对于区域A4和A7而提高其他区域的判断基准的方法、或使区域A4和A7的判断基准低于其他区域的同时、相对于区域A4和A7而提高其他区域的判断基准的方法。该识别算法的具体的调整方法为对应于不可行驶区域I的识别方法的方法。

例如，本实施方式中，作为不可行驶区域I的图像的识别算法，而采用如下的算法：对图像信息G进行边界检测处理而检测出道路11的宽度方向的各位置的边界点数，并将该边界点数大于等于规定的阈值的区域识别为不可行驶区域I。并且，如图10所示，作为此时的阈值而采用设定为低的值的第一阈值t1、和设定为高的值的第二阈值t2。即，在推测为存在不可行驶区域I的图像的区域A4和A7内采用第一阈值t1，而在其它区域A5和A6内采用第二阈值t2，从而在推测为存在不可行驶区域I的图像的区域A4和A7内调整识别算法，以使判断是否为不可行驶区域I的判断基准低于其它区域A5和A6。

图10为表示对于图7(a)、图7(b)所示的图像信息G而检测出在道路11宽度方向各位置的边界点数的结果的曲线图。如该图所示，区域A1～A3中由于存在车道线P1a、P1b、P2a，因此边界点数多，但这些区域A1～A3不会成为不可行驶区域I的图像识别的对象。区域A5除了存在窨井P3的位置以外，全部为柏油路面，因此整体上边界点数少。

另一方面，区域A4、A6、以及A7的边界点数一定程度上较多。其结果，区域A4和A7分别由于存在所谓人行道I1或中央隔离带I2这样的不可行驶区域I，而边界点数增多，相对于此，区域A6由于存在前方车辆的图像Gs和隐藏在该车辆的图像Gs中的虚线的车道线GP2b，而边界点数增多。但是，只根据边界点数，很难判断其是否为不可行驶区域I。

因此，基于步骤#65的推测结果，在推测为存在不可行驶区域I的图像的区域A4和A7内，使判断为不可行驶区域I的阈值为被设定为低的值的第一阈值t1，在其它区域A5和A6内，使判断为不可行驶区域I的阈值为被设定为高的值的第二阈值t2。这样，基于步骤#08的推测结果，在推测为存在不可行驶区域I的图像的区域A4和A7内，可以减少不可行驶区域I的漏检，同时在其它区域A5和A6内，可以防止被误检测为不可行驶区域I。因此，可以提高不可行驶区域I的识别率。这些第一阈值t1和第二阈值t2的合适的数值可以通过实验或统计方法求出。还有，作为1个适当的实施方式，可以将这些第一阈值t1和第二阈值t2的值设定为可变值，该可变值基于从图像信息G提取的其他信息或来自装载在车辆M上的其他传感器的信号等发生变化。

如上所述，通过在图像信息识别运算部10对图像信息G进行识别处理，可以识别包含在图像信息G中的作为识别对象物的涂料标记P和不可行驶区域I的图像。如图11所示，在图7(a)、图7(b)所示的图像信息G的例子中分别识别出车道线P1a、P1b、P2a的图像GP1a、GP1b、GP2a、窨井P3的图像GP3、车道线P1a的图像GP1a的左侧的人行道I1的图像GI1、车道线P1b的图像GP1b的右侧的中央隔离带I2的图像GI2。

接着，如图4所示，在车辆位置确定运算部17中，基于通过步骤#05获取的道路特征信息C、和通过步骤#06识别的识别对象物的图像在图像信息G中的配置，进行运算而确定车辆M行驶的道路11内的详细位置(步骤#07)。本实施方式中，对通过步骤#06识别的识别对象物的图像在图像信息G中的配置、和通过步骤#05获取的道路特征信息C中所包含的与上述识别对象物相对应的物体的位置信息进行对比，并详细确定图像信息G的拍摄位置，由此进行确定车辆M的道路宽度方向和车辆M的长度方向的详细位置的运算处理。

将这种对车辆M的详细位置进行确定的处理的具体例表示在图6的流程图中。该处理中，首先在车辆位置确定运算部17的配置信息提取部17a中，提取在步骤#06中识别的各识别对象物在图像信息G中的配置信息(步骤#71)。这里，作为识别对象物在图像信息G中的配置信息，包含有各识别对象物在图像信息G中的位置信息、与其对应的各识别对象物的形状和色彩等信息。如图11所示，在图7(a)、图7(b)所示的图像信息G的例子中，作为识别对象物而分别识别出了车道线P1a、P1b、P2a的图像GP1a、GP1b、GP2a、窨井P3的图像GP3、人行道I1的图像GI1、中央隔离带I2的图像GI2，因此在该步骤#71提取有关这些识别对象物在图像信息G中的配置信息。

接着，在车辆位置确定运算部17的对比运算部17b中，对通过步骤#71提取的各识别对象物在图像信息G中的配置信息、和通过步骤#05获取的道路特征信息C进行对比处理(步骤#72)。这里，对各识别对象物在图像信息G中的配置信息、和道路特征信息C中所包含的各地上物的配置进行对比，并进行使匹配性高的图像信息G中的识别对象物的图像与道路特征信息C中的地上物的信息互相对应的处理。这样，可以确定出图像信息G中的各识别对象物的图像为道路特征信息C中的哪个地上物的图像，且配置在由道路特征信息C表示的道路11的哪个位置上。

然后，在车辆位置确定运算部17的拍摄位置确定部17c中，进行详细确定图像信息G的拍摄位置的处理(步骤#73)。图12为示意性地表示该处理的顺序的图。即，详细确定出该拍摄位置的处理基于步骤#72的对比结果，使与图像信息G中的各识别对象物的图像的配置匹配的图像信息G的拍摄位置，与道路特征信息C中的位置互相对应，从而在道路11的道路宽度方向和长度方向上进行详细的确定。

因此，具体说明基于图11所示的图像信息G的识别结果，对图像信息G的拍摄位置进行确定时的运算处理方法。首先，对道路宽度方向的位置进行确定时，若分析图像信息G中的各识别对象物的图像的配置可知，从图像信息G的中心起，右侧存在虚线的车道线的图像GP2a，左侧存在实线的车道线的图像GP1a。还有，在该实线的车道线的图像GP1a的左侧存在人行道的图像GI1，还有在右侧虚线的车道线的图像GP2a和左侧实线的车道线的图像GP1a之间存在窨井的图像GP3。这些各识别对象物的图像通过步骤#72的处理，与包含在道路特征信息C中的各地上物的信息互相对应，因此只要基于图像信息G中的上述各识别对象物的图像配置的分析结果，在图12所示的道路特征信息C中，就可以将道路宽度方向的拍摄位置确定为存在于3车道的道路11的左侧车道(B1位置所在车道)内。还有，若基于实线的车道线的图像GP1a或虚线的车道线的图像GP2a在图像信息G中的配置、特别是在宽度方向的配置，则能够确定出在左侧车道内靠右还是靠左等的进一步详细的位置。

另外，例如图像信息G的拍摄位置处于如图12的B2位置这样的3车道的道路11的中央车道时，可以在图像信息G的中心的两侧识别虚线的车道线P2a、P2b的图像。还有，例如图像信息G的拍摄位置处于如图12的B3位置这样的3车道的道路11的右侧车道时，可以在图像信息G的中心的左侧识别出虚线的车道线P2b的图像，在右侧识别实线的车道线P1b的图像。

还有，对道路长度方向的拍摄位置进行确定时，与车道线和人行道不同，能够通过将没有沿道路11设置的窨井、停止线、标识、信号机等的识别对象物的图像作为基准，对沿着道路11的方向、即道路长度方向的拍摄位置进行详细的确定。即，若对这些没有沿道路11设置的识别对象物的图像在图像信息G中的配置进行分析，则可以得知在图11所示例中存在窨井的图像GP3。这里，由于拍摄装置2以规定的高度且朝着规定的拍摄方向固定在车辆M上，因此基于窨井的图像GP3在图像信息G中的配置、特别是高度方向的配置，可以计算出从拍摄位置到窨井P3的距离D。这样，也可以在道路长度方向上详细确定出图像信息G的拍摄位置。在图12的所示例中，该图像信息G的拍摄位置被确定为B1位置。

通过上述的运算处理方法，可以详细确定出图像信息G在道路宽度方向和道路长度方向的两个方向上的拍摄位置。并且，由于拍摄装置2装载在车辆M上，因此可以将该确定的拍摄位置确定为车辆M的详细位置。

以上说明的步骤#01～#07的一系列处理工序以规定的时间间隔重复进行。这样，可以不停且实时地确定出行驶中的车辆M的详细位置。

还有，将利用车辆位置确定运算部17的详细车辆位置的确定结果输出到例如图中未表示的车辆M的行驶控制装置或者导航装置等中，并利用于车道保持等的车辆M的操舵和车速等的行驶控制，或者利用于导航装置的详细的自身车辆位置的显示等。

(第二实施方式)

接着，参照附图说明本发明的第二实施方式。图13为表示本实施方式的车辆位置识别装置1的硬件结构的概略方框图。

本实施方式的车辆位置识别装置1与上述第一实施方式的不同之处在于，在道路特征信息获取运算部9中，作为以根据道路11的每条车道互相不同的多个位置为基准的各车道道路特征信息C’，而从地图信息中获取与图像信息G的拍摄位置周边的地上物有关的道路特征信息C，对于各自的各车道道路特征信息C’，与图像信息G中的对应于上述地上物的识别对象物的配置进行对比，从而确定出车辆M的车道位置。

还有，本实施方式的车辆位置识别装置1与上述第一实施方式的不同之处还在于，具有车辆位置推测运算部18，并利用由该车辆位置推测运算部的推测结果来确定出车辆M的车道位置，而该车辆位置推测运算部获取有关车辆M的前进道路的来自车辆M的信息、和有关车辆M的过去行驶路线的信息，并推测出车辆M的车道位置。

如图13所示，本实施方式的车辆位置识别装置1作为主要结构，除了在上述第一实施方式中说明过的结构外，还具有车辆位置推测运算部18。该车辆位置推测运算部18与获取有关车辆M前进道路的来自车辆M的信息的车辆信息获取部19、和获取并存储有关车辆M的过去行驶路线的信息的过去路线存储部20连接，并基于来自这些车辆信息获取部19和过去路线存储部20的信息来进行推测车辆M的车道位置的运算处理。将利用该车辆位置推测运算部18的推测结果输出到道路特征信息获取运算部9，并用于获取各车道道路特征信息C’的处理。

本实施方式中，该车辆位置推测运算部18构成本发明中的“车辆位置推测机构”。

本实施方式中，车辆信息获取部19与驾驶操作检测部21、GPS接收机4、方位传感器5、和距离传感器6连接。其中，GPS接收机4、方位传感器5、和距离传感器6与已说明过的连接到大致位置确定运算部7的机构通用，而她们的输出也输出到车辆信息获取部19中。这样，车辆信息获取部19能够获取车辆M的移动方向、移动距离、方向盘操作等信息。

还有，驾驶操作检测部21由检测驾驶人员的驾驶操作、例如方向指示器的操作、方向盘操作(作为方位传感器5的结构而设置时，由于重复而省略)、加速踏板操作、制动器操作等的传感器等构成，其检测结果也输出到车辆信息获取部19。

并且，车辆信息获取部19综合这些从车辆各部分获得的车辆信息，制成关于车辆M的前进道路的信息，并将该信息输出到车辆位置推测运算部18和过去路线存储部20。关于该车辆M的前进道路的信息具体为车辆M的前进道路的变更与否以及其角度等信息。

该车辆信息获取部19具有利用硬件或软件或其二者的方式安装有功能部的结构，该功能部将用于进行这种运算处理的CPU等运算处理装置作为核心部件，并对输入的数据进行各种处理。

本实施方式中，该车辆信息获取部19构成本发明中的“车辆信息获取机构”。

过去路线存储部20进行处理而将从车辆信息获取部19输出的有关车辆M的前进道路的信息与车辆M的移动距离和移动时间等信息建立关联，并作为有关车辆M的过去行驶路线的信息而存储。并且，响应来自车辆位置推测运算部18的命令信号等，将存储在该过去路线存储部20中的有关车辆M的过去行驶路线的信息输出到车辆位置推测运算部18。

该过去路线存储部20具有利用硬件或软件或其二者的方式安装有功能部的结构，该功能部将用于进行这种运算处理的运算处理装置以及存储其运算结果的存储器作为核心部件，并对输入的数据进行各种处理。

本实施方式中，该过去路线存储部20构成本发明中的“过去路线获取机构”。

还有，本实施方式的车辆位置识别装置1与上述第一实施方式的不同之处还在于，道路特征信息获取运算部9具有车道信息获取部9a和各车道道路特征信息获取部9b，以及车辆位置确定运算部17具有拍摄车道确定部17d，以取代配置信息提取部17a和拍摄位置确定部17c。之所以发生这些差别，是因为利用本实施方式的车辆位置识别装置1对车辆位置进行的识别处理与上述第一实施方式不同。因此，下面利用流程图，详细说明利用这些各部进行的处理。

图14为表示利用本实施方式的车辆位置识别装置1对车辆M的行驶中的车道位置进行确定处理的具体例的流程图。

如该图所示，本实施方式的车辆位置识别装置1首先获取由拍摄装置2拍摄的图像信息G(步骤#101)，并在图像前处理电路13中对图像信息G进行前处理(步骤#102)。并且，将在该步骤#102中进行前处理后的图像信息G2、和通过接口电路12直接传送来的图像信息G1存储到图像存储器14中(步骤#103)。还有，与步骤#102和#103的处理并行，而进行在大致位置确定运算部7确定出图像信息G的大致的拍摄位置的处理(步骤#104)。另外，这些步骤#101～#104的处理与上述第一实施方式的图4中的步骤#01～#04的处理相同，故省略其详细说明。

接着，在车辆位置推测运算部18进行推测出有关车辆M行驶中的车道的处理(步骤#105)。该推测车道的处理基于来自车辆信息获取部19和过去路线存储部20的信息而进行。即，车辆信息获取部19基于来自车辆M的各部分的传感器的信息，将关于车辆M的前进道路的信息输出到车辆位置推测运算部18。还有，过去路线存储部20将从车辆信息获取部19输出的有关车辆M的前进道路的信息与车辆M的移动距离和移动时间等信息建立关联，并作为有关车辆M的过去行驶路线的信息而进行存储。因此，车辆位置推测运算部18从车辆信息获取部19和过去路线存储部20，可以获得车辆M过去变更过前进道路的次数、各次变更前进道路的角度等履历以及现在是否变更前进道路的状况等信息。还有，车辆位置推测运算部18从车辆M的变更前进道路的角度和方向指示器的操作等，可以判断各前进道路的变更是否为车道变更。车辆位置推测运算部18基于这些信息，根据规定的判断算法，而推测出行驶中的车道。

该判断算法可以采用如下算法。即，例如，推测车辆M开始行驶时的车道为最左侧的车道。还有，车辆M将相当于车道变更的前进道路变更从该状态向右方向进行了n次时，可以推测为处于从左侧起第n条车道上(n为自然数)。进而，车辆M将相当于车道变更的前进道路变更从该状态向左方向进行了m次时，可以推测为处于从左侧起第(n-m)条车道上(m为自然数)。此时，若(n-m)为零或负数时，则说明所推测的车道是错误的，所以进行修正而将此时的车道推测为最左侧的车道。

上述的判断算法只是一个例子，车辆位置推测运算部18的判断算法除此之外，也可以采用各种各样的算法。

然后，基于通过步骤#105的推测结果，在道路特征获取运算部9中，进行获取关于推测为车辆M行驶中的车道的各车道道路特征信息C’的处理(步骤#106)。这里，首先利用车道信息获取部9a，从地图信息数据库8获取在步骤#104中确定的大致的拍摄位置周边的道路11的包括车道数的车道信息，接着基于所获得的车道信息进行如下处理：利用各车道道路特征信息获取运算部9b，获取对于作为步骤#105中的推测结果而推测出的车道的各车道道路特征信息C’。在后述的步骤#108中，对所获得的各车道道路特征信息C’与图像信息G进行对比，因此，通过基于步骤#105的推测结果来决定获取各车道道路特征信息C’的顺序，从而也可决定各车道道路特征信息C’的对比的顺序。

各车道道路特征信息C’是以特定的车道为基准而从存储在地图信息数据库8中的大范围的地图信息中提取了有关在步骤#104中确定的大致的拍摄位置周边的地上物的道路特征信息C的信息。图15(a)～图15(c)为以图式的方式表示该各车道道路特征信息C’的一例的图。如该图所示，本例中的各车道道路特征信息C’是以各车道为基准，在包括存在于该车道及其两侧的规定范围内的地上物的信息的范围内，按左侧车道、中央车道、和右侧车道这3条的每个车道提取在步骤#104中确定的大致的拍摄位置周边的道路特征信息C的信息。图15(a)表示以左侧车道为基准的各车道道路特征信息C’1，图15(b)表示以中央车道为基准的各车道道路特征信息C’2，图15(c)表示以右侧车道为基准的各车道道路特征信息C’3。另外，该图15(a)～图15(c)所示的道路11的全体地上物的配置与图8所示的例子相同。

接着，在图像信息识别运算部10中进行对图像信息G的识别处理，对包含在图像信息G中的与上述地上物相对应的识别对象物的图像进行识别处理(步骤#107)。该处理与上述第一实施方式的图4中的步骤#06的处理相同，故省略其详细说明。

然后，在车辆位置确定运算部17的对比运算部17b中，进行对包含通过步骤#107所识别的识别对象物的图像的图像信息G、和通过步骤#106所获取的各车道道路特征信息C’进行对比处理(步骤#108)。本实施方式中，进行处理而将各车道道路特征信息C’转换成能够与图像信息G进行对比的信息的形式，并对转换后的各车道道路特征信息C’与图像信息G进行对比，而判断匹配性是否高。其中，作为各车道道路特征信息C’的转换处理，如图16(a)～图16(c)所示，在这里进行将各车道道路特征信息C’转换成配置了各车道道路特征信息C’所包含的各地上物的数据的处理，而使该数据成为与将作为该各车道道路特征信息C’为基准的车道的大致中央设定为拍摄位置时认为可拍摄到的图像信息相对应的配置。在图16(a)～图16(c)所示的例中，图16(a)为对图15(a)所示的以左侧车道为基准的各车道道路特征信息C’1进行转换的数据，图16(b)为对图15(b)所示的以中央车道为基准的各车道道路特征信息C’2进行转换的数据，图16(c)为对图15(c)所示的以右侧车道为基准的各车道道路特征信息C’3进行转换后的数据。

通过进行这种转换处理，能够容易地对图像信息G中的识别对象物的图像的配置、和包含在各车道道路特征信息C’中的与该识别对象物对应的各地上物的配置进行对比。具体来说，该对比处理对图像信息G中的各识别对象物的图像位置和各识别对象物的图像的形状及色彩、和各车道道路特征信息C’中所包含的与上述识别对象物对应的各地上物的位置及其形状和色彩等信息进行对比，并判断匹配性是否高。例如，当图像信息G与图7(a)、图7(b)所示的例子一致时，图16(a)所示的以左侧车道为基准的各车道道路特征信息C’1关于在车道两侧的车道线P1a、P2a、窨井P3、和人行道I1的位置、形状及色彩等与图像信息G匹配。

并且，该对比运算部17b在步骤#108进行对比的结果，当匹配性高时(步骤#109：“是”)，在车辆位置确定运算部17的拍摄车道确定部17b中，该各车道道路特征信息C’将作为基准的车道确定为车辆M行驶中的车道(步骤#110)。

另一方面，该对比运算部17b在步骤#108进行对比的结果，当匹配性低时(步骤#109：“否”)，进行从地图信息数据库8中获取相邻车道的各车道道路特征信息C’的处理(步骤#106)。这里之所以获取相邻车道的各车道道路特征信息C’，是因为即使步骤#105的推测结果出现偏差，车辆M行驶在其临近的车道上的可能性也很高。此时，例如如同在步骤#108最初进行对比的各车道道路特征信息C’是将3车道中的中央车道作为基准的信息的情况等那样，在步骤#109的判断结果是与匹配性低的车道相邻且还未成为对比的对象的车道处于其两侧时，按照预先规定的算法进行确定，例如先对右侧的车道进行对比等。

并且，对于在步骤#110获得的新的各车道道路特征信息C’，再次进行步骤#108以后的处理，在步骤#109被判断为匹配性高从而确定出车辆M的行驶中的车道，或者重复进行步骤#108～#110的处理，直至对车辆M行驶中的道路11的所有车道的各车道道路特征信息C’进行步骤#108的对比处理。另外，图14的流程图中虽然没有表示，但对车辆M行驶中的道路11的所有车道的各车道道路特征信息C’进行步骤#108的对比处理的结果，如果不存在匹配性高的各车道道路特征信息C’，则判断为车道位置不明，并对下一个图像信息G进行步骤#101～#111的处理。

通过上述处理，可以确定出车辆M行驶中的车道。

(其他实施方式)

(1)在上述第二实施方式的车辆位置识别装置1中，说明了将车辆位置推测运算部18的推测结果输出到道路特征信息获取运算部9，并只用于决定获取各车道道路特征信息C’时的顺序的情况。但是，作为一种合适的实施方式，也可以采用如下的结构：在该第二实施方式的车辆位置识别装置1中，将车辆位置推测运算部18的推测结果也输出到车辆位置确定运算部17，并利用于为了确定出车道位置的处理中。此时，例如在图14的步骤#109中判断匹配性时，若将是否存在与车辆位置推测运算部18的推测结果的矛盾等追加在判断的对象中，则能够进一步提高确定车道的精度。

同样，作为一种合适的实施方式，也可以采用如下的结构：在上述第一实施方式的车辆位置识别装置1中，也可以设置车辆位置推测运算部18等，并将车辆位置推测运算部18的推测结果输出到车辆位置确定运算部17，而利用于为了确定出车辆M的详细位置的处理中。

(2)在上述第二实施方式的车辆位置识别装置1中，说明了将车辆M行驶中的车道位置作为车辆M的详细位置而进行确定的情况，但本发明并不局限于此。例如，作为一种合适的实施方式，也可以采用如下的结构：作为以在道路11的宽度方向上不同的多个位置为基准的各位置的道路特征信息C，而按照比每个车道更加细分的每个位置获取道路特征信息C，从而能够确定出更加详细的道路宽度方向的位置。

(3)还有，在上述第二实施方式的车辆位置识别装置1中，说明了作为车辆M的详细位置而确定道路宽度方向的车道位置的结构，但是作为合适的实施方式，也可以采用如下的结构：在上述第二实施方式的结构中，与上述第一实施方式一样，也可以通过将没有沿道路11设置的窨井、停止线、标识、信号机等识别对象物的图像作为基准，而对沿道路11的方向、即道路长度方向的拍摄位置进行详细确定。

(4)在上述第一和第二实施方式的车辆位置识别装置1中，均说明了通过从地图信息数据库8获取道路特征信息，并与图像信息G进行对比，而确定出车辆M的详细位置的情况。但是，本发明并不局限于采用这种道路特征信息的情况。即，作为合适的实施方式，也可以采用如下的结构：在上述第二实施方式的车辆位置识别装置1中，采用不具有道路特征信息获取运算部9和地图信息数据库8的结构，并基于利用图像信息识别运算部10对包含在图像信息中的识别对象物的图像的识别结果、和利用车辆位置推测运算部对车辆的道路宽度方向的位置的推测结果，对车辆M在道路宽度方向的详细位置进行确定。此时，例如可以取代对图像信息G和道路特征信息C的对比处理，而进行关于图像信息G和利用车辆位置推测运算部18进行推测的结果是否出现矛盾的判断处理。

本发明的车辆位置识别装置及车辆位置识别方法利用在道路上拍摄的图像信息，可以确定车辆在道路宽度方向和道路长度方向的详细位置，因此能够适用于车道保持等的车辆M的操舵和车速等的行驶控制，或者在导航装置中的详细的自身车辆位置的显示等。

Claims

1.一种车辆位置识别装置，其特征在于，具有：

图像信息获取机构，其获取由装载在车辆上的拍摄装置至少拍摄了道路路面的图像信息；

道路特征信息获取机构，其从地图信息中获取与上述图像信息的拍摄位置周边的地上物有关的道路特征信息；

图像信息识别机构，其进行上述图像信息的识别处理，对上述图像信息中所包含的与上述地上物对应的识别对象物的图像进行识别；

车辆位置确定机构，其基于由上述道路特征信息获取机构获取的上述道路特征信息、和由上述图像信息识别机构识别出的上述识别对象物的图像在上述图像信息中的配置，确定上述车辆在道路宽度方向上的位置。

2.根据权利要求1所记载的车辆位置识别装置，其特征在于，上述车辆位置确定机构对由上述图像信息识别机构识别出的1个或2个以上的识别对象物的图像在上述图像信息中的配置、和上述道路特征信息中所包含的与上述1个或2个以上的识别对象物对应的物体的位置信息进行对比，确定上述车辆在道路宽度方向上的位置。

3.根据权利要求1或2所记载的车辆位置识别装置，其特征在于，上述图像信息识别机构从上述图像信息中提取上述识别对象物的候选图像，并与上述道路特征信息进行对比，将与上述道路特征信息匹配性高的上述候选图像识别为上述识别对象物的图像。

4.一种车辆位置识别装置，其特征在于，具有：

道路特征信息获取机构，其从地图信息中获取与上述图像信息的拍摄位置周边的地上物有关的道路特征信息，而作为以在上述道路宽度方向上不同的多个位置为基准的每个位置的信息；

车辆位置确定机构，其分别将由上述道路特征信息获取机构获取的上述道路宽度方向上的每个位置的道路特征信息，与由上述图像信息识别机构识别出的上述识别对象物的图像在上述图像信息中的配置进行对比，将作为匹配性高的上述道路特征信息的基准的道路宽度方向上的位置确定为上述车辆在道路宽度方向上的位置。

5.根据权利要求4所记载的车辆位置识别装置，其特征在于，具有车辆位置推测机构，该车辆位置推测机构基于来自车辆信息获取机构与过去路线获取机构中的一方或双方的信息来推测上述车辆在道路宽度方向上的位置，该车辆信息获取机构获取与上述车辆的前进道路有关的来自上述车辆的信息，该过去路线获取机构获取与上述车辆的过去行驶路线有关的信息，

上述车辆位置确定机构基于上述车辆位置推测机构的推测结果，决定上述道路宽度方向上的每个位置的道路特征信息的对比的顺序。

6.根据权利要求1～4中任一项所记载的车辆位置识别装置，其特征在于，具有车辆位置推测机构，该车辆位置推测机构基于来自车辆信息获取机构与过去路线获取机构中的一方或双方的信息来推测上述车辆在道路宽度方向上的位置，该车辆信息获取机构获取与上述车辆的前进道路有关的来自上述车辆的信息，过去路线获取机构获取与上述车辆的过去行驶路线有关的信息，

上述车辆位置确定机构，在上述车辆在道路宽度方向上的位置的确定中，采用上述车辆位置推测机构的推测结果。

7.根据权利要求1～6中任一项所记载的车辆位置识别装置，其特征在于，上述道路特征信息包括与上述地上物有关的位置信息、形状信息及色彩信息中的至少一方。

8.根据权利要求1～7中任一项所记载的车辆位置识别装置，其特征在于，上述车辆位置确定机构基于由上述道路特征信息获取机构获取的上述道路特征信息、和由上述图像信息识别机构识别出的上述识别对象物的图像在上述图像信息中的配置，对上述车辆在道路长度方向上的位置进行确定。

9.根据权利要求1～8中任一项所记载的车辆位置识别装置，其特征在于，上述道路特征信息获取机构从构成导航装置的地图信息数据库所具有的地图信息中，获取在由上述拍摄装置拍摄上述图像信息时由构成上述导航装置的位置信息获取机构获取的位置周边的上述道路特征信息。

10.一种车辆位置识别装置，其特征在于，具有：

图像信息识别机构，其进行上述图像信息的识别处理，对上述图像信息中所包含的识别对象物的图像进行识别；

车辆位置推测机构，其基于来自车辆信息获取机构与过去路线获取机构中的一方或双方的信息来推测上述车辆在道路宽度方向上的位置，该车辆信息获取机构获取与上述车辆的前进道路有关的来自上述车辆的信息，该过去路线获取机构获取与上述车辆的过去行驶路线有关的信息；

车辆位置确定机构，其基于由上述图像信息识别机构识别出的上述识别对象物的图像在上述图像信息中的配置、和上述车辆位置推测机构的推测结果，确定上述车辆在道路宽度方向上的位置。

11.根据权利要求1～10中任一项所记载的车辆位置识别装置，其特征在于，作为上述地上物，包括设置在道路路面上的涂料标记。

12.根据权利要求1～11中任一项所记载的车辆位置识别装置，其特征在于，上述图像信息获取机构以规定的时间间隔获取利用装载在车辆上的拍摄装置拍摄的图像信息。

13.一种车辆位置识别方法，其特征在于，具有：

图像信息获取工序，获取由装载在车辆上的拍摄装置至少拍摄了道路路面的图像信息；

道路特征信息获取工序，从地图信息中获取与上述图像信息的拍摄位置周边的地上物有关的道路特征信息；

图像信息识别工序，进行上述图像信息的识别处理，对上述图像信息中所包含的与上述地上物对应的识别对象物的图像进行识别；

车辆位置确定工序，基于由上述道路特征信息获取工序获取的上述道路特征信息、和由上述图像信息识别工序识别出的上述识别对象物的图像在上述图像信息中的配置，确定上述车辆在道路宽度方向上的位置。

14.一种车辆位置识别方法，其特征在于，具有：

道路特征信息获取工序，从地图信息中获取与上述图像信息的拍摄位置周边的地上物有关的道路特征信息，而作为以在上述道路宽度方向上不同的多个位置为基准的每个位置的信息；

车辆位置确定工序，分别将由上述道路特征信息获取工序获取的在上述道路宽度方向上的每个位置的道路特征信息，与由上述图像信息识别工序识别出的上述识别对象物的图像在上述图像信息中的配置进行对比，将作为匹配性高的上述道路特征信息的基准的道路宽度方向上的位置确定为上述车辆在道路宽度方向上的位置。

15.一种车辆位置识别方法，其特征在于，具有：

图像信息识别工序，进行上述图像信息的识别处理，对上述图像信息中所包含的识别对象物的图像进行识别；

车辆位置推测工序，基于来自车辆信息获取工序与过去路线获取工序中的一方或双方的信息来推测上述车辆在道路宽度方向上的位置，该车辆信息获取工序获取与上述车辆的前进道路有关的来自上述车辆的信息，该过去路线获取工序获取与上述车辆的过去行驶路线有关的信息；

车辆位置确定工序，基于由上述图像信息识别工序识别出的上述识别对象物的图像在上述图像信息中的配置、和上述车辆位置推测工序的推测结果，确定上述车辆在道路宽度方向上的位置。