CN102208036B - 车辆位置检测系统 - Google Patents
车辆位置检测系统 Download PDFInfo
- Publication number
- CN102208036B CN102208036B CN201110056910.8A CN201110056910A CN102208036B CN 102208036 B CN102208036 B CN 102208036B CN 201110056910 A CN201110056910 A CN 201110056910A CN 102208036 B CN102208036 B CN 102208036B
- Authority
- CN
- China
- Prior art keywords
- reference data
- image
- vehicle
- data
- shooting
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 33
- 230000013011 mating Effects 0.000 claims abstract description 47
- 238000012545 processing Methods 0.000 claims abstract description 38
- 239000000284 extract Substances 0.000 claims abstract description 20
- 230000008878 coupling Effects 0.000 claims abstract description 15
- 238000010168 coupling process Methods 0.000 claims abstract description 15
- 238000005859 coupling reaction Methods 0.000 claims abstract description 15
- 238000011156 evaluation Methods 0.000 claims abstract description 6
- 238000000034 method Methods 0.000 claims description 55
- 230000008569 process Effects 0.000 claims description 33
- 238000013075 data extraction Methods 0.000 claims description 5
- 239000003550 marker Substances 0.000 claims 1
- 238000000605 extraction Methods 0.000 description 24
- 238000010586 diagram Methods 0.000 description 14
- 230000000875 corresponding effect Effects 0.000 description 11
- 238000009826 distribution Methods 0.000 description 11
- 230000003287 optical effect Effects 0.000 description 9
- 238000005259 measurement Methods 0.000 description 6
- 238000004364 calculation method Methods 0.000 description 4
- 238000003708 edge detection Methods 0.000 description 4
- 230000001133 acceleration Effects 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 239000011159 matrix material Substances 0.000 description 3
- 230000004888 barrier function Effects 0.000 description 2
- 239000012141 concentrate Substances 0.000 description 2
- 238000006073 displacement reaction Methods 0.000 description 2
- 230000005484 gravity Effects 0.000 description 2
- 238000000691 measurement method Methods 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 238000003860 storage Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 241001269238 Data Species 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000004040 coloring Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 239000006185 dispersion Substances 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
- G01C21/34—Route searching; Route guidance
- G01C21/36—Input/output arrangements for on-board computers
- G01C21/3626—Details of the output of route guidance instructions
- G01C21/3647—Guidance involving output of stored or live camera images or video streams
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
- G01C21/28—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network with correlation of data from several navigational instruments
Landscapes
- Engineering & Computer Science (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Automation & Control Theory (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Navigation (AREA)
- Traffic Control Systems (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及一种车辆位置检测系统，包括：存储参考数据的参考数据数据库；输入实际拍摄图像并输出用于匹配的数据的拍摄图像处理单元；产生关于实际车辆事件的信息的车辆事件评价单元；提取第一参考数据并输出所提取的第一参考数据作为用于匹配的数据的匹配候选的第一参考数据输出单元；提取第二参考数据并输出所提取的第二参考数据作为用于匹配的数据的匹配候选的第二参考数据输出单元；在第一参考数据和第二参考数据中的至少一个与用于匹配的数据之间执行匹配的匹配执行单元；以及基于与匹配于用于匹配的数据的参考数据关联的图像拍摄位置来确定车辆位置的车辆位置确定单元。本发明能够精确并高效地检测车辆位置，而不必需要用户的确定。
Description
2010年3月31日递交的包括说明书、附图以及摘要的日本专利申请No.2010-084625的全部内容通过参考援引于此。
技术领域
本发明涉及一种使用从车辆拍摄的风景图像来获得车辆在行驶期间的当前位置的车辆位置检测系统。
背景技术
在汽车导航技术领域中，采用如下方法作为计算车辆当前位置的方法：使用从传感器(如陀螺仪传感器和地磁传感器)所获取的信息的方法(自主导航方法)、使用来自GPS卫星信号的方法、或者自主导航方法和使用来自GPS卫星信号的方法的组合方法。此外，例如，日本专利申请公报2007-108043(JP-A-2007-108043)中所描述的位置测量设备为已知的配置为精确计算当前位置的位置测量设备(参见第0009-0013段，以及图1)。在该位置测量设备中，首先，使用来自导航卫星等的信号来获取暂定当前位置。然后，使用车辆前方风景的拍摄图像来计算坐标系(车辆坐标系)中相对于暂定当前位置的路标的特征点的坐标(车辆坐标系特征点)。然后，使用所计算的车辆坐标系特征点和所存储的路标的特征点的坐标(即世界坐标系中示出的坐标)来计算车辆的当前位置。在位置测量设备中，即使使用导航卫星发送的信号和/或各种传感器发送的信号测量出的位置包括误差，也能够精确计算当前位置。
而且，在汽车导航技术领域中，例如，在日本专利申请公报2004-333233(JP-A-2004-333233)所描述的导航设备中(参见第0010-0043段，以及图1)，将建筑物、风景或者类似物的拍摄图像作为搜索关键字从图像数据库中取出(retrieve)具有高相似度的至少一幅图像，并且将取出的至少一幅图像和相应的地点确定信息显示给用户。当用户看到所显示的至少一幅图像和相应的 地点确定信息时，用户从所显示的图像中选择图像，将目的地设定为与所选择图像关联的位置信息。利用这种导航设备，当输入通过拍摄一地点所获得的拍摄图像时，执行搜索，取出匹配于输入图像和相应的地点确定信息的至少一幅图像，并将其显示给用户。当该用户从显示的图像中选择图像时，将目的地设定为所选择图像的地点。因而，即使在用户不知道其想设为目的地的地点的位置或者设施的名字时，该用户也能使用在该地点处获取的拍摄图像来设定目的地。
发明内容
在日本专利申请公报2007-108043(JP-A-2007-108043)中所描述的位置测量设备中，使用立体图像来获取路标特征点的空间坐标，并且从路标信息的数据库中获取具有该特征点的路标的经度和纬度。从而，使用利用路标的经度和纬度所获取到的坐标来计算车辆的当前位置。因此，该位置检测设备不能使用在没有路标的地区中。并且，因为必须计算通过图像处理识别的特征点的空间坐标，因此需要该设备具有高计算能力，这会导致成本的增加。
此外，当如上述公报2004-333233中所描述的导航设备那样使用所拍摄的风景图像确定位置时，在与输入图像相匹配的图像显示在导航设备中后，用户需要对该图像进行确认。因此，很难将这种技术应用在汽车导航中使用的车辆位置的检测。
考虑到上述情况，期望实现一种车辆位置检测系统，其能够使用风景图像识别技术精确并高效地检测车辆位置，而不必需要用户的确定。
本发明的第一方案涉及一种车辆检测系统，包括：参考数据数据库，其中存储参考数据，所述参考数据通过将图像特征点数据与图像拍摄位置、所记录的车辆事件进行关联来产生，其中所述图像特征点数据通过从拍摄从车辆看到的风景获取的拍摄图像中提取图像特征点产生，在所述图像拍摄位置处拍摄图像以获取与所述图像特征点数据对应的拍摄图像，所述所记录的车辆事件表示在拍摄图像以获取所述拍摄图像时的车辆事件；拍摄图像处理单元，实际拍摄图像输入至所述拍摄图像处理单元，并且所述拍摄图像处理单元输出由从所述实际拍摄图像中提取出的图像特征点产生的用于匹配的数据，其中所述实际拍摄图像通过使用车载摄像机拍摄风景的图像来获取；车 辆事件评价单元，产生关于实际车辆事件的信息，其中所述实际车辆事件为由所述车辆检测到的车辆事件；第一参考数据输出单元，基于所述车辆的估计位置从存储在所述参考数据数据库中的一组参考数据中提取第一参考数据，并输出所提取的第一参考数据作为所述用于匹配的数据的匹配候选，其中所述第一参考数据的图像拍摄位置位于所述车辆的估计位置附近；第二参考数据输出单元，基于所述车辆事件从存储在所述参考数据数据库中的所述一组参考数据中提取第二参考数据，并输出所提取的第二参考数据作为所述用于匹配的数据的匹配候选，其中所述第二参考数据包括与所述实际车辆事件匹配的所记录的车辆事件；匹配执行单元，在所述第一参考数据和所述第二参考数据中的至少一个与所述用于匹配的数据之间执行匹配；以及车辆位置确定单元，基于与匹配于所述用于匹配的数据的参考数据关联的图像拍摄位置来确定所述车辆的位置。
在上述结构中，对作为用于匹配的数据的匹配候选的参考数据进行提取的任务被分给第一参考数据输出单元和第二参考数据输出单元。即，第一参考数据输出单元对图像拍摄位置位于估计车辆位置附近的参考数据(第一参考数据)进行提取。第二参考数据输出单元使用车辆事件作为搜索条件来对参考数据进行提取。从而，即使图像拍摄位置位于估计车辆位置附近的参考数据与用于匹配的数据不匹配，也能使用作为不同于位置的搜索条件的车辆事件对参考数据进行提取。由此高效地执行匹配。
附图说明
通过参考附图对示例实施例的如下描述，本发明的前述和其它的目的、特点和优点将变得明显。其中使用同一标号表示同样的元件，其中：
图1为用于阐释在根据本发明实施例的使用风景图像识别的车辆位置检测系统中车辆位置检测技术的基本原理的示意图；
图2为示出产生被用于根据本发明实施例的车辆位置检测系统中的参考数据的图像处理系统的主要功能的功能框图；
图3A-图3F为示意性示出使用调整系数调整权重系数的示意图；
图4为示出采用根据本发明实施例的车辆位置检测系统的汽车导航系统的功能的功能框图；
图5为用于示意性阐释当车辆暂停时基于车辆事件提取参考数据的示意图，其中所述参考数据的图像拍摄位置不包括在误差范围内；
图6为用于阐释当车辆行驶在弯路上时基于车辆事件提取参考数据的示意图，其中所述参考数据的图像拍摄位置不包括在误差范围内；以及
图7为示出风景匹配单元的功能的功能框图。
具体实施方式
下文中，将参照附图详细描述本发明的实施例。图1示意性示出了位置测量技术的基本原理，在该位置测量技术中，通过使用由根据本发明实施例的图像处理系统生成的参考数据进行匹配处理，对通过设置为拍摄车辆前方图像的车载摄像机所拍摄的风景图像执行图像识别，以便于确定风景图像被拍摄的位置(即车辆位置)。
首先，将描述用于生成参考数据数据库(下文，简称为“参考数据DB”)的过程。如图1所示，输入通过在车辆行驶期间拍摄从车辆看到的风景所获得的拍摄图像、图像拍摄属性信息(image-capturing attribute information)以及车辆事件中的事件值(步骤01)。图像拍摄属性信息包括在拍摄图像时拍摄图像的图像拍摄位置以及拍摄图像的图像拍摄方向。术语“拍摄图像的图像拍摄位置”表示为获取拍摄图像对图像进行拍摄的位置。术语“拍摄图像的图像拍摄方向”表示为获取拍摄图像对图像进行拍摄的方向。车辆事件是车辆在图像拍摄时发生的事件(例如，暂停或行驶在弯路上)。然后，对所输入的拍摄图像执行用于检测图像特征点的特征点检测处理(例如边缘检测处理)(步骤02)。与一个或更多像素点对应的边缘点的构成一条线段(例如轮廓线)的部分被称作“线段边缘”。多条线段边缘相互交叉的交叉点被称作“角(corner)”。构成线段边缘的边缘点被称作“线段边缘点”。在线段边缘点中，对应于角的边缘点被称作“角边缘点”。线段边缘点和角边缘点都是图像特征点的示例。从通过边缘检测处理所获得的边缘检测图像中提取包括角边缘点的线段边缘点作为图像特征点(步骤03)。
考虑到图像特征点被用作风景图像识别，因此所有被提取的图像特征点不必具有同样的重要度。例如，每个图像特征点的重要度可依赖于拍摄图像中的图像特征点的位置坐标而定。因此，优选地，通过应用如下的规则来确 定图像特征点的重要度(步骤04)，该规则为降低不适合风景图像识别的图像特征点的重要度和/或增加对风景图像识别而言重要的图像特征点的重要度。在确定每个图像特征点的重要性后，产生权重系数矩阵(步骤05)。该权重系数矩阵规定了根据图像特征点的重要度对图像特征点进行权重系数的分配。
接下来，通过使用权重系数对图像特征点执行处理产生用于每个拍摄图像的图像特征点数据(步骤07)。在生成图像特征点数据的处理期间执行选择处理。即，丢弃权重系数等于或低于第一阈值的图像特征点，和/或丢弃除了权重系数等于或大于第二阈值的图像特征点及其周围的图像特征点之外的图像特征点。当图案匹配(pattern matching)被用于风景图像识别时，在这个步骤中所产生的图像特征点数据被用作图案。因此为了获得匹配的高速性能和高精确率，重要的是图像特征点数据应仅包括对风景图像的图案匹配有用的图像特征点。所产生的图像特征点数据与对应于图像特征点数据的拍摄图像的图像拍摄位置和/或图像拍摄方向以及车辆事件相关联。因而，所产生的图像特征点数据成为可以使用图像拍摄位置和/或图像拍摄方向以及车辆事件作为搜索条件进行搜索的数据库的数据(步骤08)。即，图像特征点数据存储在参考数据DB 92中作为用于风景图像识别的参考数据的一部分，即作为被提取作为匹配候选的数据(步骤09)。
接下来，将描述在车辆使用通过上述过程所产生的参考数据DB 92实际行驶时确定车辆的位置(车辆位置)的过程。如图1所示，输入例如使用GPS测量单元估计的估计车辆位置、通过使用图像拍摄位置为估计车辆位置的车载摄像机拍摄图像所获得的实际拍摄图像及其图像拍摄方向以及车辆事件数据(步骤11)。图像拍摄时的实际车辆事件记录在车辆事件数据中。通过上面描述的步骤02至步骤07由输入的拍摄图像产生作为图像特征点数据的用于匹配的数据(步骤12)。
计算估计误差范围(下文中，简称为“误差范围”)，其基于作为输入的图像拍摄位置的估计车辆位置中的误差而限定(步骤13a)。此外，评估所输入的车辆事件数据，从而产生关于实际车辆事件的信息(下文中，称为“实际车辆事件信息)(步骤13b)。实际车辆事件信息包括可被作为用来搜索参考数据DB 92的搜索条件的事件。然后，基于误差范围和实际车辆事件从参 考数据DB 92中提取适合作为用于匹配的数据的匹配候选的参考数据(步骤13c)。从而，输出基于误差范围的参考数据和基于车辆事件的参考数据(步骤13d)。准备一组输出的参考数据(即，匹配候选参考数据组)用于风景图像识别的匹配处理(步骤14)。
将被包括在所提取的匹配候选参考数据组中的每个参考数据设定为图案，并且在每个图案与所产生的用于匹配的数据之间执行图案匹配处理，作为风景图像识别(步骤15)。当被设定为图案的参考数据匹配于所产生的用于匹配的数据时，取出与匹配于所产生的用于匹配的数据的参考数据相关联的图像拍摄位置(步骤16)。将所取出的图像拍摄位置确定为正式的车辆位置，代替估计车辆位置(步骤17)。
接下来，将描述图像处理系统的示例，其中该图像处理系统从通过拍摄从车辆看到的风景所获得的拍摄图像产生用于上述车辆位置检测系统的参考数据。图2示意性示出了图像处理系统的功能。
图像处理系统包括多个功能单元，如数据输入单元51、特征点提取单元52、特征点重要度确定单元53、加权单元55、调整系数设定单元54、图像特征点数据产生单元56以及参考数据数据库生成单元57。每个功能都可通过硬件、软件或软件和硬件的结合来执行。
将通过使用车辆中设置的摄像机拍摄风景所获得的拍摄图像、包括图像拍摄时的图像拍摄位置和图像拍摄方向的图像拍摄属性信息以及图像拍摄情况信息作为图像拍摄相关信息输入到数据输入单元51。车辆可以是用于创建参考数据而行驶的车辆。另外，将表示在图像拍摄时的特定车辆事件中的事件值的车辆事件数据输入至数据输入单元51。在车辆事件数据中所包括的特定车辆事件中的事件值的示例包括车辆暂停时的车辆速度、车辆行驶在弯路上时的转向角以及车辆行驶在斜坡道路上时车辆沿纵向方向的倾角(即，道路的倾角)。在图像处理系统被设置在车辆中的示例中，将拍摄图像、图像拍摄属性信息、图像拍摄情况信息以及车辆事件数据实时输入至数据输入单元51。然而，在图像处理系统被安装在数据处理中心或者类似地方的示例中，拍摄图像、图像拍摄属性信息、图像拍摄情况信息以及车辆事件数据暂存在存储介质中，并以批处理的方式将这些数据输入至数据输入单元51。拍摄图像、图像拍摄属性信息以及车辆事件数据的产生方法是已知的，因此省 略对其的描述。
图像拍摄情况信息是指示拍摄图像中包含特定对象的可能性的信息。特定对象的示例包括限定车辆行驶的行驶车道的物体(如导轨、路肩的沟槽)，移动物体(如附近行驶车辆、迎面而来的车辆、自行车以及行人)以及作为山区、郊区、城区以及高层建筑区等类似特征的风景物(如山脉和建筑物)。在实施例中，图像拍摄情况信息的内容包括行驶车道数据DL、移动物体数据DO以及区属性数据DA。行驶车道数据DL为在拍摄图像中表示行驶车道区域和道路外侧区域的数据。基于白线、导轨(guide rail)和安全地带的识别结果来获取行驶车道数据DL。通过对拍摄图像执行图像处理来识别白线、导轨和安全地带。移动物体数据DO为表示车辆附近的移动物体存在于拍摄图像中的区域的数据。通过检测障碍物的车载传感器(如雷达)来识别车辆附近的移动物体。区属性数据DA为表示通过拍摄图像获取拍摄图像的图像拍摄区的类型(即图像拍摄区的区属性)的数据。区属性的示例包括山区、郊区、城区以及高层建筑物区。基于通过在拍摄图像获取拍摄图像时的车辆位置和地图数据来识别该类型(即图像拍摄区的区属性)。
特征点提取单元52使用适当的算子(operator)从拍摄图像中提取边缘点作为图像特征点。特征点重要度确定单元53基于图像拍摄情况信息中所包括的每个数据的内容确定由特征点提取单元52所提取的图像特征点的重要度。例如，当使用行驶车道数据DL的内容时，与分配给拍摄图像中行驶车道内侧区域中的图像特征点的重要度相比，将高重要度分配给拍摄图像中的行驶车道外侧的路肩侧区域中的图像特征点。当使用移动物体数据DO时，与分配给拍摄图像中不存在移动物体的区域中的图像特征点的重要度相比，将低重要度分配给拍摄图像中存在移动物体的区域中的图像特征点。而且，当使用区属性数据DA时，根据拍摄图像中图像特征点的位置向图像特征点分配重要度的规则根据上述区属性而改变。例如，在山区的拍摄图像中，因为在用于图像拍摄的中心光轴上方很可能是天空，且在用于图像拍摄的中心光轴的左侧和右侧是森林，所以与分配给除了中心区域之外的区域中的图像特征点的重要度相比，将高重要度分配给用于图像拍摄的中心光轴周围的中心区域的图像特征点。在郊区拍摄图像中，因为交通量不大，并且四周有如房子之类的结构性物体，所以与分配给用于图像拍摄的中心光轴上方的区域 中的图像特征点的重要度相比，将高重要度分配给用于图像拍摄的中心光轴下方的区域中的图像特征点。在城区的拍摄图像中，因为交通量很大，所以与用于图像拍摄的中心光轴下方的区域相比，将高重要度分配给用于图像拍摄的中心光轴上方的区域中的图像特征点。在高层建筑物区的拍摄图像中，因为有很多高架路和高架桥，所以与用于图像拍摄的中心光轴下方的区域相比，将高重要度分配给用于图像拍摄的中心光轴上方的区域中的图像特征点。
加权单元55根据由特征点重要度确定单元53分配的重要度将权重系数分配给图像特征点。因为高重要度被分配给认为对执行精确图像识别(精确图案匹配)重要的图像特征点，所以高权重系数被分配给已经被分配高重要度的图像特征点。另一方面，考虑到已经被分配低重要度的图像特征点很可能不被用于实际图像识别或者会从参考数据中删除掉，所以将低权重系数分配给已经被分配低重要度的图像特征点，从而使用低权重系数确定是否选择或者删除图像特征点。
调整系数设定单元554考虑拍摄图像中权重系数的分布状态，计算用于改变由加权单元55分配的权重系数的调整系数。基于图像拍摄情况信息已经分配给由特征点提取单元52所提取的图像特征点的重要度包括一定的误差。因而，分配了高重要度的图像特征点可能是随机分布的。因此，当分配了高重要度的图像特征点不均匀分布时，换言之，当已经由加权单元55分配了高权重系数的图像特征点不均匀分布时，调整系数设定单元54用来使分布更均匀。当通过计算处理获得的图像特征点的分散度(dispersion)表明分配了高重要度的图像特征点不均匀分布时，将调整系数设定为增加分配了高权重系数的图像特征点的密度低的区域中的图像特征点的权重系数，并将调整系数设定为降低分配了高权重系数的图像特征点的密度高的区域中的图像特征点的权重系数。
图像特征点数据产生单元56通过基于由加权单元55分配的权重系数或者在一些情况下基于权重系数和所分配的调整系数对图像特征点执行处理，从而产生用于每个拍摄图像的图像特征点数据。当产生图像特征点数据时，可通过删除权重系数等于或低于阈值的图像特征点来降低图像特征点的数量，从而有效地执行匹配处理。此外，图像特征点数据可设置有权重系数， 以便于也将权重系数与参考数据中的图像特征点相关联，且在执行图案匹配处理时该权重系数被用于计算加权相似度(weighted similarity)。
参考图3A-图3F示出的示意性说明图描述使用上述调整系数将图像特征点数据中的图像特征点尽可能广泛地分布在拍摄图像的整个区域上的处理。通过从拍摄图像(图3A)中提取图像特征点来产生特征点图像(图3B)。将重要度分配给特征点图像中的每个图像特征点。图3C以与图像特征点对应的重要度层的形式示出了与图像特征点对应的重要度，从而能够示意性理解如何分配重要度。使用重要度层将权重系数分配给每个图像特征点。图3D以图像特征点的尺寸随着图像特征点的权重系数增加而增加的特征点图像形式示出了已分配权重系数的图像特征点。如果对图像特征点执行处理，例如，删除分配了等于或低于阈值的权重系数的图像特征点，即，例如，如果删除除了图3D中的大尺寸图像特征点之外的图像特征点，位于特征点图像中的下部区域中的图像特征点被移除。因而，剩余的图像特征点(即，图像特征点数据中的图像特征点)可能非常不均匀地分布。为了避免图像特征点的不均匀分布，计算特征点图像中的图像特征点的分布度，并且作为对图像特征点执行处理的结果，将调整系数设定为增加剩余图像特征点的密度低的区域中的图像特征点的权重系数。为了能够示意性理解以上述方式设定的调整系数，图3E以与特征点图像对应的调整系数层的形式示出了调整系数组。在调整系数层中，调整系数排列成矩阵形式(即，调整系数被分配给由多个像素区域组成的每个分区)。图像特征点数据产生单元56使用权重系数和基于调整系数最终设定的权重系数对图像特征点执行处理，从而为每个拍摄图像产生图3F中所示的图像特征点数据。
参考数据数据库创建单元57通过将由图像特征点数据产生单元56产生的图像特征点数据与关于与图像特征点数据对应的拍摄图像的图像拍摄属性信息关联，来创建用于风景图像识别的参考数据，并创建参考数据的数据库。同时，为了有助于风景图像识别，将表示图像拍摄时的车辆事件的信息从车辆事件数据中取出作为记录的车辆事件，并且该信息也关联于参考数据。将参考数据存储在参考数据DB 92中。
已经在上面描述了确定每个图像特征点的重要度，由此设定每个图像特征点的权重系数的示例。然而，可以对每个图像特征点组执行处理。在这种 情况下，例如，拍摄图像的区域可被划分为多个图像分区，并且特征点重要度确定单元53可以将图像特征点划分为图像特征点组，以使每个图像特征点组包括同一图像分区中的图像特征点，并且可对每个图像特征点组执行处理。在这种情况下，特征点重要度确定单元53可以将同一重要度分配给包含在同一图像特征点组中的图像特征点。同样，加权单元55可以为每个图像特征点组设定权重系数。在这种情况下，可以以每个图像分区由拍摄图像中所包含的一个像素组成或每个图像分区由多个像素组成的方式来设定图像分区。从而，在本发明的实施例中，每个图像分区可由一个或更多的像素组成。
接下来，将描述车载汽车导航系统，该车载汽车导航系统使用由上述图像处理系统创建的参考数据DB 92，通过基于上述车辆位置检测系统的基本原理执行风景图像识别(图像特征点图案匹配)来修正车辆位置。图4示出了汽车导航系统安装在车载LAN中的示例的功能框图。汽车导航系统包括输入操作模块21、导航控制模块3、车辆位置检测模块4、图像拍摄情况信息产生单元7、包括上述参考数据DB 92和存储有用于汽车导航的道路地图数据的道路地图数据库(下文中，简称为“道路地图DB”)的数据库9以及车辆事件检测模块24。车辆事件检测模块24具有接收传感器信号、通过车载LAN控制表示各种车辆行为(如刹车行为、加速行为以及转向行为)的信号以及产生并输出包括各种车辆事件的车辆事件数据的功能。
导航控制模块3包括路线设定单元31、路线搜索单元32以及路线导引单元33。例如，路线设定单元31设定出发点(如当前车辆位置)、已经输入的目的地、经过点以及行驶条件(例如，是否使用高速公路的条件)。路线搜索单元32是执行用来基于由路线设定单元31设定的条件搜索从出发点到目的地的导引路线的计算处理的处理单元。路线导引单元33为执行用来根据由路线搜索单元32搜索得到的从出发点到目的地的路线为驾驶者提供合适的路线导引的计算处理的处理单元。路线导引单元33使用显示在监视器12的屏幕上的导引、从扬声器13输出的语音导引等提供路线导引。
车辆位置检测模块4具有对通过使用GPS执行传统位置计算以及使用航位推算导航法执行传统位置计算所获得的估计车辆位置进行修正的功能。车辆位置检测模块4基于使用估计车辆位置由风景图像识别所确定的车辆位置 来修正估计车辆位置。该车辆位置检测模块4包括GPS处理单元41、航位推算导航法处理单元42、车辆位置坐标计算单元43、地图匹配单元44、车辆位置确定单元45、拍摄图像处理单元5以及风景匹配单元6。该GPS处理单元41连接至从GPS卫星接收GPS信号的GPS测量单元15。GPS处理单元41分析由GPS测量单元15接收到的来自GPS卫星的信号，计算车辆的当前位置(即经度和纬度)，并将车辆的当前位置作为GPS位置坐标数据传输至车辆位置坐标计算单元43。该航位推算导航法处理单元42连接至距离传感器16和方向传感器17。该距离传感器16为检测车辆速度和移动距离的传感器。例如，距离传感器16包括：在车辆的传动轴、车轮等每次旋转一定量时输出脉冲信号的车辆速度脉冲传感器，检测车辆加速度的偏航率/加速度传感器，以及对所检测的加速度值进行积分的电路。距离传感器16将作为检测结果的关于车辆速度的信息和关于车辆移动距离的信息输出给航位推算导航法处理单元42。例如，方向传感器17包括陀螺仪传感器、地磁传感器、与转向轮的旋转单元连接的光学角速率传感器和旋转式可变电阻器以及与车轮单元连接的角度传感器(angle sensor)。方向传感器17将作为检测结果的方向信息输出给航位推算导航法处理单元42。该航位推算导航法处理单元42基于每时刻传输给航位推算导航法处理单元42的移动距离信息和方向信息计算航位推算导航法位置坐标，并将计算出的航位推算导航法位置坐标作为航位推算导航法位置坐标数据传输给车辆位置坐标计算单元43。车辆位置坐标计算单元43基于GPS位置坐标数据和航位推算导航法位置坐标数据使用已知方法执行计算处理以确定车辆位置的坐标。所计算出的车辆位置信息包括测量误差等。因此，在一些情况下，所计算出的车辆位置会偏离道路。因而，地图匹配单元44调整车辆位置信息，以使车辆位于道路地图所示出的道路上。车辆位置的坐标作为估计车辆位置被传输给车辆位置确定单元45。
拍摄图像处理单元5基本上包括构成图2所示的图像处理系统的大部分功能单元。拍摄图像处理单元5包括数据输入单元51、特征点提取单元52、特征点重要度确定单元53、加权单元55、调整系数设定单元54以及图像特征点数据产生单元56。当车辆前方风景的拍摄图像(其为由车载摄像机14所拍摄的图像)输入到数据输入单元51中时，通过上述步骤从图像特征点 数据产生单元56输出图像特征点数据。特征点重要度确定单元53所使用的图像拍摄情况信息通过设置在车辆中的图像拍摄情况信息产生单元7产生，并传输给拍摄图像处理单元5。图像拍摄情况信息产生单元7连接至车载摄像机14以产生上述行驶车道数据DL，并且图像拍摄情况信息产生单元7接收与传输至拍摄图像处理单元5的拍摄图像相同的拍摄图像。通过使用已知算法对接收到的拍摄图像执行图像处理，从而创建行驶车道数据DL。图像拍摄情况数据产生单元7连接至用于检测障碍物的传感器组18，以创建上述移动物体数据DO。图像拍摄情况信息产生单元7基于从传感器组18传输的传感器信息创建移动物体数据DO。而且，图像拍摄情况信息产生单元7连接至车辆位置确定单元45和数据库9，以创建上述区属性数据DA。图像拍摄情况信息产生单元7通过使用从车辆位置确定单元45传输的车辆位置坐标作为搜索条件来搜索数据库9，从而获得车辆当前行驶的地区的区属性。区属性的示例包括山区和城区。图像拍摄情况信息产生单元7基于所获得的区属性创建区属性数据DA。
风景匹配单元6根据以后详细描述的提取算法，基于从车辆位置确定单元45传输的估计车辆位置和从车辆事件检测模块24传输的实际车辆事件，从参考数据DB 92中提取参考数据组。此外，当风景匹配单元6顺序设定在所提取的参考数据组中所包含的每个参考数据作为用于图案匹配的图案时，风景匹配单元6对用于匹配的数据(其为从拍摄图像处理单元5传输的图像特征点数据)执行图案匹配处理。当参考数据与用于匹配的数据匹配时，取出与匹配于用于匹配的数据的参考数据关联的图像拍摄位置。将取回的图像拍摄位置作为车辆位置传输给车辆位置确定单元45。车辆位置确定单元45对车辆位置进行修正，即，用所传输的车辆位置代替估计车辆位置。
汽车导航系统还包括作为外围设备的输入操作模块21、显示模块22以及语音产生模块23。输入操作模块21包括：输入设备11，包括有触摸屏和开关；以及操作输入评价单元21a，通过输入设备11将操作输入转变为适当的操作信号，并将操作信号传输给汽车导航系统。显示模块22使监视器12显示汽车导航所需的图像信息。语音产生模块23使扬声器13和蜂鸣器输出汽车导航所需的语音信息。
接下来，将参考图5和图6中的示意图描述在由风景匹配单元6执行的 对第一参考数据的提取和对第二参考数据的提取之间的关系。第一参考数据是图像拍摄位置包含在误差范围(该误差范围的中心为估计车辆位置)内的参考数据组。第二参考数据是基于从车辆事件检测模块24传输的实际车辆事件所提取的参考数据组(或仅一个参考数据)。尽管第二参考数据的图像拍摄位置位于误差范围之外，但第二参考数据作为匹配候选是有用的。
当车辆位置的误差超出为计算误差范围所估计的误差时，实际车辆位置不包括在误差范围内。在这种情况下，能想到的是在逐渐扩大估计误差范围的同时，执行作为风景图像识别的匹配处理。然而，可能需要一定的时间来执行匹配处理，或者不能够执行匹配处理。
图5为用于阐释基于车辆暂停时的车辆事件所提取的图像拍摄位置不包括在误差范围内的参考数据的示意图。在图5中，估计车辆位置表示为参考点P3，并且沿车辆行驶的车辆行驶方向位于参考点P3前方的参考数据的图像拍摄位置表示为沿远离估计车辆位置的方向的顺序的图像拍摄位置P4、P5、P6以及P7。沿车辆行驶方向位于参考点P3后方的参考数据的图像拍摄位置表示为图像拍摄位置P2。中心为参考点P3并基于车辆位置的测量误差而计算出的误差范围用虚线表示。在示例中，参考点P3以及图像拍摄位置P2和P4都包含在误差范围内。术语“图像拍摄位置”表示存储在参考数据DB 92中的参考数据的图像拍摄位置。可通过使用误差范围作为搜索条件来搜索参考数据DB 92，从而提取图像拍摄位置包含在误差范围内的参考数据R2、R3以及R4(第一参考数据)。此外，示意性示出了每个图像拍摄位置处的车辆速度V(用km/h来表示)。车辆速度为与用于图像拍摄位置的参考数据关联的所记录的车辆事件(即，在这个示例中的暂停)中的事件值。参考点P3处的车辆速度V是10km/h，图像拍摄位置P2处的车辆速度V是20km/h，图像拍摄位置P4处的车辆速度V是10km/h，以及图像拍摄位置P7处的车辆速度是0km/h。在图5所示的示例中，车辆实际位于的实际车辆位置是图像拍摄位置P7。在这个位置处，车辆暂停(即，实际车辆速度Va为0km/h)。在这种情况下，通过使用实际车辆事件作为搜索条件进一步搜索参考数据DB 92来提取图像拍摄位置P7处的参考数据R7(第二参考数据)作为匹配候选。当实际车辆事件被用作搜索条件时，基于误差范围确定的范围，例如为车辆已经行驶范围两倍的范围，可被用作用于从参考数据DB 92提取 参考数据的提取条件的参考数据提取范围。在这种情况下，能够通过使用预定阈值相对于估计车辆位置限制参考提取范围来降低提取无用数据的可能性。
因为车辆实际位于的实际车辆位置是图5所示示例中的图像拍摄位置P7，实际拍摄图像为通过在图像拍摄位置P7处拍摄图像所获取的拍摄图像，因此实际车辆事件中的事件值(即车辆速度)为0km/h。如图5所示，估计车辆位置偏离实际车辆位置很大程度。因此，当在使用误差范围作为搜索条件所提取的第一参考数据与从实际拍摄图像产生的用于匹配的数据之间执行匹配时，没有第一参考数据匹配于用于匹配的数据。相反地，尽管使用实际车辆事件作为搜索条件所提取的第二参考数据为图像拍摄位置P7极大远离误差范围的参考数据，但第二参考数据匹配于用于匹配的数据。从而，能够修正估计车辆位置，即，用更精确的车辆位置代替估计车辆位置。
图6为用于阐释基于车辆行驶在弯路时的车辆事件所提取的图像拍摄位置不包含在误差范围内的参考数据的示意图。在图6中，估计车辆位置表示为参考点P4，并且沿车辆行驶方向位于参考点P4前方的参考数据的图像拍摄位置表示为沿远离估计车辆位置的方向的顺序的图像拍摄位置P5-P10。沿车辆行驶方向位于参考点P4后方的参考数据的图像拍摄位置表示为沿远离估计车辆位置方向的顺序的图像拍摄位置P3和P2。中心为参考点P4并基于车辆位置的测量误差计算的误差范围在图6中也用虚线表示。在示例中，参考点P4以及图像拍摄位置P3和P5都被包含在误差范围内。可通过使用误差范围作为搜索条件搜索参考数据DB 92来提取图像拍摄位置被包含在误差范围内的参考数据R3、R4以及R5(第一参考数据)。此外，示意性示出了每个图像拍摄位置的转向角。转向角是与用于图像拍摄位置的参考数据关联的所记录车辆事件(即，行驶在弯路上)中的车辆值。参考点P4处的转向角是0°，图像拍摄位置P3处的转向角是0°，图像拍摄位置P5处的转向角是0°，以及图像拍摄位置P7处的转向角是15°。同样在图6所示的示例中，车辆实际位于的实际车辆位置是图像拍摄位置P7。在这个位置，车辆实际行驶在转向角为15°的弯路上。同样在这种情况下，通过使用实际车辆事件作为搜索条件进一步搜索参考数据DB 92提取图像拍摄位置P7的参考数据R7(第二参考数据)作为匹配候选。因为车辆实际位于的实际车辆 位置是图6所示的示例中的图像拍摄位置P7，实际拍摄图像为通过在图像拍摄位置P7处拍摄图像所获取的拍摄图像，因此实际车辆事件中的事件值(即转向角)为15°。如图6所示，估计车辆位置偏离实际车辆位置很大程度。因此，当在使用误差范围作为搜索条件所提取的第一参考数据与从实际拍摄图像产生的用于匹配的数据之间执行匹配时，没有第一参考数据匹配于用于匹配的数据。相反地，尽管使用实际车辆事件作为搜索条件所提取的第二参考数据为图像拍摄位置P7远离误差范围很远的参考数据，但第二参考数据匹配于用于匹配的数据。从而，能够修正估计车辆位置，即，用更精确的车辆位置代替估计车辆位置。
图7为用于阐释在使用上述误差范围和上述实际车辆事件输出的参考数据(第一参考数据和第二参考数据)与从拍摄图像产生的用于匹配的数据之间执行风景图像识别的风景匹配单元6的功能单元的功能框图。风景匹配单元6包括车辆事件评价单元61、误差范围计算单元62、参考数据输出单元63、匹配执行单元64、匹配图像拍摄位置取得(taking-out)单元65以及搜索范围设定单元66。
车辆事件评价单元61评价(evaluate)从车辆事件检测模块24传输的车辆事件，并输出车辆事件信息。以实际车辆事件中的事件值能与关联于参考数据的所记录的车辆事件中的事件值进行比较的方式，将实际车辆事件中的事件值(如车辆速度或转向角)记录在车辆事件信息中。误差范围计算单元62考虑到估计车辆位置中的误差，基于估计车辆位置计算误差范围。参考数据输出单元63包括第一参考数据输出单元63a、第二参考数据输出单元63b以及控制两个参考数据输出单元63a和63b操作的参考数据输出控制单元63c。第一参考数据输出单元63a基于从误差范围估计单元62传输的误差范围设定搜索条件，并提取作为基本匹配候选的第一参考数据，其中该搜索条件用于提取对由拍摄图像处理单元5产生的用于匹配的数据合适的匹配候选。第二参考数据输出单元63b基于记录在由车辆事件估计单元61传输的车辆事件信息中的实际车辆事件中的事件值和从搜索范围设定单元66传输的限制范围来设定搜索条件，并提取作为附加匹配候选的第二参考数据。搜索范围设定单元66设定限制范围，并将限制范围传输给第二参考数据输出单元63b。限制范围被设定为使用行驶历史数据(如从导航控制模块25获得 的导引路线数据)基于车辆从出发点已经行驶的范围所确定的范围。出发点为在先前匹配中当参考数据匹配于用于匹配的数据时所获得的车辆位置。例如，限制范围被设定为车辆已经从出发点行驶的范围的两倍。搜索范围设定单元66设定限制搜索范围的其它给定限制范围，并将其它限制范围传输给第二参考数据输出单元63b。参考数据输出控制单元63c可以各种模式控制第一参考数据输出单元63a和第二参考数据输出单元63b，如原则上优先由第一参考数据输出单元63a执行对第一参考数据的提取并在所提取的第一参考数据没有匹配于用于匹配的数据时第二参考数据输出单元63b才提取第二参考数据的模式，以及原则上优先由第二参考数据输出单元63b执行对第二参考数据的提取的模式。根据估计车辆位置的可靠度，可从各种模式中选择模式。在实施例中，第一参考数据输出单元63a和第二参考数据输出单元63b中的每个都配置为提取图像拍摄位置包含在限定为位置范围的参考数据提取范围内的参考数据。用于第二参考数据输出单元63b的参考数据提取范围设定为大于用于第一参考数据输出单元63a的参考数据提取范围。用于第一参考数据输出单元63a的参考数据提取范围的中心为估计车辆位置。
匹配执行单元64对用于匹配的数据执行图案匹配，同时将包含在所提取的参考数据组中的每个参考数据顺序设定为图案。当参考数据匹配于用于匹配的数据时，匹配图像拍摄位置取得单元65取出与匹配于用于匹配的数据关联的图像拍摄位置(车辆位置)，并将所取回的图像拍摄位置作为高精度车辆位置传输给车辆位置确定单元45。
在汽车导航领域中，当通过使用电子导航或航位推算导航法测量位置坐标来估计车辆位置时，会产生误差。因此，认为(车辆实际位于的)实际车辆位置存在于基于估计车辆位置设定的预定半径的区域中。具有预定半径的区域称为估计误差范围。估计误差范围是作为用于提取参考数据的提取条件的范围的示例，也是估计车辆位置附近的图像拍摄位置的范围。此外，例如，在车辆位于路上或等同于路上的地方的情况下，具有预定半径的区域可能被缩减为形状沿着道路延伸的区域。具有上述形状的被缩减的区域也是估计误差范围的示例。
行驶过程中车辆发生的各种事件以及在行驶期间对车辆进行操作的各种事件可被用作车辆事件。然而，因为本发明中的车辆事件用来确定车辆在正行驶道路上的位置，因而优选地，使用与道路相关的车辆中发生的事件或与道路相关的车辆中产生的事件作为车辆事件。车辆事件包括由车辆在路上特定行驶状态引起的车辆行为，如行驶在弯路上，在行驶过程中暂停，以及行驶斜坡道路上。尤其优选的是，使用车辆的停止作为车辆事件。车辆的停止易于通过距离传感器等检测出，并且车辆的停止与十字路口、铁路口或人行横道有关系。因此，基于车辆的停止所提取的参考数据可视为有价值的匹配候选。而且，优选使用车辆行驶的道路上的特征路标的检测作为特有车辆事件。
通过第二参考数据输出单元63b提取第二参考数据，以便于补充由第一参考数据单元63a提取的参考数据。因此，第一参考数据输出单元63a和第二参考数据输出单元63b中的每个都可配置为对图像拍摄位置包含在限定为位置范围的参考数据提取范围内的参考数据进行提取。优选地，第一参考数据输出单元63a的参考数据提取范围可设定为使第一参考数据输出单元63a的参考数据提取范围的中心为估计车辆位置，并且第二参考数据输出单元63b的参考数据提取范围可设定为大于第一参考数据输出单元63a的参考数据提取范围。这样能够对图像拍摄位置位于第一参考数据输出单元63a的参考数据提取范围之外并作为匹配候选有用的参考数据进行提取。
在上述实施例中，在通过第二参考数据输出单元63b执行提取第二参考数据的处理之前，通过第一参考数据输出单元63a执行提取第一参考数据的处理。当确保估计车辆位置的一定精确性时，第一参考数据匹配于用于匹配的数据的可能性很大。因此，优选采用上述实施例中的结构。
然而，当不能确保估计车辆位置的很高的精确性时，或者当所识别的车辆事件非常依赖于特定图像拍摄位置时，优选地，在通过第一参考数据输出单元63a执行提取第一参考数据的处理之前，通过第二参考数据输出单元63b执行提取第二参考数据的处理。利用这样的结构，能够提高被提取作为匹配候选的参考数据匹配于用于匹配的数据的可能性。而且，该结构可提供评价估计车辆位置的可靠度的功能，并根据可靠度确定由第一参考数据输出单元63a执行的提取处理和第二参考数据输出单元63b执行的提取处理中的哪一个可优先进行。
应具有与同一车辆事件和不同图像拍摄位置相关联的多个参考数据。因 此，需要限制搜索范围。当在先前匹配中在参考数据匹配于用于匹配的数据时所获得的车辆位置被认为没有误差时，认为估计车辆位置的误差在车辆滑动或者车辆随后以弯曲线(zigzag line)行驶时增加。因此，在优选实施例中，用于第二参考数据输出单元63b的参考数据提取范围被设定为基于车辆从出发点已经行驶的范围所确定的范围。出发点为当由第一参考数据输出单元63a输出的第一参考数据提取范围匹配于用于匹配的数据时所获得的车辆位置。
在上述实施例中，在通过边缘检测处理获取的作为图像特征点的边缘点之中，特别地，构成一条线段的线段边缘点(直线成分边缘点)和角边缘点(交叉点边缘点)被作为有用的图像特征点。角边缘点(交叉点边缘点)对应于线段互相交叉的交叉点，优选地，线段主要是互相正交。匹配执行单元64采用用于一般图案匹配的算法。然而，匹配执行单元64可采用加权图案匹配的算法，在加权图案匹配中，与当其它边缘点互相匹配时(即，当不是角边缘点的边缘点互相匹配时)相比，当具有风景图像中的高重要度的角边缘点互相匹配时提供高匹配评价。在这种情况下，优选可使用包括表示角边缘点坐标的角属性的参考数据来创建参考数据DB 92。可选地，在每次提取参考数据时可检测角边缘点。在从实际拍摄图像产生用于匹配的数据的处理过程中，可将标识标签分配给用于匹配的数据中的角边缘点。
本发明所使用的图像特征点不限于线段边缘点和角边缘点。可使用对风景有用的图像特征点。例如，可使用形成几何形状(如圆形或方形)的典型边缘点(当几何形状为圆形时，典型边缘点可为圆周上的三个点)，或者可使用图像中几何形状的重心或表示几何形状重心的点。此外，优选使用边缘强度作为用来计算重要度的因子。例如，当线段由高强度的边缘组成时，与分配给除了起点和终点之外的边缘点的重要度相比，线段的起点和终点可被当作分配高重要度的图像特征点。此外，与分配给除了端点之外的边缘点的重要度相比，在典型几何形状中的特定点(如对称物体的端点)可被当作分配高重要度的图像特征点。
此外，除了通过边缘检测处理所获得的边缘点之外，可将拍摄图像中色调和/或色度变化极大的点用作图像特征点。同样地，作为基于颜色信息的图像特征点，高色温物体的端点可被当作高重要度的图像特征点。
即，任何图像特征点可被用在本发明的实施例中，只要图像特征点对确定参考数据与基于实际拍摄图像所产生的图像特征点数据之间的相似度(如图案匹配)有用即可。
在上述实施例中，存储在参考数据DB 92中的参考数据与图像拍摄位置和图像拍摄方向(摄像机光轴方向)相关联。除了图像拍摄位置和图像拍摄方向之外，参考数据还可与上述图像拍摄情况信息、图像拍摄日期、图像拍摄时的天气等相关联。
图像拍摄位置需要由至少二维数据(如包括纬度和经度的数据)来表示。图像拍摄位置可由包括经度、纬度以及高度的三维数据来表示。
图像拍摄方向不必与参考数据相关联。例如，在确保当创建参考数据时在关于车辆行驶道路上的方向(与使用参考数据执行风景图像识别时拍摄图像的方向基本相同)上拍摄图像的情况下，图像拍摄方向不需要与参考数据相关联。
在图像拍摄方向与参考数据关联且可通过从一个基本图像拍摄方向适当改变图像拍摄方向来准备多个参考数据的情况下，可基于从方向传感器等传输的信息来计算车辆正行驶的方向，并且仅有图像拍摄方向与车辆正行驶方向一致时的参考数据可被用于风景图像识别。因而，当图像拍摄属性信息包括如上所述的图像拍摄方向时，能够通过指定图像拍摄方向来减少用于匹配的参考数据的数量。
本发明实施例中使用的最适合的车载摄像机为拍摄车辆正行驶方向上车辆前方的风景的摄像机。然而，车载摄像机可为拍摄车辆斜前方位置处的风景或者车辆后方风景的摄像机。当使用拍摄车辆后方风景的后方摄像机时，在车辆行驶过程中图像特征点移动的方向与在使用前方摄像机时在车辆行驶过程中图像特征点移动的方向相反。因此，当图像特征点集中在外围区域时，向前偏离参考点，而不是向后偏离参考点。当图像特征点集中在中心地方时，向后偏离参考点，而不是向前偏离参考点。即，因为可使用前方摄像机和后方摄像机中的每一个，本发明所使用的拍摄图像不限于通过拍摄车辆行驶方向上车辆前方的风景时所获得的拍摄图像。
在用于描述上述实施例的功能框图中，功能单元相互分离以便于容易理解描述。然而，本发明不限于如功能框图所示的功能单元彼此分离的情况。 至少两个功能单元可相互自由组合，和/或可进一步划分一个功能单元。
根据本发明实施例的图像处理系统可不仅应用在汽车导航中，而且还可应用在通过风景图像识别测量当前位置和当前方向的技术领域中。
Claims (6)
1.一种车辆位置检测系统，包括：
参考数据数据库，其中存储参考数据，所述参考数据通过将图像特征点数据与图像拍摄位置、所记录的车辆事件进行关联来产生，其中所述图像特征点数据通过从拍摄从车辆看到的风景获取的拍摄图像中提取图像特征点产生，在所述图像拍摄位置处拍摄图像以获取与所述图像特征点数据对应的拍摄图像，所述所记录的车辆事件表示在拍摄图像以获取所述拍摄图像时的车辆事件；
拍摄图像处理单元，实际拍摄图像输入至所述拍摄图像处理单元，并且所述拍摄图像处理单元输出由从所述实际拍摄图像中提取出的图像特征点产生的用于匹配的数据，其中所述实际拍摄图像通过使用车载摄像机拍摄风景的图像来获取；
车辆事件评价单元，产生关于实际车辆事件的信息，其中所述实际车辆事件为由所述车辆检测到的车辆事件；
第一参考数据输出单元，基于所述车辆的估计位置从存储在所述参考数据数据库中的一组参考数据中提取第一参考数据，并输出所提取的第一参考数据作为所述用于匹配的数据的匹配候选，其中所述第一参考数据的图像拍摄位置位于所述车辆的估计位置附近；
第二参考数据输出单元，基于所述实际车辆事件从存储在所述参考数据数据库中的所述一组参考数据中提取第二参考数据，并输出所提取的第二参考数据作为所述用于匹配的数据的匹配候选，其中所述第二参考数据包括与所述实际车辆事件匹配的所记录的车辆事件，并且提取的优先度被设定为，使得在通过所述第二参考数据输出单元执行提取所述第二参考数据的处理之前，通过所述第一参考数据输出单元执行提取所述第一参考数据的处理；
匹配执行单元，在所述第一参考数据与所述用于匹配的数据之间执行匹配，以确定所述第一参考数据与所述用于匹配的数据是否匹配，在所述第一参考数据与所述用于匹配的数据不匹配的情况下，在所述第二参考数据与所述用于匹配的数据之间执行匹配，以确定所述第二参考数据与所述用于匹配的数据是否匹配；以及
车辆位置确定单元，基于与确定为匹配于所述用于匹配的数据的所述第一参考数据或所述第二参考数据关联的图像拍摄位置来确定所述车辆的位置。
2.根据权利要求1所述的车辆位置检测系统，其中，
所述第一参考数据输出单元和所述第二参考数据输出单元中的每个都配置为对所述参考数据进行提取，其中所述参考数据的图像拍摄位置包含在被限定为位置范围的参考数据提取范围内；
用于所述第一参考数据输出单元的参考数据提取范围设置为使得用于所述第一参考数据输出单元的参考数据提取范围的中心为所述车辆的估计位置；以及
用于所述第二参考数据输出单元的参考数据提取范围设置为大于用于所述第一参考数据输出单元的参考数据提取范围。
3.根据权利要求1所述的车辆位置检测系统，其中，
在通过所述第一参考数据输出单元执行提取所述第一参考数据的处理之前，通过所述第二参考数据输出单元执行提取所述第二参考数据的处理。
4.根据权利要求2所述的车辆位置检测系统，其中，
用于所述第二参考数据输出单元的参考数据提取范围设置为基于所述车辆从出发点已经行驶的范围所确定的范围，其中所述出发点为在所述第一参考数据输出单元输出的第一参考数据匹配于所述用于匹配的数据时获得的所述车辆的位置。
5.根据权利要求1所述的车辆位置检测系统，其中，
所述车辆事件包括由所述车辆在道路上行驶状态所引起的车辆行为。
6.根据权利要求1所述的车辆位置检测系统，其中，
所述车辆事件包括所述车辆行驶的道路上的道路标记的检测。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2010084625A JP5062497B2 (ja) | 2010-03-31 | 2010-03-31 | 風景画像認識を用いた自車位置検出システム |
| JP2010-084625 | 2010-03-31 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN102208036A CN102208036A (zh) | 2011-10-05 |
| CN102208036B true CN102208036B (zh) | 2015-10-21 |
Family
ID=44246341
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201110056910.8A Expired - Fee Related CN102208036B (zh) | 2010-03-31 | 2011-03-07 | 车辆位置检测系统 |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US8630461B2 (zh) |
| EP (1) | EP2372309B1 (zh) |
| JP (1) | JP5062497B2 (zh) |
| CN (1) | CN102208036B (zh) |
Families Citing this family (30)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101229795B1 (ko) * | 2010-12-20 | 2013-02-05 | 주식회사 케이티 | 경로 안내 단말의 사용자 인터페이스 제공 방법 및 이를 실행하는 장치 |
| GB201202344D0 (en) * | 2012-02-10 | 2012-03-28 | Isis Innovation | Method of locating a sensor and related apparatus |
| JP5783093B2 (ja) * | 2012-03-13 | 2015-09-24 | アイシン・エィ・ダブリュ株式会社 | 移動体位置検出システム、移動体位置検出装置、移動体位置検出方法及びコンピュータプログラム |
| DE102012005471A1 (de) * | 2012-03-17 | 2013-09-19 | GM Global Technology Operations LLC (n.d. Ges. d. Staates Delaware) | Verkehrsinformationssystem |
| GB2501466A (en) | 2012-04-02 | 2013-10-30 | Univ Oxford | Localising transportable apparatus |
| KR101441527B1 (ko) * | 2012-05-31 | 2014-09-17 | 주식회사 코아로직 | 차량 주행 정보 관리 및 검증 방법, 장치 및 이를 이용한 차량 주행 정보 관리 시스템 |
| CN103827632B (zh) * | 2012-09-06 | 2017-02-15 | 株式会社东芝 | 位置检测装置以及位置检测方法 |
| JP6236954B2 (ja) * | 2013-07-23 | 2017-11-29 | アイシン・エィ・ダブリュ株式会社 | 運転支援システム、方法およびプログラム |
| JP6256475B2 (ja) * | 2013-09-20 | 2018-01-10 | 富士通株式会社 | 画像処理装置、画像処理方法および画像処理プログラム |
| GB201407643D0 (en) | 2014-04-30 | 2014-06-11 | Tomtom Global Content Bv | Improved positioning relatie to a digital map for assisted and automated driving operations |
| US9254822B1 (en) * | 2014-10-21 | 2016-02-09 | Caterpillar Inc. | System and method for estimating position of machine |
| JP6432679B2 (ja) * | 2015-05-26 | 2018-12-12 | 日産自動車株式会社 | 停車位置設定装置及び方法 |
| CN107709929B (zh) * | 2015-06-26 | 2019-01-08 | 日产自动车株式会社 | 车辆位置判定装置及车辆位置判定方法 |
| EP3332217B1 (en) | 2015-08-03 | 2021-11-10 | TomTom Global Content B.V. | Methods and systems for generating and using localisation reference data |
| JP6623906B2 (ja) * | 2015-09-08 | 2019-12-25 | 株式会社Ｊｖｃケンウッド | 車両用表示装置及び車両用表示方法 |
| US10386480B1 (en) | 2016-02-02 | 2019-08-20 | Waymo Llc | Radar based mapping and localization for autonomous vehicles |
| WO2017161588A1 (zh) * | 2016-03-25 | 2017-09-28 | 华为技术有限公司 | 一种定位方法及装置 |
| CN106767754A (zh) * | 2016-11-30 | 2017-05-31 | 宇龙计算机通信科技(深圳)有限公司 | 一种导航信息的处理方法、终端及服务器 |
| DE112017006904T5 (de) | 2017-01-24 | 2019-10-02 | Fujitsu Limited | Informationsverarbeitungsvorrichtung, Merkmalspunkteextraktionsprogramm undMerkmalspunkteextraktionsverfahren |
| CN110419067B (zh) * | 2017-03-28 | 2022-03-15 | 爱知制钢株式会社 | 标识器系统 |
| JP6614508B2 (ja) * | 2017-09-08 | 2019-12-04 | 本田技研工業株式会社 | 車両制御装置、車両制御方法、およびプログラム |
| CN111936820A (zh) * | 2018-03-30 | 2020-11-13 | 丰田自动车欧洲公司 | 用于调整车辆外部位置信息的系统和方法 |
| CN109241979A (zh) * | 2018-08-24 | 2019-01-18 | 武汉光庭信息技术股份有限公司 | 一种基于高速视觉特征点匹配的车辆相对位置推测方法 |
| JP7020348B2 (ja) * | 2018-08-30 | 2022-02-16 | トヨタ自動車株式会社 | 自車位置推定装置 |
| US11105927B2 (en) | 2018-11-29 | 2021-08-31 | Waymo Llc | Localization initialization for autonomous vehicles |
| JP7207045B2 (ja) * | 2019-03-15 | 2023-01-18 | トヨタ自動車株式会社 | サーバ装置および情報処理方法 |
| CN111860051A (zh) * | 2019-04-27 | 2020-10-30 | 北京初速度科技有限公司 | 一种基于车辆的回环检测方法及装置、车载终端 |
| CN112149659B (zh) * | 2019-06-27 | 2021-11-09 | 浙江商汤科技开发有限公司 | 定位方法及装置、电子设备和存储介质 |
| CN112629546B (zh) * | 2019-10-08 | 2023-09-19 | 宁波吉利汽车研究开发有限公司 | 一种位置调节参数确定方法、装置、电子设备及存储介质 |
| CN113593219B (zh) * | 2021-06-30 | 2023-02-28 | 北京百度网讯科技有限公司 | 车流的统计方法、装置、电子设备及存储介质 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP1076276A1 (en) * | 1995-04-17 | 2001-02-14 | Honda Giken Kogyo Kabushiki Kaisha | Automatic travel guiding device for vehicle |
| CN101675442A (zh) * | 2007-05-25 | 2010-03-17 | 爱信艾达株式会社 | 车道确定装置、车道确定方法及使用该装置的导航设备 |
Family Cites Families (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH1186182A (ja) * | 1997-09-01 | 1999-03-30 | Honda Motor Co Ltd | 自動運転制御システム |
| JP3449240B2 (ja) * | 1998-09-24 | 2003-09-22 | 株式会社デンソー | 車両用現在位置検出装置、車両用現在位置表示装置、ナビゲーション装置および記録媒体 |
| JP2004077273A (ja) * | 2002-08-19 | 2004-03-11 | Sony Corp | 位置移動支援方法および位置移動支援システム |
| JP4374211B2 (ja) * | 2002-08-27 | 2009-12-02 | クラリオン株式会社 | レーンマーカー位置検出方法及びレーンマーカー位置検出装置並びに車線逸脱警報装置 |
| JP3968429B2 (ja) * | 2003-01-16 | 2007-08-29 | 独立行政法人産業技術総合研究所 | 位置情報処理装置 |
| JP4037790B2 (ja) | 2003-05-02 | 2008-01-23 | アルパイン株式会社 | ナビゲーション装置 |
| JP2008500561A (ja) * | 2004-06-03 | 2008-01-10 | シャープ株式会社 | マップデータ作成装置、それを備えた移動体、並びにマップデータ作成方法 |
| JP2006208223A (ja) * | 2005-01-28 | 2006-08-10 | Aisin Aw Co Ltd | 車両位置認識装置及び車両位置認識方法 |
| JP4321821B2 (ja) * | 2005-01-28 | 2009-08-26 | アイシン・エィ・ダブリュ株式会社 | 画像認識装置及び画像認識方法 |
| JP4557288B2 (ja) | 2005-01-28 | 2010-10-06 | アイシン・エィ・ダブリュ株式会社 | 画像認識装置及び画像認識方法、並びにそれを用いた位置特定装置、車両制御装置及びナビゲーション装置 |
| JP4847090B2 (ja) | 2005-10-14 | 2011-12-28 | クラリオン株式会社 | 位置測位装置、および位置測位方法 |
| JP4724043B2 (ja) | 2006-05-17 | 2011-07-13 | トヨタ自動車株式会社 | 対象物認識装置 |
| JP4984659B2 (ja) * | 2006-06-05 | 2012-07-25 | 株式会社豊田中央研究所 | 自車両位置推定装置 |
-
2010
- 2010-03-31 JP JP2010084625A patent/JP5062497B2/ja not_active Expired - Fee Related
-
2011
- 2011-01-25 US US13/013,268 patent/US8630461B2/en not_active Expired - Fee Related
- 2011-02-01 EP EP11152917.8A patent/EP2372309B1/en not_active Not-in-force
- 2011-03-07 CN CN201110056910.8A patent/CN102208036B/zh not_active Expired - Fee Related
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP1076276A1 (en) * | 1995-04-17 | 2001-02-14 | Honda Giken Kogyo Kabushiki Kaisha | Automatic travel guiding device for vehicle |
| CN101675442A (zh) * | 2007-05-25 | 2010-03-17 | 爱信艾达株式会社 | 车道确定装置、车道确定方法及使用该装置的导航设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN102208036A (zh) | 2011-10-05 |
| US20110243379A1 (en) | 2011-10-06 |
| EP2372309A2 (en) | 2011-10-05 |
| US8630461B2 (en) | 2014-01-14 |
| EP2372309A3 (en) | 2013-11-06 |
| EP2372309B1 (en) | 2014-10-29 |
| JP5062497B2 (ja) | 2012-10-31 |
| JP2011215053A (ja) | 2011-10-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN102208036B (zh) | 车辆位置检测系统 | |
| CN102208035B (zh) | 图像处理系统及位置测量系统 | |
| US12030502B2 (en) | Road vector fields | |
| EP2372308B1 (en) | Image processing system and vehicle control system | |
| US8369577B2 (en) | Vehicle position recognition system | |
| CN102208012B (zh) | 风景匹配参考数据生成系统及位置测量系统 | |
| CN102208013B (zh) | 风景匹配参考数据生成系统和位置测量系统 | |
| CN112945251B (zh) | 用于确定车道分配的系统、方法及计算机可读存储介质 | |
| JP5505723B2 (ja) | 画像処理システム及び位置測位システム | |
| JP2006208223A (ja) | 車両位置認識装置及び車両位置認識方法 | |
| JP2023106536A (ja) | 画像分析に基づく車両ナビゲーションのためのシステム | |
| US20230136710A1 (en) | Systems and methods for harvesting images for vehicle navigation | |
| JP5177579B2 (ja) | 画像処理システム及び位置測位システム | |
| US12106574B2 (en) | Image segmentation |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20151021 Termination date: 20200307 |
|
| CF01 | Termination of patent right due to non-payment of annual fee |