CN102208013B - 风景匹配参考数据生成系统和位置测量系统 - Google Patents

风景匹配参考数据生成系统和位置测量系统 Download PDF

Info

Publication number
CN102208013B
CN102208013B CN201110071023.8A CN201110071023A CN102208013B CN 102208013 B CN102208013 B CN 102208013B CN 201110071023 A CN201110071023 A CN 201110071023A CN 102208013 B CN102208013 B CN 102208013B
Authority
CN
China
Prior art keywords
image
data
precision
shooting
fiduciary level
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201110071023.8A
Other languages
English (en)
Other versions
CN102208013A (zh
Inventor
宫岛孝幸
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Aisin AW Co Ltd
Original Assignee
Aisin AW Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Aisin AW Co Ltd filed Critical Aisin AW Co Ltd
Publication of CN102208013A publication Critical patent/CN102208013A/zh
Application granted granted Critical
Publication of CN102208013B publication Critical patent/CN102208013B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3602—Input other than that of destination using image analysis, e.g. detection of road signs, lanes, buildings, real preceding vehicles using a camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/28—Determining representative reference patterns, e.g. by averaging or distorting; Generating dictionaries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/772—Determining representative reference patterns, e.g. averaging or distorting patterns; Generating dictionaries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads

Abstract

本发明涉及一种风景匹配参考数据生成系统，包括输入探测数据的数据输入单元，探测数据包括通过计算车辆位置的探测车依次获得的拍摄图像和探测车的车辆位置作为图像拍摄位置；暂存拍摄图像的暂存单元；评价图像拍摄位置的精度可靠度并分配给拍摄图像的精度可靠度评价单元；选择精度可靠度等于或大于第一预定度的拍摄图像作为处理目标拍摄图像的处理目标数据选择单元；从处理目标拍摄图像中提取图像特征点且基于图像特征点生成图像特征点数据的图像特征点数据生成单元；将图像特征点数据与对应的参考图像拍摄位置相关联生成用于风景匹配的参考数据以识别从车辆看到的风景的图像的参考数据生成单元。本发明能够恰当地确定车辆位置。

Description

风景匹配参考数据生成系统和位置测量系统
通过引用的合并
2010年3月31日递交的日本专利申请第2010-084690号的包括说明书、附图和摘要的公开的全部内容通过援引合并于此。
技术领域
本发明涉及一种风景匹配参考数据生成系统以及使用由该风景匹配参考数据生成系统所生成的参考数据的位置测量系统。
背景技术
在汽车导航装置中，已采用如下方法作为计算车辆当前位置的方法：使用从诸如陀螺仪传感器和地磁传感器之类的传感器获得的信息的方法(自主导航方法)、使用来自GPS卫星的信号的方法、或者自主导航方法与使用来自GPS卫星的信号的方法的组合。此外，例如，在日本专利申请公报第2007-108043号(JP-A-2007-108043)中描述的位置测量装置被认为是配置为精确地计算当前位置的位置测量装置(参考第0009段至第0013段以及图1)。在该位置测量装置中，首先，利用来自导航卫星的信号等获得暂定当前位置。然后，利用车辆前面的风景的拍摄图像来计算坐标系统(车辆坐标系统)中的路标的特征点相对于该暂定当前位置的坐标(车辆坐标系统特征点)。然后，利用计算出的车辆坐标系统特征点与存储的路标的特征点的坐标(即世界坐标系统中所示的坐标)来计算车辆的当前位置。在位置测量装置中，即使利用从导航卫星传输的信号和/或从各种传感器传输的信号测量的位置包括误差，也能够精确地计算当前位置。
发明内容
在日本专利申请公报第2007-108043号(JP-A-2007-108043)中描述的位置测量装置中，利用立体图像来获得道路上的路标的特征点的空间坐标，并从路标信息的数据库获得具有该特征点的路标的经度与纬度。因而，通过利用路标的经度与纬度而获得的坐标来计算车辆的当前位置。因此，这种位置测量系统无法用于没有路标的区域。此外，由于需要计算通过图像处理识别的特征点的空间坐标，所以要求装置具有高运算能力，这样会导致成本增加。
因而，人们想到一种使用风景图像识别技术的方法，作为可用于没有路标的道路或特定地点且无需计算每一特征点的空间坐标的定位方法。当执行风景图像识别时，需要许多页的参考图像数据(参考数据)。因此，使用一般车辆来获得用于创建该组参考数据的拍摄图像。即，可以想到应用关于探测汽车的概念来生成该组参考数据。在由一般车辆(探测汽车)所收集的拍摄图像之中，具有与精度较高的图像拍摄位置(即获得拍摄图像的探测汽车的位置)相关联的拍摄图像，也具有与精度较低的图像拍摄位置相关联的拍摄图像。因此，需要对用于创建该组参考数据的、从大量探测汽车收集的拍摄图像进行恰当地加工。
本发明的第一方案涉及一种风景匹配参考数据生成系统，该系统包括：数据输入单元，一组探测数据被输入到所述数据输入单元，其中该组探测数据包括通过多个探测汽车依次获得的拍摄图像和作为所述拍摄图像的图像拍摄位置的所述探测车的所述车辆位置，所述多个探测汽车中的每一个探测汽车均具有计算车辆位置的功能；暂存单元，暂时存储包含在该组探测数据中的拍摄图像；精度可靠度评价单元，评价存储在所述暂存单元中的拍摄图像的图像拍摄位置的精度可靠度，并且将精度可靠度分配给所述拍摄图像；处理目标数据选择单元，从存储在所述暂存单元中的拍摄图像中选择精度可靠度等于或者大于第一预定度的多个拍摄图像，作为多个处理目标拍摄图像；图像特征点数据生成单元，从所述多个处理目标拍摄图像中提取图像特征点，并且基于从所述多个处理目标拍摄图像中提取的图像特征点来生成图像特征点数据；以及参考数据生成单元，通过将所述图像特征点数据与对应于所述图像特征点数据的参考图像拍摄位置相关联，从而生成用于风景匹配的参考数据，以识别从车辆看到的风景的图像。
根据上述第一方案，通过各探测汽车而获得的一组探测数据被接受(takein)，并且基于对拍摄图像的图像拍摄位置的精度可靠度的评价结果，选择精度可靠度等于或者大于第一预定度的多个拍摄图像，作为多个处理目标拍摄图像。通过将基于根据处理目标拍摄图像计算的图像特征量而生成的图像特征点数据与对应于所述图像特征点数据的参考图像拍摄位置相关联，而生成参考数据。车辆位置的精度(即图像拍摄位置的精度)依据设置在探测汽车中的车辆位置计算功能的性能和正在行驶的探测汽车的行驶情况而变化。因而，评价了图像拍摄位置的精度可靠度，并且选择精度可靠度高的拍摄图像作为处理目标拍摄图像。此外，图像特征点数据基于根据所选择的拍摄图像而计算的图像特征量而生成。这样生成的图像特征点数据是图像特征量均匀分布的稳定数据。结果是，从图像特征点数据生成的参考数据适合于风景匹配。
本发明的第二方案涉及一种位置测量系统，该系统包括：参考数据库，在所述参考数据库中存储有根据第一方案的风景匹配参考数据生成系统所生成的参考数据；拍摄图像处理单元，从通过拍摄从车辆看到的风景所获得的拍摄图像中提取图像特征点，利用所提取的图像特征点生成每个拍摄图像的图像特征点数据，并且输出所生成的图像特征点数据作为用于匹配的数据；以及风景匹配单元，在从所述参考数据库中提取的参考数据与所述用于匹配的数据之间执行匹配，并且基于与所述用于匹配的数据相匹配的参考数据相关联的图像拍摄位置来确定所述车辆的位置。
根据上述第二方案，使用如上所述的用于风景匹配的参考数据。因此，能够恰当地确定车辆位置。
附图说明
根据参照附图对实例实施例的如下描述，本发明的前述和更多的对象、特征及优点将会是显而易见的，其中相同的附图标记用于表示相同的元件，其中：
图1是用于说明由根据本发明实施例的风景匹配参考数据生成系统来生成参考数据的一个实例的基本概念的示意图，以及通过利用参考数据的匹配处理确定车辆位置的位置测量的过程；
图2是用于说明由根据本发明实施例的风景匹配参考数据生成系统来生成参考数据的另一个实例的基本概念的示意图，以及通过利用参考数据的匹配处理确定车辆位置的位置测量的过程；
图3是显示根据本发明实施例的风景匹配参考数据生成系统的主要功能的功能框图。
图4是显示精度可靠度评价单元的处理功能和处理流程的示意图；
图5是显示图像类似度评价单元的处理功能和处理流程的示意图；
图6是显示特征量计算单元的处理功能和处理流程的示意图；
图7A至7F是示意性地显示从所选择的拍摄图像生成图像特征点数据的过程的示意图；
图8显示利用参考数据数据库的汽车导航系统的功能框图，该参考数据数据库利用由根据本发明实施例的风景匹配参考数据生成系统所生成的参考数据来创建。
具体实施方式
下文中，将参照附图详细描述本发明的实施例。图1示意性地显示由风景匹配参考数据生成系统来创建参考数据的一个实例的基本概念(下文中可简称为“参考数据生成系统”)，以及通过利用参考数据的匹配处理确定车辆位置的位置测量的过程。用于风景匹配的参考数据数据库(下文中简称为“参考数据DB”)92利用由根据本发明实施例的风景匹配参考数据生成系统所生成的参考数据来创建。首先，将描述用于创建参考数据DB92的过程。
如图1所示，拍摄图像通过在探测汽车行驶期间拍摄从多个探测汽车看到的风景而获得。每一个拍摄图像都与图像拍摄位置(基本上为进行图像拍摄时探测汽车的车辆位置)和探测汽车ID(下文中简称为“P-ID”)相关联以生成探测数据，进而输入所生成的探测数据。探测汽车ID用于标识(identify)探测汽车。将图像拍摄位置含在预定第一图像拍摄位置区域中的一组探测数据暂存在工作存储器中，作为第一处理群(步骤01)。设置第一图像拍摄位置区域，使得含在第一图像拍摄位置区域中的图像拍摄位置能够被看作基本上相同(例如，将第一图像拍摄位置区域的范围设置为1m)。接着，利用在工作存储器中存储的该组探测数据来评价拍摄图像的图像拍摄位置的精度可靠度，进而将精度可靠度分配给拍摄图像(步骤02)。精度可靠度是基于例如设置在每一探测汽车中的汽车导航装置等的车辆位置检测性能以及在通过识别特定区(如交叉点或者弯曲道路)来校正车辆位置之后探测汽车所行驶的距离而获得的。根据精度可靠度来对已经分配了精度可靠度的拍摄图像进行排序。选择精度可靠度等于或者大于第一预定度的拍摄图像，作为处理目标拍摄图像，并且选择包括有处理目标拍摄图像的一组探测数据，作为一组处理目标数据(步骤03)。可替换地，可以选择预定数目的、按精度可靠度递减次序进行排序的精度可靠度高的拍摄图像，作为处理目标拍摄图像。根据处理目标拍摄图像来计算图像特征量。计算图像特征量的处理是用于获得对拍摄图像执行匹配的特征点和特征点群的图像处理。计算图像特征量的典型处理是利用轮廓检测算子的边缘检测处理。边缘检测图像通过边缘检测处理来获得(步骤04)。从多个图像特征点(即含在边缘检测图像中的边缘点)中提取确定对于匹配处理有用的图像特征点(步骤05)。从自多个处理目标拍摄图像获得的图像特征点群中提取多个处理目标拍摄图像共同的图像特征点(共同图像特征点)，并且生成包括有共同图像特征点群的图像特征点数据(步骤06)。此外，通过相对于上述处理另外进行的处理，利用图像拍摄位置含在第一图像拍摄位置区域中的处理目标拍摄图像群(即，被看作具有相同的图像拍摄位置的拍摄图像的拍摄图像群)中的图像拍摄位置，计算作为上述第一图像拍摄位置区域中的图像拍摄位置的代表的代表图像拍摄位置(参考图像拍摄位置的实例)(步骤07)。可以通过简单地计算图像拍摄位置的平均值来计算代表图像拍摄位置。当图像拍摄位置的精度已知时，可以通过利用将精度作为权重的加权平均计算方法来计算代表图像拍摄位置。可以通过其它各种统计计算方法来计算代表图像拍摄位置。接着，通过将图像特征点数据与代表图像拍摄位置相关联而生成参考数据(步骤08)。为所生成的参考数据创建数据库，即参考数据DB92，将其创建为能够以利用代表图像拍摄位置作为搜索条件进行搜索。即，参考数据被存储在参考数据DB92中，从而将参考数据用作用于风景匹配(例如用于图案匹配的图案)的参考数据(步骤09)。
其次，将描述在车辆实际行驶的同时利用由上述过程创建的参考数据DB92确定车辆的位置(车辆位置)的过程。如图1所示，首先，输入实际拍摄图像(利用车载相机通过拍摄风景而获得)和实际拍摄图像的图像拍摄位置(用于从参考数据DB92中提取参考数据)(步骤11)。在此步骤中输入的图像拍摄位置是利用例如GPS测量单元所估计的估计车辆位置。通过上述步骤04至步骤06，由输入的拍摄图像生成作为图像特征点数据的用于匹配的数据(步骤12)。同时，利用输入图像拍摄位置(估计车辆位置)作为搜索条件，提取一组关于图像拍摄位置(估计车辆位置)的参考数据和关于图像拍摄位置(估计车辆位置)前面、后面位置的参考数据，作为匹配候选参考数据组(步骤13)。包含在所提取的匹配候选参考数据组中的每一参考数据被设为图案，并且执行每一图案与所生成的用于匹配的数据之间的图案匹配的处理，作为风景图像识别(步骤14)。当被设为图案的参考数据与所生成的用于匹配的数据相匹配时，取出与所生成的用于匹配的数据相匹配的参考数据相关联的图像拍摄位置(步骤15)。取出的图像拍摄位置被确定为正式车辆位置，代替估计车辆位置(步骤16)。
接着，将参照图2描述根据本发明实施例的通过风景匹配参考数据生成系统而生成参考数据的另一个实施例的基本概念。车辆位置通过利用创建的参考数据的匹配处理来确定的位置测量过程与图1中的位置测量过程相同，因此，省略其描述。如图2所示，还是在该实例中，拍摄图像通过在探测汽车行驶期间从多个探测汽车看到的风景的拍摄图像而获得。每一个拍摄图像都与图像拍摄位置和用于标识探测汽车的P-ID相关联，因而，生成探测数据并且输入所生成的探测数据。将图像拍摄位置含在预定第二图像拍摄位置区域中的一组探测数据暂存在工作存储器中，作为第二处理群(步骤01)。第二图像拍摄位置区域被设置为大于第一图像拍摄位置区域，并且被设置为比低精度的图像拍摄位置的误差范围大得多。然后，评价存储在工作存储器中的拍摄图像的图像类似度，并且将图像类似度分配给拍摄图像(步骤02a)。在三维图表中划分已分配了图像类似度的拍摄图像，在该三维图表中，Z-轴表示图像类似度，X-轴表示图像拍摄位置的X-坐标，Y-轴由表示图像拍摄位置的Y-坐标。在三维图表中，集中了图像类似度高的拍摄图像的X-Y区域被看作选择区域SA。选择位于选择区域SA中的拍摄图像作为处理目标拍摄图像。选择包括有处理目标拍摄图像的一组探测数据作为一组处理目标数据(步骤03a)。可替换地，可以选择图像类似度等于或者大于第二预定度的拍摄图像作为处理目标拍摄图像。根据选为该组处理目标数据的处理目标拍摄图像来计算图像特征量。在该实例中，计算图像特征量的处理是利用轮廓检测算子的边缘检测处理。通过边缘检测处理获得边缘检测图像(步骤04)。从多个图像特征点，即含在边缘检测图像中的边缘点中提取被确定对匹配处理有用的图像特征点(步骤05)。从自多个处理目标拍摄图像获得的图像特征点群中提取多个处理目标拍摄图像共同的图像特征点(共同图像特征点)，并且生成包括有共同图像特征点群的图像特征点数据(步骤06)。还是在该实例中，通过相对于上述处理另外进行的处理，利用图像拍摄位置含在选择区域SA的处理目标拍摄图像群中的图像拍摄位置计算作为上述选择区域SA中的图像拍摄位置的代表的代表图像拍摄位置(步骤07)。接着，为所生成的参考数据创建数据库，即参考数据DB92，将其创建为能够以图像特征点数据与代表图像拍摄位置相关联而生成参考数据(步骤08)。通过将代表图像拍摄位置用作搜索条件进行搜索。即，参考数据被存储在参考数据DB92中，从而将参考数据用作用于风景匹配(例如用于图案匹配的图案)的参考数据(步骤09)。
接着，将参照图3中的功能框图来描述根据本发明实施例的参考数据生成系统的实例，其基于上述基本概念从拍摄图像创建参考数据。参考数据生成系统安装在如数据处理中心等外部设施中。参考数据生成系统包括：数据输入单元51、暂存单元52、探测数据评价单元53、处理目标数据选择单元54、特征量计算单元60、图像特征点数据生成单元55、代表图像拍摄位置计算单元56和参考数据生成单元57。每一个功能均可通过硬件、软件或硬件与软件的组合来实施。
以预定的时间间隔和/或以预定的行驶距离间隔在每一探测汽车中生成的探测数据被输入到数据输入单元51。每辆探测汽车都是已经与生成参考数据的公司签订合同的一般车辆。在车辆正常行驶的同时通过利用设置在车辆中的相机(该情形中为前置相机)拍摄风景的图像而获得的拍摄图像、以及在进行图像拍摄时的图像拍摄位置(即探测汽车的车辆位置)作为探测数据以批处理的方式或实时地被传输到参考数据生成系统。在实施例中，探测数据还包括：作为关于图像拍摄位置精度的信息的位置精度信息，以及图像拍摄情况信息。每一探测数据都包括能够标识对应的探测汽车和探测数据的P-ID。利用一组探测数据的多个P-ID，能够将该组探测数据分成多个群。
位置精度信息包括：导航装置的位置计算功能的性能，其计算用作图像拍摄位置的车辆位置，以及影响车辆位置计算的因素(例如，车辆从被确认的车辆位置所行驶的距离，以及车辆以之字形的方式滑动或行驶的可能性)。图像拍摄情况信息是在从拍摄图像生成参考数据时额外使用的信息。图像拍摄情况信息是表示在拍摄图像中包含的特定对象的信息。特定对象的实例包括：限定车辆行驶的行驶车道的物体(如导轨和路边沟)、移动物体(如附近的行驶车辆、迎面而来的车辆、自行车和行人)和作为山区、郊区、市区、高层建筑区等的特征的风景物(如山脉和建筑物)。在实施例中，图像拍摄情况信息的内容包括：行驶车道数据DL、移动物体数据DO和区属性数据DA。行驶车道数据DL是显示拍摄图像中的行驶车道区域和道路外侧区域的数据。行驶车道数据DL是基于对白线、导轨和安全地带的识别结果获得的。白线、导轨和安全地带通过对拍摄图像执行图像处理来识别。移动物体数据DO是显示在拍摄图像中存在车辆附近的移动物体的区域的数据。车辆附近的移动物体通过检测障碍物的车载传感器(如雷达)来识别。区属性数据DA是显示通过对图像进行拍摄而获得拍摄图像的图像拍摄区的类型(即图像拍摄区的区属性)的数据。区属性的实例包括山区、郊区、市区和高层建筑区。类型(即图像拍摄区的区属性)基于在通过对图像进行拍摄而获得拍摄图像时的车辆位置和地图数据来识别。
根据图像拍摄位置被分成多个群的该组探测数据被存储在暂存单元52中。探测数据评价单元53包括精度可靠度评价单元53A和图像类似度评价单元53B。精度可靠度评价单元53A评价拍摄图像的的图像拍摄位置的精度可靠度，并且将精度可靠度分配给对应的拍摄图像，其中每一个拍摄图像都被存储在暂存单元52中作为探测数据的一部分。图像类似度评价单元53B评价拍摄图像的图像拍摄位置的图像类似度，并且将图像类似度分配给对应的拍摄图像，其中每一个拍摄图像都被存储在暂存单元52中作为探测数据的一部分。处理目标数据选择单元54具有如下功能：从存储在暂存单元52中的该组探测数据中取出第一处理群，并且从取出的第一处理群中的多个拍摄图像之中选择满足关于精度可靠度的选择条件的多个拍摄图像或者满足关于图像类似度的选择条件的多个拍摄图像，作为处理目标拍摄图像，并且选择包括有处理目标拍摄图像的一组探测数据，作为一组处理目标数据。选择的处理目标拍摄图像被传输到后段群中的功能单元。在实施例中，在探测数据评价单元53中，选择并且执行精度可靠度评价模式或图像类似度评价模式。在精度可靠度评价模式中，精度可靠度评价单元53A评价图像拍摄位置的精度可靠度。在图像类似度评价模式中，图像类似度评价单元53B评价拍摄图像的图像类似度。在处理目标数据选择单元54中，根据在探测数据评价单元53中执行的评价模式来选择精度可靠度模式或图像类似度模式。在精度可靠度模式中，选择关于精度可靠度的选择条件并且利用关于精度可靠度的条件来选择处理目标拍摄图像(选择一组处理目标数据)。在图像类似度模式中，选择关于图像类似度的选择条件并且利用关于图像类似度的条件来选择处理目标拍摄图像(选择一组处理目标数据)。例如，优选地，采用首先执行精度可靠度模式的方法，并且如果确定没有输入具有足够高的精度可靠度的一组探测数据，则将模式切换到图像类似度模式以执行处理。例如，当存储在暂存单元52中的拍摄图像之中精度可靠度等于或者大于第三预定度的拍摄图像的数目等于或小于预定值时，可以将处理目标数据选择单元54的模式从精度可靠度模式切换到图像类似度模式。
如图4所示，在精度可靠度评价模式中，精度可靠度评价单元53A从存储在暂存单元52中的探测数据中取出位置精度信息。含在位置精度信息中的数据被输入到精度可靠度评价单元53A，并且从精度可靠度评价单元53A中输出精度可靠度(是关于探测数据中的图像拍摄位置的计算精度的可靠度)。在实施例中，输入到精度可靠度评价单元53A的数据包括表示每一探测汽车的车辆位置的精度的信息和表示正在行驶的每一探测汽车的行驶情况的信息。表示每一探测汽车的车辆位置的精度的信息的实例包括关于车辆位置精度水平的信息(表示设置在每一探测汽车中的车辆位置计算功能的性能)、和位置校正信息(表示每一探测汽车自在交叉点或弯曲道路上确定的车辆位置所行驶的距离)。表示正在行驶的每一探测汽车的行驶情况的信息的实例包括：探测汽车正行驶的道路上的能够进行车辆位置校正的地点的数目，道路情况信息(表示探测汽车是否行驶在车辆可能滑动或可能以之字形的方式行驶的道路上)，以及驾驶情况信息(表示驾驶员是否以影响车辆位置的计算的误差的方式驾驶探测汽车)。由输入数据处理单元531将输入的数据量化或者标准化，然后，将其传输到计算精度可靠度的精度可靠度计算单元532。精度可靠度计算单元532中使用的计算方法不限于本发明。但是，因为输出值源自不同维度中的多个输入值，所以优选地，采用规则库或神经网络。另外，为了提高计算速度，可以创建表示输入值与输出值的表格。在此情形下，精度可靠度评价单元53A包括精度可靠度表，在该精度可靠度表中，拍摄图像的图像拍摄位置的精度可靠度根据表示探测汽车的车辆位置的精度的信息与表示探测汽车行驶的行驶情况的信息来设置。精度可靠度评价单元53A利用精度可靠度表来评价拍摄图像的精度可靠度。在精度可靠度模式中，处理目标数据选择单元54选择从精度可靠度计算单元532所输出的精度可靠度满足关于精度可靠度的选择条件的拍摄图像，作为处理目标拍摄图像。已经发现，影响精度可靠度的因素如设置在探测汽车中的车辆位置计算功能的性能取决于探测汽车的类型(或者探测汽车的标识码)，而影响精度可靠度的行驶道路情况取决于图像拍摄位置。因此，可以创建精度可靠度表以利用探测汽车的类型与估计车辆位置作为输入参数来输出精度可靠度。
当探测汽车自身具有计算上述精度可靠度的功能时，探测数据可以包括精度可靠度。在这种情形下，精度可靠度评价单元53A可以仅具有从探测数据中取出精度可靠度的功能。
另外，可以将具有高精度地计算车辆位置的功能的车辆所计算的位置和具有计算车辆位置的一般功能的一般车辆所计算的位置彼此进行比较，以预先获得计算位置之间的差值，并且可以利用在车辆行驶的同时获得的差值预先创建用于获得车辆位置的精度可靠度的数据。基于这些数据，可以创建精度可靠度表，以利用车辆位置(图像拍摄位置)作为输入值来输出精度可靠度。在此情形下，能够易于获得精度可靠度。在本发明的实施例中，这种精度可靠度表也可以含在精度可靠度评价单元53A中。
如图5所示，在图像类似度评价模式中，图像类似度评价单元53B从存储在暂存单元52中的该组探测数据中取出第二处理群中的该组探测数据。图像类似度评价单元53B计算取出的该组探测数据中的拍摄图像与例如平均拍摄图像之间的图像类似度，并且将图像类似度分配给拍摄图像。此外，在三维图表中标识已分配了图像类似度的拍摄图像，其中，Z-轴表示图像类似度，X-轴表示图像拍摄位置的X-坐标，Y-轴表示图像拍摄位置的Y-坐标。因而，能够统计地估计存储在暂存单元52中的第二处理组中的该组探测数据的实际图像拍摄位置。例如，处理目标数据选择单元54可以使用集中了高图像类似度的拍摄图像(该组探测数据)的区域，作为选择区域SA，并且可以选择图像拍摄位置含在选择区域SA中的拍摄图像，作为处理目标拍摄图像。可以使用各种方法作为计算图像类似度评价单元53B中的图像类似度的方法。首先，可以获得表示每一拍摄图像的特征的指标值，然后，可以基于指标值获得图像类似度。下文中，将描述指标值的实例。
(1)利用像素值平均值的方法
首先，获得在整个图像中每一色彩成分的像素值的平均值。然后，获得在要彼此比较的图像中每一色彩成分的像素值的平均值之间的三维欧几里德距离。将获得的三维欧几里德距离标准化。
(2)利用图像柱状图的方法
首先，生成在图像中每一色彩成分的亮度柱状图。然后，获得在用于彼此比较的图像的亮度柱状图中位于多个阶层的各个值之差的平方和的平方根。获得各色彩成分所获得的平方根之和。将获得的和标准化。
(3)利用位于相同位置的多个像素值之差的方法
当使得用于彼此比较的图像的分辨率彼此相等时，获得位于相同位置的图像中的像素值之差的平方和的平方根。将获得的平方根标准化。
(4)利用图像的空间频率柱状图的方法
首先，对图像中的空间频率执行傅里叶变换，以生成频率亮度柱状图。然后，获得在用于彼此比较的图像的频率亮度柱状图中位于多个阶层的多个值之差的平方和的平方根。将获得的平方根标准化。
除了上述方法之外，还可以采用利用各种图像特性计算类似度的其它方法。因而，本发明不限于计算类似度的特定方法。计算类似度的方法可根据获得拍摄图像的情况(例如，根据车辆是否在山区、市区或高速公路上行驶)而改变。
基本上，代表图像拍摄位置计算单元56通过对多个处理目标拍摄图像的图像拍摄位置执行统计处理，从而计算作为多个处理目标拍摄图像的图像拍摄位置的代表的代表图像特征点位置。通常采用计算算术平均值的方法作为统计计算方法。但是，为了更加精确地计算代表图像拍摄位置，优选地，采用利用位置精度信息来计算加权平均值的方法。
当基于从第一处理群中所选择的该组处理目标数据的图像拍摄位置来计算代表图像拍摄位置时，精度可靠度高的图像拍摄位置组成了统计计算的总体。因此，可以使用简单的统计计算值(如算术平均值或中间值)作为代表图像拍摄位置。相反，当基于从第二处理群中所选择的该组处理目标数据的图像拍摄位置来计算代表图像拍摄位置时，精度可靠度相对较低的图像拍摄位置组成了统计计算的总体。因此，可以使用考虑变化而获得的统计计算值(如利用位置精度信息所获得的加权平均值)作为代表图像拍摄位置。
如图6所示，特征量计算单元60包括：特征点提取单元61、特征点重要度确定单元62、加权单元63、调整系数设置单元64、特征点输出单元65和共同特征点评价单元66。特征点提取单元61利用恰当的轮廓(边缘)检测算子从拍摄图像中提取图像特征点。在该实施例中，图像特征点是边缘点与边缘点群(边缘线)。特征点重要度确定单元62基于在图像拍摄情况信息中包含的每一数据的内容来确定特征点提取单元61所提取的图像特征点的重要度。例如，当使用行驶车道数据DL的内容时，与分配给位于拍摄图像中的行驶车道内侧的区域中的图像特征点的重要度相比，将高重要度分配给位于拍摄图像中的行驶车道外侧的路肩侧区域中的图像特征点。当使用移动物体数据DO时，与分配给拍摄图像中不存在移动物体的区域中的图像特征点的重要度相比，将低重要度分配给拍摄图像中存在移动物体的区域中的图像特征点。此外，当使用区属性数据DA的内容时，根据上述区属性来改变按照拍摄图像中的图像特征点的位置将重要度分配给图像特征点的规则。例如，在山区的拍摄图像中，因为在用于图像拍摄的中心光轴上方很可能是天空，而在用于图像拍摄的中心光轴的左右两侧为森林，所以，与分配给除了中心区域之外的其它区域中的图像特征点的重要度相比，将高重要度分配给在用于图像拍摄的中心光轴周围的中心区域中的图像特征点。在郊区的拍摄图像中，因为交通量不是很大，并且周围有如房子等结构性物体，所以，与分配给用于图像拍摄的中心光轴上方的区域中的图像特征点的重要度相比，将高重要度分配给在用于图像拍摄的中心光轴下方的区域中的图像特征点。在市区的拍摄图像中，因为交通量很大，所以，与用于图像拍摄的中心光轴下方的区域相比，将高重要度分配给在用于图像拍摄的中心光轴上方的区域中的图像特征点。在高层建筑区的拍摄图像中，因为有很多高架路和高架桥，所以与用于图像拍摄的中心光轴下方的区域相比，将高重要度分配给在用于图像拍摄的中心光轴上方的区域中的图像特征点。
加权单元63根据特征点重要度确定单元62所分配的重要度将权重系数分配给图像特征点。因为将高重要度分配给被认为是对执行精确的图像识别(精确的图案匹配)而言很重要的图像特征点，所以将高权重系数分配给已分配高重要度的图像特征点。另一方面，考虑到已分配低重要度的图像特征点不被用于实际图像识别的可能性很高，或者被从参考数据中删除，所以将低权重系数分配给已分配低重要度的图像特征点，从而使用该低权重系数来确定是选择还是删除图像特征点。
鉴于拍摄图像中的权重系数的分布状态，调整系数设置单元64计算用于改变由加权单元63所分配的权重系数的调整系数。已基于图像拍摄情况信息分配给由特征点提取单元61所提取的图像特征点的重要度包括一定误差。因而，已分配高重要度的图像特征点可能是随机分布的。因此，当已分配高重要度的图像特征点分布不均时，换言之，当已通过加权单元63分配了高权重系数的图像特征点分布不均时，调整系数设置单元64用于减少分布不均。当通过计算处理而获得的图像特征点的散布度(dispersion)表示已分配高权重系数的图像特征点分布不均时，将调整系数设为增大在已分配高权重系数的图像特征点的密度低的区域中的图像特征点的权重系数，并将调整系数设为减小在已分配高权重系数的图像特征点的密度高的区域中的图像特征点的权重系数。特征点输出单元65通过基于由加权单元63所分配的权重系数以及选择性使用的调整系数对图像特征点执行处理，从而输出每一拍摄图像中的图像特征点群。
将参照图7A至图7F所示的示意性说明图来描述利用上述调整系数来尽可能广地在拍摄图像的整个区域内分布边缘点图像中的图像特征点的处理。通过从拍摄图像(图7A)中提取图像特征点(边缘点)而生成特征点图像(边缘检测图像)(图7B)。为边缘检测图像中的每一边缘点分配重要度。图7C以与边缘检测图像对应的重要度阶层(layer)的形式来显示与边缘点对应的重要度，以能够示意性地理解重要度是如何分配的。利用重要度阶层为每一边缘点分配权重系数。图7D以边缘点的尺寸随着该边缘点的权重系数的增加而增加的边缘检测图像的形式显示已分配权重系数的边缘点。如果对边缘点执行处理，例如，删除已分配权重系数等于或低于阈值的边缘点，即，例如，如果删除除了图7D中的大尺寸边缘点之外的边缘点，则可以移除位于边缘检测图像中的下部区域中的边缘点。结果，剩余边缘点可能分布极不均。为了避免图像特征点数据中的边缘点的分布不均，计算边缘检测图像中的边缘点的分散度，进而将调整系数设为增大因对边缘点执行处理而使剩余边缘点的密度低的区域中的边缘点的权重系数。为了能够示意性地理解以上述方式设置的调整系数，图7E以与边缘检测图像对应的调整系数阶层的形式显示了调整系数群。在调整系数阶层中，调整系数以矩阵方式排列(即为由多个像素区域组成的每一分区分配调整系数)。特征点输出单元65利用权重系数及基于调整系数而最终设置的权重系数对边缘点执行处理，从而为每一拍摄图像生成图7F所示的边缘点数据。
以上已描述了这样一个实例，在该实例中，确定每一图像特征点的重要度，进而设置每一图像特征点的权重系数。但是，可以对每一图像特征点群执行处理。在此情形下，例如可以将拍摄图像的区域分成多个图像分区，并且特征点重要度确定单元62可以将图像特征点分成图像特征点群，以使每一图像特征点群包括同一图像分区中的图像特征点，进而可以对每一图像特征点群执行处理。在此情形下，特征点重要度确定单元62可以将同一重要度分配给包含在同一图像特征点群中的图像特征点。类似地，加权单元63可以为每一图像特征点群设置权重系数。在此情形下，图像分区可以按照使每一图像分区均由包含在拍摄图像中的一个像素组成的方式或者每一图像分区均由多个像素组成的方式来设置。共同特征点评价单元66利用基于由特征点输出单元65所输出的拍摄图像的图像特征点群(边缘点图像中的边缘点群)，从而生成作为图像特征点群的代表的共同图像特征点群。在实施例中，共同特征点评价单元66通过从基于拍摄图像的图像特征点群中取得(takeout)拍摄图像共同的图像特征点，从而生成共同图像特征点群。当基于从第一处理群中所选择的处理目标拍摄图像来加工图像特征点群时，所选择的处理目标拍摄图像中的图像特征点群被看作在很大程度上彼此类似，这是因为第一图像拍摄位置区域是很小的区域，并且所选择的处理目标拍摄图像中的图像拍摄位置的精度高。当基于从第二处理群中选择的处理目标拍摄图像来加工图像特征点群时，尽管第二图像拍摄位置区域大于第一图像拍摄位置区域，选择的处理目标拍摄图像中的图像特征点群也被看作基本上彼此类似，这是因为选择的处理目标拍摄图像的图像类似度高。因而，通过利用由共同特征点评价单元66生成的共同图像特征点群，能够生成高度可靠的参考数据。
图像特征点数据生成单元55基于从特征量计算单元60中所输出的共同图像特征点群而生成图像特征点数据。参考数据生成单元57通过将图像特征点数据生成单元55所生成的图像特征点数据与通过代表图像拍摄位置计算单元56而获得的代表图像拍拍摄位置相关联，从而生成用于风景匹配的参考数据。
接着，将描述车载汽车导航系统，其通过利用由上述图像处理系统所创建的参考数据DB92执行风景图像识别(图像特征点图案匹配)来校正车辆位置。图8显示将汽车导航系统安装在车载LAN中的实例的功能框。汽车导航系统包括：输入操作模块21、导航控制模块3、车辆位置检测模块4、图像拍摄情况信息生成单元7和数据库9，其中该数据库9包括上述参考数据DB92和存储有用于汽车导航的道路地图数据的道路地图数据库(下文中简称为“道路地图DB”)91。
导航控制模块3包括：路径设置单元31、路径搜索单元32和路径导向单元33。例如，路径设置单元31设置出发地(如当前车辆位置)、已输入的目的地、经过地点和行驶条件(例如关于是否使用高速公路的条件)。路径搜索单元32是这样一种处理单元，其基于路径设置单元31所设置的条件来执行计算处理，以搜索从出发地到目的地的导向路径。路径导向单元33是这样一种处理单元，其根据从出发地到目的地的路径(作为搜索结果被路径搜索单元32取得)来执行运算处理，从而为驾驶员提供恰当的路径导向。路径导向单元33利用监视器12的屏幕上显示的导向、从扬声器13输出的语音导向等等来提供路径导向。
车辆位置检测模块4具有校正通过利用GPS来执行常规的位置计算以及利用航位推算导航来执行常规的位置计算而获得的估计车辆位置的功能。车辆位置检测模块4基于通过利用估计车辆位置进行风景图像识别而确定的车辆位置来校正估计车辆位置。车辆位置检测模块4包括：GPS处理单元41、航位推算导航处理单元42、车辆位置坐标计算单元43、地图匹配单元44、车辆位置确定单元45、拍摄图像处理单元5以及风景匹配单元6。GPS处理单元41连接到从GPS卫星接收GPS信号的GPS测量单元15。该GPS处理单元41对由GPS测量单元15所接收的来自GPS卫星的信号进行分析，计算车辆的当前位置(即纬度和经度)，并且将车辆的当前位置传输到车辆位置坐标计算单元43作为GPS位置坐标数据。航位推算导航处理单元42连接到距离传感器16和方向传感器17。距离传感器16是检测车辆的速度与移动距离的传感器。例如，距离传感器16包括：车辆的驱动轴、车轮等每次旋转特定量时输出脉冲信号的车速脉冲传感器、检测车辆的加速度的偏航率/加速度传感器、以及对所检测的加速度的值进行积分的电路。距离传感器16将作为检测结果的关于车辆速度的信息和关于车辆移动距离的信息输出到航位推算导航处理单元42。例如，方向传感器17包括：陀螺仪传感器、地磁传感器、附于方向盘的旋转单元的光学角速率传感器和旋转式可变电阻器以及附于车轮单元的角度传感器。方向传感器17将作为检测结果的关于方向的信息输出到航位推算导航处理单元42。航位推算导航处理单元42基于不断地传输到航位推算导航处理单元42的移动距离信息与方向信息计算航位推算导航位置坐标，并将算出的航位推算导航位置坐标传输到车辆位置坐标计算单元43，作为航位推算导航位置坐标数据。利用公知的方法，车辆位置坐标计算单元43基于GPS位置坐标数据与航位推算导航位置坐标数据来执行计算处理以确定车辆位置的坐标。计算出的车辆位置信息包括测量误差等。因此，计算出的车辆位置在某些情形下可能偏离道路。因而，地图匹配单元44调整车辆位置信息，以使车辆位于道路地图中所示的道路上。车辆位置的坐标被传输到车辆位置确定单元45，作为估计车辆位置。
拍摄图像处理单元5包括基本上与图6所示的特征量计算单元60和图像特征点数据生成单元55相同的功能单元。拍摄图像处理单元5对通过车载相机14所获得的车辆前面的风景的拍摄图像执行处理，并且根据上述过程输出图像特征点数据。用于确定特征点(边缘点)的重要度的图像拍摄情况信息由设置在车辆中的图像拍摄情况信息生成单元7生成，并且被传输到拍摄图像处理单元5。图像拍摄情况信息生成单元7连接到车载相机14，以便于生成上述行驶车道数据DL，并且图像拍摄情况信息生成单元7接收与传输到拍摄图像处理单元5的拍摄图像相同的拍摄图像。利用公知算法，通过对接收到的拍摄图像执行图像处理，从而创建行驶车道数据DL。图像拍摄情况信息生成单元7连接到用于检测障碍物的传感器群18，以创建上述移动物体数据DO。图像拍摄情况信息生成单元7基于从传感器群18传输的传感器信息来创建移动物体数据DO。此外，图像拍摄情况信息生成单元7连接到车辆位置确定单元45和数据库9，以创建上述区属性数据DA。通过利用从车辆位置确定单元45传输的车辆位置坐标作为搜索条件来搜索数据库9，图像拍摄情况信息生成单元7获得车辆当前行驶的区的区属性。区属性的实例包括山区和市区。图像拍摄情况信息生成单元7基于获得的区属性来创建区属性数据DA。
通过将基于从车辆位置确定单元45传输的估计车辆位置从参考数据DB92中提取的参考数据用作图案，风景匹配单元6对从拍摄图像处理单元5传输的图像特征点数据执行图案匹配处理。当参考数据与图像特征点数据匹配时，取出与匹配参考数据相关联的图像拍摄位置。取出的图像拍摄位置被传输到车辆位置确定单元45作为车辆位置。车辆位置确定单元45校正车辆位置，即用传输的车辆位置来替代估计车辆位置。
汽车导航装置还包括作为外围设备的输入操作模块21、显示模块22、语音生成模块23和车辆行为检测模块24。输入操作模块21包括输入设备11和操作输入评价单元21a，其中输入设备11包括有触摸面板和开关，操作输入评价单元21a将通过输入设备11输入的操作转换成恰当的操作信号，并将该操作信号传输到汽车导航系统。显示模块22使监视器12显示汽车导航所需的图像信息。语音生成模块23使扬声器13和蜂鸣器输出汽车导航所需的语音信息。车辆行为检测模块24基于通过车载LAN所传输的行为数据来检测车辆的各种行为(如车辆的刹车行为、加速行为和转向行为)。
为了获得更加可靠的参考数据，需要与参考数据相关联的图像拍摄位置精确。在参考数据基于包含在探测数据中的拍摄图像和图像拍摄位置而生成的情形下，即使选择精度可靠度高的拍摄图像作为处理目标拍摄图像，图像拍摄位置(即探测汽车所计算的车辆位置)也可能会不可避免地变化。为了在上述情形下也能生成更加可靠的参考数据，优选地，多个处理目标拍摄图像的图像拍摄位置的代表图像拍摄位置可以通过对多个处理目标拍摄图像的图像拍摄位置进行统计处理来计算，并且，代表图像拍摄位置可以是与参考数据相关联的图像拍摄位置，即，代表图像拍摄位置可以是与参考数据相关联的参考图像拍摄位置，如同在上述实施例中的情况。
为了有效地评价图像拍摄位置的精度可靠度，优选地，参考数据生成系统可以包括精度可靠度表，在该精度可靠度表中，含在该组探测数据中的图像拍摄位置的精度可靠度根据表示探测汽车的车辆位置的精度的信息与表示探测汽车行驶的行驶情况的信息来设置；并且拍摄图像的精度可靠度可以利用精度可靠度表来评价。极大地影响图像拍摄位置的因素包括探测汽车的车辆位置的精度、以及探测汽车行驶的行驶情况。因而，通过预先获得改变图像拍摄位置的精度的因素和图像拍摄位置的精度的改变度，并且通过基于获得的因素与获得的图像拍摄位置的精度的改变度来创建及利用表，能够快速地、精确地评价精度可靠度。
为了有效地评价图像拍摄位置的精度可靠度，优选地，该组探测数据应当包括一组精度可靠度数据，其表示图像拍摄位置的精度可靠度；并且拍摄图像的图像拍摄位置的精度可靠度应当利用该组精度可靠度数据来计算。在该配置中，与上述配置不同的是，该组探测数据包括预先评价的精度可靠度。因此，能够易于评价精度可靠度，因而，通过从获得的该组探测数据中读出精度可靠度，从而能够易于选择处理目标拍摄图像(该组处理目标数据)。
优选地，可以评价存储在暂存单元中的拍摄图像的图像类似度，并且可以将其分配给拍摄图像；并且可以从存储在所述暂存单元中的拍摄图像中选择图像类似度等于或者大于第二预定度的多个拍摄图像，作为多个处理目标拍摄图像。在该配置中，例如，当获得的该组探测数据中的图像拍摄位置的精度可靠度低于平均时，能够评价拍摄图像的图像类似度，代替图像拍摄位置的精度可靠度；并且能够选择图像类似度高的拍摄图像作为处理目标拍摄图像(该组处理目标数据)。图像类似度高的拍摄图像很可能是在相同的图像拍摄位置获得的。因此，图像特征点数据是通过选择图像类似度高的拍摄图像作为处理目标拍摄图像并且计算图像特征量而生成的。此外，代表图像拍摄位置是通过对处理目标拍摄图像的图像拍摄位置执行例如统计处理而获得的。然后，通过将生成的图像特征点数据与获得的代表图像拍摄位置相关联，从而生成参考数据。因而，即使该组探测数据中的图像拍摄位置变化非常大，也能够获得包括高可靠性图像特征点数据和高可靠性图像拍摄位置的参考数据。
为了有效地使用基于精度可靠度而选择的处理目标拍摄图像和基于图像类似度而选择的处理目标拍摄图像，优选地，当在存储于暂存单元中的拍摄图像之中精度可靠度等于或大于第三预定度的拍摄图像的数目等于或者小于预定值时，可以将模式从精度可靠度模式(基于精度可靠度来选择处理目标拍摄图像)切换到图像类似度模式(基于图像类似度来选择处理目标拍摄图像)。因而，能够根据精度可靠度相对较高的拍摄图像的数目来选择并使用恰当的模式。
另一个实施例
在上述实施例中，与参考数据相关联的代表图像拍摄位置通过对多个处理目标拍摄图像的图像拍摄位置执行统计处理而获得。但是，根据设置处理群的方式(即设置第一图像拍摄位置区域的尺寸与第二图像拍摄位置区域的尺寸的方式)，可以在设置处理群时(即在设置第一图像拍摄位置区域的尺寸与第二图像拍摄位置区域的尺寸时)预先确定代表图像拍摄位置。可替换地，在确定代表图像拍摄位置之后，可以设置第一图像拍摄位置区域的尺寸与第二图像拍摄位置区域的尺寸。
在上述实施例中，在通过边缘检测处理所获得的作为图像特征点的边缘点之中，特别地，线段边缘点(构成一条线段)和角边缘点被视为有用的图像特征点。角边缘点(交叉点边缘点)与线段彼此相交的交叉点对应，优选地，线段基本上彼此垂直。但是，本发明中使用的图像特征点不限于这种边缘点。可以使用对风景而言有用的图像特征点。例如，可以使用形成如圆形或矩形等几何形状的典型的边缘点(当该几何形状是圆形时，典型的边缘点是该圆的圆周上的三个点)，或者可以使用几何形状的重心或者表示图像中的几何形状的重心的点。此外，优选地，采用边缘强度(intensity)作为计算重要度的因子。例如，当线段由具有高强度的边缘组成时，与分配给除了起点与终点之外的其它边缘点的重要度相比，该线段的起点与终点可以被视为分配高重要度的图像特征点。此外，与分配给除了端点之外的其它边缘点的重要度相比，可以将特征几何图形中的特定点(例如边缘点和表示对称物体中的重心的点)视为分配高重要度的图像特征点。
此外，除了通过边缘检测处理所获得的边缘点之外，在拍摄图像中色调和/或色度改变非常大的点也可以被用作图像特征点。类似地，作为基于色彩信息的图像特征点，可以将具有高色温的物体的边缘点视为具有高重要度的图像特征点。
即，本发明中可以使用任何图像特征点，只要这些图像特征点对于确定参考数据与基于实际拍摄的图像而生成的图像特征点数据之间的类似度(例如图案匹配)而言是有用的即可。
在上述实施例中，存储于参考数据DB92中的参考数据与代表图像拍摄位置相关联。除了图像拍摄位置与图像拍摄方向之外，参考数据还可以与图像拍摄方向(相机的光轴的方向)、上述图像拍摄情况信息、拍摄图像的日期、图像拍摄时的天气等等相关联。
图像拍摄位置需要由至少二维数据(如包括经度与纬度的数据)来表示。图像拍摄位置可以由包括纬度、经度和海拔的三维数据来表示。
图像拍摄方向没有必要一定与参考数据相关联。例如，在当创建参考数据时，以能够保证利用参考数据执行风景图像识别时沿相对于车辆正在行驶的道路的方向拍摄图像的情形下，图像拍摄方向无需与参考数据相关联。
在图像拍摄方向与参考数据相关联且可以通过从一个基本图像拍摄方向恰当地改变图像拍摄方向来准备多个参考数据的情形下，可以基于从方向传感器等传输的信息来计算车辆正在行驶的方向，并且仅将图像拍摄方向与车辆正在行驶的方向相符的参考数据用于风景图像识别。
最适用于本发明的车载相机是沿车辆正在行驶的方向拍摄车辆前方的风景的相机。但是，车载相机可以是拍摄车辆斜前方的位置处的风景的相机，或者是拍摄车辆侧面的风景或车辆后面的风景的相机。即，本发明中使用的拍摄图像不限于沿车辆正在行驶的方向的车辆前方的风景。
在用于描述上述实施例的功能框图中，功能单元彼此分开，以使描述易于理解。但是，本发明不限于如功能框图所示的功能单元彼此分开的情形。多个功能单元中的至少两个功能单元可以彼此自由组合，和/或可以将一个功能单元进一步划分。
根据本发明的图像处理系统不仅可应用于汽车导航，而且可应用于通过风景图像识别来测量当前位置和当前方向的技术领域中。

Claims (7)

1.一种风景匹配参考数据生成系统，包括：
数据输入单元，一组探测数据被输入到所述数据输入单元，其中该组探测数据包括通过多个探测车依次获得的拍摄图像和作为所述拍摄图像的图像拍摄位置的所述探测车的车辆位置，所述多个探测车中的每一个探测车均具有计算车辆位置的功能，
暂存单元，暂时存储包含在该组探测数据中的拍摄图像，
精度可靠度评价单元，评价存储在所述暂存单元中的拍摄图像的图像拍摄位置的精度可靠度，并且将精度可靠度分配给所述拍摄图像，
处理目标数据选择单元，从存储在所述暂存单元中的拍摄图像中选择精度可靠度等于或者大于第一预定度的多个拍摄图像，作为多个处理目标拍摄图像，
图像特征点数据生成单元，从所述多个处理目标拍摄图像中提取图像特征点，并且基于从所述多个处理目标拍摄图像中提取的图像特征点来生成图像特征点数据，
参考数据生成单元，通过将所述图像特征点数据与对应于所述图像特征点数据的参考图像拍摄位置相关联，从而生成用于风景匹配的参考数据，以识别从车辆看到的风景的图像，
代表图像拍摄位置计算单元，通过对所述多个处理目标拍摄图像的图像拍摄位置执行统计处理，从而计算代表图像拍摄位置，即所述多个处理目标拍摄图像的图像拍摄位置的代表，其中，所述参考图像拍摄位置为所述代表图像拍摄位置，
精度可靠度表，在所述精度可靠度表中，根据表示所述探测车的车辆位置的精度的信息和表示所述探测车在行驶中的行驶情形的信息，来设置包含在该组探测数据中的所述图像拍摄位置的精度可靠度；
所述精度可靠度评价单元利用所述精度可靠度表来评价精度可靠度。
2.根据权利要求1所述的风景匹配参考数据生成系统，其中
所述图像特征点数据生成单元通过对从所述多个处理目标拍摄图像中提取的图像特征点执行统计处理，从而生成所述图像特征点数据。
3.根据权利要求1所述的风景匹配参考数据生成系统，其中
所述图像特征点数据生成单元提取共同图像特征点，即对所述多个处理目标拍摄图像共同的图像特征点，并且利用所述共同图像特征点生成所述图像特征点数据。
4.根据权利要求1所述的风景匹配参考数据生成系统，其中
该组探测数据包括一组精度可靠度数据，其表示所述图像拍摄位置的精度可靠度；以及
所述精度可靠度评价单元利用该组精度可靠度数据来评价精度可靠度。
5.根据权利要求1所述的风景匹配参考数据生成系统，还包括：
图像类似度评价单元，评价存储在所述暂存单元中的所述拍摄图像的图像类似度，并且将图像类似度分配给所述拍摄图像，其中
所述处理目标数据选择单元从存储在所述暂存单元中的所述拍摄图像中选择图像类似度等于或者大于第二预定度的多个拍摄图像，作为所述多个处理目标拍摄图像。
6.根据权利要求5所述的风景匹配参考数据生成系统，其中
当存储在所述暂存单元中的所述拍摄图像中的精度可靠度等于或大于第三预定度的所述拍摄图像的数目等于或小于预定值时，将所述处理目标数据选择单元的模式从基于精度可靠度选择所述处理目标拍摄图像的精度可靠度模式，切换到基于图像类似度选择所述处理目标拍摄图像的图像类似度模式。
7.一种位置测量系统，包括：
参考数据库，在所述参考数据库中存储有根据权利要求1所述的风景匹配参考数据生成系统所生成的参考数据；
拍摄图像处理单元，从通过拍摄从车辆看到的风景所获得的拍摄图像中提取图像特征点，利用所提取的图像特征点生成每个拍摄图像的图像特征点数据，并且输出所生成的图像特征点数据作为用于匹配的数据；以及
风景匹配单元，在从所述参考数据库中提取的参考数据与所述用于匹配的数据之间执行匹配，并且基于与所述用于匹配的数据相匹配的参考数据相关联的图像拍摄位置来确定所述车辆的位置。
CN201110071023.8A 2010-03-31 2011-03-21 风景匹配参考数据生成系统和位置测量系统 Expired - Fee Related CN102208013B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2010-084690 2010-03-31
JP2010084690A JP5057183B2 (ja) 2010-03-31 2010-03-31 風景マッチング用参照データ生成システム及び位置測位システム

Publications (2)

Publication Number Publication Date
CN102208013A CN102208013A (zh) 2011-10-05
CN102208013B true CN102208013B (zh) 2016-02-24

Family

ID=44212267

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201110071023.8A Expired - Fee Related CN102208013B (zh) 2010-03-31 2011-03-21 风景匹配参考数据生成系统和位置测量系统

Country Status (4)

Country Link
US (1) US8452103B2 (zh)
EP (1) EP2372611A3 (zh)
JP (1) JP5057183B2 (zh)
CN (1) CN102208013B (zh)

Families Citing this family (37)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013529291A (ja) * 2010-04-09 2013-07-18 トムトム ノース アメリカ インコーポレイテッド 場所を表すデータからその場所を解決する方法
KR101901586B1 (ko) * 2011-12-23 2018-10-01 삼성전자주식회사 로봇 위치 추정 장치 및 그 방법
CN103428430B (zh) * 2012-05-23 2019-11-12 杭州阿尔法红外检测技术有限公司 影像摄影装置和影像摄影方法
WO2014033922A1 (ja) * 2012-08-31 2014-03-06 富士通株式会社 画像処理装置、画像処理方法および画像処理プログラム
JP2014191485A (ja) * 2013-03-26 2014-10-06 Sharp Corp 障害物検出装置、及びそれを備えた電動車両
JP2015231101A (ja) * 2014-06-04 2015-12-21 パイオニア株式会社 撮影条件推定装置及び方法、端末装置、コンピュータプログラム並びに記録媒体
ES2710672T3 (es) * 2014-06-04 2019-04-26 Cuende Infometrics S A Sistema y método para medir el flujo del tráfico de un área
JP2016099835A (ja) * 2014-11-21 2016-05-30 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム
CN106296638A (zh) * 2015-06-04 2017-01-04 欧姆龙株式会社 显著性信息取得装置以及显著性信息取得方法
CN105391991A (zh) * 2015-12-21 2016-03-09 中山市厚源电子科技有限公司 一种摄像装置及具有该摄像装置的便携式电子装置
CN105674993A (zh) * 2016-01-15 2016-06-15 武汉光庭科技有限公司 基于双目相机的高精度视觉定位地图生成系统及方法
DE102016205339A1 (de) * 2016-03-31 2017-10-05 Siemens Aktiengesellschaft Verfahren und System zum Erkennen von Hindernissen in einem Gefahrraum vor einem Schienenfahrzeug
CN105974357A (zh) * 2016-04-29 2016-09-28 北京小米移动软件有限公司 终端的定位方法及装置
WO2018098635A1 (en) * 2016-11-29 2018-06-07 Continental Automotive Gmbh Method and system for generating environment model and for positioning using cross-sensor feature point referencing
CN112435215B (zh) 2017-04-11 2024-02-13 创新先进技术有限公司 一种基于图像的车辆定损方法、移动终端、服务器
CN107358596B (zh) * 2017-04-11 2020-09-18 阿里巴巴集团控股有限公司 一种基于图像的车辆定损方法、装置、电子设备及系统
US10579067B2 (en) * 2017-07-20 2020-03-03 Huawei Technologies Co., Ltd. Method and system for vehicle localization
JP6886887B2 (ja) * 2017-08-02 2021-06-16 日本放送協会 誤差計算器およびそのプログラム
JP6902425B2 (ja) * 2017-08-02 2021-07-14 日本放送協会 カラー情報拡大器およびカラー情報推定器、ならびに、それらのプログラム
US10482761B2 (en) * 2018-04-18 2019-11-19 Here Global B.V. Lane-level geometry and traffic information
US10580292B2 (en) * 2018-04-18 2020-03-03 Here Global B.V. Lane-level geometry and traffic information
KR102611927B1 (ko) * 2018-07-11 2023-12-08 르노 에스.아.에스. 주행 환경 정보의 생성 방법, 운전 제어 방법, 주행 환경 정보 생성 장치
CN109034031A (zh) * 2018-07-17 2018-12-18 江苏实景信息科技有限公司 监视视频的处理方法、处理装置及电子设备
JP6605176B1 (ja) * 2018-07-17 2019-11-13 三菱電機株式会社 交通情報生成システム
JP7073972B2 (ja) * 2018-08-03 2022-05-24 トヨタ自動車株式会社 情報処理システム、プログラム、及び制御方法
CN109241979A (zh) * 2018-08-24 2019-01-18 武汉光庭信息技术股份有限公司 一种基于高速视觉特征点匹配的车辆相对位置推测方法
JP2020061048A (ja) * 2018-10-12 2020-04-16 パイオニア株式会社 情報処理装置
JP2019068429A (ja) * 2018-11-08 2019-04-25 パイオニア株式会社 撮影条件推定装置及び方法、端末装置、コンピュータプログラム並びに記録媒体
US11231283B2 (en) * 2019-01-25 2022-01-25 Robert Bosch Gmbh Localization with neural network based image registration of sensor data and map data
PH12019050076A1 (en) * 2019-05-06 2020-12-02 Samsung Electronics Co Ltd Enhancing device geolocation using 3d map data
JP7346979B2 (ja) * 2019-07-30 2023-09-20 トヨタ自動車株式会社 タグ付与装置
CN113515688A (zh) * 2020-04-10 2021-10-19 上海擎感智能科技有限公司 基于图像识别技术推荐应用程序的方法、终端及存储介质
CN112507992B (zh) * 2021-02-04 2021-05-07 腾讯科技（深圳）有限公司 道路图像之间的拍摄距离确定方法、装置、设备及介质
US11544914B2 (en) 2021-02-18 2023-01-03 Inait Sa Annotation of 3D models with signs of use visible in 2D images
CN113947688B (zh) * 2021-12-15 2022-06-21 中哲国际工程设计有限公司 基于bim云平台的预制构件的数据管理系统及方法
CN114554077B (zh) * 2021-12-16 2022-10-11 星河智联汽车科技有限公司 一种美景拍摄方法和装置
CN117351166B (zh) * 2023-12-04 2024-03-26 山东新科凯邦通信器材有限公司 一种基于大数据的土地管理绘测系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1699924A (zh) * 2004-05-20 2005-11-23 诺日士钢机株式会社 位置数据与图像数据相关联的图像处理系统及方法、图像机构装置
CN1818929A (zh) * 2005-01-28 2006-08-16 爱信艾达株式会社 图像识别装置及图像识别方法
CN101091103A (zh) * 2005-01-28 2007-12-19 爱信艾达株式会社 图像识别装置和方法以及使用该图像识别装置或方法的定位装置、车辆控制装置和导航装置
CN101275854A (zh) * 2007-03-26 2008-10-01 日电（中国）有限公司 更新地图数据的方法和设备

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6047234A (en) 1997-10-16 2000-04-04 Navigation Technologies Corporation System and method for updating, enhancing or refining a geographic database using feedback
JP3496479B2 (ja) 1997-10-16 2004-02-09 トヨタ自動車株式会社 道路データメンテナンスシステム
JP4847090B2 (ja) 2005-10-14 2011-12-28 クラリオン株式会社 位置測位装置、および位置測位方法
JP4569837B2 (ja) 2007-03-30 2010-10-27 アイシン・エィ・ダブリュ株式会社 地物情報収集装置及び地物情報収集方法
WO2009064172A1 (en) * 2007-11-16 2009-05-22 Tele Atlas B.V. Method of and apparatus for producing lane information
DE102008003662A1 (de) * 2008-01-09 2009-07-16 Robert Bosch Gmbh Verfahren und Vorrichtung zum Anzeigen der Umgebung eines Fahrzeugs
US8812226B2 (en) * 2009-01-26 2014-08-19 GM Global Technology Operations LLC Multiobject fusion module for collision preparation system
US8306269B2 (en) * 2009-03-12 2012-11-06 Honda Motor Co., Ltd. Lane recognition device
US20110221901A1 (en) * 2010-03-11 2011-09-15 Gm Global Technology Operations, Inc. Adaptive Scene Rendering and V2X Video/Image Sharing

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1699924A (zh) * 2004-05-20 2005-11-23 诺日士钢机株式会社 位置数据与图像数据相关联的图像处理系统及方法、图像机构装置
CN1818929A (zh) * 2005-01-28 2006-08-16 爱信艾达株式会社 图像识别装置及图像识别方法
CN101091103A (zh) * 2005-01-28 2007-12-19 爱信艾达株式会社 图像识别装置和方法以及使用该图像识别装置或方法的定位装置、车辆控制装置和导航装置
CN101275854A (zh) * 2007-03-26 2008-10-01 日电（中国）有限公司 更新地图数据的方法和设备

Also Published As

Publication number Publication date
US20110243455A1 (en) 2011-10-06
US8452103B2 (en) 2013-05-28
JP2011215973A (ja) 2011-10-27
JP5057183B2 (ja) 2012-10-24
EP2372611A3 (en) 2012-09-19
EP2372611A2 (en) 2011-10-05
CN102208013A (zh) 2011-10-05

Similar Documents

Publication Publication Date Title
CN102208013B (zh) 风景匹配参考数据生成系统和位置测量系统
CN102208035B (zh) 图像处理系统及位置测量系统
CN102208012B (zh) 风景匹配参考数据生成系统及位置测量系统
CN102222236B (zh) 图像处理系统及位置测量系统
CN102208036B (zh) 车辆位置检测系统
EP2372308B1 (en) Image processing system and vehicle control system
CN102207389B (zh) 车辆位置识别系统
US11248925B2 (en) Augmented road line detection and display system
JP2006208223A (ja) 車両位置認識装置及び車両位置認識方法
CN114639085A (zh) 交通信号灯识别方法、装置、计算机设备和存储介质
JP5177579B2 (ja) 画像処理システム及び位置測位システム
US20230025579A1 (en) High-definition mapping
Tian Methodologies and Applications of Data Coordinate Conversion for Roadside LiDAR

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20160224

Termination date: 20200321