CN102222236A - 图像处理系统及位置测量系统 - Google Patents

图像处理系统及位置测量系统 Download PDF

Info

Publication number
CN102222236A
CN102222236A CN201110064673XA CN201110064673A CN102222236A CN 102222236 A CN102222236 A CN 102222236A CN 201110064673X A CN201110064673X A CN 201110064673XA CN 201110064673 A CN201110064673 A CN 201110064673A CN 102222236 A CN102222236 A CN 102222236A
Authority
CN
China
Prior art keywords
image
point
photographic images
data
useful
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201110064673XA
Other languages
English (en)
Other versions
CN102222236B (zh
Inventor
宫岛孝幸
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Aisin AW Co Ltd
Original Assignee
Aisin AW Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Aisin AW Co Ltd filed Critical Aisin AW Co Ltd
Publication of CN102222236A publication Critical patent/CN102222236A/zh
Application granted granted Critical
Publication of CN102222236B publication Critical patent/CN102222236B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3626—Details of the output of route guidance instructions
    • G01C21/3647—Guidance involving output of stored or live camera images or video streams
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24133—Distances to prototypes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/54—Surveillance or monitoring of activities, e.g. for recognising suspicious objects of traffic, e.g. cars on the road, trains or boats
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/38—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system
    • G01S19/39—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system the satellite radio beacon positioning system transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G01S19/42—Determining position
    • G01S19/48—Determining position by combining or switching between position solutions derived from the satellite radio beacon positioning system and position solutions derived from a further system
    • G01S19/485—Determining position by combining or switching between position solutions derived from the satellite radio beacon positioning system and position solutions derived from a further system whereby the further system is an optical system or imaging system
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S5/00—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations
    • G01S5/16—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations using electromagnetic waves other than radio waves
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Abstract

本发明公开一种图像处理系统和位置测量系统，该系统包括：暂存单元，暂储车辆行驶期间图像拍摄位置包含在预定区域中的多个拍摄图像作为处理对象拍摄图像；第一类似度计算单元，计算处理对象拍摄图像的类似度；第一有用图像选择单元，选择类似度彼此不同的处理对象拍摄图像作为有用图像；第一特征点提取单元，从每个有用图像中提取图像特征点；第一图像特征点数据生成单元，生成包括第一特征点提取单元提取的图像特征点的图像特征点数据；以及参考数据数据库创建单元，通过将图像特征点数据与图像拍摄位置相关联，生成在执行风景图像识别时使用的参考数据，并且创建作为参考数据的数据库的参考数据数据库。本发明能够精确地确定车辆位置。

Description

图像处理系统及位置测量系统
通过引用的合并
2010年3月31日递交的日本专利申请No.2010-175644的包括说明书、附图和摘要的公开的全部内容通过援引合并于此。
技术领域
本发明涉及一种图像处理系统，尤其涉及一种创建用于风景图像识别处理的参考数据的图像处理系统和使用该参考数据的位置测量系统。
背景技术
在汽车导航装置中，已采用如下方法作为计算车辆当前位置的方法，即，使用从诸如陀螺仪传感器和地磁传感器之类的传感器获得的信息的方法(自主导航方法)、使用来自GPS卫星的信号的方法、或者自主导航方法与使用来自GPS卫星的信号的方法的组合。此外，例如，在日本专利申请公报No.2007-108043(JP-A-2007-108043)中描述的位置测量装置被认为是配置为精确地计算当前位置的位置测量装置(参考第0009段至第0013段以及图1)。在该位置测量装置中，首先，利用来自导航卫星的信号等获得暂定当前位置。然后，利用车辆前方的风景的拍摄图像来计算坐标系统(车辆坐标系统)中相对于该暂定当前位置的路标的特征点的坐标(车辆坐标系统特征点)。然后，利用计算出的车辆坐标系统特征点与存储的路标的特征点的坐标(即世界坐标系统中所示的坐标)来计算车辆的当前位置。在该位置测量装置中，即使利用从导航卫星传送的信号和/或从各种传感器传送的信号测量的位置包括误差，也能够精确地计算当前位置。
发明内容
在日本专利申请公报No.2007-108043(JP-A-2007-108043)中描述的位置测量装置中，利用立体图像来获得道路上的路标的特征点的空间坐标，并从路标信息的数据库获得具有该特征点的路标的经度与维度。因而，通过利用路标的经度与维度而获得的坐标来计算车辆的当前位置。因此，该位置测量系统无法用于没有路标的区域。此外，由于必须计算通过图像处理识别的特征点的空间坐标，所以要求装置具有高运算能力，这样会导致成本增加。
因此，人们想到采用使用风景图像识别技术的位置计算方法，作为可用于没有路标的道路或特定地点且无需计算每一特征点的空间坐标的位置计算方法。在此情形下，创建用于风景图像识别技术中的用于参考的图像数据(参考数据)是很重要的。因此，期望实施一种适合于创建用于风景图像识别的参考数据的图像处理系统以及使用这种参考数据的位置测量系统。
本发明的第一方案涉及一种图像处理系统，该图像处理系统包括：暂存单元，暂时存储在车辆行驶期间通过按序拍摄从车辆看到的风景而获得的拍摄图像之中图像拍摄位置包含在预定区域中的多个拍摄图像，作为处理对象拍摄图像；第一类似度计算单元，计算所述处理对象拍摄图像的类似度；第一有用图像选择单元，选择类似度彼此不同的处理对象拍摄图像，作为有用图像；第一特征点提取单元，从每一个所述有用图像中提取图像特征点；第一图像特征点数据生成单元，生成包括所述第一特征点提取单元提取的图像特征点的图像特征点数据；以及参考数据数据库创建单元，通过将所述第一图像特征点数据生成单元生成的图像特征点数据与图像拍摄位置，即与所述图像特征点数据对应的拍摄图像的拍摄位置相关联，从而生成在执行风景图像识别时使用的参考数据，并且创建作为所述参考数据的数据库的参考数据数据库。
在根据上述的第一方案的图像处理系统中，计算在预定区域中获得的多个拍摄图像的类似度，进而选择类似度彼此不同的处理对象拍摄图像作为有用图像。因而，基于所述有用图像而生成作为用于风景图像识别的一组图像特征点数据的一组参考数据，并且图像拍摄位置在预定区域中彼此接近的该组参考数据彼此不相似。因此，能够提高作为风景图像识别而执行的匹配处理的效率。
本发明的第二方案涉及一种图像处理系统，该图像处理系统包括：暂存单元，暂时存储在车辆行驶期间通过按序拍摄从车辆看到的风景而获得的拍摄图像之中图像拍摄位置包含在预定区域中的多个拍摄图像，作为处理对象拍摄图像；第二特征点提取单元，从所述处理对象拍摄图像中提取图像特征点；第二图像特征点数据生成单元，生成包括所述第二特征点提取单元提取的图像特征点的图像特征点数据；第二类似度计算单元，计算所述第二图像特征点数据生成单元生成的一组图像特征点数据的类似度；第二有用图像选择单元，选择类似度彼此不同的一组图像特征点数据，作为一组有用图像特征点数据；以及参考数据数据库创建单元，通过将所述有用图像特征点数据与图像拍摄位置，即与所述有用图像特征点数据对应的拍摄图像的拍摄位置相关联，从而生成在执行风景图像识别时使用的参考数据，并且创建作为所述参考数据的数据库的参考数据数据库。
在根据上述的第一方案的图像处理系统中，计算拍摄图像的类似度。当像根据上述的第二方案的图像处理系统那样计算从拍摄图像生成的该组图像特征点数据的类似度时，能够获得与在第一方案中获得的有益效果类似的有益效果。
本发明的第三方案涉及一种位置测量系统，该位置测量系统包括：由根据第一方案所述的图像处理系统创建的参考数据数据库；数据输入单元，通过拍摄从车辆看到的风景而获得的拍摄图像被输入到所述数据输入单元中；第三特征点提取单元，从被输入到所述数据输入单元的拍摄图像中提取图像特征点；第三图像特征点数据生成单元，利用所述第三特征点提取单元提取的图像特征点为每一个拍摄图像生成图像特征点数据，并且输出所述图像特征点数据作为用于匹配的数据；以及风景匹配单元，在从所述参考数据数据库提取的参考数据与所述用于匹配的数据之间执行匹配，并且基于与所述用于匹配的数据相匹配的参考数据相关联的图像拍摄位置来确定车辆位置。
本发明的第四方案涉及一种位置测量系统，该位置测量系统包括：由根据第二方案所述的图像处理系统创建的参考数据数据库；数据输入单元，通过拍摄从车辆看到的风景而获得的拍摄图像被输入到所述数据输入单元中；第四特征点提取单元，从被输入到所述数据输入单元的拍摄图像中提取图像特征点；第四图像特征点数据生成单元，利用所述第四特征点提取单元提取的图像特征点为每一个拍摄图像生成图像特征点数据，并且输出所述图像特征点数据作为用于匹配的数据；以及风景匹配单元，在从所述参考数据数据库提取的参考数据与所述用于匹配的数据之间执行匹配，并且基于与所述用于匹配的数据相匹配的参考数据相关联的图像拍摄位置来确定车辆位置。
在根据第三方案和第四方案的每种方案的位置测量系统中，如上所述使用用于风景匹配的参考数据，因此，能够精确地确定车辆位置。
附图说明
根据参照附图对示例实施例的如下描述，本发明的前述和更多的目的、特征及优点将会变得明显，其中相同的附图标记被用于表示相同的元件，其中：
图1是用于说明由根据本发明实施例的图像处理系统创建参考数据以及通过利用该参考数据进行匹配处理来确定车辆位置的位置测量技术的基本概念的示意图；
图2是示出在根据本发明实施例的图像处理系统的示例中的主要功能的前段组(former-stage group)的功能性框图；
图3是示出在根据本发明实施例的图像处理系统的示例中的主要功能的后段组(latter-stage group)的功能性框图；
图4A至图4D是示意性地显示根据本发明实施例的图像处理系统的示例中使用的用于选择有用图像的选择算法的示意图；
图5A至图5F是示意性地显示在调整权重系数的同时由拍摄图像生成图像特征点数据的过程的示意图；
图6显示使用由根据本发明实施例的图像处理系统创建的参考数据数据库的汽车导航系统的功能性框图；
图7是显示适当地应用根据本发明实施例的图像处理系统的情况的示例的示意图；
图8是显示适当地应用根据本发明实施例的图像处理系统的另一情况的示例的示意图；以及
图9是显示根据本发明另一实施例的图像处理系统的主要功能的功能性框图。
具体实施方式
下文中，将参照附图详细描述本发明的实施例。图1示意性地显示位置测量技术的基本概念，在该位置测量技术中，通过利用由根据本发明实施例的图像处理系统创建的参考数据进行匹配处理来识别车载相机(在本实施例中是沿车辆行驶方向拍摄车辆前方的风景的前方相机)所拍摄的风景图像，从而确定拍摄风景图像的位置(即车辆位置)。将基于在车辆沿着预定路线持续行驶的同时收集参考数据这一假设来进行如下描述。
首先，将描述用于创建参考数据数据库(下文中简称为“参考数据DB”)92的过程。如图1所示，输入在行驶期间通过拍摄从车辆看到的风景而获得的拍摄图像以及图像拍摄属性信息(步骤01a)。图像拍摄属性信息包括在进行图像拍摄时拍摄图像的图像拍摄位置和拍摄图像的图像拍摄方向。术语“拍摄图像的图像拍摄位置”表示图像被拍摄从而获得拍摄图像的位置。术语“拍摄图像的图像拍摄方向”表示图像被拍摄从而获得拍摄图像的方向。工作存储器(working memory)暂时存储图像拍摄位置包含在预定区域(在该实施例中是与车辆行驶的预定距离对应的行驶距离区域)中的多个输入拍摄图像，作为处理对象拍摄图像(步骤01b)。在该实例中，通过连续拍摄图像而获得的一连串拍摄图像是处理对象拍摄图像。计算暂存的多个拍摄图像的类似度，并将这些类似度分配给各拍摄图像(步骤01c)。利用类似度以及图像拍摄位置作为差参数(difference parameter)，从已分配类似度的多个拍摄图像之中选择预定数目的拍摄图像，作为有用图像(步骤01d)。以使得所选择的拍摄图像的差参数尽可能地分散的方式，选择预定数目的拍摄图像。然后，对被选择作为有用图像的拍摄图像执行用于检测图像特征点的特征点检测处理(例如，边缘检测处理)(步骤02)。与一个或多个像素对应的边缘点的构成一条线段(例如轮廓)的部分被称为“线段边缘”。多个线段边缘彼此相交的交叉点被称为“角(corner)”。构成线段边缘的边缘点被称为“线段边缘点”。在这些线段边缘点中，与角对应的边缘点被称为“角边缘点”。线段边缘点与角边缘点是图像特征点的示例。从通过边缘检测处理获得的边缘检测图像中提取包括角边缘点的线段边缘点，作为图像特征点(步骤03)。
在与步骤01至03的处理不同的处理(即，与步骤01至03的处理并行执行的处理)中，获得图像拍摄情况信息(步骤04)。图像拍摄情况信息表示在拍摄图像中包含特定目标(subject)的可能性。如稍后详细描述的，为了使特定目标所处区域中的图像特征点的重要度与其它区域中的图像特征点的重要度不同，图像拍摄情况信息被用于拍摄图像中分布的图像特征点。利用图像拍摄情况信息，通过降低不适合风景图像识别的图像特征点的重要度和/或提高对风景图像识别而言很重要的图像特征点的重要度，最终能够创建可靠的参考数据DB 92。每一图像特征点的重要度均基于图像拍摄情况信息来确定(步骤05)。然后，生成权重系数矩阵(步骤06)。权重系数矩阵根据图像特征点的重要度来制定对图像特征点的权重系数的分配。通过图像识别处理可以从拍摄图像中检测包含在图像拍摄情况信息中的目标，或者通过处理来自各种车载传感器(距离传感器、障碍物检测传感器等等)的传感器信号可以检测包含在图像拍摄情况信息中的目标。可替换地，通过处理来自外部(例如从车辆信息与通信系统(VICS)(日本注册商标)中获得)的信号，可以检测包含在图像拍摄情况信息中的目标。
随后，基于权重系数对图像特征点执行处理，从而为每一拍摄图像生成图像特征点数据(步骤07)。在创建图像特征点数据的处理期间，执行选择处理。即，放弃权重系数等于或低于第一阈值的图像特征点，和/或放弃除了权重系数等于或高于第二阈值的图像特征点及其周围的图像特征点以外的图像特征点。当为风景图像识别采用图案匹配时，将在此步骤中生成的图像特征点数据用作图案。因此，为了达到匹配的高速性能与高精度，重要的是图像特征点数据应当仅包括对风景图像的图案匹配有用的图像特征点。生成的图像特征点数据与对应于该图像特征点数据的拍摄图像的图像拍摄位置和/或对应于该图像特征点数据的拍摄图像的图像拍摄方向相关联。因而，生成的图像特征点数据变成了可以利用图像拍摄位置和/或图像拍摄方向作为搜索条件进行搜索的数据库的数据(步骤08)。即，图像特征点数据存储在参考数据DB 92中，作为用于风景图像识别的参考数据，例如作为用于图案匹配的图案(步骤09)。
其次，将描述在车辆利用由上述过程创建的参考数据DB 92实际行驶的同时确定车辆的位置(车辆位置)的过程。如图1所示，首先，输入利用车载相机拍摄风景而获得的实际拍摄图像以及实际拍摄图像的图像拍摄位置和图像拍摄方向，它们用于从参考数据DB 92中提取参考数据(步骤11)。在此步骤中输入的图像拍摄位置是利用例如GPS测量单元估计的估计车辆位置。通过上述步骤02至步骤07，由输入的拍摄图像生成作为图像特征点数据的用于匹配的数据(步骤12)。同时，利用输入的图像拍摄位置(估计车辆位置)和/或输入的图像拍摄方向作为搜索条件，提取关于图像拍摄位置(估计车辆位置)的一组参考数据和关于图像拍摄位置(估计车辆位置)前方、后方位置的参考数据，作为匹配候选参考数据组(步骤13)。
包含在所提取的匹配候选参考数据组中的每一参考数据被设为图案，并且执行每一图案与所生成的用于匹配的数据之间的图案匹配的处理，作为风景图像识别(步骤14)。当被设为图案的参考数据与所生成的用于匹配的数据相匹配时，取出(retrieve)与所生成的用于匹配的数据相匹配的参考数据相关联的图像拍摄位置(步骤15)。取出的图像拍摄位置被确定为正式车辆位置，代替估计车辆位置(步骤16)。
接着，将参照图2和图3来描述根据本发明的实施例的图像处理系统，其基于上述位置测量技术的基本概念由拍摄图像生成参考数据。
图2是显示图像处理系统的主要功能的前段组的功能性框图，且图3是显示图像处理系统的主要功能的后段组的功能性框图。图像处理系统包括多个功能单元，例如数据输入单元51、暂存单元61、类似度计算单元62、有用图像选择单元63、特征点提取单元52、特征点重要度确定单元53、加权单元55、调整系数设置单元54、图像特征点数据生成单元56和参考数据数据库创建单元57。每一个功能均可通过硬件、软件或硬件与软件的组合来实施。
通过利用车辆中设置的相机拍摄风景而获得的拍摄图像、包括在进行图像拍摄时的图像拍摄位置与图像拍摄方向的图像拍摄属性信息以及图像拍摄情况信息被输入到数据输入单元51。该车辆可以是为创建参考数据的目的而行驶的车辆。在图像处理系统设置于车辆中的示例中，如该实施例所述，拍摄图像、图像拍摄属性信息和图像拍摄情况信息被实时输入到数据输入单元51中。但是，图像处理系统可以被安装在外部中心(例如数据处理中心)中。在该情形下，拍摄图像、图像拍摄属性信息和图像拍摄情况信息被暂存在存储介质中，并以批处理方式将这些数据输入到输入单元51中。生成拍摄图像和图像拍摄属性信息的方法是公知的，因此省略其描述。
图像拍摄情况信息是表示在拍摄图像中包含特定目标的可能性的信息。特定目标的示例包括：限定车辆行驶的行驶车道的物体(如导轨和路肩处的槽)、移动物体(如附近行驶车辆、迎面而来的车辆、自行车和步行者)和作为山区、郊区、市区、高层建筑区等的特征的风景物(如山脉和建筑物)。在实施例中，图像拍摄情况信息的内容包括：行驶车道数据DL、移动物体数据DO和区属性数据DA。行驶车道数据DL是显示拍摄图像中的行驶车道区域和道路外侧区域的数据。行驶车道数据DL是基于对白线、导轨(guide rail)和安全地带的识别结果获得的。白线、导轨和安全地带通过对拍摄图像执行图像处理来识别。移动物体数据DO是显示拍摄图像中车辆附近存在移动物体的区域的数据。车辆附近的移动物体通过检测障碍物的车载传感器(如雷达)来识别。区属性数据DA是显示通过对图像进行拍摄而获得拍摄图像的图像拍摄区的类型(即图像拍摄区的区属性)的数据。区属性的示例包括山区、郊区、市区和高层建筑区。类型(即图像拍摄区的区属性)基于在通过对图像进行拍摄而获得拍摄图像时的车辆位置和地图数据来识别。
暂存单元61是在每一处理组(processing group)中暂存输入的拍摄图像的工作存储器。通常，暂存单元61被分配给主存储器的一部分。暂存单元61暂存在行驶期间按序获得的拍摄图像之中图像拍摄位置被包含在预定区域中的多个拍摄图像(即处理组中的多个拍摄图像)，作为处理对象拍摄图像。在实施例中，处理组包括图像拍摄位置包含在中心为估计车辆位置的误差范围内的必要数目的拍摄图像。必要数目根据例如道路情况来预先确定。注意：考虑当基于由GPS信号和/或航位推算导航法所测量的位置坐标而估计车辆位置时产生的误差，误差范围被限定为基于估计车辆位置具有预定半径的区域的范围。
类似度计算单元62计算存储在暂存单元61中的拍摄图像的类似度。例如，如图7所示，当车辆例如在高速公路上行驶时，可以周期性拍摄类似风景的图像。当基于这些拍摄图像生成用于风景图像识别的参考图像(例如用于图案匹配的图案)时，由于有许多类似图案，所以难以执行精确的一对一对应匹配。结果，难以精确地确定图像拍摄位置(车辆位置)。为了避免这种情况，优选地，应当计算所获得的拍摄图像的类似度，并且可以通过尽量选择类似度彼此不同的多个拍摄图像来预先准备参考图像(即图案)。此外，即使在尽量选择类似度彼此不同的多个拍摄图像的情形下，如果图像拍摄位置分布不均且拍摄图像的图像拍摄位置之间间隔很长，也难以精确地检测位于图像拍摄位置之间的区间中的车辆位置。因此，当准备参考图像时，优选地，以使得所选择的拍摄图像的类似度和图像拍摄位置适当地分散的方式选择拍摄图像。因此，首先，类似度计算单元62计算每一拍摄图像的类似度，并将计算的类似度分配给拍摄图像。
计算类似度的各种方法是公知的。表示每一拍摄图像特征的指标值可以利用各种图像特性来获得，并且指标值可以被用作类似度。下文中，将描述指标值的示例。
(1)使用像素值的平均值的方法
首先，获得整幅图像中用于每一色彩成分的像素值的平均值。然后，获得在彼此比较的图像中用于每一色彩成分的像素值的平均值之间的三维欧几里德距离。将获得的三维欧几里德距离标准化。
(2)使用图像直方图的方法
首先，生成在图像中用于每一色彩成分的亮度直方图。然后，获得在用于彼此比较的图像的亮度直方图中多个级别(level)的各个值之差的平方和的平方根。获得为色彩成分而获得的平方根之和。将获得的和标准化。
(3)使用相同位置处的多个像素值之差的方法
当使得用于彼此比较的图像的解析度彼此相等时，获得相同位置处的图像中的像素值之差的平方和的平方根。将获得的平方根标准化。
(4)使用用于图像的空间频率直方图的方法
首先，对图像中的空间频率执行傅立叶变换，以生成频率亮度直方图。然后，获得在用于彼此比较的图像的频率亮度直方图中位于多个级别的多个值之差的平方和的平方根。将获得的平方根标准化。
除了上述方法之外，还可以采用利用各种图像特性计算类似度的其它方法。因而，本发明不限于计算类似度的特定方法。计算类似度的方法可根据获得拍摄图像的情况(例如，根据车辆是否行驶在山区、市区或高速公路上)而改变。
有用图像选择单元63通过将以上述方式获得的类似度彼此比较，从拍摄图像之中选择有用图像，从而使得选择的拍摄图像的类似度彼此不同。此时，当拍摄图像根据类似度和图像拍摄位置布置在由表示类似度和图像拍摄位置的轴限定的二维平面中时，优选地，以使得选择的拍摄图像的分散度最大的方式来选择预定数目的拍摄图像，作为有用图像。例如，可以采用如下算法。在该算法中，以使得分散度最大的方式将预定数目的指标点布置在二维平面中，并且将二维平面中最接近每一指标点的拍摄图像优先分配给该指标点。选择被分配给预定数目指标点的拍摄图像作为有用图像。通过采用这种算法，能够相对简单地执行考虑类似度选择有用图像的处理。
另外，当在车辆行驶期间通过按序拍摄图像而获得拍摄图像并且这些拍摄图像的类似度周期性地改变时，可以利用更简单的算法基于类似度执行选择有用图像的处理。将参照图4A至图4D中的示意图来描述在如上所述的方法中在分配了类似度之后执行的选择算法。
在图4A至图4D的每一附图中，在二维坐标平面中绘制获得的多个拍摄图像，在该二维坐标平面中，横坐标轴表示图像拍摄位置，纵坐标轴表示类似度。处理对象拍摄图像是图像拍摄位置处于误差范围内的所有拍摄图像。误差范围的中心是估计车辆位置(图4A至图4D的每一附图中的图像拍摄位置P0，误差范围的边界线由位于图像拍摄位置P0两侧的虚线来示出)。首先，如图4A所示，选择类似度最高的拍摄图像(即，用作用于计算类似度的基础的拍摄图像)作为第一有用图像I1。在图4A至图4D的每一幅附图中，选择的拍摄图像(有用图像)由带有附图标记的文件图标来示出。此外，选择类似度最低的拍摄图像作为第二有用图像I2。接着，如图4B所示，从属于表示最高类似度与最低类似度之间的中间类似度的中间线(下文中将该中间线称为“第一选择线L1”)的拍摄图像之中选择更大程度地增加有用图像的分散度的拍摄图像，作为第三有用图像I3。短语“属于第一选择线L1的拍摄图像”表示二维平面中位于第一选择线L1上的拍摄图像，或者位于使得拍摄图像与第一选择线L1之间的垂直距离在容许范围内的位置处的拍摄图像。此外，如图4C所示，从属于显示最高类似度与第一选择线L1所示的类似度之间的中间类似度的第二选择线L2的拍摄图像之中选择更大程度地增加有用图像的分散度的拍摄图像，作为第四有用图像I4。从属于显示最低类似度与第一选择线L1所示的类似度之间的中间类似度的第三选择线L3的拍摄图像之中选择更大程度地增加有用图像的分散度的拍摄图像，作为第五有用图像I5。此外，如图4D所示，从属于显示第二选择线L2所示的类似度与第三选择线L3所示的类似度之间的中间类似度的第四选择线L4的拍摄图像之中选择更大程度地增加有用图像的分散度的拍摄图像，作为第六有用图像I6。
连续执行上述选择处理，直到选择了预定数目的有用图像为止。因而，有用图像选择单元63选择类似度彼此不同的预定数目的拍摄图像，作为有用图像。在图7的示例中，用粗线示出可能被选为有用图像的拍摄图像。在有用图像选择单元63完成选择有用图像的处理之后，所选择的有用图像进行作为后段处理的最初处理的特征点提取处理。
特征点提取单元52利用适当的算子从拍摄图像(有用图像)中提取边缘点，作为图像特征点。特征点重要度确定单元53确定提取的图像特征点(边缘点)的重要度。在实施例中，在通过边缘检测处理获得的边缘点之中，特别地，构成一条线段的线段边缘点(直线成分边缘点)和角边缘点(交叉点边缘点)被视为有用的图像特征点。角边缘点(交叉点边缘点)与线段彼此相交的交叉点对应，优选地，线段基本上彼此垂直。即，与分配给除了线段边缘点之外的其它边缘点的重要度相比，特征点重要度确定单元53将高重要度分配给线段边缘点。与分配给除了角边缘点之外的其它线段边缘点的重要度相比，特征点重要度确定单元53将高重要度分配给角边缘点。
特征点重要度确定单元53基于包含在图像拍摄情况信息中的每一数据的内容来确定由特征点提取单元52提取的图像特征点的重要度。例如，当使用行驶车道数据DL的内容时，与分配给位于拍摄图像中的行驶车道内侧的区域中的图像特征点的重要度相比，将高重要度分配给位于拍摄图像中的行驶车道外侧的路肩侧区域中的图像特征点。当使用移动物体数据DO时，与分配给拍摄图像中不存在移动物体的区域中的图像特征点的重要度相比，将低重要度分配给拍摄图像中存在移动物体的区域中的图像特征点。此外，当使用区属性数据DA的内容时，根据上述区属性来改变按照拍摄图像中的图像特征点的位置将重要度分配给图像特征点的规则。例如，在山区的拍摄图像中，因为在用于图像拍摄的中心光轴上方很可能是天空，而在用于图像拍摄的中心光轴的左右两侧为森林，所以，与分配给除了用于图像拍摄的中心光轴周围的中心区域之外的其它区域中的图像特征点的重要度相比，将高重要度分配给中心区域中的图像特征点。在郊区的拍摄图像中，因为交通量不是很大，并且周围有如房子等结构性物体，所以，与分配给用于图像拍摄的中心光轴上方的区域中的图像特征点的重要度相比，将高重要度分配给在用于图像拍摄的中心光轴下方的区域中的图像特征点。在市区的拍摄图像中，因为交通量很大，所以，与用于图像拍摄的中心光轴下方的区域相比，将高重要度分配给在用于图像拍摄的中心光轴上方的区域中的图像特征点。在高层建筑区的拍摄图像中，因为有很多高架路和高架桥，所以与用于图像拍摄的中心光轴下方的区域相比，将高重要度分配给在用于图像拍摄的中心光轴上方的区域中的图像特征点。
加权单元55根据特征点重要度确定单元53分配的重要度将权重系数分配给图像特征点。因为将高重要度分配给被认为是对执行精确的图像识别(精确的图案匹配)而言很重要的图像特征点，所以将高权重系数分配给已分配高重要度的图像特征点。另一方面，考虑到已分配低重要度的图像特征点很可能不被用于实际图像识别，或者被从参考数据中删除，所以将低权重系数分配给已分配低重要度的图像特征点，从而使用该低权重系数来确定是选择还是删除图像特征点。
鉴于拍摄图像中的权重系数的分布状态，调整系数设置单元54计算用于改变加权单元55分配的权重系数的调整系数。基于图像拍摄情况信息已分配给特征点提取单元52提取的图像特征点的重要度包括一定误差。因而，考虑到已分配高重要度的图像特征点可能是随机分布的。因此，当已分配高重要度的图像特征点分布不均时，换言之，当已通过加权单元55分配了高权重系数的图像特征点分布不均时，调整系数设置单元54用于减少分布不均。当通过计算处理而获得的图像特征点的分散度(dispersion)表示已分配高权重系数的图像特征点分布不均时，将调整系数设为增大在已分配高权重系数的图像特征点的密度低的区域中的图像特征点的权重系数，并将调整系数设为减小在已分配高权重系数的图像特征点的密度高的区域中的图像特征点的权重系数。
图像特征点数据生成单元56通过基于加权单元55分配的权重系数或者在某些情形下基于权重系数与分配的调整系数对图像特征点执行处理，从而为每一拍摄图像生成图像特征点数据。在生成图像特征点数据时，可以通过删除权重系数等于或低于阈值的图像特征点来减少图像特征点的数量，从而有效地执行匹配处理。此外，图像特征点数据可以设置有权重系数，以使权重系数还与参考数据中的图像特征点相关联，进而在执行图案匹配处理时使用权重系数来计算加权类似度。
将参照图5A至图5F所示的示意性说明图来描述利用上述调整系数将图像特征点数据中的图像特征点尽可能广泛地分布在拍摄图像的整个区域范围内的处理。通过从拍摄图像(图5A)中提取图像特征点来生成特征点图像(图5B)。为特征点图像中的每一图像特征点分配重要度。为了能够示意性地理解重要度是如何分配的，图5C以与特征点图像对应的重要度阶层(layer)的形式来显示与图像特征点对应的重要度。利用重要度阶层为每一图像特征点分配权重系数。图5D以图像特征点的尺寸随着该图像特征点的权重系数的增加而增加的特征点图像的形式显示已分配权重系数的图像特征点。如果对图像特征点执行处理，例如，删除已分配权重系数等于或低于阈值的图像特征点，即，例如，如果删除除了图5D中的大尺寸图像特征点之外的图像特征点，则可以移除位于特征点图像中的下部区域中的图像特征点。因而，剩余图像特征点(即图像特征点数据中的图像特征点)可能分布极不均匀。为了避免图像特征点的分布不均，计算特征点图像中的图像特征点的分布度，进而将调整系数设为增大因对图像特征点执行处理而使剩余图像特征点的密度低的区域中的图像特征点的权重系数。为了能够示意性地理解以上述方式设置的调整系数，图5E以与特征点图像对应的调整系数阶层的形式显示了调整系数组。在调整系数阶层中，调整系数以矩阵方式排列(即，为由多个像素区域组成的每一分区分配调整系数)。图像特征点数据生成单元56利用权重系数及基于调整系数而最终设置的权重系数对图像特征点执行处理，从而为每一拍摄图像生成图5F所示的图像特征点数据。
参考数据数据库创建单元57通过将图像特征点数据生成单元56生成的图像特征点数据与关于与图像特征点数据对应的拍摄图像的图像拍摄属性信息相关联，从而创建用于风景图像识别处理的参考数据。因而，参考数据数据库创建单元57创建参考数据的数据库。即，参考数据存储在参考数据DB 92中。
以上已描述了这样一个示例，在该示例中，确定每一图像特征点的重要度，进而设置每一图像特征点的权重系数。但是，可以对每一图像特征点组执行处理。在此情形下，例如可以将拍摄图像的区域分成多个图像分区，并且特征点重要度确定单元53可以将图像特征点分成图像特征点组，以使每一图像特征点组包括同一图像分区中的图像特征点，进而可以对每一图像特征点组执行处理。在此情形下，特征点重要度确定单元53可以将同一重要度分配给包含在同一图像特征点组中的图像特征点。类似地，加权单元55可以为每一图像特征点组设置权重系数。在此情形下，图像分区可以按照使每一图像分区均由包含在拍摄图像中的一个像素组成的方式或者每一图像分区均由多个像素组成的方式来设置。因而，在本发明的实施例中，每一图像分区均可由一个或多个像素组成。
接着，将描述车载汽车导航装置，其通过利用由上述图像处理系统创建的参考数据DB 92执行风景图像识别(图像特征点图案匹配)，从而校正车辆位置。图4显示将汽车导航系统安装在车载LAN中的示例的功能框。汽车导航系统包括：输入操作模块21、导航控制模块3、车辆位置检测模块4、图像拍摄情况信息生成单元7和数据库9，其中该数据库9包括上述参考数据DB 92和道路地图数据库(下文中简称为“道路地图DB”)91，在道路地图数据库91中存储用于汽车导航的道路地图数据。
导航控制模块3包括：路线设置单元31、路线搜索单元32和路线导引单元33。例如，路线设置单元31设置出发地(如当前车辆位置)、已输入的目的地、经过地点和行驶条件(例如关于是否使用高速公路的条件)。路线搜索单元32是这样一种处理单元，其基于路线设置单元31设置的条件来执行计算处理，以搜索从出发地到目的地的导引路线。路线导引单元33是这样一种处理单元，其根据从出发地到目的地的路线(由路线搜索单元32搜索而取出)来执行运算处理，从而为驾驶员提供适当的路线导引。路线导引单元33利用监视器12的屏幕上显示的导引、从扬声器13输出的语音导引等等来提供路线导引。
车辆位置检测模块4具有对通过利用GPS执行常规的位置计算以及利用航位推算导航法执行常规的位置计算而获得的估计车辆位置进行校正的功能。车辆位置检测模块4基于利用估计车辆位置通过风景图像识别而确定的车辆位置来校正估计车辆位置。车辆位置检测模块4包括：GPS处理单元41、航位推算导航法处理单元42、车辆位置坐标计算单元43、地图匹配单元44、车辆位置确定单元45、拍摄图像处理单元5以及风景匹配单元6。GPS处理单元41连接到从GPS卫星接收GPS信号的GPS测量单元15。该GPS处理单元41对由GPS测量单元15所接收的来自GPS卫星的信号进行分析，计算车辆的当前位置(即纬度和经度)，并且将车辆的当前位置传输到车辆位置坐标计算单元43，作为GPS位置坐标数据。航位推算导航法处理单元42连接到距离传感器16和方向传感器17。距离传感器16是检测车辆的速度与移动距离的传感器。例如，距离传感器16包括：车辆的驱动轴、车轮等每次旋转特定量时输出脉冲信号的车速脉冲传感器、检测车辆的加速度的偏航率/加速度传感器、以及对所检测的加速度的值进行积分的电路。距离传感器16将作为检测结果的关于车辆速度的信息和关于车辆移动距离的信息输出到航位推算导航法处理单元42。例如，方向传感器17包括：陀螺仪传感器、地磁传感器、连接至转向轮(steering wheel)的旋转单元的光学角速率传感器和旋转式可变电阻器以及连接至车轮单元的角度传感器。方向传感器17将作为检测结果的关于方向的信息输出到航位推算导航法处理单元42。航位推算导航法处理单元42基于时刻传输到航位推算导航法处理单元42的移动距离信息与方向信息计算航位推算导航法位置坐标，并将算出的航位推算导航法位置坐标传输到车辆位置坐标计算单元43，作为航位推算导航法位置坐标数据。利用公知的方法，车辆位置坐标计算单元43基于GPS位置坐标数据与航位推算导航法位置坐标数据来执行计算处理以确定车辆位置的坐标。计算出的车辆位置信息包括测量误差等。因此，计算出的车辆位置在某些情形下可能偏离道路。因而，地图匹配单元44调整车辆位置信息，以使车辆位于道路地图中所示的道路上。车辆位置的坐标被传输到车辆位置确定单元45，作为估计车辆位置。
拍摄图像处理单元5基本上包括组成图2和图3所示的图像处理系统的大部分功能单元。拍摄图像处理单元5包括：数据输入单元51、特征点提取单元52、特征点重要度确定单元53、加权单元55、调整系数设置单元54和图像特征点数据生成单元56。当将车辆前方的风景的拍摄图像(其为车载相机14所拍摄的图像)输入到数据输入单元51时，特征点提取单元52从输入的车辆前方的风景的拍摄图像中提取图像特征点。图像特征点数据生成单元56利用图像特征点为车辆前方的风景的每一拍摄图像生成图像特征点数据。此时，加权单元55执行将权重分配给图像特征点的处理(调整系数设置单元54在某些情形下可以执行调整)。生成的图像特征点数据被输出到风景匹配单元6，作为用于匹配的数据。特征点重要度确定单元53使用的图像拍摄情况信息由设置在车辆中的图像拍摄情况信息产生单元7产生，并且被传输到拍摄图像处理单元5。图像拍摄情况信息产生单元7连接到车载相机14，以便于产生上述行驶车道数据DL，并且图像拍摄情况信息产生单元7接收与传输到拍摄图像处理单元5的拍摄图像相同的拍摄图像。通过利用公知算法对接收到的拍摄图像执行图像处理，从而创建行驶车道数据DL。图像拍摄情况信息产生单元7连接到用于检测障碍物的传感器组18，以创建上述移动物体数据DO。图像拍摄情况信息产生单元7基于从传感器组18传输的传感器信息来创建移动物体数据DO。此外，图像拍摄情况信息产生单元7连接到车辆位置确定单元45和数据库9，以创建上述区属性数据DA。通过利用从车辆位置确定单元45传输的车辆位置坐标作为搜索条件来搜索数据库9，图像拍摄情况信息产生单元7获得车辆当前行驶的区域的区属性。区属性的实例包括山区和市区。图像拍摄情况信息产生单元7基于获得的区属性来创建区属性数据DA。
风景匹配单元6在从参考数据DB 92中提取的参考数据与从图像特征点数据生成单元56中输出的图像特征点数据(用于匹配的数据)之间执行匹配。即，风景匹配单元6基于从车辆位置确定单元45传输的估计车辆位置，利用从参考数据DB 92中提取的参考数据作为图案，对从拍摄图像处理单元5传输的图像特征点数据执行图案匹配处理。当参考数据与图像特征点数据匹配时，取出与匹配参考数据相关联的图像拍摄位置。取出的图像拍摄位置被传输到车辆位置确定单元45，作为车辆位置。车辆位置确定单元45校正车辆位置，即，用传输的车辆位置来替代估计车辆位置。
汽车导航装置还包括作为外围设备的输入操作模块21、显示模块22、语音生成模块23和车辆行为检测模块24。输入操作模块21包括输入设备11和操作输入评价单元21a，其中输入设备11包括有触摸面板和开关，操作输入评价单元21a将通过输入设备11输入的操作转换成适当的操作信号，并将该操作信号传输到汽车导航系统。显示模块22使监视器12显示汽车导航所需的图像信息。语音生成模块23使扬声器13和蜂鸣器输出汽车导航所需的语音信息。车辆行为检测模块24基于通过车载LAN所传输的行为数据来检测车辆的各种行为(如车辆的刹车行为、加速行为和操纵行为(steering behavior))。
如上所述，在根据实施例的图像处理系统中，以使得选择的拍摄图像的类似度彼此不同且选择的拍摄图像的图像拍摄位置彼此不同的方式，从通过拍摄预定行驶距离区域内的图像而获得的拍摄图像之中选择预定数目的有用图像(更具体地，以使得选择的拍摄图像的分散度最大的方式，从根据类似度和图像拍摄位置而布置在二维平面中的拍摄图像之中选择预定数目的有用图像)。由有用图像生成一组参考数据。
为了通过风景图像识别精确地检测车辆位置，有必要对通过按序拍摄预定区域内的图像而获得的许多拍摄图像执行处理。例如，如图7所示，当有可能周期性地拍摄类似风景的图像时，具有多个图像拍摄位置的多个参考数据可能与拍摄图像相匹配。因此，难以精确地确定车辆位置，而且执行匹配处理要花费很长时间。但是，在具有上述配置的图像处理系统中，匹配处理(风景图像识别)是基于类似度彼此不同且图像拍摄位置彼此不同的多个参考数据来执行的。因而，能够极大地提高匹配处理效率。
另外，在根据实施例的图像处理系统中，处理对象拍摄图像在由表示类似度与图像拍摄位置的轴限定的二维平面中根据类似度与图像拍摄位置来布置，且以使得选择的处理对象拍摄图像的分散度最大的方式选择预定数目的处理对象拍摄图像，作为有用图像。即，以使得选择的坐标点的分散度最大的方式，通过执行计算最优地选择有用图像，从而从在二维平面(其坐标轴表示类似度与图像拍摄点)中表示处理对象拍摄图像的坐标点之中选择预定数目的坐标点。
在汽车导航领域中，考虑到实际车辆位置存在于基于估计车辆位置的误差范围内。考虑这一技术，优选地，包括处理对象拍摄图像的图像拍摄位置的预定区域可以对应于估计车辆位置的误差范围。通过获得预定区域内的多个处理对象拍摄图像且以使得分配给选择的处理对象拍摄图像的类似度彼此不同的方式来选择预定数目的处理对象拍摄图像作为有用图像，可以创建能够在误差范围内有效地执行匹配处理的参考数据数据库。
在根据本实施例的图像处理系统中，基于在车辆行驶期间按序获得的拍摄图像来收集参考数据。此时，基本上，在车辆沿着预定路径连续行驶的同时收集参考数据。鉴于这种情况，优选地，包括处理对象拍摄图像的图像拍摄位置的预定区域可以与预定行驶距离(行驶距离区域)对应。通过获得预定区域内的多个处理对象拍摄图像且以使得分配给选择的处理对象拍摄图像的类似度彼此不同的方式来选择预定数目的处理对象拍摄图像作为有用图像，可以创建能够在预定行驶距离区域中有效地执行匹配处理的参考数据数据库。还是在这种情形下，优选地，行驶距离区域可以与估计车辆位置的误差范围对应。
在根据实施例的图像处理系统中，基于图像特征点的重要度为每一拍摄图像生成图像特征点数据。图像特征点从拍摄图像中提取，且风景图像识别中的每一图像特征点的重要度在很大程度上取决于如图像特征点的位置与获得该图像特征点的物体的类型等因素。例如，从道路的不平坦表面获得的图像特征点不能用于确定车辆位置。另外，从移动物体(如附近行驶车辆)获得的图像特征点也不能用于确定车辆位置，因为这种图像特征点无法保持太长时间。因而，如同根据上述实施例的配置，通过将重要度分配给图像特征点并且根据重要度对图像特征点执行处理，能够生成适合于风景图像识别的图像特征点数据。
优选地，图像特征点可以是在图像中被稳定地检测的点。因此，通常使用利用边缘检测滤波器等检测的边缘点。构成显示建筑物的轮廓、建筑物的窗户轮廓和各种广告牌的轮廓的线性边缘的边缘点组是适用于本发明的实施例的图像特征点。因此，在本发明的实施例中，优选地，特征点提取单元52提取的图像特征点可以是边缘点，并且当边缘点是构成直线的直线成分边缘点时，优选地，与分配给除了直线成分边缘点之外的其它边缘点的重要度相比，可以将高重要度分配给直线成分边缘点。采用这种配置，能够创建能够以精确和简单的方式识别作为风景特征的特定人造物(如建筑物或广告牌)的参考数据。在此情形下，优选地，与分配给除了交叉点边缘点之外的其它的直线成分边缘点的重要度相比，可以将高重要度分配给直线成分边缘点中的交叉点边缘点。交叉点边缘点是两条直线成分的交叉点。因而，能够将包含在参考数据中的图像特征点限制在角上，即作为建筑物、桥、广告牌等中最重要的特征点的交叉点边缘点。因而，能够减小图像识别中的运算量。应注意：交叉点边缘点可以利用例如Harris算子来检测。
其它实施例
(1)在上述实施例中，假设图7所示的情况是适当地应用根据本发明的实施例的图像处理系统的情况的示例。在图7中，预定区域被设置为单一路径上的预定行驶距离区域。代替这种配置，可以采用如下配置：将预定区域设置为在二维上或三维上彼此分开的多条路径之上延伸。短语“在二维上或三维上彼此分开的多条路径”包括以使得最后一条路径从其它路径延伸的方式排列的多条路径。以这种方式设置预定区域的情况的示例是车辆在有多个阶层(例如图8所示的多层停车库)的区域中行驶的情况。同样在这种情况下，有可能在每一阶层(楼层)拍摄类似风景的图像。
在这种情况下，可以将通向位于每一阶层的停车分区C的路径看作从通向最高阶层的螺旋形路径(基本路径La)延伸的路径(分支路径Lb)。在图8的示例中，基本路径La和多条分支路径Lb构成多条路径，即多条分支路径Lb从多个分支点B延伸。将基本路径La和位于每一阶层的分支路径Lb的最上游部分(即，分支路径Lb的、最接近基本路径La的部分)看作辨识对象路径Li。因而，在多个阶层的每一个阶层处都设置一条辨识对象路径Li。预定区域被设置为在三维空间之上延伸，并且包括所有的多条辨识对象路径Li。在图8中，预定区域的外边缘由虚线示意性示出。在图8的示例中，预定区域是与估计车辆位置的误差范围对应的圆筒形区域。预定区域可以被设置为使得该预定区域包括各分支点B，或者可以被设置为使得该预定区域不包括各分支点B。
即使当预定区域被设置为以上述方式在三维空间上延伸时，如同上述实施例一样，也将通过拍摄预定区域中的图像而获得的多个拍摄图像看作处理对象拍摄图像，并且以使得选择的处理对象拍摄图像的类似度彼此不同且选择的处理对象拍摄图像的图像拍摄位置彼此不同的方式，通过从处理对象拍摄图像之中选择预定数目的处理对象拍摄图像生成一组参考数据，作为有用图像。在这种情形下，因为多条辨识对象路径Li在多个阶层延伸，所以断续输入的多个拍摄图像是处理对象拍摄图像。
在这种情形下，有用图像选择单元63进一步为多条辨识对象路径Li的每一条选择至少一个处理对象拍摄图像，作为有用图像。即，有用图像选择单元63以使得至少一个最终选择的有用图像的图像拍摄位置包含在多条辨识对象路径Li(设置在各个阶层)的每一条中，并且最终选择的有用图像的类似度彼此不同的方式，从多个处理对象拍摄图像之中选择预定数目的有用图像。通过上述实施例中描述的处理，基于有用图像选择单元63选择的有用图像生成一组参考数据。该组参考数据被存储在参考数据DB 92中，即，创建参考数据的数据库。当基于以上述方式生成的参考数据执行匹配处理作为风景图像识别时，即使多条辨识对象路径包含在预定区域中，也能够非常有效地执行该匹配处理。此外，因为在实施例中在每一阶层都设置了一条辨识对象路径Li，所以有如下优点：能够容易地确定车辆位置位于多个阶层之中的哪个阶层。
在上述实施例中，位于每一阶层的分支路径Lb的最上游部分被看做辨识对象路径Li。但是，位于每一阶层的分支路径Lb的下游部分可以包含在辨识对象路径Li中。在这种情形下，可以在辨识对象路径Li中包括分支路径Lb的整个下游部分，或者也可以在辨识对象路径Li中包括分支路径Lb的下游部分的一部分。当在辨识对象路径Li中包括分支路径Lb的下游部分的一部分时，可以在辨识对象路径Li中优先包括分支路径Lb的下游部分中的上游部分。因而，根据本发明的实施例，可以将从一个或多个分支点延伸的多条路径的一部分或者全部看作辨识对象路径。
(2)在上述实施例中，已描述了如下情况，即“预定区域”被设置为在彼此分开的多条路径(例如，在多层停车库中)上延伸。但是，用于根据本发明的实施例的图像处理系统的情况不限于上述情况。例如，在一条道路在一个或多个分支点处分开并且从这一条道路延伸的分支路径在平面上以预定间隔彼此平行地设置的情形下，多条分支路径的每一条都可以被看作辨识对象路径，而预定区域可以被设置为在二维空间上延伸，并且包括所有的多条辨识对象路径。在一条道路在一个或多个分支点处分开并且从这一条道路延伸的分支路径以三维方式彼此重叠并且彼此平行布置的情形下，多条分支路径的每一条都可以被看作辨识对象路径，而预定区域可以被设置为在三维空间上延伸，并且包括所有的多条辨识对象路径。同样在这些情形下，最终生成的一组参考数据适合于有效的匹配处理。另外，有如下优点：能够通过基于在以上述方式生成的该组参考数据执行的风景图像识别，容易地确定在多个分支路径之中车辆位于哪一条分支路径上。
(3)在上述实施例中，如图2和图3所示，在由拍摄图像创建参考数据的图像处理系统中，前段组包括：数据输入单元51、暂存单元61、类似度计算单元62和有用图像选择单元63，而后段组包括：特征点提取单元52、特征点重要度确定单元53、加权单元55、调整系数设置单元54、图像特征点数据生成单元56和参考数据数据库创建单元57。因此，从已分配类似度的多个拍摄图像之中选择有用图像，由选择的有用图像生成一组图像特征点数据，并且最终创建一组参考数据。代替这种配置，前段组可以包括：数据输入单元51、特征点提取单元52、特征点重要度确定单元53、加权单元55、调整系数设置单元54和图像特征点数据生成单元56，而后段组可以包括：暂存单元61、类似度计算单元62和有用图像选择单元63和参考数据数据库创建单元57，如图9所示。在这种配置中，首先，由所有输入拍摄图像生成一组图像特征点数据，并且将该组图像特征点数据存储在暂存单元61中。然后，计算存储在暂存单元61中的每一图像特征点数据的类似度，并将类似度分配给图像特征点数据。然后，如上述实施例，有用图像选择单元63以使得选择的一组图像特征点数据的图像拍摄位置的分散度和选择的一组图像特征点数据的类似度的分散度都很高的方式，选择预定数目的图像特征点数据作为有用图像特征点数据。通过将有用图像特征点数据与图像拍摄位置和/或图像拍摄方向相关联，从而生成参考数据。
采用上述实施例中的这种配置，计算该组图像特征点数据的类似度。因此，用于计算类似度的处理很可能在计算该组图像特征点数据的类似度时比在计算拍摄图像的类似度时更容易执行。但是，在这种配置中，该组有用图像特征点数据是在该组图像特征点数据由获得的全部拍摄图像生成之后基于该组图像特征点数据的类似度而选择的。因此，生成该组图像特征点数据的处理的负担也有可能会增加。因而，优选地，根据需要的参考数据的规格(specification)，选择计算拍摄图像的类似度的图像处理系统，或选择计算该组图像特征点数据的类似度的图像处理系统。可替换地，可以提供具有上述两种配置的复合型图像处理系统。
(4)上述实施例中用于选择有用图像的上述选择算法仅仅是选择算法的一个示例，而本发明的实施例不限于这种选择算法。例如，作为用于选择有用图像的选择算法的另一示例，可以采用如下算法。在该算法中，评价图像拍摄位置以第一位置间隔布置的第一间隔拍摄图像的类似度；如果第一间隔拍摄图像的类似度低于或等于第一预定度，则选择第一间隔拍摄作为有用图像；如果第一间隔拍摄图像的类似度高于第一预定度，则选择图像拍摄位置以比第一位置间隔更长的位置间隔布置的拍摄图像，作为有用图像。另外，在将类似度分配给该组图像特征点数据的图像识别系统中，可以采用如下算法。在该算法中，评价一组第二间隔图像特征点数据的类似度，该组第二间隔图像特征点数据由图像拍摄位置以第二位置间隔布置的拍摄图像生成；如果该组第二间隔图像特征点数据的类似度低于或等于第二预定度，则选择该组第二间隔图像特征点数据作为一组有用图像特征点数据；如果该组第二间隔图像特征点数据的类似度高于第二预定度，则选择由图像拍摄位置以比第二位置间隔更长的位置间隔布置的拍摄图像生成的一组图像特征点数据作为一组有用图像。因而，能够容易地去除由于相对较高的类似度而不适于创建参考数据的拍摄图像或图像特征点数据。因此，能够创建不包括无用参考数据的参考数据DB 92。注意，上述第一位置间隔与第二位置间隔可以相同或彼此不同，上述第一预定度与第二预定度可以相同或彼此不同。
(5)在上述实施例中，在通过边缘检测处理获得的作为图像特征点的边缘点之中，特别地，构成一条线段的线段边缘点(直线成分边缘点)和角边缘点(交叉点边缘点)被视为有用的图像特征点。角边缘点(交叉点边缘点)与线段彼此相交的交叉点对应。但是，本发明中使用的图像特征点不限于这种边缘点。可以使用对风景而言有用的图像特征点。例如，可以使用形成如圆形或矩形等几何形状的典型的边缘点(当该几何形状是圆形时，典型的边缘点可以是该圆的圆周上的三个点)，或者可以使用几何形状的重心或者表示图像中的几何形状的重心的点。此外，优选地，采用边缘强度作为计算重要度的因子。例如，当线段由具有高强度的边缘组成时，与分配给除了起点与终点之外的其它边缘点的重要度相比，该线段的起点与终点可以被视为分配高重要度的图像特征点。此外，与分配给除了端点之外的其它边缘点的重要度相比，可以将特有几何图形中的特定点(例如对称物体中的端点)视为分配高重要度的图像特征点。
此外，除了通过边缘检测处理获得的边缘点之外，在拍摄图像中色调和/或色度改变非常大的点也可以被用作图像特征点。类似地，作为基于色彩信息的图像特征点，可以将具有高色温的物体的端点视为具有高重要度的图像特征点。
即，本发明的实施例中可以使用任何图像特征点，只要该图像特征点对于确定参考数据与基于实际拍摄图像生成的图像特征点数据(用于匹配的数据)之间的类似度(例如图案匹配)而言是有用的即可。
(6)在上述实施例中，根据图像特征点的重要度为每一图像特征点分配与重要度分开计算的权重系数。但是，重要度可以被用作权重系数。
(7)在上述实施例中，存储于参考数据DB 92中的参考数据与图像拍摄位置以及图像拍摄方向(相机的光轴方向)相关联。除了图像拍摄位置与图像拍摄方向之外，参考数据还可以与上述图像拍摄情况信息、拍摄图像的日期、图像拍摄时的天气等等相关联。
图像拍摄位置需要由至少二维数据(如包括经度与纬度的数据)来表示。图像拍摄位置可以由包括纬度、经度和高度的三维数据来表示。
图像拍摄方向不一定必须与参考数据相关联。例如，在保证在创建参考数据时沿相对于车辆正在行驶的道路的方向(该方向与在利用参考数据执行风景图像识别时拍摄图像的方向基本上相同)拍摄图像的情形下，图像拍摄方向无需与参考数据相关联。
在图像拍摄方向与参考数据相关联且可以通过从一个基本图像拍摄方向适当地改变图像拍摄方向来准备多个参考数据的情形下，可以基于从方向传感器等传输的信息来计算车辆正在行驶的方向，并且仅将图像拍摄方向与车辆正在行驶的方向相符的参考数据用于风景图像识别。因而，当图像拍摄属性信息包括如上所述的图像拍摄方向时，可以通过指定图像拍摄方向，减少用于匹配的参考数据的量。
(8)最适用于本发明的实施例的车载相机是沿车辆正在行驶的方向拍摄车辆前方的风景的相机。但是，车载相机可以是拍摄车辆斜前方的位置处的风景的相机，或者是拍摄车辆侧面的风景或车辆后面的风景的相机。即，本发明的实施例中使用的拍摄图像不限于沿车辆正在行驶的方向的车辆前方的风景。
(9)在用于描述上述实施例的功能框图中，功能单元彼此分开，以使描述易于理解。但是，本发明的实施例不限于如功能框图所示的功能单元彼此分开的情形。多个功能单元中的至少两个功能单元可以彼此自由组合，和/或可以将一个功能单元进一步划分。
根据本发明实施例的图像处理系统不仅可应用于汽车导航，而且可以应用于通过风景图像识别来测量当前位置和当前方向的技术领域中。

Claims (26)

1.一种图像处理系统，包括：
暂存单元，暂时存储在车辆行驶期间通过按序拍摄从车辆看到的风景而获得的拍摄图像之中图像拍摄位置包含在预定区域中的多个拍摄图像，作为处理对象拍摄图像；
第一类似度计算单元，计算所述处理对象拍摄图像的类似度；
第一有用图像选择单元，选择类似度彼此不同的处理对象拍摄图像，作为有用图像；
第一特征点提取单元，从每一个所述有用图像中提取图像特征点；
第一图像特征点数据生成单元，生成包括所述第一特征点提取单元提取的图像特征点的图像特征点数据；以及
参考数据数据库创建单元，通过将所述第一图像特征点数据生成单元生成的图像特征点数据与图像拍摄位置，即与所述图像特征点数据对应的拍摄图像的拍摄位置相关联，从而生成在执行风景图像识别时使用的参考数据，并且创建作为所述参考数据的数据库的参考数据数据库。
2.根据权利要求1所述的图像处理系统，其中
所述第一有用图像选择单元以使得所述有用图像的类似度彼此不同且所述有用图像的图像拍摄位置彼此不同的方式来选择所述有用图像。
3.根据权利要求2所述的图像处理系统，其中
所述第一有用图像选择单元评估图像拍摄位置以第一位置间隔排列的处理对象拍摄图像的类似度；
当图像拍摄位置以第一位置间隔排列的处理对象拍摄图像的类似度低于第一预定度时，所述第一有用图像选择单元选择图像拍摄位置以第一位置间隔排列的处理对象拍摄图像，作为所述有用图像；以及
当图像拍摄位置以第一位置间隔排列的处理对象拍摄图像的类似度高于所述第一预定度时，所述第一有用图像选择单元选择图像拍摄位置以不同于所述第一位置间隔的位置间隔排列的处理对象拍摄图像，作为所述有用图像。
4.根据权利要求2所述的图像处理系统，其中
当所述处理对象拍摄图像根据所述类似度和图像拍摄位置在二维平面中布置时，所述第一有用图像选择单元以使得预定数目的处理对象拍摄图像的分散度最大的方式来选择所述预定数目的处理对象拍摄图像，作为所述有用图像。
5.根据权利要求1所述的图像处理系统，其中
当所述预定区域中包含多个辨识对象路径时，所述第一有用图像选择单元为所述多个辨识对象路径的每一个选择至少一个处理对象拍摄图像，作为所述有用图像。
6.根据权利要求5所述的图像处理系统，其中
所述多个辨识对象路径是从至少一个分支点延伸出的多条分支路径。
7.根据权利要求5所述的图像处理系统，其中
至少一个所述辨识对象路径在多个阶层的每一个阶层设置。
8.根据权利要求1所述的图像处理系统，其中
所述预定区域与基于在估计所述车辆的位置时出现的误差而确定的误差范围对应。
9.根据权利要求1所述的图像处理系统，其中
所述预定区域与所述车辆的预定行驶距离对应。
10.根据权利要求1所述的图像处理系统，还包括：
特征点重要度确定单元，确定所述图像特征点的重要度，其中
所述第一图像特征点数据生成单元基于所述重要度利用所述图像特征点按拍摄图像生成所述图像特征点数据。
11.根据权利要求10所述的图像处理系统，其中
所述第一特征点提取单元提取的图像特征点是边缘点；以及
当所述边缘点是形成直线的直线成分边缘点时，与分配给除了所述直线成分边缘点之外的其它边缘点的重要度相比，所述特征点重要度确定单元将高重要度分配给所述直线成分边缘点。
12.根据权利要求11所述的图像处理系统，其中
与分配给除了交叉点边缘点之外的其它直线成分边缘点的重要度相比，所述特征点重要度确定单元将高重要度分配给所述直线成分边缘点之中的交叉点边缘点，所述交叉点边缘点是两个直线成分的交叉点。
13.一种图像处理系统，包括：
暂存单元，暂时存储在车辆行驶期间通过按序拍摄从车辆看到的风景而获得的拍摄图像之中图像拍摄位置包含在预定区域中的多个拍摄图像，作为处理对象拍摄图像；
第二特征点提取单元，从所述处理对象拍摄图像中提取图像特征点；
第二图像特征点数据生成单元，生成包括所述第二特征点提取单元提取的图像特征点的图像特征点数据；
第二类似度计算单元，计算所述第二图像特征点数据生成单元生成的一组图像特征点数据的类似度；
第二有用图像选择单元，选择类似度彼此不同的一组图像特征点数据，作为一组有用图像特征点数据；以及
参考数据数据库创建单元，通过将所述有用图像特征点数据与图像拍摄位置，即与所述有用图像特征点数据对应的拍摄图像的拍摄位置相关联，从而生成在执行风景图像识别时使用的参考数据，并且创建作为所述参考数据的数据库的参考数据数据库。
14.根据权利要求13所述的图像处理系统，其中
所述第二有用图像选择单元以使得一组有用图像特征点数据的类似度彼此不同且与该组有用图像特征点数据对应的拍摄图像的图像拍摄位置彼此不同的方式来选择所述一组有用图像特征点数据。
15.根据权利要求14所述的图像处理系统，其中
所述第二有用图像选择单元评估与图像拍摄位置以第二位置间隔排列的拍摄图像对应的一组图像特征点数据的类似度；
当与图像拍摄位置以第二位置间隔排列的拍摄图像对应的一组图像特征点数据的类似度低于第二预定度时，所述第二有用图像选择单元选择与图像拍摄位置以第二位置间隔排列的拍摄图像对应的所述一组图像特征点数据，作为所述一组有用图像特征点数据；以及
当与图像拍摄位置以第二位置间隔排列的拍摄图像对应的一组图像特征点数据的类似度高于所述第二预定度时，所述第二有用图像选择单元选择与图像拍摄位置以不同于所述第二位置间隔的位置间隔排列的拍摄图像对应的一组图像特征点数据，作为所述一组有用图像特征点数据。
16.根据权利要求14所述的图像处理系统，其中
当一组图像特征点数据根据所述类似度和图像拍摄位置在二维平面中布置时，所述第二有用图像选择单元以使得预定数目的图像特征点数据的分散度最大的方式来选择所述预定数目的图像特征点数据，作为所述有用图像特征点数据。
17.根据权利要求13所述的图像处理系统，其中
当所述预定区域中包含多个辨识对象路径时，所述第二有用图像选择单元为所述多个辨识对象路径的每一个选择至少一个所述图像特征点数据，作为所述有用图像特征点数据。
18.根据权利要求17所述的图像处理系统，其中
所述多个辨识对象路径是从至少一个分支点延伸出的多条分支路径。
19.根据权利要求17所述的图像处理系统，其中
至少一个所述辨识对象路径在多个阶层的每一个阶层设置。
20.根据权利要求13所述的图像处理系统，其中
所述预定区域与基于在估计所述车辆的位置时出现的误差而确定的误差范围对应。
21.根据权利要求13所述的图像处理系统，其中
所述预定区域与所述车辆的预定行驶距离对应。
22.根据权利要求13所述的图像处理系统，还包括：
特征点重要度确定单元，确定所述图像特征点的重要度，其中
所述第二图像特征点数据生成单元基于所述重要度利用所述图像特征点按拍摄图像生成所述图像特征点数据。
23.根据权利要求22所述的图像处理系统，其中
所述第二特征点提取单元提取的图像特征点是边缘点；以及
当所述边缘点是形成直线的直线成分边缘点时，与分配给除了所述直线成分边缘点之外的其它边缘点的重要度相比，所述特征点重要度确定单元将高重要度分配给所述直线成分边缘点。
24.根据权利要求23所述的图像处理系统，其中
与分配给除了交叉点边缘点之外的其它直线成分边缘点的重要度相比，所述特征点重要度确定单元将高重要度分配给所述直线成分边缘点之中的交叉点边缘点，所述交叉点边缘点是两个直线成分的交叉点。
25.一种位置测量系统，包括：
由根据权利要求1所述的图像处理系统创建的参考数据数据库；
数据输入单元，通过拍摄从车辆看到的风景而获得的拍摄图像被输入到所述数据输入单元中；
第三特征点提取单元，从被输入到所述数据输入单元的拍摄图像中提取图像特征点；
第三图像特征点数据生成单元，利用所述第三特征点提取单元提取的图像特征点为每一个拍摄图像生成图像特征点数据，并且输出所述图像特征点数据作为用于匹配的数据；以及
风景匹配单元，在从所述参考数据数据库提取的参考数据与所述用于匹配的数据之间执行匹配，并且基于与所述用于匹配的数据相匹配的参考数据相关联的图像拍摄位置来确定车辆位置。
26.一种位置测量系统，包括：
由根据权利要求13所述的图像处理系统创建的参考数据数据库；
数据输入单元，通过拍摄从车辆看到的风景而获得的拍摄图像被输入到所述数据输入单元中；
第四特征点提取单元，从被输入到所述数据输入单元的拍摄图像中提取图像特征点；
第四图像特征点数据生成单元，利用所述第四特征点提取单元提取的图像特征点为每一个拍摄图像生成图像特征点数据，并且输出所述图像特征点数据作为用于匹配的数据；以及
风景匹配单元，在从所述参考数据数据库提取的参考数据与所述用于匹配的数据之间执行匹配，并且基于与所述用于匹配的数据相匹配的参考数据相关联的图像拍摄位置来确定车辆位置。
CN201110064673.XA 2010-03-31 2011-03-14 图像处理系统及位置测量系统 Expired - Fee Related CN102222236B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2010-084626 2010-03-31
JP2010084626 2010-03-31
JP2010-175644 2010-08-04
JP2010175644A JP5505723B2 (ja) 2010-03-31 2010-08-04 画像処理システム及び位置測位システム

Publications (2)

Publication Number Publication Date
CN102222236A true CN102222236A (zh) 2011-10-19
CN102222236B CN102222236B (zh) 2017-03-01

Family

ID=44246332

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201110064673.XA Expired - Fee Related CN102222236B (zh) 2010-03-31 2011-03-14 图像处理系统及位置测量系统

Country Status (4)

Country Link
US (1) US20110242319A1 (zh)
EP (1) EP2372310B1 (zh)
JP (1) JP5505723B2 (zh)
CN (1) CN102222236B (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103162694A (zh) * 2011-12-13 2013-06-19 爱信艾达株式会社 数据维护及行驶支援系统、标高可靠度判断系统及方法
CN103363997A (zh) * 2012-04-03 2013-10-23 纬创资通股份有限公司 实景导航的定位方法、定位系统及计算机可读取储存媒体
CN105547312A (zh) * 2015-12-09 2016-05-04 魅族科技（中国）有限公司 电子导航方法及电子导航装置
CN106204516A (zh) * 2015-05-06 2016-12-07 Tcl集团股份有限公司 一种机器人的自动充电方法及装置
CN107063189A (zh) * 2017-01-19 2017-08-18 上海勤融信息科技有限公司 基于视觉的定位系统及方法
CN110119454A (zh) * 2019-05-05 2019-08-13 重庆科芮智能科技有限公司 证据管理方法及装置

Families Citing this family (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2935498B1 (fr) * 2008-08-27 2010-10-15 Eads Europ Aeronautic Defence Procede d'identification d'un objet dans une archive video.
WO2012035886A1 (ja) * 2010-09-16 2012-03-22 パイオニア株式会社 端末保持装置
JP6086211B2 (ja) * 2010-11-23 2017-03-01 日本電気株式会社 位置情報提供装置、位置情報提供システム、位置情報提供方法、プログラム及び記録媒体
GB201202344D0 (en) 2012-02-10 2012-03-28 Isis Innovation Method of locating a sensor and related apparatus
DE102012005471A1 (de) * 2012-03-17 2013-09-19 GM Global Technology Operations LLC (n.d. Ges. d. Staates Delaware) Verkehrsinformationssystem
GB2501466A (en) 2012-04-02 2013-10-30 Univ Oxford Localising transportable apparatus
JP5993233B2 (ja) * 2012-07-11 2016-09-14 オリンパス株式会社 画像処理装置及び画像処理方法
JP5942771B2 (ja) 2012-10-18 2016-06-29 富士通株式会社 画像処理装置及び画像処理方法
JP5949435B2 (ja) * 2012-10-23 2016-07-06 株式会社Ｊｖｃケンウッド ナビゲーションシステム、映像サーバ、映像管理方法、映像管理プログラム、及び映像提示端末
CN104899545A (zh) * 2014-03-06 2015-09-09 贺江涛 一种基于手持设备的车辆信息采集的方法与装置
CN103822614B (zh) * 2014-03-14 2015-12-30 河北工业大学 倒车影像的三维测量方法
JP6365207B2 (ja) * 2014-10-09 2018-08-01 株式会社豊田自動織機 無人搬送車システムの反射板位置検査方法及び無人搬送車システムの反射板位置検査システム
CN105809088B (zh) * 2014-12-30 2019-07-19 清华大学 车辆识别方法和系统
EP3845426A1 (en) * 2015-02-10 2021-07-07 Mobileye Vision Technologies Ltd. Sparse map for autonomous vehicle navigation
CN104809478B (zh) * 2015-05-15 2018-01-09 北京理工大学深圳研究院 一种面向大规模三维重建的图像分块方法及装置
JP6538514B2 (ja) * 2015-10-06 2019-07-03 株式会社Ｓｏｋｅｎ 自車位置認識装置
US10146999B2 (en) 2015-10-27 2018-12-04 Panasonic Intellectual Property Management Co., Ltd. Video management apparatus and video management method for selecting video information based on a similarity degree
CN105405204B (zh) * 2015-11-04 2018-02-02 东方通信股份有限公司 验钞机的纸币冠字号识别方法
CN105389883B (zh) * 2015-11-04 2018-01-12 东方通信股份有限公司 一种验钞机的纸币冠字号识别方法
US10198456B1 (en) * 2015-12-28 2019-02-05 Verizon Patent And Licensing Inc. Systems and methods for data accuracy in a positioning system database
EP3438925A4 (en) * 2016-03-30 2019-04-17 Sony Corporation INFORMATION PROCESSING METHOD AND INFORMATION PROCESSING DEVICE
JPWO2017187694A1 (ja) * 2016-04-28 2019-02-28 シャープ株式会社 注目領域画像生成装置
DE102017210798A1 (de) 2017-06-27 2018-12-27 Continental Automotive Gmbh Verfahren und Einrichtung zur Erzeugung von digitalen Kartenmodellen
JP6908843B2 (ja) * 2017-07-26 2021-07-28 富士通株式会社 画像処理装置、画像処理方法、及び画像処理プログラム
US11210936B2 (en) * 2018-04-27 2021-12-28 Cubic Corporation Broadcasting details of objects at an intersection
CN110503123B (zh) * 2018-05-17 2023-07-25 奥迪股份公司 图像定位方法、装置、计算机设备和存储介质
US11699207B2 (en) * 2018-08-20 2023-07-11 Waymo Llc Camera assessment techniques for autonomous vehicles
JP2020061049A (ja) * 2018-10-12 2020-04-16 パイオニア株式会社 点群データ構造
US10755423B2 (en) * 2018-10-18 2020-08-25 Getac Technology Corporation In-vehicle camera device, monitoring system and method for estimating moving speed of vehicle
PH12019050076A1 (en) * 2019-05-06 2020-12-02 Samsung Electronics Co Ltd Enhancing device geolocation using 3d map data
CN112348886A (zh) * 2019-08-09 2021-02-09 华为技术有限公司 视觉定位方法、终端和服务器
JP7102383B2 (ja) * 2019-10-24 2022-07-19 株式会社東芝 路面画像管理システム及びその路面画像管理方法
CN112037182B (zh) * 2020-08-14 2023-11-10 中南大学 基于时序图像的机车走行部故障检测方法、装置及存储介质
CN113706488A (zh) * 2021-08-18 2021-11-26 珠海格力智能装备有限公司 弯头插接处理方法、装置、存储介质及处理器
CN114578188B (zh) * 2022-05-09 2022-07-08 环球数科集团有限公司 一种基于北斗卫星的电网故障定位方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060233424A1 (en) * 2005-01-28 2006-10-19 Aisin Aw Co., Ltd. Vehicle position recognizing device and vehicle position recognizing method
US20080240573A1 (en) * 2007-03-30 2008-10-02 Aisin Aw Co., Ltd. Feature information collecting apparatus and feature information collecting method
US20090245657A1 (en) * 2008-04-01 2009-10-01 Masamichi Osugi Image search apparatus and image processing apparatus
JP2010000851A (ja) * 2008-06-19 2010-01-07 Hitachi Automotive Systems Ltd 車両制御装置

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3641335B2 (ja) * 1996-12-03 2005-04-20 シャープ株式会社 全方位視覚センサを用いた位置検出方法
JP2003046969A (ja) * 2001-07-30 2003-02-14 Sony Corp 情報処理装置および方法、記録媒体、並びにプログラム
JP2004012429A (ja) * 2002-06-11 2004-01-15 Mitsubishi Heavy Ind Ltd 自己位置／姿勢同定装置、及び自己位置／姿勢同定方法
JP3772838B2 (ja) * 2003-02-12 2006-05-10 トヨタ自動車株式会社 車両用運転支援装置及び車両用制御装置
JP4847090B2 (ja) 2005-10-14 2011-12-28 クラリオン株式会社 位置測位装置、および位置測位方法
CN101275854A (zh) * 2007-03-26 2008-10-01 日电（中国）有限公司 更新地图数据的方法和设备
JP4437556B2 (ja) * 2007-03-30 2010-03-24 アイシン・エィ・ダブリュ株式会社 地物情報収集装置及び地物情報収集方法
WO2009007904A1 (en) * 2007-07-12 2009-01-15 Koninklijke Philips Electronics N.V. Providing access to a collection of content items
JP2009074995A (ja) * 2007-09-21 2009-04-09 Univ Of Electro-Communications 移動体情報処理装置、移動体情報処理方法、およびプログラム
US8611585B2 (en) * 2008-04-24 2013-12-17 GM Global Technology Operations LLC Clear path detection using patch approach

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060233424A1 (en) * 2005-01-28 2006-10-19 Aisin Aw Co., Ltd. Vehicle position recognizing device and vehicle position recognizing method
US20080240573A1 (en) * 2007-03-30 2008-10-02 Aisin Aw Co., Ltd. Feature information collecting apparatus and feature information collecting method
US20090245657A1 (en) * 2008-04-01 2009-10-01 Masamichi Osugi Image search apparatus and image processing apparatus
JP2010000851A (ja) * 2008-06-19 2010-01-07 Hitachi Automotive Systems Ltd 車両制御装置

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103162694A (zh) * 2011-12-13 2013-06-19 爱信艾达株式会社 数据维护及行驶支援系统、标高可靠度判断系统及方法
CN103162694B (zh) * 2011-12-13 2016-06-01 爱信艾达株式会社 数据维护及行驶支援系统、标高可靠度判断系统及方法
CN103363997A (zh) * 2012-04-03 2013-10-23 纬创资通股份有限公司 实景导航的定位方法、定位系统及计算机可读取储存媒体
CN106204516A (zh) * 2015-05-06 2016-12-07 Tcl集团股份有限公司 一种机器人的自动充电方法及装置
CN106204516B (zh) * 2015-05-06 2020-07-03 Tcl科技集团股份有限公司 一种机器人的自动充电方法及装置
CN105547312A (zh) * 2015-12-09 2016-05-04 魅族科技（中国）有限公司 电子导航方法及电子导航装置
CN107063189A (zh) * 2017-01-19 2017-08-18 上海勤融信息科技有限公司 基于视觉的定位系统及方法
CN110119454A (zh) * 2019-05-05 2019-08-13 重庆科芮智能科技有限公司 证据管理方法及装置

Also Published As

Publication number Publication date
EP2372310A2 (en) 2011-10-05
EP2372310A3 (en) 2013-11-06
JP5505723B2 (ja) 2014-05-28
JP2011227037A (ja) 2011-11-10
US20110242319A1 (en) 2011-10-06
CN102222236B (zh) 2017-03-01
EP2372310B1 (en) 2015-03-25

Similar Documents

Publication Publication Date Title
CN102222236A (zh) 图像处理系统及位置测量系统
CN102208035B (zh) 图像处理系统及位置测量系统
CN102208013B (zh) 风景匹配参考数据生成系统和位置测量系统
CN102208036B (zh) 车辆位置检测系统
EP2372308B1 (en) Image processing system and vehicle control system
CN102208012B (zh) 风景匹配参考数据生成系统及位置测量系统
CN102207389B (zh) 车辆位置识别系统
US11248925B2 (en) Augmented road line detection and display system
JP2022535351A (ja) 車両ナビゲーションのためのシステム及び方法
CN115014370A (zh) 用于生成地图信息的系统、方法和计算机可读介质
JP2023509468A (ja) 車両ナビゲーション用のシステムおよび方法
CN113825979A (zh) 用于基于图像分析的车辆导航的系统和方法
CN113743469A (zh) 一种融合多源数据及综合多维指标的自动驾驶决策方法
JP5177579B2 (ja) 画像処理システム及び位置測位システム
Kim et al. Image segmentation-based bicycle riding side identification method

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20170301

Termination date: 20200314

CF01 Termination of patent right due to non-payment of annual fee