CN102208035A - 图像处理系统及位置测量系统 - Google Patents

图像处理系统及位置测量系统 Download PDF

Info

Publication number
CN102208035A
CN102208035A CN2011100484665A CN201110048466A CN102208035A CN 102208035 A CN102208035 A CN 102208035A CN 2011100484665 A CN2011100484665 A CN 2011100484665A CN 201110048466 A CN201110048466 A CN 201110048466A CN 102208035 A CN102208035 A CN 102208035A
Authority
CN
China
Prior art keywords
image
point
importance degree
photographic images
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2011100484665A
Other languages
English (en)
Other versions
CN102208035B (zh
Inventor
宫岛孝幸
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Aisin AW Co Ltd
Original Assignee
Aisin AW Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Aisin AW Co Ltd filed Critical Aisin AW Co Ltd
Publication of CN102208035A publication Critical patent/CN102208035A/zh
Application granted granted Critical
Publication of CN102208035B publication Critical patent/CN102208035B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3602—Input other than that of destination using image analysis, e.g. detection of road signs, lanes, buildings, real preceding vehicles using a camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/28—Determining representative reference patterns, e.g. by averaging or distorting; Generating dictionaries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/772—Determining representative reference patterns, e.g. averaging or distorting patterns; Generating dictionaries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Automation & Control Theory (AREA)
  • Data Mining & Analysis (AREA)
  • Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Navigation (AREA)
  • Traffic Control Systems (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种图像处理系统及位置测量系统，图像处理系统包括：输入有通过拍摄从车辆看到的风景而获得的拍摄图像的第一数据输入单元；从拍摄图像中提取图像特征点的第一特征点提取单元；获得图像拍摄情况信息的图像拍摄情况信息获得单元；基于图像拍摄情况信息确定图像特征点的重要度的特征点重要度确定单元；基于重要度利用图像特征点为每一拍摄图像产生图像特征点数据的图像特征点数据产生单元；以及通过将图像特征点数据与图像拍摄属性信息相关联，从而产生在执行风景图像识别时使用的参考数据，并且创建作为参考数据的数据库的参考数据数据库的参考数据数据库创建单元。本发明能够适当地确定车辆位置。

Description

图像处理系统及位置测量系统
2010年3月31日递交的日本专利申请No.2010-084623的包括说明书、附图和摘要的公开的全部内容通过援引合并于此。
技术领域
本发明涉及一种图像处理系统，尤其涉及一种创建用于风景图像识别处理的参考数据的图像处理系统和使用该参考数据的位置测量系统。
背景技术
在汽车导航装置中，已采用如下方法，即，使用从诸如陀螺仪传感器和地磁传感器之类的传感器获得的信息的方法(自主导航方法)、使用来自GPS卫星的信号的方法、或者自主导航方法与使用来自GPS卫星的信号的方法的组合，作为计算车辆当前位置的方法。此外，例如，在日本专利申请公报No.2007-108043(JP-A-2007-108043)中描述的位置测量装置被认为是配置为精确地计算当前位置(参考第段0009至第0013段以及图1)的位置测量装置。在该位置测量装置中，首先，利用来自导航卫星的信号等获得暂定当前位置。然后，利用车辆前面的风景的拍摄图像来计算相对于该暂定当前位置，坐标系统(车辆坐标系统)中的路标的特征点的坐标(车辆坐标系统特征点)。然后，利用计算出的车辆坐标系统特征点与存储的路标的特征点的坐标(即世界坐标系统中所示的坐标)来计算车辆的当前位置。在位置测量装置中，即使利用从导航卫星传送的信号和/或从各种传感器传送的信号测量的位置包括误差，也能够精确地计算当前位置。
发明内容
在日本专利申请公报No.2007-108043(JP-A-2007-108043)中描述的位置测量装置中，利用立体图像来获得道路上的路标的特征点的空间坐标，并从路标信息的数据库获得具有该特征点的路标的经度与维度。因而，通过利用路标的经度与维度而获得的坐标来计算车辆的当前位置。因此，这种位置测量系统无法用于没有路标的区域。此外，由于必须计算通过图像处理识别的特征点的空间坐标，所以要求装置具有高运算能力，这样会导致成本增加。
因此，人们想到采用使用风景图像识别技术的位置计算方法，作为可用于没有路标的道路或特定地点且无需计算每一特征点的空间坐标的位置计算方法。在此情形下，创建用于风景图像识别技术中的用于参考的图像数据(参考数据)是很重要的。因此，期望实施一种适合于创建用于风景图像识别的参考数据的图像处理系统以及使用这种参考数据的位置测量系统。
本发明的第一方案涉及一种图像处理系统，该系统包括：第一数据输入单元，通过拍摄从车辆看到的风景而获得的拍摄图像被输入到所述第一数据输入单元；第一特征点提取单元，从被输入到所述第一数据输入单元的所述拍摄图像中提取图像特征点；图像拍摄情况信息获得单元，获得图像拍摄情况信息，所述图像拍摄情况信息表示在被输入到所述第一数据输入单元的所述拍摄图像中包含特定对象的可能性；特征点重要度确定单元，基于所述图像拍摄情况信息，确定所述第一特征点提取单元提取的图像特征点的重要度；图像特征点数据产生单元，基于所述重要度，利用所述第一特征点提取单元提取的图像特征点为每一拍摄图像产生图像特征点数据；以及参考数据数据库创建单元，通过将所述图像特征点数据与图像拍摄属性信息相关联，从而产生在执行风景图像识别时使用的参考数据，并且创建作为所述参考数据的数据库的参考数据数据库。所述图像拍摄属性信息包括图像拍摄位置，所述图像在该图像拍摄位置被拍摄从而获得与所述图像特征点数据对应的拍摄图像。
采用上述配置，从每一个从车辆看到的风景的拍摄图像提取图像特征点，并且包括所提取的图像特征点的图像特征点数据与作为图像拍摄时的车辆位置的图像拍摄位置相关联，从而产生参考数据。因而，创建了参考数据的数据库，并且该参考数据用于风景图像识别。此外，采用上述配置，根据表示在拍摄图像中包含特定对象的可能性的图像拍摄情形信息来确定图像特征点的重要度。基于重要度产生图像特征点数据。因此，能够基于图像特征点的重要度来选择图像特征点。此外，当参考数据用于图像识别处理(如图案匹配)时，能够考虑重要度执行各种运算。这样能够提高图像识别的精确度。此外，当拍摄图像中包含特定对象时，能够基于图像特征点是否位于特定对象存在的区域中，通过改变图像特征点的重要度，来提高风景图像识别的精确度。
本发明的第二方案涉及一种位置测量系统，包括：由根据第一方案所述的图像处理系统创建的参考数据数据库；第二数据输入单元，通过拍摄从车辆看到的风景而获得的拍摄图像被输入到所述第二数据输入单元中；第二特征点提取单元，从被输入到所述第二数据输入单元的所述拍摄图像中提取图像特征点；拍摄图像处理单元，利用所述第二特征点提取单元提取的图像特征点为每一拍摄图像产生图像特征点数据，并且输出所产生的图像特征点数据作为用于匹配的数据；以及风景匹配单元，在从所述参考数据数据库提取的参考数据与所述用于匹配的数据之间执行匹配，并且基于与所述用于匹配的数据相匹配的参考数据相关联的图像拍摄位置来确定所述车辆的位置。
采用上述配置，使用如上所述的用于风景匹配的参考数据。因此，能够适当地确定车辆位置。
附图说明
根据参照附图对示例实施例的如下描述，本发明的前述和更多的目的、特征及优点将会变得明显，其中相同的标号用于表示相同的元件，其中：
图1是用于说明由根据本发明一实施例的图像处理系统创建参考数据以及通过利用参考数据进行匹配处理来确定车辆位置的位置测量技术的基本概念的示意图；
图2是显示根据本发明的实施例的图像处理系统的主要功能的功能性框图；
图3A至图3F是示意性地显示利用调整系数来调整权重系数的示意图；以及
图4显示使用由根据本发明的实施例的图像处理系统创建的参考数据数据库的汽车导航系统的功能框。
具体实施方式
下文中，将参照附图详细描述本发明的实施例。图1示意性地显示位置测量技术的基本概念，在该位置测量技术中，通过利用由根据本发明的实施例的图像处理系统创建的参考数据进行匹配处理来识别车载相机所拍摄的风景图像，从而确定拍摄风景图像的位置(即车辆位置)。
首先，将描述用于创建参考数据数据库(下文中简称为“参考数据DB”)92的过程。如图1所示，首先，输入在行驶期间通过拍摄从车辆看到的风景而获得的拍摄图像以及图像拍摄属性信息(步骤01)。图像拍摄属性信息包括在进行图像拍摄时拍摄图像的图像拍摄位置和拍摄图像的图像拍摄方向。术语“拍摄图像的图像拍摄位置”表示图像被拍摄从而获得拍摄图像的位置。术语“拍摄图像的图像拍摄方向”表示图像被拍摄从而获得拍摄图像的方向。然后，对输入的拍摄图像执行用于检测图像特征点的特征点检测处理(例如边缘检测处理)(步骤02)。与一个或多个像素对应的边缘点的构成一条线段(例如轮廓)的部分被称为“线段边缘”。多个线段边缘彼此相交的交叉点被称为“角(corner)”。构成线段边缘的边缘点被称为“线段边缘点”。在这些线段边缘点中，与角对应的边缘点被称为“角边缘点”。线段边缘点与角边缘点是图像特征点的实例。从通过边缘检测处理获得的边缘检测图像中提取包括角边缘点的线段边缘点，作为图像特征点(步骤03)。
在与步骤01至03的处理不同的处理(即与步骤01至03的处理并行实行的处理)中，获得图像拍摄情况信息(步骤04)。图像拍摄情况信息表示在拍摄图像中包含特定对象的可能性。如稍后详细描述的，为了使特定对象所处区域中的图像特征点的重要度与其它区域中的图像特征点的重要度不同，将图像拍摄情况信息用作在拍摄图像中分布的图像特征点。利用图像拍摄情况信息，通过降低不适合风景图像识别的图像特征点的重要度和/或提高对风景图像识别而言很重要的图像特征点的重要度，最终能够创建可靠的参考数据DB 92。每一图像特征点的重要度均基于图像拍摄情况信息来确定(步骤05)。然后，产生权重系数矩阵(步骤06)。权重系数矩阵根据图像特征点的重要度来制定对图像特征点的权重系数的分配。通过图像识别处理可以从拍摄图像中检测包含在图像拍摄情况信息中的对象，或者通过处理来自各种车载传感器(距离传感器、障碍物检测传感器等等)的传感器信号来检测包含在图像拍摄情况信息中的对象。可替换地，通过处理来自外界(例如从车辆信息与通信系统(VICS)(日本注册商标)中获得)的信号，可以检测包含在图像拍摄情况信息中的对象。
随后，基于权重系数对图像特征点执行处理，从而为每一拍摄图像产生图像特征点数据(步骤07)。在创建图像特征点数据期间，执行选择处理。即，放弃权重系数等于或低于第一阈值的图像特征点，和/或放弃除了权重系数等于或高于第二阈值的图像特征点及在权重系数等于或高于第二阈值的图像特征点周围的图像特征点以外的图像特征点。当为风景图像识别采用图案匹配时，将在此步骤中产生的图像特征点数据用作图案。因此，为了达到匹配的高速性能与高精度，重要的是图像特征点数据应当仅包括用于风景图像的图案匹配的图像特征点。产生的图像特征点数据与对应于该图像特征点数据的拍摄图像的图像拍摄位置和/或对应于该图像特征点数据的拍摄图像的图像拍摄方向相关联。因而，产生的图像特征点数据变成了可以利用图像拍摄位置和/或图像拍摄方向作为搜索条件进行搜索的数据库的数据(步骤08)。即，图像特征点数据存储在参考数据DB 92中，作为用于风景图像识别的参考数据，例如作为用于图案匹配的图案(步骤09)。
其次，将描述在车辆利用由上述过程创建的参考数据DB 92实际行驶的同时确定车辆的位置(车辆位置)的过程。如图1所示，首先，输入利用车载相机通过拍摄风景而获得的实际拍摄图像以及实际拍摄图像的图像拍摄位置和图像拍摄方向，它们用于从参考数据DB 92中提取参考数据(步骤11)。在此步骤中输入的图像拍摄位置是利用例如GPS测量单元估计的估计车辆位置。通过上述步骤02至步骤07，由输入的拍摄图像产生作为图像特征点数据的用于匹配的数据(步骤12)。同时，利用输入的图像拍摄位置(估计车辆位置)和/或输入的图像拍摄方向作为搜索条件，提取一组关于图像拍摄位置(估计车辆位置)的参考数据和关于图像拍摄位置(估计车辆位置)前面、后面位置的参考数据，作为匹配候选参考数据组(步骤13)。
包含在所提取的匹配候选参考数据组中的每一参考数据被设为图案，并且执行每一图案与所产生的用于匹配的数据之间的图案匹配的处理，作为风景图像识别(步骤14)。当被设为图案的参考数据与所产生的用于匹配的数据相匹配时，取回与所产生的用于匹配的数据相匹配的参考数据相关联的图像拍摄位置(步骤15)。取回的图像拍摄位置被确定为正式车辆位置，代替估计车辆位置(步骤16)。
接着，将描述根据本发明的实施例的图像处理系统，其基于上述位置测量技术的基本概念由拍摄图像产生参考数据。图2中的功能性框图示意性地显示与本发明的实施例尤其有关的图像处理系统的功能。
图像处理系统包括多个功能单元，如数据输入单元51、特征点提取单元52、特征点重要度确定单元53、权重单元55、调整系数设置单元54、图像特征点数据产生单元56和参考数据数据库创建单元57。每一个功能均可通过硬件、软件或硬件与软件的组合来实施。
通过利用车辆中设置的相机拍摄风景而获得的拍摄图像、包括在进行图像拍摄时的图像拍摄位置与图像拍摄方向的图像拍摄属性信息和图像拍摄情况信息被输入到数据输入单元51。该车辆可以是为创建参考数据的目的而行驶的车辆。在图像处理系统设置于车辆中的实例中，拍摄图像、图像拍摄属性信息和图像拍摄情况信息被实时输入到数据输入单元51中。但是，在图像处理系统安装在数据处理中心等中的实例中，拍摄图像、图像拍摄属性信息和图像拍摄情况信息暂存在存储介质中，进而以批处理方式将这些数据输入到输入单元51中。产生拍摄图像和图像拍摄属性信息的方法是公知的，因此省略其描述。
图像拍摄情况信息是表示在拍摄图像中包含特定对象的可能性的信息。特定对象的实例包括：限定车辆行驶的行驶车道的物体(如路肩处的导轨和槽)、移动物体(如附近行驶车辆、迎面而来的车辆、自行车和步行者)和作为山区、郊区、市区、高层建筑区等的特征的风景物(如山脉和建筑物)。在实施例中，图像拍摄情况信息的内容包括：行驶车道数据DL、移动物体数据DO和区属性数据DA。行驶车道数据DL是显示拍摄图像中的行驶车道区域和道路外侧区域的数据。行驶车道数据DL是基于对白线、栏杆和安全地带的识别结果获得的。白线、导轨和安全地带通过对拍摄图像执行图像处理来识别。移动物体数据DO是显示车辆附近的移动物体在拍摄图像中存在的区域的数据。车辆附近的移动物体通过检测障碍物的车载传感器(如雷达)来识别。区属性数据DA是显示通过对图像进行拍摄而获得拍摄图像的图像拍摄区的类型(即图像拍摄区的区属性)的数据。区属性的实例包括山区、郊区、市区和高层建筑区。类型(即图像拍摄区的区属性)基于在通过对图像进行拍摄而获得拍摄图像时的车辆位置和地图数据来识别。
特征点提取单元52利用适当的算子从拍摄图像中提取边缘点，作为图像特征点。特征点重要度确定单元53基于包含在图像拍摄情况信息中的每一数据的内容来确定由特征点提取单元52提取的图像特征点的重要度。例如，当使用行驶车道数据DL的内容时，与分配给位于拍摄图像中的行驶车道内侧的区域中的图像特征点的重要度相比，将高重要度分配给位于拍摄图像中的行驶车道外侧的路肩侧区域中的图像特征点。当使用移动物体数据DO时，与分配给拍摄图像中不存在移动物体的区域中的图像特征点的重要度相比，将低重要度分配给拍摄图像中存在移动物体的区域中的图像特征点。此外，当使用区属性数据DA的内容时，根据上述区属性来改变按照拍摄图像中的图像特征点的位置将重要度分配给图像特征点的规则。例如，在山区的拍摄图像中，因为在用于图像拍摄的中心光轴上方很可能是天空，而在用于图像拍摄的中心光轴的左右两侧为森林，所以，与分配给除了中心区域之外的其它区域中的图像特征点的重要度相比，将高重要度分配给在用于图像拍摄的中心光轴周围的中心区域中的图像特征点。在郊区的拍摄图像中，因为交通量不是很大，并且周围有如房子等结构性物体，所以，与分配给用于图像拍摄的中心光轴上方的区域中的图像特征点的重要度相比，将高重要度分配给在用于图像拍摄的中心光轴下方的区域中的图像特征点。在市区的拍摄图像中，因为交通量很大，所以，与用于图像拍摄的中心光轴下方的区域相比，将高重要度分配给在用于图像拍摄的中心光轴上方的区域中的图像特征点。在高层建筑区的拍摄图像中，因为有很多高架路和高架桥，所以与用于图像拍摄的中心光轴下方的区域相比，将高重要度分配给在用于图像拍摄的中心光轴上方的区域中的图像特征点。
权重单元55根据特征点重要度确定单元53分配的重要度将权重系数分配给图像特征点。因为将高重要度分配给被认为是对执行精确的图像识别(精确的图案匹配)而言很重要的图像特征点，所以将高权重系数分配给已分配高重要度的图像特征点。另一方面，考虑到已分配低重要度的图像特征点不被用于实际图像识别的可能性很高，或者被从参考数据中删除，所以将低权重系数分配给已分配低重要度的图像特征点，从而使用该低权重系数来确定是选择还是删除图像特征点。
鉴于拍摄图像中的权重系数的分布状态，调整系数设置单元54计算用于改变权重单元55分配的权重系数的调整系数。基于图像拍摄情况信息已分配给特征点提取单元52提取的图像特征点的重要度包括一定误差。因而，可能会认为已分配高重要度的图像特征点是随机分布的。因此，当已分配高重要度的图像特征点分布不均时，换言之，当已通过权重单元55分配了高权重系数的图像特征点分布不均时，调整系数设置单元54用于减少分布不均。当通过计算处理而获得图像特征点的散布表示已分配高权重系数的图像特征点分布不均时，将调整系数设为增大在已分配高权重系数的图像特征点的密度低的区域中的图像特征点的权重系数，并将调整系数设为减小在已分配高权重系数的图像特征点的密度高的区域中的图像特征点的权重系数。
图像特征点数据产生单元56通过基于权重单元55分配的权重系数或者在某些情形下基于权重系数与分配的调整系数对图像特征点执行处理，从而为每一拍摄图像产生图像特征点数据。当产生图像特征点数据时，通过删除权重系数等于或低于阈值的图像特征点，可以减少图像特征点的数量，从而有效地执行匹配处理。此外，图像特征点数据可以设置有权重系数，以使权重系数还与参考数据中的图像特征点相关联，进而在执行图案匹配处理时使用权重系数来计算加权相似度。
将参照图3A至图3F所示的示意性说明图来描述尽量利用上述调整系数在拍摄图像的整个区域范围内分布图像特征点数据中的图像特征点的处理。通过从拍摄图像(图3A)中提取图像特征点而产生特征点图像(图3B)。为特征点图像中每一图像特征点分配重要度。为了能够示意性地理解重要度是如何分配的，图3C以与特征点图像对应的重要度阶层(layer)的形式来显示与图像特征点对应的重要度。利用重要度阶层为每一图像特征点分配权重系数。图3D以图像特征点的尺寸随着该图像特征点的权重系数的增加而增加的特征点图像的形式显示已分配权重系数的图像特征点。如果对图像特征点执行处理，例如，删除已分配权重系数等于或低于阈值的图像特征点，即，例如，如果删除除了图3D中的大尺寸图像特征点之外的图像特征点，则可以移除位于特征点图像中的下部区域中的图像特征点。因而，剩余图像特征点(即图像特征点数据中的图像特征点)可能分布极不均匀。为了避免图像特征点的分布不均，计算特征点图像中的图像特征点的分布度，进而将调整系数设为增大因对图像特征点执行处理而使剩余图像特征点的密度低的区域中的图像特征点的权重系数。为了能够示意性地理解以上述方式设置的调整系数，图3E以与特征点图像对应的调整系数阶层的形式显示了调整系数组。在调整系数阶层中，调整系数以矩阵方式排列(即为由多个像素区域组成的每一分区分配调整系数)。图像特征点数据产生单元56利用权重系数及基于调整系数而最终设置的权重系数对图像特征点执行处理，从而为每一拍摄图像产生图3F所示的图像特征点数据。
参考数据数据库创建单元57通过将图像特征点数据产生单元56产生的图像特征点数据与关于与图像特征点数据对应的拍摄图像的图像拍摄属性信息相关联，从而创建用于风景图像识别处理的参考数据。因而，参考数据数据库创建单元57创建参考数据的数据库。即，参考数据存储在参考数据DB 92中。
以上已描述了这样一个实例，在该实例中，确定每一图像特征点的重要度，进而设置每一图像特征点的权重系数。但是，可以对每一图像特征点组执行处理。在此情形下，例如可以将拍摄图像的区域分成多个图像分区，并且特征点重要度确定单元53可以将图像特征点分成图像特征点组，以使每一图像特征点组包括同一图像分区中的图像特征点，进而可以对每一图像特征点组执行处理。在此情形下，特征点重要度确定单元53可以将同一重要度分配给包含在同一图像特征点组中的图像特征点。相似地，权重单元55可以为每一图像特征点组设置权重系数。在此情形下，图像分区可以按照使每一图像分区均由包含在拍摄图像中的一个像素组成的方式或者每一图像分区均由多个像素组成的方式来设置。因而，在本发明的实施例中，每一图像分区均可由一或多个像素组成。
接着，将描述车载汽车导航装置，其通过利用由上述图像处理系统创建的参考数据DB 92执行风景图像识别(图像特征点图案匹配)，从而校正车辆位置。图4显示将汽车导航系统安装在车载LAN中的实例的功能框。汽车导航系统包括：输入操作模块21、导航控制模块3、车辆位置检测模块4、图像拍摄情况信息产生单元7和数据库9，其中该数据库9包括上述参考数据DB 92和道路地图数据库(下文中简称为“道路地图DB”)91，在道路地图数据库91中存储用于汽车导航的道路地图数据。
导航控制模块3包括：路径设置单元31、路径搜索单元32和路径导引单元33。例如，路径设置单元31设置出发地(如当前车辆位置)、已输入的目的地、经过地点和行驶条件(例如关于是否使用高速公路的条件)。路径搜索单元32是这样一种处理单元，其基于路径设置单元31设置的条件来执行计算处理，以搜索从出发地到目的地的导引路径。路径导引单元33是这样一种处理单元，其根据从出发地到目的地的路径来执行运算处理，从而为驾驶员提供适当的路径导引(作为搜索结果被路径搜索单元32取回)。路径导引单元33利用监视器12的屏幕上显示的导引、从扬声器13输出的语音导引等等来提供路径导引。
车辆位置检测模块4具有通过利用GPS来执行常规的位置计算以及利用航位推算导航法来执行常规的位置计算而获得的校正估计车辆位置的功能。车辆位置检测模块4基于利用估计车辆位置通过风景图像识别而确定的车辆位置来校正估计车辆位置。车辆位置检测模块4包括：GPS处理单元41、航位推算导航法处理单元42、车辆位置坐标计算单元43、地图匹配单元44、车辆位置确定单元45、拍摄图像处理单元5以及风景匹配单元6。GPS处理单元41连接到从GPS卫星接收GPS信号的GPS测量单元15。该GPS处理单元41对由GPS测量单元15所接收的来自GPS卫星的信号进行分析，计算车辆的当前位置(即纬度和经度)，并且将车辆的当前位置传输到车辆位置坐标计算单元43，作为GPS位置坐标数据。航位推算导航法处理单元42连接到距离传感器16和方向传感器17。距离传感器16是检测车辆的速度与移动距离的传感器。例如，距离传感器16包括：车辆的驱动轴、车轮等每次旋转特定量时输出脉冲信号的车速脉冲传感器、检测车辆的加速度的偏航率/加速度传感器、以及对所检测的加速度的值进行积分的电路。距离传感器16将作为检测结果的关于车辆速度的信息和关于车辆移动距离的信息输出到航位推算导航法处理单元42。例如，方向传感器17包括：陀螺仪传感器、地磁传感器、附于方向盘的旋转单元的光学角速率传感器和旋转式可变电阻器以及附于车轮单元的角度传感器。方向传感器17将作为检测结果的关于方向的信息输出到航位推算导航法处理单元42。航位推算导航法处理单元42基于时刻传输到航位推算导航法处理单元42的移动距离信息与方向信息计算航位推算导航法位置坐标，并将算出的航位推算导航法位置坐标传输到车辆位置坐标计算单元43，作为航位推算导航法位置坐标数据。利用公知的方法，车辆位置坐标计算单元43基于GPS位置坐标数据与航位推算导航法位置坐标数据来执行计算处理以确定车辆位置的坐标。计算出的车辆位置信息包括测量误差等。因此，计算出的车辆位置在某些情形下可能偏离道路。因而，地图匹配单元44调整车辆位置信息，以使车辆位于道路地图中所示的道路上。车辆位置的坐标被传输到车辆位置确定单元45，作为估计车辆位置。
拍摄图像处理单元5基本上包括组成图2所示的图像处理系统的大部分功能单元。拍摄图像处理单元5包括：数据输入单元51、特征点提取单元52、特征点重要度确定单元53、权重单元55、调整系数设置单元54和图像特征点数据产生单元56。当将车辆前面的风景的拍摄图像(其为车载相机14拍摄的图像)输入到数据输入单元51时，通过上述步骤从图像特征点数据产生单元56输出图像特征点数据。特征点重要度确定单元53使用的图像拍摄情况信息由设置在车辆中的图像拍摄情况信息产生单元7产生，并且被传输到拍摄图像处理单元5。图像拍摄情况信息产生单元7连接到车载相机14，以便于产生上述行驶车道数据DL，并且图像拍摄情况信息产生单元7接收与传输到拍摄图像处理单元5的拍摄图像相同的拍摄图像。利用公知算法，通过对接收到的拍摄图像执行图像处理，从而创建行驶车道数据DL。图像拍摄情况信息产生单元7连接到用于检测障碍物的传感器组18，以创建上述移动物体数据DO。图像拍摄情况信息产生单元7基于从传感器组18传输的传感器信息来创建移动物体数据DO。此外，图像拍摄情况信息产生单元7连接到车辆位置确定单元45和数据库9，以创建上述区属性数据DA。通过利用从车辆位置确定单元45传输的车辆位置坐标作为搜索条件来搜索数据库9，图像拍摄情况信息产生单元7获得车辆当前行驶的区的区属性。区属性的实例包括山区和市区。图像拍摄情况信息产生单元7基于获得的区属性来创建区属性数据DA。
风景匹配单元6基于从车辆位置确定单元45传输的估计车辆位置，利用从参考数据DB 92中提取的参考数据作为图案，对从拍摄图像处理单元5传输的图像特征点数据执行图案匹配处理。当参考数据与图像特征点数据匹配时，取回(retrieve)与匹配参考数据相关联的图像拍摄位置。取回的图像拍摄位置被传输到车辆位置确定单元45，作为车辆位置。车辆位置确定单元45校正车辆位置，即用传输的车辆位置来替代估计车辆位置。
汽车导航装置还包括作为外围设备的输入操作模块21、显示模块22、语音产生模块23和车辆行为检测模块24。输入操作模块21包括输入设备11和操作输入评价单元21a，其中输入设备11包括有触摸面板和开关，操作输入评价单元21a将通过输入设备11的操作输入转换成适当的操作信号，并将该操作信号传输到汽车导航系统。显示模块22使监视器12显示汽车导航所需的图像信息。语音产生模块23使扬声器13和蜂鸣器输出汽车导航所需的语音信息。车辆行为检测模块24基于通过车载LAN所传输的行为数据来检测车辆的各种行为(如车辆的刹车行为、加速行为和操纵行为)。
如上述实施例，优选地，图像拍摄情况信息可以包括对车辆行驶的行驶车道的识别结果；并且与分配给位于拍摄图像中的行驶车道内侧的区域中的图像特征点的重要度相比，可将高重要度分配给位于拍摄图像中的行驶车道外侧的路肩侧区域中的图像特征点。采用这种配置，在风景的拍摄图像中，能够提高从随着时间的流逝没有发生太大改变的对象(即在道路侧布置的人造物体或天然物体)中提取的图像特征点的重要度；并且能够降低从随着时间的流逝发生很大改变的对象(即在行驶车道中存在的物体，因此很可能在短周期内被移除)中提取的图像特征点的重要度。因而，能够创建图像特征点数据，该图像特征点数据被当作被存储在数据库中的有价值的参考数据并且包括随着时间的流逝而稳定地使用的图像特征点。即，能够创建有价值的参考数据的数据库。
如上述实施例，优选地，图像拍摄情况信息可以包括通过车载传感器对车辆附近存在的移动物体的识别结果；并且，与分配给拍摄图像中不存在移动物体的区域中的图像特征点的重要度相比，可将低重要度分配给拍摄图像中存在移动物体的区域中的图像特征点。当将图像特征点数据用作用于风景图像识别的参考数据时，从与移动物体对应的图像中提取的图像特征点被当作噪声。采用上述配置，能够降低移动物体存在的区域中的图像特征点的重要度。因而，能够删除移动物体存在的区域中的图像特征点，从而创建可靠的参考数据。
此外，如上述实施例，优选地，图像拍摄情况信息可以包括基于在通过对图像进行拍摄而获得拍摄图像时的车辆位置来识别的图像拍摄区的区属性和地图数据；并且，可以根据区属性来改变按照拍摄图像中的图像特征点的位置将重要度分配给图像特征点的规则。采用这种配置，能够根据图像拍摄区的区属性来估计拍摄图像中的具有随着时间的推移没有变化的物体且对于确定区而言有用的区域。区属性的实例包括山区、郊区、市区以及高层建筑区。因此，能够提高从估计区域中提取的图像特征点的重要度，并且降低其它区域中的图像特征点的重要度。因而，能够创建可靠的参考数据。
优选地，图像特征点可以是在图像中被稳定地检测的点。因此，通常使用利用边缘检测滤波器等检测的边缘点。构成显示建筑物的轮廓、建筑物的窗户轮廓和各种广告牌的轮廓的线性边缘的边缘点组是适用于本发明的实施例的图像特征点。因此，在本发明的实施例中，优选地，特征点提取单元52提取的图像特征点可以是边缘点，并且当这些边缘点是形成直线的直线成分边缘点时，优选地，与分配给除了直线成分边缘点之外的其它边缘点的重要度相比，可以将高重要度分配给直线成分边缘点。采用这种配置，能够以精确的、简单的方式创建能够识别作为风景特征的特定人造物体(如建筑物或广告牌)的参考数据。在此情形下，优选地，与分配给除了交叉点边缘点之外的其它的直线成分边缘点的重要度相比，可以将高重要度分配给直线成分边缘点中的交叉点边缘点。交叉点边缘点是两条直线成分的交叉点。因而，能够将包含在参考数据中的图像特征点限制在角上，即作为建筑物、桥、广告牌等中最重要的特征点的交叉点边缘点。因而，能够减小图像识别中的运算量。应注意：交叉点边缘点可以利用例如Harris算子来检测。
在上述实施例中，在通过边缘检测处理获得的作为图像特征点的边缘点之中，特别地，构成一条线段的线段边缘点(直线成分边缘点)和角边缘点(交叉点边缘点)被视为有用的图像特征点。角边缘点(交叉点边缘点)与线段彼此相交的交叉点对应，优选地，线段基本上彼此垂直。但是，本发明中使用的图像特征点不限于这种边缘点。可以使用对风景而言有用的图像特征点。例如，可以使用形成如圆形或矩形等几何形状的典型的边缘点(当该几何形状是圆形时，典型的边缘点是该圆的圆周上的三个点)，或者可以使用几何形状的重心或者表示图像中的几何形状的重心的点。此外，优选地，采用边缘强度(edge intensity)作为计算重要度的因子。例如，当线段由具有高强度的边缘组成时，与分配给除了起点与终点之外的其它边缘点的重要度相比，该线段的起点与终点可以被视为分配高重要度的图像特征点。此外，与分配给除了端点之外的其它边缘点的重要度相比，可以将特有几何图形中的特定点(例如对称物体中的端点)视为分配高重要度的图像特征点。
此外，除了通过边缘检测处理获得的边缘点之外，在拍摄图像中色调和/或色度改变非常大的点也可以被用作图像特征点。相似地，作为基于色彩信息的图像特征点，可以将具有高色温的物体的端点视为具有高重要度的图像特征点。
即，本发明的实施例中可以使用任何图像特征点，只要这些图像特征点对于确定参考数据与基于实际拍摄的图像而产生的图像特征点数据之间的相似度(例如图案匹配)而言是有用的即可。
在上述实施例中，根据图像特征点的重要度为每一图像特征点分配与重要度分开计算的权重系数。但是，重要度可以用作权重系数。
为了简化为图像特征点分配重要度的处理，可以将拍摄图像分成多个分区，可以确定每一分区的重要度，进而将同一重要度分配给同一分区中的图像特征点，而不是为每一图像特征点单独分配重要度。
当通过参考数据(由图像处理系统创建且存储在数据库中)与图像特征点数据(从实时获得的拍摄图像提取)之间的匹配处理而执行风景图像识别时，可以方便地为参考数据提供重要度，即依据使用参考数据的方式将重要度与参考数据相关联。因此，参考数据可以包括与图像特征点相关联的重要度。
在上述实施例中，存储于参考数据DB 92中的参考数据与图像拍摄位置以及图像拍摄方向(相机的光轴方向)相关联。除了图像拍摄位置与图像拍摄方向之外，参考数据还可以与上述图像拍摄情况信息、拍摄图像的日期、图像拍摄时的天气等等相关联。
图像拍摄位置需要由至少二维数据(如包括经度与纬度的数据)来表示。图像拍摄位置可以由包括纬度、经度和高度的三维数据来表示。
图像拍摄方向不一定必须与参考数据相关联。例如，在保证在创建参考数据时沿相对于车辆正在行驶的道路的方向(该方向与在利用参考数据执行风景图像识别时拍摄图像的方向基本上相同)拍摄图像的情形下，图像拍摄方向无需与参考数据相关联。
在图像拍摄方向与参考数据相关联且可以通过从一个基本图像拍摄方向适当地改变图像拍摄方向来准备多个参考数据的情形下，可以基于从方向传感器等传输的信息来计算车辆正在行驶的方向，并且仅将图像拍摄方向与车辆正在行驶的方向相符的参考数据用于风景图像识别。因而，当图像拍摄属性信息包括如上所述的图像拍摄方向时，通过指定图像拍摄方向，能够减少用于匹配的参考数据的量。
最适用于本发明的实施例的车载相机是沿车辆正在行驶的方向拍摄车辆前方的风景的相机。但是，车载相机可以是拍摄车辆斜前方的位置处的风景的相机，或者是拍摄车辆侧面的风景或车辆后面的风景的相机。即，本发明中使用的拍摄图像不限于沿车辆正在行驶的方向的车辆前方的风景。
在用于描述上述实施例的功能框图中，功能单元彼此分开，以使描述易于理解。但是，本发明不限于如功能框图所示的功能单元彼此分开的情形。多个功能单元中的至少两个功能单元可以彼此自由组合，和/或可以将一个功能单元进一步划分。
根据本发明实施例的图像处理系统不仅可应用于汽车导航，而且可以应用于通过风景图像识别来测量当前位置和当前方向的技术领域中。

Claims (10)

1.一种图像处理系统，包括：
第一数据输入单元，通过拍摄从车辆看到的风景而获得的拍摄图像被输入到所述第一数据输入单元；
第一特征点提取单元，从被输入到所述第一数据输入单元的所述拍摄图像中提取图像特征点；
图像拍摄情况信息获得单元，获得图像拍摄情况信息，所述图像拍摄情况信息表示在被输入到所述第一数据输入单元的所述拍摄图像中包含特定对象的可能性；
特征点重要度确定单元，基于所述图像拍摄情况信息，确定所述第一特征点提取单元提取的图像特征点的重要度；
图像特征点数据产生单元，基于所述重要度，利用所述第一特征点提取单元提取的图像特征点为每一拍摄图像产生图像特征点数据；以及
参考数据数据库创建单元，通过将所述图像特征点数据与图像拍摄属性信息相关联，从而产生在执行风景图像识别时使用的参考数据，并且创建作为所述参考数据的数据库的参考数据数据库，其中，所述图像拍摄属性信息包括图像拍摄位置，所述图像在该图像拍摄位置被拍摄从而获得与所述图像特征点数据对应的拍摄图像。
2.根据权利要求1所述的图像处理系统，其中
所述图像拍摄情况信息包括对所述车辆行驶的行驶车道的识别结果；以及
与分配给位于所述拍摄图像中的行驶车道内侧的区域中的图像特征点的重要度相比，所述特征点重要度确定单元将高重要度分配给位于所述拍摄图像中的行驶车道外侧的路肩侧区域中的图像特征点。
3.根据权利要求1所述的图像处理系统，其中
所述图像拍摄情况信息包括通过车载传感器对所述车辆附近存在的移动物体的识别结果；以及
与分配给所述拍摄图像中不存在所述移动物体的区域中的图像特征点的重要度相比，所述特征点重要度确定单元将低重要度分配给所述拍摄图像中存在所述移动物体的区域中的图像特征点。
4.根据权利要求1所述的图像处理系统，其中
所述图像拍摄情况信息包括图像拍摄区的区属性，所述图像拍摄区是基于在通过拍摄图像获得所述拍摄图像时的车辆位置和地图数据而识别的；
所述特征点重要度确定单元根据所述区属性来改变规则；以及
所述规则用于根据所述拍摄图像中的图像特征点的位置将重要度分配给所述图像特征点。
5.根据权利要求1所述的图像处理系统，其中
所述特征点提取单元提取的图像特征点是边缘点；以及
当所述边缘点是形成直线的直线成分边缘点时，与分配给除了所述直线成分边缘点之外的其它边缘点的重要度相比，所述特征点重要度确定单元将高重要度分配给所述直线成分边缘点。
6.根据权利要求5所述的图像处理系统，其中
与分配给除了交叉点边缘点之外的其它直线成分边缘点的重要度相比，所述特征点重要度确定单元将高重要度分配给所述直线成分边缘点中的交叉点边缘点，所述交叉点边缘点是两条直线成分的交叉点。
7.根据权利要求1所述的图像处理系统，其中
所述拍摄图像被分成多个分区；以及
所述特征点重要度确定单元将同一重要度分配给同一分区中的图像特征点。
8.根据权利要求1所述的图像处理系统，其中
所述参考数据包括分别与所述图像特征点相关联的重要度。
9.根据权利要求1所述的图像处理系统，其中
所述图像拍摄属性信息还包括图像拍摄方向，所述图像沿该图像拍摄方向被拍摄从而获得所述拍摄图像。
10.一种位置测量系统，包括：
由根据权利要求1所述的图像处理系统创建的参考数据数据库；
第二数据输入单元，通过拍摄从车辆看到的风景而获得的拍摄图像被输入到所述第二数据输入单元中；
第二特征点提取单元，从被输入到所述第二数据输入单元的所述拍摄图像中提取图像特征点；
拍摄图像处理单元，利用所述第二特征点提取单元提取的图像特征点为每一拍摄图像产生图像特征点数据，并且输出所产生的图像特征点数据作为用于匹配的数据；以及
风景匹配单元，在从所述参考数据数据库提取的参考数据与所述用于匹配的数据之间执行匹配，并且基于与所述用于匹配的数据相匹配的参考数据相关联的图像拍摄位置来确定所述车辆的位置。
CN201110048466.5A 2010-03-31 2011-02-23 图像处理系统及位置测量系统 Expired - Fee Related CN102208035B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2010-084623 2010-03-31
JP2010084623 2010-03-31

Publications (2)

Publication Number Publication Date
CN102208035A true CN102208035A (zh) 2011-10-05
CN102208035B CN102208035B (zh) 2015-12-02

Family

ID=44212123

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201110048466.5A Expired - Fee Related CN102208035B (zh) 2010-03-31 2011-02-23 图像处理系统及位置测量系统

Country Status (4)

Country Link
US (1) US8791996B2 (zh)
EP (1) EP2372605A3 (zh)
JP (1) JP5435306B2 (zh)
CN (1) CN102208035B (zh)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103162694A (zh) * 2011-12-13 2013-06-19 爱信艾达株式会社 数据维护及行驶支援系统、标高可靠度判断系统及方法
CN103810798A (zh) * 2012-11-05 2014-05-21 东芝泰格有限公司 商品识别装置及商品识别方法
CN104520732A (zh) * 2012-02-10 2015-04-15 Isis创新有限公司 定位传感器的方法以及相关设备
CN104954663A (zh) * 2014-03-24 2015-09-30 东芝阿尔派·汽车技术有限公司 图像处理装置和图像处理方法
CN105333878A (zh) * 2015-11-26 2016-02-17 深圳如果技术有限公司 一种路况视频导航系统及方法
CN107967691A (zh) * 2016-10-20 2018-04-27 株式会社理光 一种视觉里程计算方法和装置
CN108700879A (zh) * 2017-02-02 2018-10-23 华为技术有限公司 自动驾驶车辆中的对象识别
CN109241979A (zh) * 2018-08-24 2019-01-18 武汉光庭信息技术股份有限公司 一种基于高速视觉特征点匹配的车辆相对位置推测方法
CN112005243A (zh) * 2018-05-04 2020-11-27 华为技术有限公司 用于高级驾驶辅助系统的图像处理装置和方法
CN116132798A (zh) * 2023-02-02 2023-05-16 深圳市泰迅数码有限公司 一种智能摄像头的自动跟拍方法

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9070042B2 (en) * 2011-01-13 2015-06-30 Panasonic Intellectual Property Management Co., Ltd. Image processing apparatus, image processing method, and program thereof
WO2012171739A2 (de) * 2011-06-17 2012-12-20 Robert Bosch Gmbh Verfahren und steuergerät zur erkennung einer wetterbedingung in einem umfeld eines fahrzeugs
JP5903901B2 (ja) * 2012-01-17 2016-04-13 日産自動車株式会社 車両位置算出装置
JP5891802B2 (ja) * 2012-01-17 2016-03-23 日産自動車株式会社 車両位置算出装置
DE102012005471A1 (de) * 2012-03-17 2013-09-19 GM Global Technology Operations LLC (n.d. Ges. d. Staates Delaware) Verkehrsinformationssystem
GB2501466A (en) 2012-04-02 2013-10-30 Univ Oxford Localising transportable apparatus
JP6040715B2 (ja) * 2012-11-06 2016-12-07 ソニー株式会社 画像表示装置及び画像表示方法、並びにコンピューター・プログラム
CN103945088B (zh) * 2013-01-21 2017-06-27 华为终端有限公司 场景识别方法及装置
KR20160001178A (ko) * 2014-06-26 2016-01-06 엘지전자 주식회사 글래스 타입 단말기 및 이의 제어방법
US10198456B1 (en) * 2015-12-28 2019-02-05 Verizon Patent And Licensing Inc. Systems and methods for data accuracy in a positioning system database
JP6727032B2 (ja) * 2016-05-26 2020-07-22 三菱電機株式会社 モバイル端末およびこれを用いた自己位置推定システム並びにサーバおよび自己位置推定方法
EP3290864A1 (en) 2016-08-30 2018-03-07 Continental Automotive GmbH Driver assistance system for determining a position of a vehicle
GB2559196B (en) * 2017-01-31 2021-11-17 Sony Europe Bv Determining a position of a vehicle on a track
EP3379459A1 (en) * 2017-03-24 2018-09-26 Tata Consultancy Services Limited System and method for telecom inventory management
CN108413973A (zh) * 2018-02-12 2018-08-17 上海与德科技有限公司 车辆转弯提示方法、装置、终端及计算机可读介质
CN110895699B (zh) 2018-09-12 2022-09-13 北京字节跳动网络技术有限公司 用于处理图像的特征点的方法和装置
KR102627658B1 (ko) * 2018-10-11 2024-01-22 삼성전자주식회사 레이아웃에 대한 이미지의 배치를 판단하는 전자 장치, 전자 장치의 제어 방법 및 컴퓨터 판독 가능 매체.
JP2020125960A (ja) * 2019-02-04 2020-08-20 株式会社豊田中央研究所 移動体位置推定装置、及び移動体位置推定プログラム
JP7273552B2 (ja) 2019-03-14 2023-05-15 株式会社東芝 軸受装置用潤滑流体槽および軸受装置
PH12019050076A1 (en) * 2019-05-06 2020-12-02 Samsung Electronics Co Ltd Enhancing device geolocation using 3d map data
DE102019119852A1 (de) * 2019-07-23 2021-01-28 Man Truck & Bus Se Erzeugen nicht-semantischer Referenzdaten zur Positionsbestimmung eines Kraftfahrzeugs
JP7102383B2 (ja) * 2019-10-24 2022-07-19 株式会社東芝 路面画像管理システム及びその路面画像管理方法
KR102578292B1 (ko) * 2020-12-15 2023-09-15 한국과학기술연구원 컴퓨터 메모리 효율성이 향상된 물체/영역 검출 및 분류 시스템

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0921509A2 (en) * 1997-10-16 1999-06-09 Navigation Technologies Corporation System and method for updating, enhancing or refining a geographic database using feedback
CN101252679A (zh) * 2007-02-23 2008-08-27 爱信艾达株式会社 驾驶辅助方法及驾驶辅助装置
CN101275841A (zh) * 2007-03-30 2008-10-01 爱信艾达株式会社 地物信息收集装置及地物信息收集方法
US20090245657A1 (en) * 2008-04-01 2009-10-01 Masamichi Osugi Image search apparatus and image processing apparatus

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3772838B2 (ja) * 2003-02-12 2006-05-10 トヨタ自動車株式会社 車両用運転支援装置及び車両用制御装置
JP2005326168A (ja) * 2004-05-12 2005-11-24 Fuji Photo Film Co Ltd 運転支援システム、車両、および運転支援方法
JP4847090B2 (ja) 2005-10-14 2011-12-28 クラリオン株式会社 位置測位装置、および位置測位方法
US9126533B2 (en) * 2007-02-23 2015-09-08 Aisin Aw Co., Ltd. Driving support method and driving support device

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0921509A2 (en) * 1997-10-16 1999-06-09 Navigation Technologies Corporation System and method for updating, enhancing or refining a geographic database using feedback
CN101252679A (zh) * 2007-02-23 2008-08-27 爱信艾达株式会社 驾驶辅助方法及驾驶辅助装置
CN101275841A (zh) * 2007-03-30 2008-10-01 爱信艾达株式会社 地物信息收集装置及地物信息收集方法
US20090245657A1 (en) * 2008-04-01 2009-10-01 Masamichi Osugi Image search apparatus and image processing apparatus

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103162694A (zh) * 2011-12-13 2013-06-19 爱信艾达株式会社 数据维护及行驶支援系统、标高可靠度判断系统及方法
CN103162694B (zh) * 2011-12-13 2016-06-01 爱信艾达株式会社 数据维护及行驶支援系统、标高可靠度判断系统及方法
CN104520732A (zh) * 2012-02-10 2015-04-15 Isis创新有限公司 定位传感器的方法以及相关设备
US9576206B2 (en) 2012-02-10 2017-02-21 Oxford University Innovation Limited Method of locating a sensor and related apparatus
CN103810798A (zh) * 2012-11-05 2014-05-21 东芝泰格有限公司 商品识别装置及商品识别方法
CN103810798B (zh) * 2012-11-05 2017-04-12 东芝泰格有限公司 商品识别装置及商品识别方法
CN104954663B (zh) * 2014-03-24 2018-03-20 东芝阿尔派·汽车技术有限公司 图像处理装置和图像处理方法
CN104954663A (zh) * 2014-03-24 2015-09-30 东芝阿尔派·汽车技术有限公司 图像处理装置和图像处理方法
CN105333878A (zh) * 2015-11-26 2016-02-17 深圳如果技术有限公司 一种路况视频导航系统及方法
CN107967691A (zh) * 2016-10-20 2018-04-27 株式会社理光 一种视觉里程计算方法和装置
CN107967691B (zh) * 2016-10-20 2021-11-23 株式会社理光 一种视觉里程计算方法和装置
CN108700879A (zh) * 2017-02-02 2018-10-23 华为技术有限公司 自动驾驶车辆中的对象识别
US10929462B2 (en) 2017-02-02 2021-02-23 Futurewei Technologies, Inc. Object recognition in autonomous vehicles
CN112005243A (zh) * 2018-05-04 2020-11-27 华为技术有限公司 用于高级驾驶辅助系统的图像处理装置和方法
CN109241979A (zh) * 2018-08-24 2019-01-18 武汉光庭信息技术股份有限公司 一种基于高速视觉特征点匹配的车辆相对位置推测方法
CN116132798A (zh) * 2023-02-02 2023-05-16 深圳市泰迅数码有限公司 一种智能摄像头的自动跟拍方法
CN116132798B (zh) * 2023-02-02 2023-06-30 深圳市泰迅数码有限公司 一种智能摄像头的自动跟拍方法

Also Published As

Publication number Publication date
CN102208035B (zh) 2015-12-02
JP2011227888A (ja) 2011-11-10
US8791996B2 (en) 2014-07-29
EP2372605A2 (en) 2011-10-05
US20110242311A1 (en) 2011-10-06
EP2372605A3 (en) 2012-09-26
JP5435306B2 (ja) 2014-03-05

Similar Documents

Publication Publication Date Title
CN102208035B (zh) 图像处理系统及位置测量系统
CN102208036B (zh) 车辆位置检测系统
JP7302934B2 (ja) ナビゲーション情報を匿名化するためのシステム及び方法
JP5057184B2 (ja) 画像処理システム及び車両制御システム
CN102222236A (zh) 图像处理系统及位置测量系统
CN102208013B (zh) 风景匹配参考数据生成系统和位置测量系统
CN111351495B (zh) 服务器系统、方法及机器可读介质
CN102208012B (zh) 风景匹配参考数据生成系统及位置测量系统
CN102207389B (zh) 车辆位置识别系统
US8346473B2 (en) Lane determining device, lane determining method and navigation apparatus using the same
JP2022535351A (ja) 車両ナビゲーションのためのシステム及び方法
US20180031384A1 (en) Augmented road line detection and display system
KR20190097453A (ko) 차량의 주행을 위한 정보를 제공하는 방법 및 그 장치들
JP2006208223A (ja) 車両位置認識装置及び車両位置認識方法
CN113825979A (zh) 用于基于图像分析的车辆导航的系统和方法
JP7260064B2 (ja) 自車位置推定装置、走行位置推定方法
JP4775658B2 (ja) 地物認識装置・自車位置認識装置・ナビゲーション装置・地物認識方法
CN114930123A (zh) 用于检测交通灯的系统和方法
JP2007241468A (ja) 車線変更検出装置
JP2012215442A (ja) 自位置特定システム、自位置特定プログラム及び自位置特定方法
CN116524454A (zh) 物体追踪装置、物体追踪方法及存储介质
JP5177579B2 (ja) 画像処理システム及び位置測位システム
Kim et al. Image segmentation-based bicycle riding side identification method

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20151202

Termination date: 20210223

CF01 Termination of patent right due to non-payment of annual fee