CN103429991A - 引导装置、引导方法以及引导程序 - Google Patents

引导装置、引导方法以及引导程序 Download PDF

Info

Publication number
CN103429991A
CN103429991A CN2012800030561A CN201280003056A CN103429991A CN 103429991 A CN103429991 A CN 103429991A CN 2012800030561 A CN2012800030561 A CN 2012800030561A CN 201280003056 A CN201280003056 A CN 201280003056A CN 103429991 A CN103429991 A CN 103429991A
Authority
CN
China
Prior art keywords
guiding
tagged object
confidence level
identification
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2012800030561A
Other languages
English (en)
Other versions
CN103429991B (zh
Inventor
森俊宏
佐藤裕司
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Aisin AW Co Ltd
Original Assignee
Aisin AW Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Aisin AW Co Ltd filed Critical Aisin AW Co Ltd
Publication of CN103429991A publication Critical patent/CN103429991A/zh
Application granted granted Critical
Publication of CN103429991B publication Critical patent/CN103429991B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34Route searching; Route guidance
    • G01C21/36Input/output arrangements for on-board computers
    • G01C21/3602Input other than that of destination using image analysis, e.g. detection of road signs, lanes, buildings, real preceding vehicles using a camera
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34Route searching; Route guidance
    • G01C21/36Input/output arrangements for on-board computers
    • G01C21/3626Details of the output of route guidance instructions
    • G01C21/3644Landmark guidance, e.g. using POIs or conspicuous other objects

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Automation & Control Theory (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Navigation (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Traffic Control Systems (AREA)

Abstract

基于周边图像和用于标记对象的图像识别的模板执行图像识别,并计算用来确定是否能够在周边图像中识别标记对象的识别置信水平。对识别置信水平与基于在引导输出点处获取的周边图像计算出的识别置信水平相比是否有所增加进行确定。如果确定识别置信水平有所增加(S120:YES),则将基于在引导输出点处获取的周边图像产生的标记对象的图像存储作为将要用于标记对象的图像识别的新模板(S121)。这增大了基于新模板识别出标记对象的可能性,从而提高了标记对象的识别准确度。

Description

引导装置、引导方法以及引导程序
技术领域
本发明涉及一种引导装置、引导方法以及引导程序。
背景技术
在现有技术中,例如,已知这样的技术:其用于使用摄像机捕获车辆周围的对象的图像,并对所捕获的图像执行图像识别。还已知另一种技术,其用于仅使用司机从基于车辆前方的图像检测的对象而识别的特征对象来产生最适合司机的路线引导信息(参见日本专利申请公开第JP-A-2002-5668号)。
发明内容
虽然在引导目标点附近被识别,然而引导目标点处的特征对象有时不能在远离引导目标点的点处被识别,例如,当特征对象的一部分被遮挡对象(例如,电线杆或道边树)遮蔽时。
鉴于前述,本发明的目的是要提供一种能够提高标记对象的识别准确度的引导装置、引导方法以及引导程序。
根据第一方案的导航装置,其特征在于包括:标记对象识别单元,其识别标记对象,该标记对象是所设定的路线上的引导目标点的记号;图像采集单元,其获取车辆的周边图像;识别置信水平计算单元,其基于周边图像和用于标记对象的图像识别的模板来执行图像识别,并计算用来确定是否能够在周边图像中识别标记对象的识别置信水平;增加确定单元,其确定与基于在引导输出点处获取的周边图像计算出的识别置信水平相比,基于在引导输出点和引导目标点之间获取的周边图像计算出的识别置信水平是否有所增加,该引导输出点是位于引导目标点之前的位置且被设置用于输出有关引导目标点的引导;以及存储单元,如果增加确定单元确定识别置信水平有所增加,则该存储单元将基于在引导输出点处获取的周边图像产生的标记对象的图像存储作为用于标记对象的图像识别的新模板。
以此方式,对于识别置信水平随着车辆接近标记对象而增加的标记对象,将识别置信水平仍低时所捕获的标记对象的图像添加作为新模板。因此,当识别相同的标记对象时,例如,当车辆再次经过相同的点时,基于新模板使标记对象被识别的可能性增大,从而提高标记对象的识别准确度。
在根据第二方案的发明中,该引导装置还包括:识别确定单元,其基于识别置信水平确定是否能够在引导输出点处识别标记对象;以及引导单元,如果识别确定单元确定能够识别标记对象,则该引导单元使用标记对象来输出有关引导目标点的引导。该配置允许使用所述标记对象来输出有关引导目标点的引导。
在根据第三方案的发明中,如果识别确定单元确定在引导输出点处不能识别标记对象,则存储单元将基于在引导输出点处获取的周边图像产生的标记对象的图像存储作为新模板。该配置提高了使曾经在引导输出点处未被识别的标记对象在该引导输出点处被识别的可能性,从而提高标记对象的识别准确度。
在根据第四方案的发明中,如果在引导目标点处存在多个标记对象,并且识别确定单元确定该多个标记对象被识别出,则引导单元使用在引导输出点处具有最高识别置信水平的标记对象来输出有关引导目标点的引导。使用该标记对象,该配置允许更加适当地输出有关引导目标点的引导。
在根据第五方案的发明中,如果在引导目标点处存在多个标记对象,并且识别确定单元确定该多个标记对象被识别出,则引导单元使用具有最高优先级的标记对象来输出有关引导目标点的引导,所述最高优先级是基于该多个标记对象在引导目标点处的位置来设定的。使用该标记对象,该配置允许更加适当地输出有关引导目标点的引导。
根据第六方案的引导方法,其特征在于包括:标记对象识别步骤:识别标记对象,该标记对象是所设定的路线上的引导目标点的记号;图像采集步骤:获取车辆的周边图像;识别置信水平计算步骤:基于周边图像以及用于标记对象的图像识别的模板来执行图像识别,并计算用来确定是否能够在周边图像中识别标记对象的识别置信水平;增加确定步骤:确定与基于在引导输出点处获取的周边图像计算出的识别置信水平相比,基于在引导输出点和引导目标点之间获取的周边图像计算出的识别置信水平是否有所增加,该引导输出点是位于引导目标点之前的位置且被设置用于输出有关引导目标点的引导;以及存储步骤:如果增加确定单元确定识别置信水平有所增加,则将基于在引导输出点处获取的周边图像产生的标记对象的图像存储作为用于标记对象的图像识别的新模板。
该方法达到与根据第一方案的引导装置相同或相似的效果。
根据第七方案的引导程序,其特征在于使计算机具有以下功能:标记对象识别单元,其识别标记对象,该标记对象是所设定的路线上的引导目标点的记号;图像采集单元,其获取车辆的周边图像;识别置信水平计算单元,其基于周边图像以及用于标记对象的图像识别的模板来执行图像识别,并计算用来确定是否能够在周边图像中识别标记对象的识别置信水平;增加确定单元,其确定与基于在引导输出点处获取的周边图像计算出的识别置信水平相比,基于在引导输出点和引导目标点之间获取的周边图像计算出的识别置信水平是否有所增加,该引导输出点是位于引导目标点之前的位置且被设置用于输出有关引导目标点的引导;以及存储单元,如果增加确定单元确定识别置信水平有所增加,则该存储单元将基于在引导输出点处获取的周边图像产生的标记对象的图像存储作为用于标记对象的图像识别的新模板。
该程序达到与根据第一方案的引导装置相同或相似的效果。
附图说明
图1为示出本发明的一个实施例中的引导装置的配置的方框图;
图2为示出本发明的一个实施例中的引导处理的流程图;
图3为示出本发明的一个实施例中的引导处理的流程图;
图4为示出本发明的一个实施例中的识别模板的更新的示意图;
图5A为示出本发明的一个实施例中的目标图像的示意图;
图5B为示出本发明的一个实施例中的目标图像的示意图;
图6为示出本发明的一个实施例中的到十字路口C的距离和识别置信水平的示意图;以及
图7A为示出本发明的一个实施例中的当车辆再次经过触发点时的识别置信水平的示意图。
图7B为示出本发明的一个实施例中的当车辆再次经过触发点时的识别置信水平的示意图。
具体实施方式
下文将参考附图描述本发明的实施例中的引导装置。
(一个实施例)
如图1所示,充当引导装置的车载设备1被安装在车辆2上。
车载设备1是所谓的车载导航装置,但不限于车载导航装置,而可以是诸如移动电话或个人计算机等装置。车载设备1包括控制单元10(其为关键元件)以及连接至控制单元10的以下部件:位置检测器20、地图数据存储单元30、识别模板存储单元40、操作开关50、显示器60、扬声器70以及信息存储单元80。
控制单元10被配置为标准计算机,并且内部包括CPU、ROM、RAM、I/O接口以及将这些组成部件连接在一起的总线。
位置检测器20包括地磁传感器21、陀螺仪22、距离传感器23以及从卫星接收无线电波的GPS(全球定位系统)接收器24,这些全部是已知的。具有性质不同的误差的这些传感器21-24被互补地使用。
地图数据存储单元30是被实施为例如硬盘驱动器(HDD)的存储装置。虽然本实施例使用了HDD,然而也可以使用诸如DVD-ROM、内存卡等其它媒介。地图数据存储单元30存储用于提高位置检测准确度的所谓的地图匹配数据以及用于搜索路线的地图数据。地图数据包括不同类型的数据,一种地图数据是有关设施的设施信息。更具体地,设施信息是与识别设施的ID相关联地存储的POI(Point Of Interest,兴趣点)信息。POI信息包括有关设施名称、设施ID、位置坐标、类型(类别)、地址以及电话号码的信息。地图数据包括有关节点的节点数据、有关道路(链路)的链路数据等。每一个节点被与有关地标(其是用于节点的引导的对象)的地标信息相关联地存储。地标信息包括表示地标与节点之间的位置关系的信息。例如,地标指的是节点附近的建筑物、标志牌以及路标。
识别模板存储单元40通过与地图数据存储单元30相同的HDD配置而成。当然,也可以使用诸如内存卡等其它媒介。识别模板存储单元40存储用于识别地标的图像的识别模板。该识别模板对应于“图像识别模板”。识别模板可以是图像数据或特征量数据。
操作开关50是与显示器60集成的触摸开关、机械开关、以及远程控制装置,其用于不同类型的输入。显示器60是具有由液晶面板配置而成的屏幕的彩色显示装置。地图、设施信息等经由显示器60来显示。扬声器70(一种语音输出装置)用于输出有关路线的语音引导。
信息存储单元80由与地图数据存储单元30相同的HDD配置而成,该信息存储单元80被设置以存储由摄像机85成像的图像以及用来确定是否能够识别标记对象的识别置信水平。当然,也可以使用诸如内存卡等其它媒介。
摄像机85连接至控制单元10。摄像机85捕获车辆2周围的图像。本实施例中的摄像机85是捕获车辆2前方的图像的前置摄像头。
在本实施例中,识别模板被添加并更新以提高标记对象的识别准确度,该标记对象是所设定的路线上的引导目标点的记号。
下面基于图2和图3所示的流程图描述本实施例中的引导处理。要注意,当以设定的路线驾驶车辆时,以预定间隔来执行图2和图3所示的引导处理。
在作为第一步骤的步骤S101中(在下文描述中,“步骤”被省略并由符号“S”来简单表示),控制部10确定是否检测到引导处理启动触发(starttrigger)。例如,考虑这样的情况:其中在车辆到达引导点之前的预定距离(例如,200m)的点之前,输出有关引导目标点(在下文中,称为“引导点”)的引导。这种情况下,考虑到各种处理所需的时间和语音持续时间,在引导点之前设定触发点,并且,当车辆经过触发点时,控制部10确定检测到引导处理启动触发。该引导点例如是十字路口,沿着路线行驶的车辆将在该十字路口处右转或左转。如果没有检测到引导启动触发(S101:NO),则重复该确定处理。如果检测到引导启动触发(S101:YES),则控制转到S102。
在S102中,控制部10参考地图数据存储单元30以识别作为引导点的记号的标记对象。
在S103中,控制部10确定是否存在作为引导点的记号的标记对象。如果确定不存在标记对象(S103:NO),则控制转到图3中的S116。如果确定存在标记对象(S103:YES),则控制转到S104。
在S104中,给多个标记对象的每一个设定优先级。基于标记对象在引导点处的位置或基于用户偏好来设定标记对象的优先级。在本实施例中,基于标记对象的位置来设定优先级。相对于车辆2行驶到引导点所沿的行驶方向,对引导点之前并且在行驶方向左侧的位置设定最高优先级,对超过引导点并且在行驶方向左侧的位置设定第二高优先级,对引导点之前并且在行驶方向右侧的位置设定第三高优先级,以及对超过引导点并且在行驶方向右侧的位置设定第四高优先级。如果对于引导点仅存在一个标记对象,则不设定优先级,并且控制转到下一个步骤S105。
在S105中,控制部10从识别模板存储单元40读取识别模板,该识别模板被设置用于对识别标记对象的图像进行识别。如果在引导点处存在多个标记对象,则控制部10为标记对象的每一个都读取一个识别模板。
在S106中,控制部10通过摄像机85获取车辆2的周边图像。在本实施例中,车辆2前方的图像被获取为周边图像。另外,控制部10获取周边图像被获取所处的点与引导点之间的距离。
按照S104中为每一个标记对象所设定优先级的降序顺序来执行S107至S112中的处理。
在S107中,在S106中获取的周边图像中,控制部10设定用于图像识别的图像识别范围。例如,当标记对象超过引导点并在行驶方向的左侧时,周边图像的左上角的预定范围被设定作为图像识别范围。以此方式,控制部10基于标记对象在地图上的位置、摄像机85的视角、道路形状以及车辆行为来设定图像识别范围。利用设定的图像识别范围识别图像提高了处理速度。
在S108中,基于在S105中读取的识别模板,控制部10对S107中设定的图像识别范围执行图像识别处理。借此,控制部10识别目标图像(其为包含于所获取的周边图像中的标记对象的图像),并计算用来确定是否能够在目标图像中识别标记对象的识别置信水平。本实施例中的识别置信水平是在将目标图像与识别模板进行匹配时计算出的相似率(resemblance rate)。
在步骤S109中,控制部10将S108中计算出的识别置信水平存储于信息存储单元80中。识别置信水平被与获取用于计算识别置信水平的周边图像的点与引导点之间的距离相关联地存储。
在S110中,控制部10基于识别置信水平确定之前刚获取的目标图像是否匹配标记对象,并将确定结果与识别置信水平相关联地存储在信息存储单元80中。如果识别置信水平等于或高于预定阈值(例如,70%),则控制部10确定目标图像匹配标记对象,并将表示“匹配”的信息存储作为确定结果。如果识别置信水平小于预定阈值,则控制部10确定目标图像不匹配标记对象,并将表示“失配”的信息存储作为确定结果。
在S111中,控制部10确定信息存储单元80中是否已经存储有与标记对象相关联的目标图像。如果存储有目标图像(S111:YES),则控制部10不执行S112的处理。如果未存储目标图像(S111:NO),则控制转到S112。
在S112中,目标图像被与标记对象相关联地存储在信息存储单元80中。如果已存储有目标图像,即,如果S111的结果是YES,则不再存储目标图像。在本实施例中,这意味着,在车辆经过触发点之后,仅存储第一个目标图像。
在为所有的标记对象完成S107-S112中的处理之后,控制转到图3中的S113。在S113中,控制部10确定是否能够识别至少一个标记对象。基于存储在信息存储单元80中的匹配确定结果来确定是否能够识别标记对象。如果对于至少一个标记对象存储有表示“匹配”的信息,则确定能够识别标记对象。如果对于任何标记对象都没有存储表示“匹配”的信息,则确定不能够识别标记对象。如果不能够识别标记对象(S113:NO),则控制转到S116。如果能够识别至少一个标记对象(S113:YES),则控制转到S114。
在S114中,控制部10确定是否已输出有关引导点的引导(引导消息输出)。如果已输出有关引导点的引导(S114:YES),则控制转到S118。如果尚未输出有关引导点的引导(S114:NO),则控制转到S115。
在S115中,使用标记对象来输出有关引导点的引导。例如,如果标记对象是便利商店A,并且车辆在引导点右转,则经由扬声器70输出引导消息“在便利商店A所在的十字路口右转”。在本实施例中,如果识别出多个标记对象,则使用能够被识别且在S104中被指定了最高优先级的标记对象来输出引导。在那之后,控制转到图2中的S106。
如果在引导点处不存在标记对象(S103:NO)或者没有标记对象被识别出(S113:NO),则控制转到S116。在S116中,控制部10确定是否已输出有关引导点的引导(引导消息输出)。如果已输出有关引导点的引导(S116:YES),则控制转到S118。如果尚未输出有关引导点的引导(S116:NO),则控制转到S117。
在S117中,使用到引导点的距离来输出有关引导点的引导。例如,如果车辆在前方200m的引导点处右转,则经由扬声器70输出引导消息“在200m处的十字路口右转”。在那之后,控制转到图2中的S106。
如果已输出有关引导点的引导(S114:YES或S116:YES),则控制转到S118。在S118中,控制部10确定车辆2是否已经过引导点。如果车辆2尚未经过引导点(S118:NO),则控制转回到图2中的S106。如果车辆2已经过引导点(S118:YES),则控制转到S119。
为多个标记对象执行(为每个标记对象执行一次)S119至S121中的处理。
在S119中,控制部10确定在触发点获取的目标图像是否匹配标记对象。如果在触发点处获取的目标图像匹配标记对象(S119:YES),则不执行S120和S121中的处理。如果在触发点处获取的目标图像不匹配标记对象(S119:NO),则控制转到S120。
在S120中,控制部10参考存储在信息存储单元80中的识别置信水平,以检查识别置信水平是否随着车辆接近引导点而提高。在本实施例中,如果基于在触发点与引导点之间获取的周边图像确定的识别置信水平高于预定阈值,则确定识别置信水平有所提高。如果识别置信水平未提高(S120:NO),则不执行S121中的处理。如果识别置信水平有所提高(S120:YES),则控制转到S121。
在S121中,存储在信息存储单元80中的目标图像(即,作为基于在触发点处获取的周边图像产生的标记对象的图像的目标图像)被存储在识别模板存储单元40中作为与目标图像相关联的标记对象的新模板。以此方式,新模板被添加到存储在识别模板存储单元40中的识别模板,用于更新识别模板。待存储到识别模板存储单元40中的新模板可以是与识别模板相关的图像数据或特征量数据。
在为所有的标记对象完成S119至S121中的处理之后,控制转到终止引导处理的S122。当终止引导处理时,存储在信息存储单元80中的目标图像和识别置信水平的历史记录被删除。
虽然触发点在本实施例中对应于“这样一个点:其在引导目标点之前且是用于输出有关引导目标点的引导的引导输出点”,然而用于引导点的引导(引导消息输出)起点或用于引导点的引导(引导消息输出)终点也可以称为“引导输出点”。
下面参考图4描述本实施例中的引导处理的示例。
如图4所示,利用设定的路线R,车辆2在路线(车辆沿着该路线将在十字路口C左转)上行驶。即,十字路口C是引导点。为了在十字路口C之前200m处的消息输出点P2处结束消息输出,消息输出点P2之前10m处的点被设定作为触发点P1。
当车辆2经过触发点P1时(S101),便利商店A的标志牌(在下文中,简称“便利商店A”)和银行B的标志牌(在下文中,简称“银行B”)被获取作为标记对象(其是作为引导点的十字路口C的记号)(S102、S103:YES)。假设按照十字路口C处的点c1、点c2、点c3以及点c4的降序来设定优先级,其中分别在十字路口C之前和超过十字路口C的点c1和点c2在左侧,分别在十字路口C之前和超过十字路口C的点c3和点c4在右侧。因为点c2处的便利商店A的优先级高于点c4处的银行B,所以按照便利商店A和银行B的降序来设定优先级(S104)。控制部10从识别模板存储单元40读取便利商店A和银行B的识别模板(S105)。另外,控制部10在触发点P1处获取车辆2前方的图像作为周边图像(S106),并执行图像识别处理。
下面描述用于便利商店A的图像识别处理。
控制部10在触发点P1处获取的周边图像中设定图像识别范围(S107),执行图像识别处理,识别作为标记对象的图像的目标图像gp,并计算识别置信水平(S108)。在本示例中,在触发点P1处的车辆2的前方存在遮挡对象D(诸如电线杆),如图5A所示,在目标图像gp中便利商店A的标志牌的一部分被遮蔽。因此,基于目标图像gp和识别模板通过图像识别处理计算出的识别置信水平是10%(S108)。因为识别置信水平低于预定阈值,所以控制部10确定目标图像gp不匹配标记对象(S110)。因为在车辆2经过触发点P1时未存储目标图像(S111:NO),所以控制部10在信息存储单元80中存储彼此相关联的到十字路口的距离“210m”、“目标图像gp”、识别置信水平“10%”、以及确定结果“失配”(S109、S110、S112),如图6所示。
对银行B执行相同的处理。
在对触发点P1处获取的周边图像执行图像识别处理时,假设银行B被识别作为十字路口C的标记对象(S113:YES)。这种情况下,使用作为识别标记对象的银行B,例如通过消息“在银行B所在的十字路口C左转”来输出引导(S115)。在对触发点P1处获取的周边图像执行图像识别处理时,如果银行B未被识别为十字路口C的标记对象(S113:NO),则使用到十字路口C的距离,例如通过消息“在200m处的十字路口C左转”来输出有关十字路口C的引导(S117)。
当车辆2的当前位置是离十字路口C50m的点Q时,车辆2已经过遮蔽一部分便利商店A的遮挡对象D。在该位置处,车辆2的前方不再存在遮挡对象,并且目标图像gq如图5B所示。当基于识别模板以及基于在车辆2与作为标记对象的便利商店A之间没有遮挡对象的情况下获取的周边图像所产生的目标图像gq来执行图像识别处理时,识别置信水平被提高至90%(参见图6)。
图6示出在车辆2经过十字路口C之后的便利商店A的识别置信水平和匹配确定结果(S118:YES)。图6表明在触发点P1处获取的目标图像gp的识别置信水平是10%(其低于预定阈值),并表明在触发点P1与十字路口C之间的点Q处获取的目标图像gq的识别置信水平是90%(其高于预定阈值),这表示识别置信水平有所提高(S119:NO,S120:YES)。因此,控制部10将目标图像gp(其为在触发点P1处获取的图像且是便利商店A的标志牌的图像,其中便利商店A的标志牌的一部分被遮挡对象遮蔽,如图5A所示)存储在识别模板存储单元40中作为将用于识别便利商店A的新模板。
参照图7A和图7B,下面描述当车辆2设定路线(在该路线中十字路口C是引导点)并沿着该路线再次行驶时的识别置信水平。
如图7A所示,当车辆2第一次经过触发点P1时,假设便利商店A的识别置信水平是10%,银行B的识别置信水平是90%。这种情况下,使用银行B来输出有关十字路口C的引导。因为当车辆2第一次经过十字路口C时,便利商店A的识别置信水平从10%提高到90%(S119:NO,S120:YES),所以基于在触发点P1处获取的周边图像产生的便利商店A的目标图像gp被作为新模板存储在识别模板存储单元40中(S121)。
车辆第一次经过触发点P1时产生的目标图像gp被作为新模板存储在识别模板存储单元40中。因此,当车辆2再次经过触发点P1时,使用已被添加作为新模板的目标图像gp来执行图像识别处理。这种情况下,包含于在触发点P1获取的周边图像中的便利商店A的识别置信水平是90%,结果是控制部10确定目标图像匹配标记对象。当车辆2再次经过触发点P1时,能够在触发点P1处识别便利商店A(S113:YES)。因此,基于依据标记对象的位置设定的优先级,能够使用位于优先级高于银行B的位置的便利商店A来输出诸如“在便利商店A所在的十字路口C左转”等引导。在便利商店A的一部分同样被遮挡对象遮蔽的另一个点处,使用被添加为新模板的目标图像gp来执行图像识别,从而使识别置信水平自远离引导点的点起提高。
对于银行B,第一次在触发点P1处获取的周边图像中所包含的图像的识别置信水平如此之高,使得确定目标图像匹配标记对象(S119:YES),结果是没有添加用于更新的新模板。
如图7B所示,如果触发点P1处的识别置信水平根据标记对象变化,则引导装置可以被配置成使用便利商店A(其具有如由标记对象的位置确定的最高优先级)输出引导,或可以被配置成使用具有最高识别置信水平的银行B输出引导。
如上详细所述,根据本实施例,控制部10识别所设定的路线上作为引导点的记号的标记对象(图2中的S102),并获取车辆2的周边图像(S106)。基于识别模板和周边图像来执行图像识别以识别标记对象,并且计算将要用来确定是否能够在周边图像中识别标记对象的识别置信水平(S108)。控制部10确定,与基于在触发点获取的周边图像计算出的识别置信水平相比,基于在触发点和引导点之间获取的周边图像计算出的识别置信水平是否有所提高。如果识别置信水平有所提高(图3中的S120:YES),则控制部10将基于在触发点处获取的周边图像产生的标记对象的图像存储作为将用于标记对象的图像识别的新模板(S121)。
以此方式,对于识别置信水平随着车辆2接近标记对象而提高的标记对象,将识别置信水平仍低时所捕获的标记对象的图像添加作为新模板。因此,如果识别出相同的标记对象,例如,当车辆2再次经过相同点时,则基于新模板识别出标记对象的可能性增大,从而提高标记对象的识别准确度。
如果基于识别置信水平在触发点处识别出标记对象(S113:YES),则使用该标记对象来输出有关引导点的引导(S115)。使用该标记对象,这允许更加适当地输出有关引导目标点的引导。
在本实施例中,如果确定在触发点处不能识别标记对象(S119:NO),并且还确定识别置信水平有所提高(S120:YES),则控制部10将基于在触发点处获取的周边图像产生的标记对象的图像存储作为新模板(S121)。以此方式添加新模板提高了曾经在触发点处未被识别出的标记对象在该触发点处被识别出的可能性,从而提高标记对象的识别准确度。在触发点处识别标记对象的能力允许使用标记对象来输出引导,这提高了用户便利性。另外,在本实施例中,如果在触发点处能够识别出标记对象(S119:YES),则未添加用于更新的新模板。如果能够在触发点处识别标记对象,则无需添加新模板,这抑制了由添加新模板引起的内存的使用量的增加等。
如果在引导目标点处存在多个标记对象并且该多个标记对象能够被识别出,则使用由标记对象在引导点的位置所确定的优先级最高的标记对象来输出有关引导点的引导。使用位于用户能够最容易识别的位置的标记对象,这允许更加适当地输出有关引导点的引导。
如果在引导目标点处存在多个标记对象并且该多个标记对象如图7B所示那样被识别出,则引导装置可以被配置成使用在触发点处具有最高识别置信水平的标记对象来输出引导。使用最可能被用户识别的标记对象,这允许更加适当地输出引导。
在本实施例中,控制单元10构成“标记对象识别单元”、“图像采集单元”、“识别置信水平计算单元”、“增加确定单元”、“存储单元”、“识别确定单元”以及“引导单元”。图2中的S102对应于通过“标记对象识别单元”的功能执行的处理,S106对应于通过“图像采集单元”的功能执行的处理,图3中的S120对应于通过“增加确定单元”的功能执行的处理,以及S121对应于通过“存储单元”的功能执行的处理。S113或S119对应于通过“识别确定单元”的功能执行的处理,以及S115对应于通过“引导单元”的功能执行的处理。
(另一个实施例)
在上述实施例中,如果在触发点处获取的目标图像不匹配标记对象,并且如果识别置信水平有所提高,则将在触发点处获取的目标图像存储作为新模板。在另一个实施例中,可以省略图3中S119的处理,并且如果识别置信水平在触发点和引导点之间有所提高,则无论基于在触发点处获取的周边图像产生的目标图像是否匹配标记对象,都可将标记对象的目标图像存储作为新模板。
在上述实施例中,如果识别置信水平高于预定阈值,则在S120中确定识别置信水平有所提高。在另一个实施例中,还可以是,如果基于在触发点与引导点之间获取的周边图像计算出的识别置信水平高于基于在触发点处获取的周边图像计算出的识别置信水平,则无论识别置信水平是否高于预定阈值,都存储新模板。
在上述实施例中,控制单元10构成“标记对象识别单元”、“图像采集单元”、“识别置信水平计算单元”、“增加确定单元”、“存储单元”、“识别确定单元”以及“引导单元”。在另一个实施例中,这些单元可以被实施为使计算机执行这些单元的功能的程序,或可以被实施为存储所述程序的存储媒介。这些单元也可以被实施为导航方法,其执行“标记对象识别步骤”、“图像采集步骤”、“识别置信水平计算步骤”、“增加确定步骤”、“存储步骤”、“识别确定步骤”以及“引导步骤”。
如上所述,应当理解,本发明不限制于上述实施例,而是能够在不脱离本发明的精神的范围内被实施成不同的形式。

Claims (7)

1.一种引导装置,其特征在于包括:
标记对象识别单元,其识别标记对象,所述标记对象是所设定的路线上的引导目标点的记号;
图像采集单元,其获取车辆的周边图像;
识别置信水平计算单元,其基于所述周边图像以及用于所述标记对象的图像识别的模板来执行图像识别,并计算用来确定是否能够在所述周边图像中识别所述标记对象的识别置信水平;
增加确定单元,其确定与基于在引导输出点处获取的所述周边图像计算出的所述识别置信水平相比,基于在所述引导输出点和所述引导目标点之间获取的周边图像计算出的识别置信水平是否有所增加,所述引导输出点是位于所述引导目标点之前的位置且被设置用于输出有关所述引导目标点的引导;以及
存储单元,如果所述增加确定单元确定所述识别置信水平有所增加,则该存储单元将基于在所述引导输出点处获取的所述周边图像产生的所述标记对象的图像存储作为用于所述标记对象的图像识别的新模板。
2.根据权利要求1所述的引导装置,其特征在于还包括:
识别确定单元,其基于所述识别置信水平确定是否能够在所述引导输出点处识别所述标记对象;以及
引导单元,如果所述识别确定单元确定能够识别所述标记对象,则该引导单元使用所述标记对象来输出有关所述引导目标点的引导。
3.根据权利要求2所述的引导装置,其中,
如果所述识别确定单元确定在所述引导输出点处不能识别所述标记对象,则所述存储单元将基于在所述引导输出点获取的所述周边图像产生的所述标记对象的图像存储作为所述新模板。
4.根据权利要求2或3所述的引导装置,其中,
如果在所述引导目标点处存在多个所述标记对象,并且所述识别确定单元确定所述多个标记对象被识别出,则所述引导单元使用在所述引导输出点处具有最高识别置信水平的所述标记对象来输出有关所述引导目标点的引导。
5.根据权利要求2或3所述的引导装置,其中,
如果在所述引导目标点处存在多个所述标记对象,并且所述识别确定单元确定所述多个标记对象被识别出,则所述引导单元使用具有最高优先级的所述标记对象来输出有关所述引导目标点的引导,所述最高优先级基于所述多个标记对象在所述引导目标点处的位置来设定。
6.一种引导方法,其特征在于包括:
标记对象识别步骤:识别标记对象,所述标记对象是所设定的路线上的引导目标点的记号;
图像采集步骤:获取车辆的周边图像;
识别置信水平计算步骤:基于所述周边图像以及用于所述标记对象的图像识别的模板来进行图像识别,并计算用来确定是否能够在所述周边图像中识别所述标记对象的识别置信水平;
增加确定步骤:确定与基于在引导输出点处获取的所述周边图像计算出的所述识别置信水平相比,基于在所述引导输出点和所述引导目标点之间获取的周边图像计算出的识别置信水平是否有所增加,所述引导输出点是位于所述引导目标点之前的位置且被设置用于输出有关所述引导目标点的引导;以及
存储步骤:如果所述增加确定单元确定所述识别置信水平有所增加,则将基于在所述引导输出点处获取的所述周边图像产生的所述标记对象的图像存储作为用于所述标记对象的图像识别的新模板。
7.一种引导程序,其特征在于使计算机具有以下功能:
标记对象识别单元,其识别标记对象,所述标记对象是所设定的路线上的引导目标点的记号;
图像采集单元,其获取车辆的周边图像;
识别置信水平计算单元,其基于所述周边图像以及用于所述标记对象的图像识别的模板来执行图像识别,并计算用来确定是否能够在所述周边图像中识别所述标记对象的识别置信水平;
增加确定单元,其确定与基于在引导输出点处获取的所述周边图像计算出的所述识别置信水平相比,基于在所述引导输出点和所述引导目标点之间获取的周边图像计算出的识别置信水平是否有所增加,所述引导输出点是位于所述引导目标点之前的位置且被设置用于输出有关所述引导目标点的引导;以及
存储单元,如果所述增加确定单元确定所述识别置信水平有所增加,则该存储单元将基于在所述引导输出点处获取的所述周边图像产生的所述标记对象的图像存储作为用于所述标记对象的图像识别的新模板。
CN201280003056.1A 2011-02-16 2012-01-25 引导装置、引导方法 Expired - Fee Related CN103429991B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2011-031027 2011-02-16
JP2011031027A JP5625987B2 (ja) 2011-02-16 2011-02-16 案内装置、案内方法、および、案内プログラム
PCT/JP2012/000461 WO2012111258A1 (en) 2011-02-16 2012-01-25 Guidance device, guidance method, and guidance program

Publications (2)

Publication Number Publication Date
CN103429991A true CN103429991A (zh) 2013-12-04
CN103429991B CN103429991B (zh) 2016-05-25

Family

ID=45567077

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201280003056.1A Expired - Fee Related CN103429991B (zh) 2011-02-16 2012-01-25 引导装置、引导方法

Country Status (5)

Country Link
US (1) US9064155B2 (zh)
EP (1) EP2598842B1 (zh)
JP (1) JP5625987B2 (zh)
CN (1) CN103429991B (zh)
WO (1) WO2012111258A1 (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109029488A (zh) * 2018-06-29 2018-12-18 百度在线网络技术(北京)有限公司 导航电子地图生成方法、设备及存储介质
CN109073404A (zh) * 2016-05-02 2018-12-21 谷歌有限责任公司 用于基于地标和实时图像生成导航方向的系统和方法
CN109801389A (zh) * 2019-03-18 2019-05-24 重庆睿驰智能科技有限公司 基于环视系统的付费辅助系统
CN110942668A (zh) * 2018-09-21 2020-03-31 丰田自动车株式会社 图像处理系统、图像处理方法和图像处理设备

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5505729B2 (ja) * 2011-01-27 2014-05-28 アイシン・エィ・ダブリュ株式会社 案内装置、案内方法、および、案内プログラム
US8731248B2 (en) * 2012-02-16 2014-05-20 Arcsoft (Hangzhou) Multimedia Technology Co., Ltd. Method of performing eye circle correction an image and related computing device
JP5935661B2 (ja) * 2012-10-31 2016-06-15 アイシン・エィ・ダブリュ株式会社 交差点案内システム、方法およびプログラム
CN105659304B (zh) 2013-06-13 2020-01-03 移动眼视力科技有限公司 车辆、导航系统及生成并递送导航信息的方法
JP6055377B2 (ja) * 2013-06-18 2016-12-27 株式会社ゼンリンデータコム 経路案内システム、経路案内方法およびコンピュータプログラム
DE102013011827A1 (de) 2013-07-15 2015-01-15 Audi Ag Verfahren zum Betrieb einer Navigationseinrichtung, Navigationseinrichtung und Kraftfahrzeug
JP6236954B2 (ja) * 2013-07-23 2017-11-29 アイシン・エィ・ダブリュ株式会社 運転支援システム、方法およびプログラム
KR102319530B1 (ko) 2014-08-18 2021-10-29 삼성전자주식회사 사용자 입력 처리 방법 및 장치
US20170046581A1 (en) * 2015-08-11 2017-02-16 Here Global B.V. Sending Navigational Feature Information
JP6276814B2 (ja) * 2016-08-29 2018-02-07 株式会社ゼンリンデータコム 経路案内システム、経路案内方法およびコンピュータプログラム
JP2018128389A (ja) * 2017-02-09 2018-08-16 トヨタ自動車株式会社 画像処理システム及び画像処理方法
JP6838522B2 (ja) * 2017-08-10 2021-03-03 トヨタ自動車株式会社 画像収集システム、画像収集方法、画像収集装置、および記録媒体
US10592550B2 (en) * 2017-10-13 2020-03-17 International Business Machines Corporation System and method for species and object recognition
DE102018210765A1 (de) * 2018-06-29 2020-01-02 Volkswagen Aktiengesellschaft Lokalisierungssystem und Verfahren zum Betreiben desselben
JP7103078B2 (ja) * 2018-08-31 2022-07-20 オムロン株式会社 作業支援装置、作業支援方法及び作業支援プログラム
CN111275000B (zh) * 2020-02-18 2023-05-02 广州敏视数码科技有限公司 基于历史定位数据的交通标志牌检测方法
JP2021149309A (ja) * 2020-03-17 2021-09-27 ソニーグループ株式会社 情報処理装置、情報処理方法及びコンピュータプログラム

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6018697A (en) * 1995-12-26 2000-01-25 Aisin Aw Co., Ltd. Navigation system for vehicles
JP2002005668A (ja) * 2000-06-15 2002-01-09 Matsushita Electric Ind Co Ltd 経路案内装置
CN101319907A (zh) * 2007-06-07 2008-12-10 索尼株式会社 导航设备和最近点搜索方法
CN101467005A (zh) * 2006-06-12 2009-06-24 松下电器产业株式会社 导航装置以及导航方法
EP2159541A1 (en) * 2007-06-12 2010-03-03 Panasonic Corporation Navigation device, navigation method, and navigation program

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6266442B1 (en) * 1998-10-23 2001-07-24 Facet Technology Corp. Method and apparatus for identifying objects depicted in a videostream
US7831387B2 (en) * 2004-03-23 2010-11-09 Google Inc. Visually-oriented driving directions in digital mapping system
US8150617B2 (en) * 2004-10-25 2012-04-03 A9.Com, Inc. System and method for displaying location-specific images on a mobile device
JP4836582B2 (ja) * 2006-01-05 2011-12-14 株式会社日立製作所 車載装置
US8515126B1 (en) * 2007-05-03 2013-08-20 Hrl Laboratories, Llc Multi-stage method for object detection using cognitive swarms and system for automated response to detected objects
US7912637B2 (en) * 2007-06-25 2011-03-22 Microsoft Corporation Landmark-based routing
JP4985166B2 (ja) * 2007-07-12 2012-07-25 トヨタ自動車株式会社 自己位置推定装置
US8649565B1 (en) * 2009-06-18 2014-02-11 Hrl Laboratories, Llc System for automatic object localization based on visual simultaneous localization and mapping (SLAM) and cognitive swarm recognition
US8224516B2 (en) * 2009-12-17 2012-07-17 Deere & Company System and method for area coverage using sector decomposition
JP4881493B1 (ja) * 2010-12-24 2012-02-22 パイオニア株式会社 ナビゲーション装置、制御方法、プログラム、及び記憶媒体

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6018697A (en) * 1995-12-26 2000-01-25 Aisin Aw Co., Ltd. Navigation system for vehicles
JP2002005668A (ja) * 2000-06-15 2002-01-09 Matsushita Electric Ind Co Ltd 経路案内装置
CN101467005A (zh) * 2006-06-12 2009-06-24 松下电器产业株式会社 导航装置以及导航方法
CN101319907A (zh) * 2007-06-07 2008-12-10 索尼株式会社 导航设备和最近点搜索方法
EP2159541A1 (en) * 2007-06-12 2010-03-03 Panasonic Corporation Navigation device, navigation method, and navigation program

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109073404A (zh) * 2016-05-02 2018-12-21 谷歌有限责任公司 用于基于地标和实时图像生成导航方向的系统和方法
CN109029488A (zh) * 2018-06-29 2018-12-18 百度在线网络技术(北京)有限公司 导航电子地图生成方法、设备及存储介质
CN110942668A (zh) * 2018-09-21 2020-03-31 丰田自动车株式会社 图像处理系统、图像处理方法和图像处理设备
CN109801389A (zh) * 2019-03-18 2019-05-24 重庆睿驰智能科技有限公司 基于环视系统的付费辅助系统

Also Published As

Publication number Publication date
EP2598842B1 (en) 2014-04-30
EP2598842A1 (en) 2013-06-05
CN103429991B (zh) 2016-05-25
US9064155B2 (en) 2015-06-23
JP2012168114A (ja) 2012-09-06
JP5625987B2 (ja) 2014-11-19
WO2012111258A1 (en) 2012-08-23
US20130170706A1 (en) 2013-07-04

Similar Documents

Publication Publication Date Title
CN103429991B (zh) 引导装置、引导方法
JP6241422B2 (ja) 運転支援装置、運転支援方法、および運転支援プログラムを記憶する記録媒体
EP3650814B1 (en) Vision augmented navigation
JP4683380B2 (ja) 車線変更案内装置
US8239131B2 (en) Navigation device, navigation method, and navigation program
CN102183257B (zh) 车辆行驶引导装置、车辆行驶引导方法及计算机可读存储介质
WO2015096717A1 (zh) 一种定位方法及装置
JP4899351B2 (ja) 走行状況判定装置及び車載ナビゲーション装置
US9062987B2 (en) Travel guidance system, travel guidance apparatus, travel guidance method, and computer program
JP5760696B2 (ja) 画像認識装置
CN104884898A (zh) 确定车辆位置的导航系统和方法
CN106569245A (zh) 一种车辆定位方法及装置
JP2015090320A (ja) ナビゲーションシステム、コンピュータプログラム及び現在位置算出方法
JP5608126B2 (ja) ナビゲーション装置、ナビゲーション方法、および、ナビゲーションプログラム
JP2014160031A (ja) 走行案内システム、走行案内方法及びコンピュータプログラム
JP2007010356A (ja) 車載ナビゲーション装置
JP4798549B2 (ja) 車載用ナビゲーション装置
KR20130084753A (ko) 모바일 기기의 멀티 센서를 이용한 차량 운행 정보 제공 방법
CN102809383B (zh) 行驶引导装置及行驶引导方法
US20200191597A1 (en) Travel guide system and computer program
CN113781816B (zh) 矿用车辆控制方法、存储介质及电子设备
JP5620252B2 (ja) 情報センタ、情報提供方法、およびプログラム
JP2009014506A (ja) 現在位置検出システム、現在位置検出装置
JP2005227092A (ja) 車両の現在位置算出装置
JP2008076362A (ja) ナビゲーション装置、ナビゲーション方法、及びナビゲーションプログラム

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20160525

Termination date: 20210125