CN101091103A - 图像识别装置和方法以及使用该图像识别装置或方法的定位装置、车辆控制装置和导航装置 - Google Patents

图像识别装置和方法以及使用该图像识别装置或方法的定位装置、车辆控制装置和导航装置 Download PDF

Info

Publication number
CN101091103A
CN101091103A CNA2006800013946A CN200680001394A CN101091103A CN 101091103 A CN101091103 A CN 101091103A CN A2006800013946 A CNA2006800013946 A CN A2006800013946A CN 200680001394 A CN200680001394 A CN 200680001394A CN 101091103 A CN101091103 A CN 101091103A
Authority
CN
China
Prior art keywords
image
information
land
recognition
recognition target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CNA2006800013946A
Other languages
English (en)
Other versions
CN101091103B (zh
Inventor
中村正树
宫岛孝幸
中村元裕
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Aisin AW Co Ltd
Toyota Motor Corp
Original Assignee
Aisin AW Co Ltd
Toyota Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Aisin AW Co Ltd, Toyota Motor Corp filed Critical Aisin AW Co Ltd
Publication of CN101091103A publication Critical patent/CN101091103A/zh
Application granted granted Critical
Publication of CN101091103B publication Critical patent/CN101091103B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems
    • G08G1/167Driving aids for lane monitoring, lane changing, e.g. blind spot detection

Abstract

提供例如一种图像识别装置,在图像识别操作仅依靠拾取的图像信息时,即使图像识别操作中的识别速度由于不能获取好的关于识别目标的图像信息而降低,所述图像识别装置也能够提高识别目标的图像识别速度。所述装置包括:图像信息获取部3;成像位置获取部7;地面物体信息存储部8;地面物体信息获取部9,用于从所述地面物体信息存储部8获取关于所述图像信息的成像区域内包括的一个或多个地面物体的地面物体信息;确定部15,用于基于获取的地面物体信息,确定所述图像信息的成像区域内是否包括待识别的多个识别目标地面物体;以及图像识别部10,用于在所述确定部已经确定包括多个识别目标地面物体时,基于所述地面物体信息中包括的位置信息得到的一个识别目标地面物体与另一个识别目标地面物体之间的位置关系和基于所述另一个识别目标地面物体的图像识别结果,识别所述一个识别目标地面物体的图像。

Description

图像识别装置和方法以及使用该图像识别装置或方法的定位装置、车辆控制装置和导航装置
技术领域
本发明涉及一种在例如车辆中的仪表板上使用、用于识别在道路上获得的图像信息中包含的预定识别目标地面物体图像的图像识别装置和方法。本发明还涉及一种使用该图像识别装置或方法的定位装置、车辆控制装置和导航装置。
背景技术
作为识别在道路上获得的图像信息中包含的预定识别目标地面物体的图像的技术,下面确定的专利文献1公开了以下涉及停车线识别装置的技术。该停车线识别装置包括:区域亮度检测装置,用于检测设定区域的亮度,该设定区域位于行驶道路的前面或前方,沿行驶车辆的宽度方向纵向延伸;时序亮度(time-series brightness)变化比较装置,用于比较设定区域内亮度的时序变化;以及停车线确定装置,用于基于设定区域内检测到的时序亮度变化确定停车线的出现/不出现。更具体地,在从CCD摄像机输入的原始图像中的较低区域,沿车辆的宽度方向连续设置多个设定区域。然后,如果多个设定区域的任一区域的平均亮度从低变为高,再变为低,那么该装置确定存在停车线。
上述专利文献1还公开了涉及车辆驱动辅助系统的技术,除了上述停车线识别装置,该系统还包括:三维物体识别装置,用于识别行驶道路前方出现的三维物体;以及警告控制装置,用于在停车线识别装置识别出停车线,并且识别出停车线前方(或前面)紧接着有三维物体时,发出警告信号。根据这种车辆驱动辅助系统,对由具有立体光学系统的CCD摄像机获得的一对右立体图像和左立体图像进行处理,以计算全部图像的三维距离分布信息。然后,基于此距离分布信息,系统以高速检测例如路形(road geometry)、多个三维物体等的三维位置数据。即,通过使用来自距离图像(distanceimage)的三维位置信息,分离/提取与实际道路上出现的白线相关的数据。另一方面,修改或变更系统中预先存储的道路模型参数以适合实际的路形,从而识别该路形。此外,基于检测到的路形,系统挑选出与道路表面上方区域相关的数据并消除距离图像包含的噪声,从而从距离图像中提取三维物体(例如前方行驶的另一车辆)的数据。另外,系统以预定间隔将距离图像划分为多个格子区,并为每个格子区生成柱状图,从而计算与三维物体的距离。然后,基于每个区的三维物体的距离数据提取物体的轮廓图像,基于该三维物体的形状和位置的尺寸,系统识别例如物体的类型。
[专利文献1]
日本专利申请公开号No.2003-85562(第2-4页,附图1-3)
发明内容
本发明所要解决的问题
上述技术仅根据图像拾取装置例如摄像机所获取的图像信息进行图像识别。因此,是否能够正确地进行图像识别取决于拾取图像信息中所包括的识别目标图像的状况。为此,在例如识别目标图像不具有如同停车线的图像的例如任何特征形状,或者由于不好的图像拾取条件而不能获取识别目标物体的好的图像的情况下,例如将出现识别失败,例如错误识别或不识别,从而导致识别速度降低。
即,根据上述技术,将停车线设定为识别目标,并且如果沿车辆宽度方向连续设置的多个设定区域中的任一区域的平均亮度从低变为高再变为低,则确定出现停车线。但是,利用这种确定方法,如果存在沿车辆宽度方向延伸的另一着色标记,那么该标记可能被错误地识别为停车线。例如,行人交叉路的横线,T型交叉口的中心线等等也是这种沿车辆宽度方向延伸的着色标记,因此这种着色标记也可能被错误地识别为停车线。
此外,在停车线作为识别目标的情况下,如果在例如存在潮湿路面的反射光或者部分停车线褪色的情况下,不能获取例如停车线的准确形状的图像信息,那么会再次出现识别失败,从而导致识别速度降低。
考虑到上述问题,构思本发明。本发明的一个目的在于提供一种图像识别方法和装置,在仅依靠拾取的图像信息时,即使图像识别操作中的图像识别速度由于不能获取好的图像信息而降低,该图像识别装置也能够提高识别目标的图像识别速度。本发明的进一步目的在于提供一种使用这种图像识别方法和装置的定位装置、车辆控制装置以及导航装置。
解决问题的手段
为了实现上述目的,根据本发明的一个方案,提供一种图像识别装置,包括:图像信息获取部,用于输入在道路上获取的图像信息;成像位置获取部,用于获取所述图像信息的成像位置信息;地面物体信息存储部,用于存储包括地面物体的地面物体信息,所述地面物体信息包括位置信息;地面物体信息获取部,用于基于所述成像位置信息和所述地面物体信息中包括的位置信息,从所述地面物体信息存储部获取关于所述图像信息的成像区域内包括的一个或多个地面物体的地面物体信息;确定部,用于基于所述地面物体信息获取部获取的所述地面物体信息,确定所述图像信息的成像区域内是否包括待识别的多个识别目标地面物体;以及图像识别部,用于在所述确定部已经确定包括多个识别目标地面物体时,基于所述地面物体信息中包括的位置信息得到的一个识别目标地面物体与另一个识别目标地面物体之间的位置关系和基于所述另一个识别目标地面物体的图像识别结果,识别所述一个识别目标地面物体的图像。
利用上述特征,如果获取的图像信息内包括待识别的多个识别目标地面物体,则通过使用基于地面物体信息的所述一个识别目标地面物体与所述另一个识别目标地面物体之间的位置关系以及另一个识别目标地面物体的识别结果,对包括在其中的一个识别目标地面物体进行图像识别。因此,即使仅能够从一个识别目标地面物体的图像信息中获取少量特征,或者不能获取良好的图像信息,仍然可以提高一个识别目标地面物体的图像的识别速度,并避免错误识别。
在上述结构中,优选地,当该确定部已经确定了包括多个识别目标地面物体时,所述图像识别部对整个图像信息进行图像识别,将该图像识别结果与所述地面物体信息获取部获取的所述地面物体信息进行比较,然后,基于该图像信息的成像区域内包括的多个识别目标地面物体中每一个的识别的成功/失败,该图像识别部将未识别出的地面物体设定为所述一个识别目标地面物体,将识别出的地面物体设定为所述另一个识别目标地面物体。
利用上述装置,通过使用基于图像信息的所述一个识别地面物体信息与所述另一个识别目标地面物体之间的位置关系以及成功识别出的所述另一个识别目标地面物体的图像识别结果,对仅基于图像信息不能在图像识别操作中被成功识别出的一个识别目标地面物体进行图像识别。因此,对于仅基于图像信息本身难以进行图像识别的识别目标地面物体,也能够提高图像识别速度。
更优选地,所述地面物体信息包括将位置彼此相邻的地面物体相关联的关联信息;并且当关于所述一个识别目标地面物体的地面物体信息包括用于关联另一地面物体信息的关联信息时,所述图像识别部优先使用与关联的所述另一地面物体信息相对应的所述另一个识别目标地面物体的图像识别结果,对所述一个识别目标地面物体进行图像识别。通过包括这种作为地面物体信息的关联信息,将要在一个地面物体附近的图像信息的成像区域内成像的另一地面物体可以被预先设定或定义为与这一个地面物体相关联。并且,当图像识别部要对一个图像识别地面物体进行图像识别时,如果存在多个其它的识别目标地面物体,那么图像识别部优先利用相关联的另一个识别目标地面物体的图像识别结果,对所述一个识别目标地面物体进行图像识别。因此,能够可靠地利用适合于一个识别目标地面物体的图像识别的另一个识别目标地面物体的图像识别结果,对这一个识别目标地面物体进行图像识别。
更优选地,所述图像识别部包括区域推断部,所述区域推断部用于基于所述地面物体信息中包括的位置信息得到的所述一个识别目标地面物体与所述另一个识别目标地面物体之间的位置关系和基于所述另一个识别目标地面物体的图像识别结果,推断出所述一个识别目标地面物体出现在所述图像信息内的区域,并且所述图像识别部基于所述推断的结果执行所述一个识别目标地面物体的图像识别。
即,在获取的图像信息中包含多个识别目标地面物体的情况下,即使难以对一个识别目标地面物体进行图像识别,只要能够对另一个识别目标地面物体进行图像识别,就能够至少推断出图像信息内出现这一个识别目标地面物体的区域。基于所述地面物体信息中包括的位置信息得到的所述一个识别目标地面物体与所述另一个识别目标地面物体之间的位置关系和基于所述另一个识别目标地面物体的图像识别结果,进行推断。并且,通过基于推断结果而对一个识别目标地面物体进行图像识别,能够提高一个识别目标地面物体的图像的识别速度,避免错误识别。
在上述结构中,图像识别部可以配置为通过调整识别(认知)算法,使得用于确定是否为所述一个识别目标地面物体的确定阈值在已经推断出所述一个识别目标地面物体的图像要出现的区域内比在其它区域内低,执行所述一个识别目标地面物体的图像识别。
借助于此,即使仅能从一个识别目标地面物体的图像信息中获取少量的特征,或者不能获取好的图像信息,也仍然可以提高一个识别目标地面物体的图像的识别速度,并避免错误识别。
更优选地,所述地面物体信息包括地面物体的形状信息和色彩信息中的一个或两者都包括,并且所述图像识别部使用关于该地面物体的形状信息和色彩信息中的一种或两种信息,对识别目标地面物体进行图像识别。借助于此,能够以容易与获取的图像信息进行比较的方式获取地面物体信息。此外,基于获取的地面物体信息中包含的形状信息和色彩信息中的一种或两种信息,图像识别部能够执行图像识别。
更优选地,所述存储在所述地面物体信息存储部的所述地面物体信息包括:关于道路上设置的着色标记的地面物体信息;以及关于沿道路设置的三维物体的地面物体信息。
利用上述装置,可以对设置在道路表面上的二维着色标记与例如交通路标、交通信号等沿道路设置的三维地面物体的组合进行图像识别。因此,能够更进一步提高识别目标地面物体的图像的识别速度。
根据本发明的另一方案,提供一种定位装置,其包括,如上所述的图像识别装置,其中该定位装置基于识别目标地面物体的图像识别结果以及关于每一识别出的目标地面物体的地面物体信息中所包括的位置信息,确定比成像位置获取部获取的成像位置信息更详细的图像信息的成像位置。
利用如上所述的特征,基于能够以如上所述的高识别速度识别出识别目标地面物体的图像识别装置的识别结果,并且基于每一识别出的识别目标地面物体的地面物体信息中包括的位置信息,确定图像信息的成像位置。因此,能够以更高的准确度更具体地确定成像位置。
根绝本发明的又一方案,提供一种车辆控制装置,其包括如上所述的图像识别装置,其中该车辆控制装置基于识别目标地面物体的图像识别结果以及每一识别出的识别目标地面物体的地面物体信息中所包括的位置信息,确定比成像位置获取部获取的成像位置信息更详细的图像信息的成像位置,然后使用所述确定的成像位置作为车辆的当前位置,控制所述车辆的行驶。
利用如上所述的特征,基于能够以如上所述的高识别速度识别出识别目标地面物体的图像识别装置的识别结果,并基于每一识别出的识别目标地面物体的地面物体信息中所包含的位置信息,确定图像信息的成像位置。因此,可以以更高的准确度更具体地确定成像位置。并且,在对车辆进行行驶控制时,通过将确定的成像位置用作车辆的当前位置,可以为了保持行驶车道或者避免碰撞,而实施可靠的转向、加速或减速的行驶控制。
根据本发明的再一方案,提供一种导航装置,其包括如上所述的图像识别装置;地图信息存储部,存储有地图信息;自身位置显示部,用于显示从所述地图信息存储部获取的地图上的自身位置;以及自身位置校正部,用于基于识别目标地面物体的图像识别结果以及每一识别出的识别目标地面物体的地面物体信息中所包括的位置信息,确定比成像位置获取部获取的成像位置信息更详细的图像信息的成像位置,然后基于所述确定的成像位置,校正要在该自身位置显示部显示的自身位置。
利用上述特征,基于能够以如上所述的高识别速度识别出识别目标地面物体的图像识别装置的识别结果,并基于每一识别出的识别目标地面物体的地面物体信息中所包含的位置信息,确定图像信息的成像位置。因此,可以以更高的准确度更具体地确定成像位置。并且,基于具体确定的图像信息,校正自身位置。这使得例如显示的自身位置更具体。并且基于识别出的更具体的自身位置的信息,在适当的时间进行路径引导。
根据本发明的更进一步方案,提供一种图像识别方法,其包括:图像信息获取步骤,用于输入在道路上获取的图像信息;成像位置获取步骤,用于获取所述图像信息的成像位置信息;地面物体信息存储步骤,用于存储包括地面物体的地面物体信息,所述地面物体信息包括位置信息;地面物体信息获取步骤,用于基于所述成像位置信息和所述地面物体信息中所包括的位置信息,从所述地面物体信息存储步骤中获取关于图像信息的成像区域内所包括的一个或多个地面物体的地面物体信息;确定步骤,用于基于在所述地面物体信息获取步骤获取的所述地面物体信息,确定所述图像信息的成像区域内是否包括多个待识别的识别目标地面物体;以及图像识别步骤,用于在所述确定步骤已经确定了包括多个识别目标地面物体时,基于所述地面物体信息中包括的位置信息得到的一个识别目标地面物体与另一个识别目标地面物体之间的位置关系和基于所述另一个识别目标地面物体的图像识别结果,识别所述一个识别目标地面物体的图像。
利用上述特征,如果获取的图像信息内包括待识别的多个识别目标地面物体,那么对其中包括的一个目标地面物体的图像识别是通过利用基于地面物体信息的所述一个识别目标地面物体与所述另一个识别目标地面物体之间的位置关系以及另一个识别目标地面物体的图像识别结果而进行的。因此,即使仅能够从这一个识别目标地面物体的图像信息中获取少量特征,或者不能获取良好的图像信息,也可以提高一个识别目标地面物体的图像的识别速度,避免错误识别。
附图说明
图1为方框图,示出与本发明第一实施例相关的图像识别装置的示意性结构。
图2为示意图,示出将与上述实施例相关的图像识别装置设置在车辆的仪表板上的实例。
图3为说明图,示出根据上述实施例的图像识别装置中包含的地图数据库所存储的地图信息的内容。
图4为流程图,示出根据上述实施例的图像识别装置中执行的图像识别处理的整个流程。
图5为流程图,示出由根据上述实施例的图像识别装置的图像识别部执行的组合的图像识别处理的流程。
图6(a)示出由图像拾取装置获得的图像信息的实例;图6(b)示出在图6(a)示出的图像信息上执行处理操作之后的图像信息的实例。
图7示出由根据上述实施例的图像识别装置的地面物体信息获取部所获得的地面物体信息的实例。
图8为示意图,示出这样一个区域,其中停车线的图像被推断为将出现在由根据上述实施例的图像识别装置的区域推断部推断出的图像区域内。
图9为方框图,示出与本发明第二实施例相关的定位装置的示意性结构。
图10为方框图,示出与本发明第三实施例相关的导航装置的示意性结构。
具体实施方式
第一实施例
接下来,将参照附图说明本发明的第一实施例。
图1为方框图,示出与本实施例相关的图像识别装置的示意性结构。在本实施例中,如图2所示,本发明的图像识别装置设置在车辆M的仪表板上。
如图1所示,与本实施例相关的图像识别装置包括以下部件作为其基本部件:图像信息获取部3、成像定位部7、地图数据库8、地面物体信息获取部9、识别目标地面物体数目确定部15、以及图像识别部10。图像信息获取部3从设置在车辆M的仪表板上的图像拾取装置2获取或输入图像信息G(参见图6(a))。基于GPS(全球定位系统)接收器4、罗盘传感器5以及距离传感器6的输出,成像定位部7通过图像拾取装置2执行用于确定成像位置的操作。地图数据库8中存储有包括地面物体信息C的地图信息(参见图3)。地面信息获取部9从地图数据库8获取或输入关于包括在图像信息G的成像区域A(参见图6(a))内的一个或多个地面物体的地面物体信息C。基于获取的地面物体信息C,识别目标地面物体数目确定部15确定图像信息G的成像区域A内是否包括有要识别的多个识别目标地面物体。图像识别部10基于图像信息G执行图像识别。顺便提及,在本实施例的以下讨论中,术语“地面物体信息C”旨在一般地包括各种地面物体信息,例如下文将要描述的着色标记的地面物体信息Cp和三维物体的地面物体信息Cf。
对于构成该图像识别装置1的各种功能元件,即成像定位部7、地面物体信息获取部9、图像识别部10、识别目标地面物体数目确定部15等,以包括算术处理单元(例如CPU)作为其核心部件的硬件、和/或软件(程序)的形式,实现图像识别装置1的用于在输入数据上执行各种操作的功能单元。
图像拾取装置2包括:成像器,例如CCD传感器、CMOS传感器等;以及透镜组件,其构成用于将光线导向成像器的光学系统。如图2所示,以例如朝向车辆M前方的方向放置图像拾取装置2,从而拾取车辆M的行驶道路11的表面及其周围的图像。优选地,这种图像拾取装置2可以是传统的用于获取车辆M周围图像的车载摄像机(on-board camera)等。
图像信息获取部3包括:接口部12,用于连接图像拾取装置2;图像预处理部13,用于对图像拾取装置2的图像信息G执行各种预处理操作;以及图像存储器14,用于存储图像信息G。接口部12包括模拟/数字转换器等等。在操作中,接口部12以预定时间间隔输入图像拾取装置2获取的模拟图像信息G,将该信息转换为数字信号,以及将这些信号输出至图像预处理部13。接口部12输入图像信息G的输入时间间隔可以为例如大约10到50ms。由此,图像信息获取部3能够大体上连续地获取车辆M行驶的道路11的图像信息。在此图像信息G上,图像预处理部13执行有利于图像识别部10识别图像的各种预处理操作,例如二进制化操作、边缘检测操作等。并且,将执行这些预处理操作后的图像信息存储在图像存储器14中。
接口部12不仅将图像信息G直接输出至图像预处理部13,而且直接输出至图像存储器14。因此,图像存储器14既存储有经图像预处理部预处理操作之后的图像信息G2,又存储有未经处理的图像信息G1。
在此特定实施例中,成像定位部7连接至GPS接收器4、罗盘传感器5和距离传感器6。GPS接收器4为从GPS卫星接收信号并获取与GPS接收器4的当前位置(纬度和经度)、移动速度等相关的各种信息的装置。罗盘传感器5可以是地磁传感器(geomagnetic sensor)、陀螺传感器(gyro sensor),或者是旋光传感器(optical rotation sensor)或附接在方向盘旋转部分的旋转型电阻电位器(resistance volume),或者是设置在车轮上的角度传感器,该罗盘传感器检测车辆M的行驶方向。距离传感器6可以是用于检测车轮转数的车速传感器,也可以是偏航-G传感器(yaw-G传感器)与用于对检测到的加速度求两次积分的电路的组合,该距离传感器检测车辆M行驶的距离。并且,基于GPS接收器4、罗盘传感器5和距离传感器6的这些输出,成像定位部7执行用于确定或识别图像拾取装置2的当前位置的操作。顺便提及,GPS接收器4获取的位置信息通常包括5到10米的误差。因此,该成像定位部7计算的图像信息G的成像位置信息还包括一定量的误差。
成像定位部7还连接至图像信息获取部3的接口部12。在图像拾取装置2执行图像拾取操作时,该接口部12将信号输出至成像定位部7。因此,成像定位部7在从接口部12接收信号时,计算图像拾取装置2的位置或地点,并确定图像信息G的成像位置。将成像定位部7这样确定的图像信息G的成像位置输出到地面物体信息获取部9,作为以纬度和经度表示的成像位置信息。
因此,在本实施例中,GPS接收器4、罗盘传感器5、距离传感器6和成像定位部7一起构成这里的“成像位置获取部”。
地图数据库8是存储地图信息的数据库。图3为示意图,示出地图数据库8中存储的地图数据的示例性内容。如图所示,在本实施例中使用的地图数据库8存储有道路网层L1、路形层L2以及地面物体层L3作为地图信息。该地图数据库8包括能够存储信息的记录介质及其驱动机构(例如:硬盘驱动器、具有DVD-ROM的DVD驱动器、具有CD-ROM的CD驱动器等)作为硬件部分。
道路网层L1显示多条道路11之间的连接信息。具体地,连接信息包括:与包括地图上以纬度和经度表示的位置信息的多个节点N相关的信息;以及与将一对节点N相互连接以构成每条道路11的多个链接相关的信息。此外,每个链接L包括与道路11的类型(道路类型,例如:高速公路、收费公路、国道、地方公路等)相关的信息、与链接长度相关的信息等作为链接信息。
路形层L2为与道路网层L1关联存储的层,其表示道路11的路形。具体地,层L2包括:与排列在多对节点N之间(链接上)的多个路形补足点(complementing point)S相关、并且表明以纬度和经度表示的位置信息的信息;以及与每一路形补足点S处的道路宽度W相关的信息。
地面物体层L3为与道路网层L1和路形层L2关联存储的层,其表示与出现在道路11上和道路11周围的各种地面物体相关的信息C。该地面物体层L3中存储的地面物体信息C包括与地面物体相关的信息,其中所述地面物体可以是至少被图像识别装置1使用的识别目标地面物体。
具体地,地面物体层L3存储的地面物体信息C包括:与设置在道路11表面上的着色标记的地面物体相关的地面物体信息Cp、与各种沿道路11设置的三维地面物体(例如交通指示牌、交通信号)相关的信息Cf。着色标记包括:交通标记线(包括与例如实线、虚线、双线等标记线的类型相关的信息)、斑马线、停车线、行人交叉路、指定各个车道行驶方向的行驶线标记等。此外,虽然设置在道路11的表面上的人孔并非确切地是“着色标记”,但是这里的“着色标记”中也可以包括这些人孔。三维物体包括各种物体,例如各种交通指示牌、交通信号、以及其它沿道路11或在道路11周围设置的三维物体(例如护栏、建筑物、电线杆、广告牌等)。因此,以上例示的各种着色标记和三维物体对应于这里的“地面物体”。并且,在本实施例中,存储了每个地面物体的地面物体信息C的集合或组。
因此,在本实施例中,地图数据库8构成本发明中的“地面物体信息存储部”。
地面物体信息C的特定内容包括:位置信息、形状信息、色彩信息、以及关联信息。此外,每一地面物体信息C包括该地面物体信息C独有的ID代码。位置信息可以是以纬度和经度表示的信息。但是,在本实施例中,为了提供高准确度的信息,位置信息包括:基于本质上以纬度和经度表示的路形补足点S或节点N而以距离和方向表示的地图上的位置信息。除了如上所示的二维位置信息以外,位置信息还包括高度信息,其表示离道路11表面的高度。对于三维地面物体信息Cf的位置信息,这种高度信息尤为重要。也提供形状信息和色彩信息作为典型表示如上所示的每个地面物体的特别形状和色彩的信息。
关联信息是用于使关于出现在相邻区域的多个地面物体的地面物体信息C相关联。具体地,每个地面物体信息C的关联信息存储有例如ID代码的这种表示与出现在相邻区域的地面物体相关的地面物体信息C的信息。通过这种关联信息相互关联的多个地面物体的组合的一些特定实例为:停车线与停车指示牌的组合、行人交叉路与停车线和/或行人交叉路的预告牌(advance notice)的组合、交通信号与行人交叉路和/或相配对的另一交通信号的组合、斑马线与指示道路分叉的交通信号的组合、相邻车道的表示各个车道行驶方向的交通标记的组合等等。在这方面,多个地面物体的这种组合优选地包括设置在道路表面上的二维着色标记与三维物体(例如交通指示牌或交通信号)的组合。理由如下。即,在不能获取好的图像的情况下,着色标记和三维物体彼此不同。因此它们的图像识别结果可以互补,从而能够改善图像识别速度。在本实施例中,如下文详述的,在图像识别部10,基于此关联信息,选择使用另一个识别目标地面物体作为推断出现一个识别目标地面物体的图像的区域E(参见图8)的参考。因此,优选地,关联信息使在地面物体之间具有适合用作区域E的推断基础的关系的这些地面物体相关联。
地面物体信息获取部9与成像定位部7和地图数据库8相连接。在操作中,基于上述从成像定位部7输出的图像信息G的成像位置信息以及地面物体信息C中包括的位置信息,地面物体信息获取部9执行操作以获取关于图像信息G的成像区域A中包括的一个或多个地面物体的地面物体信息C。更具体地,基于图像拾取装置2在车辆M上的仪表板上的设置位置、成像方向、成像角度等等,预先确定某一成像位置处图像拾取装置2的成像区域A。因此,地面物体信息获取部9基于图像信息G的成像位置信息,计算与地图上的成像区域A相对应的区域B(参见图7),并且基于每一地面物体信息C包括的位置信息,从地面物体层L3中提取区域B内包括的所有地面物体信息C。
在上文中,图像信息G的成像位置信息如上所述包括具有一定量误差的值。因此,优选地,区域B的范围设定为超出区域A的范围,超出的值大于该误差。此外,如果例如图6(a)所示,成像区域A包括远离成像位置的地面物体,那么难以对这种远离的地面物体进行图像识别。因此,优选地,根本不提取关于出现在预定距离范围外的地面物体的地面物体信息C。
基于地面物体信息获取部9获取的地面物体信息C,识别目标地面物体数目确定部15执行操作以确定多个识别目标地面物体是否包括在图像信息G的成像区域A内。
在上文中,“识别目标地面物体”指的是这样的物体:其包括在地面物体信息C存储在地图数据库8的地面物体内,并设定为图像识别部10进行图像识别的目标。根据例如每一地面物体的类型,可以预先设定是否设定各地面物体为图像识别目标,并且将是否设定各地面物体为图像识别目标存储为地面信息C的内容。在这方面,优选地,根据图像识别装置1使用图像识别结果的具体方式,将需要图像识别的地面物体或者其图像识别有助于其它需要图像识别的地面物体的图像识别的地面物体设定为识别目标地面物体。无须说明,也可以将在地图数据库8中存储有其地面物体信息C的所有地面物体设定为识别目标地面物体。
在本实施例中,基本上,对所有这样的地面物体进行图像识别:其地面物体信息C存储在地图数据库8中作为识别目标地面物体。因此,在此实施例中,识别目标地面物体数目确定部15检测由地面物体信息获取部9获取的图像信息C的成像区域A内包括的地面物体的地面物体信息C的数目,如果发现该数目大于2(二),则确定有多个识别目标包括在成像区域A内。
因此,在此实施例中,识别目标地面物体数目确定部15构成这里的“确定部”。
图像识别部10对图像信息G中包括的每个识别目标物体执行图像识别操作。在此实施例中,图像识别部10经由图像信息获取部3的图像存储器14和识别目标地面物体数目确定部15连接至地面物体信息获取部9。并且,图像识别部10利用地面物体信息获取部9获取的地面物体信息,对图像存储器14存储的图像信息G执行识别操作。
更具体地,本实施例中使用的图像识别部10包括以下子部作为执行特定操作的处理单元:地面物体识别子部10a、地面物体信息转换子部10b、区域推断子部10c以及识别算法调整子部10d。地面物体识别子部10a对图像信息G中包括的识别目标地面物体执行图像识别操作。目标地面信息转换子部10b执行的操作是将地面物体信息获取部9获取的地面物体信息C转换为能够与图像信息G进行比较的状态。当要执行一个识别目标地面物体的图像识别时,基于另一个识别目标地面物体的图像识别结果,以及基于地面物体信息C包括的位置信息的一个识别目标物体与另一识别目标物体之间的位置关系,区域推断子部10c执行推断图像信息G内出现一个识别目标地面物体的区域E(参见图8)的操作。基于区域推断子部10c的推断结果,识别算法调整子部10d执行调整用于图像识别操作的识别算法的操作。
以下将参照流程图描述图像识别部10的各个处理单元所执行的图像识别处理。
接下来,将参照图4和图5示出的流程图,详细描述与本发明实施例相关的图像识别装置1所执行的图像识别处理的各个步骤。图4为示出图像识别装置1执行的整个处理流程的流程图。
如图4所示,图像识别装置1首先执行用于输入图像识取装置2所获取的图像信息G的操作(步骤#01)。具体地,执行此操作,以将例如包括车载摄像机的图像拾取装置2所获取的图像信息G经由接口部12传输至图像预处理部13和图像存储器14。此外,在此期间,在从图像拾取装置2输入图像信息G时,即在与图像拾取装置2执行成像(图像拾取)操作的基本相同的时间,接口部12将信号输出至成像定位部7。该信号用于向图像定位部7通知图像操作执行的时间。图6(a)示出图像拾取装置2获取图像信息G(不经过预处理操作的图像信息G1)的实例。此特定实例示出T型十字路口附近与直道相互交叉的道路上获取的图像。
在已经接收到图像信息G的输入后,图像预处理部13对图像信息G执行预处理操作(步骤#02)。这些预处理操作包括:二进制化操作、边缘检测操作等等,执行这些处理操作以便于图像识别部10进行图像识别。图6(b)示出对图6(a)所示原始图像信息G执行预处理操作之后的图像信息G的实例。在图6(b)所示实例的情况下,提取示出边缘检测操作后获得的成像物体的轮廓的图像。然后,在步骤#02执行预处理操作之后的图像信息G2和直接从接口部12传输的原始(未处理)的图像信息G1都存储在图像存储器14中(步骤#03)。
此外,在步骤#02和步骤#03操作的同时,成像定位部7执行用于确定图像信息G的成像位置的操作(步骤#04)。具体地,当信号表明从接口部12输入图像信息G的时间,这解释为图像拾取装置2执行成像操作的时间,并且成像定位部7基于GPS接收器4、罗盘传感器5和距离传感器6的输出,执行用于确定成像位置的计算。确定的成像位置作为以纬度和经度表示的成像位置信息被传输至地面目标信息获取部9。这里,如上所述,图像信息G的成像位置信息包括含有一定量误差的值。
接下来,基于成像定位部7输出的图像信息G的成像位置信息和地面物体信息C包括的位置信息,地面物体信息获取部9执行用于从地图数据库8存储的地图信息中获取关于图像信息G的成像区域内包括的地面物体的地面物体信息的操作(步骤#05)。在本实施例中,如图7所示,基于在步骤#04获取的图像信息G的成像位置信息,地面物体信息获取部9计算地图上基本上与成像区域A相对应的区域B。并且,基于每一地面物体信息C内包括的位置信息,地面物体信息获取部9从地面物体层L3提取并获取区域B内包括的所有地面物体信息C。在此期间,考虑到上述图像信息G的成像位置信息中含有的误差,将区域B的范围设置为超出成像区域A,超出的量为该误差的量。此外,由于难以对远距离地面物体进行图像识别,因此使区域B的范围与成像区域A的范围不一致,并将区域B的范围设定在离成像位置一预定距离的范围内。
图7示出包括在地面物体信息获取部9获取的图像信息G的成像区域A中、并根据包括在每一地面物体信息C内的位置信息而以二维布局示出在图6(a)中的地面物体的地面信息C。在图7所示实例的情况下,对于地面物体信息C,地面物体信息获取部9已经获取了停车交通指示牌的地面物体信息Cf1作为三维物体地面物体信息Cf,并且获取了停车线的地面物体信息Cp1、在右/左方向延伸的直道的中心线的地面物体信息Cp2、与直道交叉的道路的车道的中心线的地面物体信息Cp3、以及该道路的车道的外侧线的地面物体信息Cp4等所有这些信息作为着色标记上的地面物体信息Cp。应该理解的是,图7仅示出了实例。根据图像信息G的每一特殊成像位置,地面物体信息获取部9实际上获取各种地面物体信息C。
接下来,基于上述由地面物体信息获取部9获取的地面物体信息C,识别目标地面物体数目确定部15执行用于确定图像信息G的成像区域A内是否包括有多个识别目标地面物体的操作(步骤#06)。在此实施例中,具体地,识别目标地面物体数目确定部15检测关于地面物体信息获取部9获取的图像信息G的成像区域A内所包括的地面物体的地面物体信息C的数目。然后,如果检测到的数目超过2(二),则确定图像信息G的成像区域A内包括有多个识别目标地面物体(在步骤#06为是);而如果检测到的数目为1,则确定图像信息G的成像区域A内不包括多个识别目标地面物体(在步骤#06为否)。
并且,如果识别目标地面物体数目确定部15已经确定了图像信息G的成像区域A内包括有多个识别目标地面物体(在步骤#06为是),那么以将多个识别目标地面物体组合在一起来执行“组合的图像识别操作”(步骤#07)。在图7所示实例的情况下,由于地面物体信息获取部9已经获取了多个地面物体信息C,因此将执行这种组合的图像识别操作(步骤#08)。
另一方面,如果识别目标地面物体数目确定部15已经确定了图像信息G的成像区域A内不包括多个识别目标地面物体(在步骤#06为否),那么将执行“单个的图像识别操作”(步骤#08)。
图5为示出图像识别部10执行组合的图像识别处理的流程的流程图。在这种组合的图像识别操作中,图像识别部10基于一个识别目标地面物体与另一个识别目标地面物体之间的位置关系(基于地面物体信息C包括的位置信息)以及对所述另一个识别目标地面物体的图像识别结果,对所述一个识别目标地面物体进行图像识别。接下来,将特别说明该过程。
如图5所示,在该过程中,首先,地面物体识别子部10a对步骤#02获取的整个经预处理后的图像信息G执行图像识别操作(步骤#71)。在此,更具体地,如图6(b)所示,地面物体识别子部10a对经过预处理操作(例如边缘检测操作)的整个图像信息进行图案匹配,从而识别每一识别目标地面物体的图像。在这种情况下,在图案匹配中,使用例如预定义与每一识别目标地面物体的形状、色彩(亮度)相关的特征数据的模板,从而提取与这些特征数据具有高匹配度的图像,然后,将该提取到的图像识别为每一识别目标地面物体的图像。利用此图像识别处理,可以识别图像在相对好的条件下获取的识别目标地面物体的图像,或者识别特征即使仅从图像信息G也是清楚可识别的识别目标地面物体(例如行人交叉路、交通指示牌等)的图像。在图6(b)示出的实例中,利用步骤#71的图像识别操作,可以识别停车交通指示牌的图像Gf1。由于停车指示牌图像Gf1具有不同的形状(包括其着色图案)和色彩(亮度),因此能够相对容易地识别该图像。
另一方面,对于停车线的图像Gp1、在右/左方向延伸的直道的中心线的图像Gp2、与直道交叉的道路的车道中心线的图像Gp3、以及该道路的车道外侧线的图像Gp4,仅从这些图像的图像信息G2中识别这些图像是困难的。这是因为虽然能够识别这些图像的形状和色彩(亮度),但仅基于这些图像识别的结果,仍然难以确定哪个物体是识别目标地面物体。更具体而言,例如对于停车线的图像Gp1,其可以被识别为右/左方向上的纵向直线的图像。但是,仅基于其图像信息G2,难以确定其确实是停车线、或沿右/左方向延伸的直道的中心线或外侧线。
接下来,该处理执行用于将步骤#71执行的图像识别操作的结果与步骤#05获取的地面物体信息C进行比较的操作。更具体地,将步骤#71执行的图像识别操作所成功识别的每一识别目标地面物体与步骤#05获取的关于图像信息G的成像区域A内包括的识别目标地面物体的地面物体信息C进行比较。并且,该处理确定步骤#71的图像识别操作是否已经成功地识别了与每一地面物体信息C相对应的识别目标地面物体的图像。
在本实施例中,对于上述确定步骤#71的图像识别结果是否与地面目标信息C一致,地面目标信息转换子部10b将关于步骤#05获取的图像信息的成像区域A内包括的识别目标地面物体的每一地面物体信息C转换为能够容易地与步骤#71的图像信息G的图像识别结果进行比较的信息形式。具体地,对于步骤#05获取的每一地面物体信息C,基于从成像定位部7输出的图像信息G的成像位置信息以及每一地面物体信息C内包括的位置信息,地面物体信息转换子部10b计算与图像信息G2内的每一识别目标地面物体的位置相对应的“图像中位置(intra-image position)”。然后,地面物体信息转换子部10b执行布局转换操作,以基于计算得到的图像中位置对每一地面物体信息C进行布局。在此,如上所述,图像信息G的成像位置信息包括带有一定误差的值。因此,基于每一地面物体信息C的内容和每一地面物体信息C的位置关系而进行上述比较。
作为步骤#72执行的上述比较的结果,如果发现在步骤#71的图像识别操作中成功识别出了与步骤#05获取的整个地面物体信息C相对应的识别目标地面物体的图像(在步骤#73为否),则完成了组合的图像识别处理(步骤#07)。
另一方面,作为步骤#72执行的上述比较的结果,如果发现存在其图像没有在步骤#71的图像识别操作中成功识别出的识别目标地面物体(以下称为“未识别出的地面物体”)(在步骤#73为是),那么,区域推断子部10c执行用于推断存在该未识别出的地面物体的区域E(参见图8)的操作。具体地,基于在步骤#71的图像识别处理中成功识别出的识别目标地面物体(以下称为“识别出的地面物体”)的图像识别结果以及该未识别出的地面物体与一个或多个识别出的地面物体之间的位置关系(基于地面物体信息C包括的位置信息),推断存在该未识别出的地面物体的区域E。
在本实施例中,一个或多个未识别出的地面物体的每一个对应于这里定义的“一个识别目标地面物体”,一个或更多其它识别出的地面物体对应于这里定义的“另一个识别目标地面物体”。
在图6(a)所示实例的情况下,如上所述,停车指示牌(Gf1)为识别出的地面物体,而停车线(Gp1)、沿右/左方向延伸的直道的中心线(Gp2)、与直道交叉道路的车道的中心线(Gp3)、以及外侧线(Gp4)为未识别出的地面物体。然后,当例如要推断存在停车线图像Gp1的区域时,基于作为识别出的地面物体的停车指示牌图像Gf1的识别结果以及停车线与停车指示牌之间的位置关系(基于关于停车线和停车指示牌的各个地面物体信息C包括的位置信息),执行这种推断。即,如果基于停车线的地面目标信息Cp1的位置信息和停车指示牌的地面目标信息Cf1的位置信息执行推断,那么参考图像信息C内停车指示牌的图像Gf1的位置,地面物体信息获取子部10b可以计算并获取停车线的图像Gp1的基本上准确的位置。并且,由于出现在成像位置信息中的误差而造成图像信息G中的偏离可以通过使用在步骤#71执行的图像识别处理中成功识别出的图像信息中的停车指示牌图像Gf1的位置作为参考来解决。因此,如图8所示,能够以高准确度推断出在图像信息G内存在停车线图像Gp1的区域E。
在上文中,如果存在步骤#71的图像识别处理中成功识别出的多个识别出的地面物体,那么区域推断子部10c搜索关于未识别出的地面物体的地面物体信息C是否包括用于与另一识别出的地面物体的地面物体信息C相关联的关联信息。并且,如果发现地面物体信息C包括这种用于与另一识别出的地面物体的地面物体信息相关联的关联信息,优选地,将与相关联的另一地面物体信息C相对应的识别出的地面物体的图像识别结果优先用于对未识别出的地面物体进行图像识别。
如上所述,在图6(b)所示的实例中,停车指示牌(Gf1)为单个的识别出的地面物体。因此,在确定将哪个识别出的地面目标图像用作推断存在停车线图像Gp1的区域时的参考时不会出现问题。但是,通常认为,存在多个识别出的地面物体的可能性较高。在这种情况下,通过将在关联信息中预先定义为适用于推断存在例如停车线图像Gp1的区域E的地面物体的一个或多个地面物体的图像作为参考,可以以更高的准确度推断存在停车线图像Gp1的区域E。
顺便提及,如果存在通过关联信息而关联的多个识别出的地面物体,那么可以使用所有这些图像作为参考。但是,也可以使用它们中的一个期望图像作为参考。
然后,在区域推断子部10c已经推断出存在未识别出的地面物体的区域E时,识别算法调整子部10c调整识别算法,从而将已经推断为出现未识别出的地面物体的区域E内用于确定是否为未识别出的地面物体的确定阈值设定为低于其它区域内的确定阈值(步骤#75)。并且,地面物体识别子部10a执行未识别出的地面物体图像的识别(步骤#76)。例如,如果要对需要进行图像识别的未识别出的地面物体执行图像信息G内的图像识别,那么基于与该未识别出的地面物体的预定特征数据的匹配度,可以以如下方式调整识别算法。即,可以调整识别算法,从而将用于在区域E内确定为未识别出的地面物体的与特征数据相匹配的匹配度的阈值,设定为比在其它区域内进行确定的阈值低。借助于此,即使在图像信息G内包括多个具有与未识别出的地面物体相似的特征的图像“候选对象”时,也能进行准确的识别。
在图6(b)所示实例的情况下,作为停车线的这种图像候选对象,存在图像Gp1和图像Gp2,它们都在成像位置的前方沿右/左方向延伸。但是,基于步骤#74推断出的存在停车线的区域E(参见图8),识别算法调整子部10d可以调整识别算法,从而将区域E内用于确定是否为停车线的阈值设定为低于其它区域内的阈值。借助于此,地面物体识别子部10a能够识别出图像Gp1为停车线图像。
顺便提及,作为调整识别算法调整子部10d的识别算法的方法,除了上述将推断出未识别出的地面物体出现的区域E的确定阈值设定为低于其它区域的确定阈值的方法外,其它的方法也可以,例如将其它区域的确定阈值设定为高于区域E的阈值的方法,将区域E的阈值设定为低于其它区域的阈值并同时将其它区域的阈值设定为较高的方法。以这些方式,调整识别算法的特定方法可以是适合于识别未识别出的地面物体的方法的任意方法。
以预定时间间隔重复执行步骤#01至#08的一系列上述步骤。借助于此,可以在车辆M行驶的同时执行实时的图像识别。
第二实施例
接下来,将说明本发明的第二实施例。
图9为方框图,示出了与本实施例相关的定位装置19的示意性结构。如图所示,除了与上述第一实施例相关的图像识别装置1的结构,与本实施例相关的定位装置还包括具体定位部16,用于更具体地确定图像信息G的成像位置。
基于上述图像识别装置1对成像目标地面物体的图像识别结果以及关于每一识别出的识别目标地面物体的地面物体信息C所包括的位置信息,具体定位部16执行操作以确定比成像定位部7获取的包括一定误差的成像位置信息更具体的图像信息G的成像位置。
以包括算术处理单元(例如CPU)作为其核心部件的硬件和/或软件(程序)的形式实现该具体定位部16。
接着,将描述该具体定位部16执行的计算操作的内容。如上所述,在图像识别部10完成了对图像信息G中包括的识别目标地面物体的图像识别后,具体定位部16执行用于计算并获取图像信息G内的每一识别出图像的识别目标地面物体与成像位置之间位置关系的操作。基于图像信息G内的每一识别目标地面物体图像的布局以及图像拾取装置2相对于车辆M的设置位置和/或设置角度,可以计算出每一识别目标地面物体与成像位置之间的位置关系。
接着,具体定位部16从地图数据库8获取关于每一个被图像识别部10识别出图像的识别目标地面物体的地面目标信息C。由此得到关于图像信息G内的每一识别目标地面物体的地面物体信息C包括的位置信息。地面物体信息C包括的位置信息为表示地图上正确位置的信息。
并且,基于因此获取的图像信息G内的每一识别出图像的识别目标地面物体与关于每一识别目标地面物体的地面物体信息C内包括的位置信息的位置关系,具体定位部16执行用于以高准确度确定地图上图像信息G的位置的计算,并输出所确定的位置作为具体的成像位置信息。
此外,利用与本实施例相关的定位装置19,当该定位装置19如同上述第一实施例一样设置在车辆M的仪表板上时,从具体定位部16输出的具体的成像位置信息变为车辆M的具体位置信息。因此,虽然未示出,但是通过采用将该具体的成像位置信息输入至用于控制车辆M行驶的控制器这样的构造,本发明可以应用在基于具体的车辆位置信息控制车辆M行驶的车辆控制装置中。
因此,为了实现例如保持行车道、避免碰撞或其它事故的目的,例如基于从具体定位部16输出的具体的成像位置信息、车辆M周围的路形、以及存储在地图数据库8的地图信息中所包括的各种地面物体信息C,能够有效地实现车辆M的行驶控制操作(例如转向、加速/减速操作)。
第三实施例
接着,将描述本发明的第三实施例。图10为方框图,示出了与本实施例相关的导航装置20。如图所述,除了与上述第二实施例相关的定位装置19的结构之外,与本实施例相关的导航装置20还包括导航算术处理单元17和显示部18。在本实施例中,地图数据库8对应于这里定义的“地图信息存储部”,导航算术处理单元17和显示部18对应于这里定义的“自身位置显示部”。
与本实施例相关的该导航装置20构造为将从具体定位部16输出的具体成像位置信息输入至成像定位部7。并且,基于具体的成像位置信息,成像定位部7执行操作以校正通过GPS接收器4、罗盘传感器5、距离传感器6等获取的成像位置信息。然后,将校正后的成像位置信息传输至导航算术处理单元17。
因此,在本实施例中,该成像定位部7构成了这里的“自身位置校正部”。
基于从成像定位部7传输的校正后的成像位置信息并使用该信息作为车辆M的位置信息,导航算术处理单元17从地图数据库8获取该位置附近的地图信息。并且,在获取的地图上,以重叠的方式示出显示车辆自身位置的图形,并且显示部18一起示出车辆的自身位置以及车辆附近区域的地图。
此外,利用这种具体确定的车辆自身位置,导航装置20可以基于这样具体识别出的自身位置信息,以例如一个行车道为单元来提供自身位置的详细显示,或者在最佳时间提供路径引导。
其它实施例
(1)在上述实施例中,地面物体信息C既包括地面物体的形状信息也包括地面物体的色彩信息。根据另一实施例,地面物体信息C仅包括地面物体的这些形状信息和色彩信息中的一种信息。在此情况下,图像识别部10仅利用地面物体信息C中包括的形状信息和色彩信息中的一种信息对识别目标地面物体进行图像识别。
(2)在如上所述的第一至第三实施例中,图像识别装置1、定位装置19或导航装置20设置在车辆M的仪表板上。但是,这些装置(即,图像识别装置1、定位装置19或导航装置20)并不限于应用在车辆M的仪表板上。即,如果图像拾取装置2在道路上移动,可以有利地使用与本发明相关的图像识别装置1等。此外,本发明的这些装置也可以用作对道路上获取的静止图像进行图像识别的装置。
此外,不需要将本发明的图像识别装置等的整个构造设置在车辆M上。即,该构造可以被安装在车辆M外,不包括图像拾取装置2的那部分经由例如互联网的通讯网络连接,通过这种网络发送或接收信息或信号来构造或实现该图像识别装置1。在此情况下,可以通过设置在车辆外的服务器执行例如图像识别部10的功能。
工业应用
使用与本发明相关的装置或方法的图像识别装置、图像识别方法、定位装置、车辆控制装置、以及导航装置,在例如将装置设置在车辆的仪表板上时,可以适当并有利地应用于对通过在道路上移动的图像拾取装置获取的图像信息执行图像识别。

Claims (11)

1.一种图像识别装置,包括:
图像信息获取部,用于输入在道路上获取的图像信息;
成像位置获取部,用于获取所述图像信息的成像位置信息;
地面物体信息存储部,用于存储地面物体的地面物体信息,所述地面物体信息包括位置信息;
地面物体信息获取部,用于基于所述成像位置信息和所述地面物体信息中包括的位置信息,从所述地面物体信息存储部获取关于所述图像信息的成像区域内包括的一个或多个地面物体的地面物体信息;
确定部,用于基于所述地面物体信息获取部获取的所述地面物体信息,确定所述图像信息的成像区域内是否包括待识别的多个识别目标地面物体;以及
图像识别部,用于在所述确定部已经确定包括多个识别目标地面物体时,基于所述地面物体信息中包括的位置信息得到的一个识别目标地面物体与另一个识别目标地面物体之间的位置关系和基于所述另一个识别目标地面物体的图像识别结果,识别所述一个识别目标地面物体的图像。
2.如权利要求1所述的图像识别装置,其中,当所述确定部已经确定包括多个识别目标地面物体时,所述图像识别部对整个图像信息执行图像识别,将所述图像识别的结果与所述地面物体信息获取部获取的所述地面物体信息进行比较,然后,基于所述图像信息的成像区域内包括的多个识别目标地面物体中每一个的识别的成功/失败,所述图像识别部将未识别出的地面物体设定为所述一个识别目标地面物体,将识别出的地面物体设定为所述另一个识别目标地面物体。
3.如权利要求1所述的图像识别装置,其中,所述地面物体信息包括用于将位置彼此相邻的地面物体相关联的关联信息;以及
当关于所述一个识别目标地面物体的地面物体信息包括用于关联另一地面物体信息的关联信息时,所述图像识别部优先使用与相关联的所述另一地面物体信息相对应的所述另一个识别目标地面物体的图像识别结果,执行所述一个识别目标地面物体的图像识别。
4.如权利要求1所述的图像识别装置,其中,所述图像识别部包括区域推断部,所述区域推断部用于基于所述地面物体信息中包括的位置信息得到的所述一个识别目标地面物体与所述另一个识别目标地面物体之间的位置关系和基于所述另一个识别目标地面物体的图像识别结果,推断出所述一个识别目标地面物体出现在所述图像信息内的区域,并且所述图像识别部基于所述推断的结果执行所述一个识别目标地面物体的图像识别。
5.如权利要求4所述的图像识别装置,其中,所述图像识别部配置为通过调整识别算法,使得用于确定是否为所述一个识别目标地面物体的确定阈值在已经推断出所述一个识别目标地面物体的图像要出现的区域内比在其它区域内低,执行所述一个识别目标地面物体的图像识别。
6.如权利要求1所述的图像识别装置,其中,所述地面物体信息包括关于所述地面物体的形状信息和色彩信息中的一种或两种信息,并且所述图像识别部使用关于所述地面物体的形状信息和色彩信息中的一种或两种信息,执行所述一个识别目标地面物体的图像识别。
7.如权利要求1所述的图像识别装置,其中,存储在所述地面物体信息存储部的所述地面物体信息包括:关于道路上设置的着色标记的地面物体信息;以及关于沿道路设置的三维物体的地面物体信息。
8.一种定位装置,包括如权利要求1至7中任一项所述的图像识别装置,其中,所述定位装置基于识别目标地面物体的图像识别结果以及关于每一识别出的识别目标地面物体的地面物体信息中所包括的位置信息,确定比成像位置获取部获取的成像位置信息更详细的图像信息的成像位置。
9.一种车辆控制装置,包括:如权利要求1至7中任一项所述的图像识别装置,其中,所述车辆控制装置基于识别目标地面物体的图像识别结果以及关于每一识别出的识别目标地面物体的地面物体信息中所包括的位置信息,确定比成像位置获取部获取的成像位置信息更详细的图像信息的成像位置,然后使用所确定的成像位置作为车辆的当前位置,控制所述车辆的行驶。
10.一种导航装置,包括:如权利要求1至7中任一项所述的图像识别装置;地图信息存储部,用于存储地图信息;自身位置显示部,用于显示从所述地图信息存储部获取的地图上的自身位置;以及自身位置校正部,用于基于识别目标地面物体的图像识别结果以及关于每一识别出的识别目标地面物体的地面物体信息中所包括的位置信息,确定比成像位置获取部获取的成像位置信息更详细的图像信息的成像位置,然后基于所确定的成像位置,校正要在所述自身位置显示部显示的自身位置。
11.一种图像识别方法,包括:
图像信息获取步骤,用于输入在道路上获取的图像信息;
成像位置获取步骤,用于获取所述图像信息的成像位置信息;
地面物体信息存储步骤,用于存储地面物体的地面物体信息,所述地面物体信息包括位置信息;
地面物体信息获取步骤,用于基于所述成像位置信息和所述地面物体信息中所包括的位置信息,从所述地面物体信息存储步骤中获取关于图像信息的成像区域内所包括的一个或多个地面物体的地面物体信息;
确定步骤,用于基于在所述地面物体信息获取步骤获取的所述地面物体信息,确定所述图像信息的成像区域内是否包括多个待识别的识别目标地面物体;以及
图像识别步骤,用于在所述确定步骤已经确定包括多个识别目标地面物体时,基于所述地面物体信息中包括的位置信息得到的一个识别目标地面物体与另一个识别目标地面物体之间的位置关系和基于所述另个识别目标地面物体的图像识别结果,识别所述一个识别目标地面物体的图像。
CN2006800013946A 2005-01-28 2006-01-25 图像识别装置和方法以及使用该图像识别装置或方法的定位装置、车辆控制装置和导航装置 Active CN101091103B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2005021339A JP4557288B2 (ja) 2005-01-28 2005-01-28 画像認識装置及び画像認識方法、並びにそれを用いた位置特定装置、車両制御装置及びナビゲーション装置
JP21339/2005 2005-01-28
PCT/JP2006/301611 WO2006080547A1 (en) 2005-01-28 2006-01-25 Image recognizing apparatus and method, and position determining apparatus, vehicle controlling apparatus and navigation apparatus using the image recognizing apparatus or method

Publications (2)

Publication Number Publication Date
CN101091103A true CN101091103A (zh) 2007-12-19
CN101091103B CN101091103B (zh) 2010-09-15

Family

ID=36408027

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2006800013946A Active CN101091103B (zh) 2005-01-28 2006-01-25 图像识别装置和方法以及使用该图像识别装置或方法的定位装置、车辆控制装置和导航装置

Country Status (7)

Country Link
US (1) US8085984B2 (zh)
EP (1) EP1842029B1 (zh)
JP (1) JP4557288B2 (zh)
KR (1) KR101241651B1 (zh)
CN (1) CN101091103B (zh)
DE (1) DE602006006796D1 (zh)
WO (1) WO2006080547A1 (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102208013A (zh) * 2010-03-31 2011-10-05 爱信艾达株式会社 风景匹配参考数据生成系统和位置测量系统
CN102893129A (zh) * 2010-05-17 2013-01-23 株式会社Ntt都科摩 终端位置确定系统、移动终端以及终端位置确定方法
CN104361323A (zh) * 2014-11-06 2015-02-18 同方威视技术股份有限公司 通道中的集装箱号码识别方法和系统
CN106462750A (zh) * 2014-07-02 2017-02-22 大陆汽车有限公司 用于确定并且提供用来对车辆进行定位的地面标志的方法
CN106575352A (zh) * 2014-05-12 2017-04-19 罗伯特·博世有限公司 图像识别装置以及其控制方法
CN108225344A (zh) * 2016-12-22 2018-06-29 沈阳美行科技有限公司 一种地图系统、生成和使用方法及其应用
CN109425343A (zh) * 2017-09-05 2019-03-05 丰田自动车株式会社 本车位置推断装置
CN111284325A (zh) * 2018-12-10 2020-06-16 上海博泰悦臻电子设备制造有限公司 车辆、车机设备及其车辆沿途对象详尽信息显示方法
CN114333414A (zh) * 2020-09-29 2022-04-12 丰田自动车株式会社 停车让行检测装置、停车让行检测系统以及记录介质

Families Citing this family (53)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4935145B2 (ja) * 2006-03-29 2012-05-23 株式会社デンソー カーナビゲーション装置
JP4724043B2 (ja) * 2006-05-17 2011-07-13 トヨタ自動車株式会社 対象物認識装置
KR101136684B1 (ko) 2006-06-09 2012-04-23 도요타지도샤가부시키가이샤 데이터 갱신 시스템, 네비게이션 장치, 서버 장치, 및 데이터 갱신 방법
EP1906339B1 (en) 2006-09-01 2016-01-13 Harman Becker Automotive Systems GmbH Method for recognizing an object in an image and image recognition device
JP4677981B2 (ja) * 2006-12-20 2011-04-27 アイシン・エィ・ダブリュ株式会社 自車位置特定方法及び自車位置特定装置
JP4437556B2 (ja) 2007-03-30 2010-03-24 アイシン・エィ・ダブリュ株式会社 地物情報収集装置及び地物情報収集方法
JP4446201B2 (ja) 2007-03-30 2010-04-07 アイシン・エィ・ダブリュ株式会社 画像認識装置及び画像認識方法
US8155826B2 (en) * 2007-03-30 2012-04-10 Aisin Aw Co., Ltd. Vehicle behavior learning apparatuses, methods, and programs
JP4569837B2 (ja) * 2007-03-30 2010-10-27 アイシン・エィ・ダブリュ株式会社 地物情報収集装置及び地物情報収集方法
JP4703605B2 (ja) * 2007-05-31 2011-06-15 アイシン・エィ・ダブリュ株式会社 地物抽出方法、並びにそれを用いた画像認識方法及び地物データベース作成方法
JP4915739B2 (ja) * 2007-05-31 2012-04-11 アイシン・エィ・ダブリュ株式会社 運転支援装置
JP4501983B2 (ja) 2007-09-28 2010-07-14 アイシン・エィ・ダブリュ株式会社 駐車支援システム、駐車支援方法、駐車支援プログラム
KR101407508B1 (ko) * 2007-12-21 2014-06-17 재단법인 포항산업과학연구원 지면 형상 인식 알고리즘을 이용한 이동로봇의 이동경로추출 시스템 및 방법
JP4831434B2 (ja) 2007-12-27 2011-12-07 アイシン・エィ・ダブリュ株式会社 地物情報収集装置及び地物情報収集プログラム、並びに自車位置認識装置及びナビゲーション装置
US8871752B2 (en) * 2008-02-19 2014-10-28 Sucampo Ag Method for modulating stem cell growth
JP4902575B2 (ja) * 2008-02-27 2012-03-21 日立オートモティブシステムズ株式会社 道路標示認識装置、および道路標示認識方法
EP2309257A1 (en) * 2008-03-27 2011-04-13 Analogic Corporation Method of and system for three-dimensional workstation for security and medical applications
JP5259286B2 (ja) * 2008-07-16 2013-08-07 株式会社日立製作所 3次元物体認識システム及びそれを用いた棚卸システム
US8935055B2 (en) * 2009-01-23 2015-01-13 Robert Bosch Gmbh Method and apparatus for vehicle with adaptive lighting system
EP2214122B1 (en) * 2009-02-03 2013-07-17 Harman Becker Automotive Systems GmbH Methods and devices for assisting a vehicle driver
JP5544595B2 (ja) * 2009-03-18 2014-07-09 株式会社ジオ技術研究所 地図画像処理装置、地図画像処理方法、および、コンピュータプログラム
US8473187B2 (en) * 2009-06-01 2013-06-25 Robert Bosch Gmbh Method and apparatus for combining three-dimensional position and two-dimensional intensity mapping for localization
JP5168601B2 (ja) * 2010-03-31 2013-03-21 アイシン・エィ・ダブリュ株式会社 自車位置認識システム
JP5062497B2 (ja) 2010-03-31 2012-10-31 アイシン・エィ・ダブリュ株式会社 風景画像認識を用いた自車位置検出システム
JP5062498B2 (ja) * 2010-03-31 2012-10-31 アイシン・エィ・ダブリュ株式会社 風景マッチング用参照データ生成システム及び位置測位システム
EP2378465A1 (en) * 2010-04-13 2011-10-19 Autoliv Development AB Driver assisting system and method for a motor vehicle
TW201221911A (en) * 2010-11-25 2012-06-01 Inst Information Industry Mobile position apparatus, server, and mobile position method thereof
CN102480682A (zh) * 2010-11-26 2012-05-30 财团法人资讯工业策进会 移动定位装置、服务器及其移动定位方法
JP5505729B2 (ja) * 2011-01-27 2014-05-28 アイシン・エィ・ダブリュ株式会社 案内装置、案内方法、および、案内プログラム
DE102011082379A1 (de) * 2011-09-08 2013-03-14 Robert Bosch Gmbh Verfahren zum Erfassen von Navigationsdaten
CN102436754B (zh) * 2011-09-19 2015-10-28 深圳市警豹电子科技有限公司 汽车导航设备的信息更新方法
JP5786603B2 (ja) * 2011-09-28 2015-09-30 アイシン・エィ・ダブリュ株式会社 移動体位置検出システム、移動体位置検出装置、移動体位置検出方法及びコンピュータプログラム
CN103067856A (zh) * 2011-10-24 2013-04-24 康佳集团股份有限公司 基于图像识别的地理位置定位方法及系统
KR101942288B1 (ko) * 2012-04-23 2019-01-25 한국전자통신연구원 위치 보정 장치 및 방법
JP5962442B2 (ja) * 2012-11-02 2016-08-03 アイシン・エィ・ダブリュ株式会社 標識認識システム、標識認識方法、及び標識認識プログラム
CN103077624B (zh) * 2012-12-28 2015-07-29 天津爱迪尔软件开发有限公司 一种基于gps的即时导航路况系统及导航方法
KR101490466B1 (ko) * 2013-09-10 2015-02-05 이엔지정보기술 주식회사 영상 내 도로표지 검출 및 도로표지 지주 인식 시스템, 그 방법
US9081383B1 (en) * 2014-01-22 2015-07-14 Google Inc. Enhancing basic roadway-intersection models using high intensity image data
KR102233391B1 (ko) * 2014-06-16 2021-03-29 팅크웨어(주) 전자 장치, 전자 장치의 제어 방법 및 컴퓨터 판독 가능한 기록 매체
CN104183122B (zh) * 2014-08-25 2017-07-14 宇龙计算机通信科技(深圳)有限公司 一种基于移动终端的路况分享方法、装置及移动终端
CN104217591B (zh) * 2014-08-29 2017-03-15 哈尔滨工业大学深圳研究生院 动态路况检测方法及系统
CN105571583B (zh) * 2014-10-16 2020-02-21 华为技术有限公司 一种用户位置定位方法以及服务器
JP6791645B2 (ja) * 2016-03-29 2020-11-25 本田技研工業株式会社 光通信装置、光通信システム、および光通信方法
DE102016208621A1 (de) * 2016-05-19 2017-11-23 Continental Automotive Gmbh Verfahren zur Verifizierung von Inhalt und Aufstellort von Verkehrszeichen
CN105953801A (zh) * 2016-07-18 2016-09-21 乐视控股(北京)有限公司 室内导航方法及装置
JP6822815B2 (ja) * 2016-10-17 2021-01-27 トヨタ自動車株式会社 道路標示認識装置
JP6909022B2 (ja) * 2017-03-13 2021-07-28 テックファーム株式会社 プログラム、情報端末、情報表示方法及び情報表示システム
JP6859927B2 (ja) * 2017-11-06 2021-04-14 トヨタ自動車株式会社 自車位置推定装置
DE102018214694A1 (de) * 2018-08-30 2020-03-05 Continental Automotive Gmbh Lokalisierungsvorrichtung zur visuellen Lokalisierung eines Fahrzeugs
JP7234718B2 (ja) * 2019-03-18 2023-03-08 富士フイルムビジネスイノベーション株式会社 情報処理装置、情報処理システム及びプログラム
JP7378893B2 (ja) * 2019-10-29 2023-11-14 三菱電機株式会社 地図生成装置、地図生成方法及び地図生成プログラム
JP2022126341A (ja) * 2021-02-18 2022-08-30 本田技研工業株式会社 車両制御装置、車両制御方法、およびプログラム
DE102021107904A1 (de) * 2021-03-29 2022-09-29 Conti Temic Microelectronic Gmbh Verfahren und System zur Bestimmung der Bodenebene mit einem künstlichen neuronalen Netz

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3564547B2 (ja) * 1995-04-17 2004-09-15 本田技研工業株式会社 自動走行誘導装置
DE19842176A1 (de) * 1998-09-15 2000-03-16 Bosch Gmbh Robert Verfahren und Vorrichtung zur Verkehrszeichenerkennung und Navigation
JP3304905B2 (ja) * 1999-01-08 2002-07-22 住友電気工業株式会社 対象物の追従認識装置
DE10012471A1 (de) 2000-03-15 2001-09-20 Bosch Gmbh Robert Navigationssystem
JP3835175B2 (ja) * 2001-01-31 2006-10-18 株式会社デンソー 移動体通信装置の狭域通信方法
JP2002243469A (ja) * 2001-02-19 2002-08-28 Alpine Electronics Inc ナビゲーション装置および地図データベース更新システム
JP4541609B2 (ja) 2001-09-06 2010-09-08 富士重工業株式会社 停止線認識装置、及び、その停止線認識装置を用いた車両用運転支援装置
JP3876972B2 (ja) * 2001-10-12 2007-02-07 株式会社デンソー 案内画像生成装置、案内画像表示装置、ナビゲーション装置、及びプログラム
JP3958133B2 (ja) * 2002-07-12 2007-08-15 アルパイン株式会社 車両位置測定装置および方法
US6956503B2 (en) * 2002-09-13 2005-10-18 Canon Kabushiki Kaisha Image display apparatus, image display method, measurement apparatus, measurement method, information processing method, information processing apparatus, and identification method

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102208013B (zh) * 2010-03-31 2016-02-24 爱信艾达株式会社 风景匹配参考数据生成系统和位置测量系统
CN102208013A (zh) * 2010-03-31 2011-10-05 爱信艾达株式会社 风景匹配参考数据生成系统和位置测量系统
CN102893129A (zh) * 2010-05-17 2013-01-23 株式会社Ntt都科摩 终端位置确定系统、移动终端以及终端位置确定方法
CN102893129B (zh) * 2010-05-17 2015-08-19 株式会社Ntt都科摩 终端位置确定系统、移动终端以及终端位置确定方法
CN106575352A (zh) * 2014-05-12 2017-04-19 罗伯特·博世有限公司 图像识别装置以及其控制方法
US10430670B2 (en) 2014-05-12 2019-10-01 Robert Bosch Gmbh Image-recognition device and method for controlling same
CN106462750A (zh) * 2014-07-02 2017-02-22 大陆汽车有限公司 用于确定并且提供用来对车辆进行定位的地面标志的方法
CN106462750B (zh) * 2014-07-02 2019-11-19 大陆汽车有限公司 用于确定并且提供用来对车辆进行定位的地面标志的方法
US11512969B2 (en) 2014-07-02 2022-11-29 Continental Automotive Gmbh Method for ascertaining in a backend, and providing for a vehicle, a data record, describing a landmark, for the vehicle to determine its own position
CN104361323A (zh) * 2014-11-06 2015-02-18 同方威视技术股份有限公司 通道中的集装箱号码识别方法和系统
CN104361323B (zh) * 2014-11-06 2018-10-02 同方威视技术股份有限公司 通道中的集装箱号码识别方法和系统
CN108225344A (zh) * 2016-12-22 2018-06-29 沈阳美行科技有限公司 一种地图系统、生成和使用方法及其应用
CN109425343A (zh) * 2017-09-05 2019-03-05 丰田自动车株式会社 本车位置推断装置
CN111284325A (zh) * 2018-12-10 2020-06-16 上海博泰悦臻电子设备制造有限公司 车辆、车机设备及其车辆沿途对象详尽信息显示方法
CN114333414A (zh) * 2020-09-29 2022-04-12 丰田自动车株式会社 停车让行检测装置、停车让行检测系统以及记录介质

Also Published As

Publication number Publication date
US8085984B2 (en) 2011-12-27
KR20070090194A (ko) 2007-09-05
US20080273757A1 (en) 2008-11-06
EP1842029A1 (en) 2007-10-10
JP2006209511A (ja) 2006-08-10
KR101241651B1 (ko) 2013-03-08
WO2006080547A1 (en) 2006-08-03
EP1842029B1 (en) 2009-05-13
JP4557288B2 (ja) 2010-10-06
CN101091103B (zh) 2010-09-15
DE602006006796D1 (de) 2009-06-25

Similar Documents

Publication Publication Date Title
CN101091103B (zh) 图像识别装置和方法以及使用该图像识别装置或方法的定位装置、车辆控制装置和导航装置
US11755024B2 (en) Navigation by augmented path prediction
US11148664B2 (en) Navigation in vehicle crossing scenarios
CN112923930B (zh) 用于自主车辆导航的众包和分发稀疏地图以及车道测量
JP7176811B2 (ja) 自律車両ナビゲーションのための疎な地図
JP2024045389A (ja) レーンマッピング及びナビゲーション
CN111837014A (zh) 用于匿名化导航信息的系统和方法
CN116539052A (zh) 用于车辆导航的系统、方法和装置
CN102208011A (zh) 图像处理系统及车辆控制系统
CN102208035A (zh) 图像处理系统及位置测量系统
CN117571001A (zh) 用于公共速度映射和导航的系统和方法
JP2007241468A (ja) 車線変更検出装置
JP2021188914A (ja) 車両制御装置、および、自車位置推定方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant