CN101275852A - 图像识别装置与图像识别方法 - Google Patents
图像识别装置与图像识别方法 Download PDFInfo
- Publication number
- CN101275852A CN101275852A CNA2008100836821A CN200810083682A CN101275852A CN 101275852 A CN101275852 A CN 101275852A CN A2008100836821 A CNA2008100836821 A CN A2008100836821A CN 200810083682 A CN200810083682 A CN 200810083682A CN 101275852 A CN101275852 A CN 101275852A
- Authority
- CN
- China
- Prior art keywords
- information
- atural object
- atural
- mentioned
- road
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 59
- 238000012545 processing Methods 0.000 claims abstract description 180
- VMXUWOKSQNHOCA-UKTHLTGXSA-N ranitidine Chemical compound [O-][N+](=O)\C=C(/NC)NCCSCC1=CC=C(CN(C)C)O1 VMXUWOKSQNHOCA-UKTHLTGXSA-N 0.000 claims description 720
- 238000003909 pattern recognition Methods 0.000 claims description 19
- 238000012937 correction Methods 0.000 description 42
- 230000008569 process Effects 0.000 description 33
- 238000012217 deletion Methods 0.000 description 20
- 230000037430 deletion Effects 0.000 description 20
- 238000010586 diagram Methods 0.000 description 18
- 239000000284 extract Substances 0.000 description 12
- 238000009795 derivation Methods 0.000 description 7
- 238000002715 modification method Methods 0.000 description 7
- 238000009434 installation Methods 0.000 description 5
- 230000000007 visual effect Effects 0.000 description 5
- 230000008859 change Effects 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 239000003550 marker Substances 0.000 description 4
- 238000009825 accumulation Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000007689 inspection Methods 0.000 description 3
- 230000015654 memory Effects 0.000 description 3
- 230000001133 acceleration Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000006073 displacement reaction Methods 0.000 description 2
- 238000003780 insertion Methods 0.000 description 2
- 230000037431 insertion Effects 0.000 description 2
- 241000283070 Equus zebra Species 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000019771 cognition Effects 0.000 description 1
- 239000008358 core component Substances 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 239000007788 liquid Substances 0.000 description 1
- 230000000877 morphologic effect Effects 0.000 description 1
- 239000003973 paint Substances 0.000 description 1
- 230000000630 rising effect Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
- G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
- G06V20/582—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of traffic signs
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Automation & Control Theory (AREA)
- Navigation (AREA)
- Traffic Control Systems (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
提供一种图像识别装置及图像识别方法,能够抑制图像识别处理的处理负荷,同时有效对地物进行图像识别处理。具有:自身车辆位置信息获取单元,获取自身车辆位置信息;图像信息获取单元,获取自身车辆周边的图像信息;道路属性信息获取单元,基于自身车辆位置信息获取自身车辆行驶的道路的道路属性信息;对象类别决定单元,决定作为针对图像信息而成为图像识别处理的对象的一种或两种以上的地物类别;图像识别单元,将对象类别决定单元决定的对象类别的地物作为对象地物,对图像信息中的对象地物进行图像识别处理。对象类别决定单元基于道路属性信息和关于图像识别处理而预定的每种地物类别的识别属性信息来决定对象类别。
Description
技术领域
本发明涉及图像识别装置以及图像识别方法,由车上装载的拍摄装置等来获取车辆周边的图像信息,并对该图像信息所含的对象地物进行图像识别处理。
背景技术
到目前为止,由车上装载的拍摄装置来获取车辆周边的图像信息,对该图像信息所含的对象地物进行图像处理,基于其图像识别结果来收集地物信息的装置已被普遍认知(例如,参照下述专利文献1及2)。这些专利文献中所记载的现有装置均以道路上所设的交通标志、道路交通信息表示板为对象地物。这些装置对由车上装载的拍摄装置所获取的图像信息所含的对象地物进行图像识别,将从这些识别结果中提取出来的标志信息等地物信息与位置信息、区间信息相对应关联,并存储在地图数据库中。这里,对于对象地物进行图像识别处理时,通过图案匹配(Pattern Matching)来对交通标志、道路交通信息表示板等具体类别进行识别。
专利文献1:JP特开2006-038558号公报
专利文献2:JP特开2006-275690号公报
但是,在上文所述的现有装置中,以可能包含在图像信息中的交通标志、道路交通信息表示板等多种地物类别作为对象地物,进行指定其地物类别的图像识别处理。因此,对于一个图像信息,需要分别关于多种地物类别应用识别算法,导致增加了图像识别处理的处理负荷。因此,产生了如下的问题:难以进行高速的图像识别处理,或者实现能够高速进行图像识别处理的装置的成本升高。
另一方面,为了减轻图像识别处理的处理负荷,考虑限制作为图像识别对象的地物类别。可是,如果不考虑自身车辆周边的状况等而一概将同一地物类别的地物作为对象进行图像识别处理,则有可能产生将自身车辆周边基本不存在的地物类别的地物作为对象进行图像识别处理的情况。从而,会产生如下的问题:无法针对获取的图像信息进行有效的图像识别处理,进而难以有效的收集地物信息。
发明内容
本发明鉴于以上课题,目的在于提供一种图像识别装置及图像识别方法,可以在抑制图像识别处理的处理负荷的同时有效的对地物进行图像识别处理。
为了达到上述目的,本发明提供一种图像识别装置,其特征在于,具有:自身车辆位置信息获取单元,获取表示自身车辆的当前位置的自身车辆位置信息,图像信息获取单元,获取自身车辆周边的图像信息,道路属性信息获取单元,基于上述自身车辆位置信息,获取自身车辆正在行驶的道路的道路属性信息,对象类别决定单元,决定对象类别,该对象类别是作为对上述图像信息的图像识别处理的对象的一种或两种以上地物类别,图像识别单元,将上述对象类别决定单元所决定的上述对象类别的地物作为对象地物,对上述图像信息中的对象地物进行图像识别处理;上述对象类别决定单元基于上述道路属性信息获取单元所获取的上述道路属性信息、以及关于图像识别处理预先确定的每种地物类别的识别属性信息,决定对象类别。
根据该特征结构,基于自身车辆正在行驶的道路的道路属性信息及关于图像识别处理预定的每个地物类别的识别属性信息,来决定作为图像识别处理对象的对象类别,因此,能够根据道路属性与识别属性将作为图像识别处理对象的最佳地物类别作为对象类别。从而,即使在为了抑制图像识别处理的处理负荷而对作为图像识别处理对象的地物类别进行了限制的情况下,也能够根据道路属性与识别属性将最适于图像识别处理的地物类别作为对象,进行有效的地物图像识别处理。
这里,上述对象类别决定单元根据识别频率,将上述识别频率在可以成为上述对象类别的所有地物类别中排在前面的一种或两种以上的地物类别决定为上述对象类别,其中,该识别频率是基于与上述道路属性信息所示的道路属性相对应的各地物类别的出现频率、和易于识别程度来决定的,该易于识别程度是在对上述识别属性信息所示的各地物类别进行图像识别处理时的易于识别程度。
根据该结构,基于自身车辆正在行驶的道路的道路属性所对应的各个地物类别的出现频率以及对各个地物类别进行图像识别处理时的易于识别程度,能够将图像识别中成功率最高的一种或两种以上的地物类别作为对象类别。
另外,优选上述道路属性信息包括道路类别信息及地域类别信息中的任何一个以上。
这里,道路类别信息是将道路分为多个类别时的道路类别信息,例如市区道路、狭窄道路、山岳道路等。另外,地域类别信息是将设有道路的地域划分为多个区域时的地域类别的信息,例如关东地区、关西地区等地区、都道府县以及市区城镇等的行政划分等。
根据该结构,可以根据自身车辆正在行驶的道路的道路类别及地域类别中的至少一项,将最适于作为图像识别处理对象的地物类别确定为对象类别。
另外,优选上述识别属性信息包括识别率信息,该识别率信息是基于各地物类别的固有性质来决定的,并表示进行图像识别处理时的识别率的预测值,其中,该各地物类别的固有性质包括各地物类别的形状、大小、色彩及产生模糊的难易程度中的任何一项以上。
根据该结构,可以获取各地物类别图像识别处理时的易于识别程度作为基于各地物类别的固有性质确定的图像识别处理时表示识别率的预测值的信息。因此,能够比较容易的求出各地物类别的图像识别的成功比率。
另外,优选上述对象类别决定单元根据表示各地物类别的地物在道路上的配置倾向的每种地物类别的配置倾向信息,优先对于该配置倾向信息所示的配置倾向与基于上述自身车辆位置信息的自身车辆的道路上的配置一致的地物类别,决定上述对象类别。
根据该结构,能够根据各地物类别的地物在道路上的配置倾向来决不同的成为对象类别的地物类别。因此,即使自身车辆在相同道路属性的道路上行驶的情况下,也可以根据自身车辆在道路上的配置来适当地改变对象类别。由此,能够进一步增加单位行驶距离中图像识别成功的对象地物的数目,从而更高效的对地物进行图像识别处理。
另外,优选上述的配置倾向信息包括区域信息,其中,该区域信息表示各地物类别的地物配置在多个道路区域中的哪个道路区域内的可能性高,该多个道路区域是含以下内容:以十字交叉路口为基准而、在道路的长度方向上划分的多个道路区域的任何一个内配置各个地物类别的地物时,表示其可能性高低的区域信息。
根据该结构,能够对于每种地物类别,根据区域信息来对每个道路区域恰当的决定对象类别,其中该,区域信息表示以交叉路口为基准配置在道路的长度方向的哪个道路区域的可能性高。由此,针对相对于交叉路口的配置倾向已定的地物类别的地物,例如人行横道、停止线、最高速度标志、箭头标志等,可以根据其配置倾向对其进行恰当的图像识别。从而,可以增加每单位行驶距离中图像识别成功的对象地物的数量,更高效的进行地物的图像识别处理。
另外,优选上述对象类别决定单元在每个规定的区域内,基于上述的自身车辆位置信息,针对规定的每个区域,管理由上述对象类别决定单元所确决定的上述对象类别的对象地物的图像识别的成败,并基于对上述对象类别的对象地物的图像识别的成败信息,来确决定上述的对象类别。
根据该结构,可以基于过去在特定区域内对对象地物的图像识别的成败信息来决定对象类别。因此,例如在特定区域内,对某地物类别地物的图像识别连续失败了规定的次数的情况下,可以将该特定区域内的对象类别变更为其他地物类别。从而,可以防止对无法进行图像识别的地物类别的地物进行过多次反复的图像识别,更高效的进行地物的图像识别处理。
另外,优选能够成为上述对象类别的地物类别是从设置在从道路路面上设置的各种道路标志道路标线中选出择的地物类别。
根据该结构,由于可以与道路标线、引导标志、信号灯等立体的地物相比较,从较易进行图像识别的道路标线中选择对象类别,因此可以提高图像识别的成功率,更高效的进行地物的图像识别处理。
本发明的地物信息收集装置的特征在于,具有:具有上述各结构的图像识别装置;识别结果存储单元,以可能够识别对象地物的状态存储识别位置信息,其中,该识别位置信息是基于上述自身车辆位置信息求出的,并表示上述图像识别单元所获取的该对象地物的识别位置。
根据该种特征结构,可以基于道路属性及识别属性来决定最佳的对象类别的地物,将其作为对象地物进行图像识别处理,并将该图像识别结果中的对象地物的识别位置信息存储到识别结果存储单元。从而,能够在为了抑制图像识别处理的处理负荷而限定作为图像识别处理对象的地物类别的同时,进行高效的对象地物的图像识别处理,并将其识别结果积累存储在识别结果存储单元中。
这里,优选还具有推测位置判断单元,其该推测位置判断单元基于通过对同一对象地物进行多次图像识别而存储在上述识别结果存储单元中的同一对象地物的多个上述识别位置信息,判断该对象地物的推测位置,其中,该同一对象地物的多个上述识别位置信息是通过对同一对象地物的多次图像识别存储在上述识别结果存储单元中的信息。
根据该结构,即使存储在识别结果存储单元中的各个识别位置信息分别表示的各个对象地物的识别位置具有误差的情况下,也可以通过利用多个识别位置信息来判断推测位置而将误差平均化,进而可以使对象地物的推测位置与实际的位置更加接近。由此,可以获取高精度的对象地物的位置信息。
另外,优选还具备以下特征,有地物信息存储单元,其该地物信息存储单元存储将位置信息与属性信息相对应关联的地物信息,其中,该位置信息表示:存储由上述推测位置判断单元所判断的表示各对象地物的推测位置,该属性信息是基于的位置信息与由上述的图像识别单元对该对象地物的进行的图像识别的结果中的属性信息相关联对应的地物信息。
根据该结构,将由道路属性及识别属性确定的最优选的对象类别的地物作为对象地物,基于对该对象地物的图像识别处理的结果,可以生成已进行了图像识别的对象地物的地物信息,并将其存储在地物信息存储单元。从而,即使是自身车辆在地物信息不完备的道路上行驶的情况,利用新生成的地物信息,也可以实现对该地物信息表示的地物进行图像识别处理以及利用这些地物的图像识别结果来进行修正自身车辆位置信息。
另外,优选上述识别结果存储单元与多台车辆可以能够通信的方式连接,并存储多台车辆的上述识别位置信息。
根据该结构,能够在可通信的与多台车辆连接的识别结果存储单元中,存储多台车辆获取的对象地物的学习结果的识别位置信息,因此,能够将大量的识别位置信息集中到识别结果存储单元。由此,能够利用大量的识别位置信息生成具有更高精度位置信息的对象地物的地物信息。
本发明提供一种图像识别方法,其特征在于,具有:自身车辆位置信息获取步骤,获取表示自身车辆的当前位置的自身车辆位置信息,图像信息获取步骤,获取自身车辆周边的图像信息,道路属性信息获取步骤,基于上述自身车辆位置信息,获取自身车辆正在行驶的道路的道路属性信息,对象类别决定步骤,决定对象类别,该对象类别是作为针对上述图像信息而成为的图像识别处理的对象的一种或两种以上的地物类别,图像识别步骤,将上述对象类别决定步骤所决定的上述对象类别的地物作为对象地物,对上述图像信息中的对象地物进行图像识别处理;在上述对象类别决定步骤中,基于上述道路属性信息获取步骤所获取的上述道路属性信息、以及关于图像识别处理预先确定的每种地物类别的识别属性信息,来决定对象类别,其中,上述道路属性信息由上述道路属性信息获取步骤获取,上述每种地物类别的识别属性信息是关于图像识别处理而预定的信息。
根据该特征结构,基于自身车辆正在行驶的道路的道路属性信息及关于图像识别处理预定的每个地物类别的识别属性信息,来决定作为图像识别处理对象的对象类别,因此,能够根据道路属性与识别属性将作为图像识别处理对象的最佳地物类别作为对象类别。从而,即使在为了抑制图像识别处理的处理负荷而对作为图像识别处理对象的地物类别进行了限制的情况下,也能够根据道路属性与识别属性将最适于图像识别处理的地物类别作为对象,进行有效的地物图像识别处理。
这里,优选上述对象类别决定步骤根据识别频率,将上述识别频率在可以成为上述对象类别的所有地物类别中排在前面的一种或两种以上的地物类别决定为上述对象类别,其中,该识别频率是基于与上述道路属性信息所示的道路属性相对应的各地物类别的出现频率、和易于识别程度来决定的,该易于识别程度是在对上述识别属性信息所示的各地物类别进行图像识别处理时的易于识别程度。
根据该结构,基于自身车辆正在行驶的道路的道路属性所对应的各个地物类别的出现频率以及对各个地物类别进行图像识别处理时的易于识别程度,能够将图像识别中成功率最高的一种或两种以上的地物类别作为对象类别。由此,从而,即使在为了抑制图像识别处理的处理负荷而对作为图像识别处理对象的地物类别进行了限制的情况下,也能够进一步增加单位行驶距离中图像识别成功的对象地物的数目,从而更高效的对地物进行图像识别处理。
另外,优选在上述的对象类别决定步骤中,基根据于表示各地物类别的地物在道路上的配置倾向的每个种地物类别的配置倾向信息,优先对于该配置倾向信息所示的配置倾向与基于上述自身车辆位置信息所示的自身车辆行驶的道路上的配置一致的地物类别,决定上述对象类别。
根据该结构,能够根据各地物类别的地物在道路上的配置倾向来决不同的成为对象类别的地物类别。因此,即使自身车辆在相同道路属性的道路上行驶的情况下,也可以根据自身车辆在道路上的配置来适当地改变对象类别。由此,能够进一步增加单位行驶距离中图像识别成功的对象地物的数目,从而更高效的对地物进行图像识别处理。
另外,优选在上述的对象类别决定步骤中,基于上述自身车辆位置信息,针对规定的每个区域,管理由上述对象类别决定步骤所决定的上述对象类别的对象地物的图像识别的成败,并基于对上述对象类别的对象地物的图像识别的成败信息,来决定上述对象类别。
根据该结构,可以基于过去在特定区域内对对象地物的图像识别的成败信息来决定对象类别。因此,例如在特定区域内,对某地物类别地物的图像识别连续失败了规定的次数的情况下,可以将该特定区域内的对象类别变更为其他地物类别。从而,可以防止对无法进行图像识别的地物类别的地物进行过多次反复的图像识别,更高效的进行地物的图像识别处理。
附图说明
图1是表示本发明的实施方式中所涉及的导航装置的简略结构的框图。
图2是表示地图数据库所存储的地图信息的结构的示例图。
图3是表示地图数据库所存储的道路标线的地物信息的示例图。
图4是表示自身车辆中拍摄装置的配置结构的示例图。
图5是用来说明当自身车辆在地物信息不完备的道路上行车时地物信息收集处理概要的说明图。
图6是用来说明当自身车辆在地物信息完备的道路上行车时地物信息收集处理概要的说明图。
图7是图5的(b)部分所示的学习数据库中存储的学习值的主要部放大图。
图8是图6的(b)部分所示的学习数据库中存储的学习值的主要部放大图。
图9A、图9B是表示当道路类别为市区道路时道路区域划分及对象类别决定处理的详细示例图。
图10A、图10B是表示当道路类别为狭窄道路时道路区域划分及对象类别决定处理的详细示例图。
图11是表示本发明的实施方式中所涉及的包括导航装置的自身车辆位置信息修正方法的整体工作处理顺序的流程图。
图12是表示本发明的实施方式中所涉及的地物信息收集处理的详细处理顺序的流程图。
图13是表示本发明的实施方式中所涉及的对象类别决定处理的详细处理顺序的流程图。
图14是表示本发明的实施方式中所涉及的地物信息修正处理的详细处理顺序的流程图。
图15是表示本发明的实施方式中所涉及的地物信息收集装置的部分结构的服务器装置示例图。
具体实施方式
以下,参照附图对本发明的实施方式进行详细说明。图1是表示本实施方式中所涉及的导航装置的简略结构的框图。该导航装置1由本发明的实施方式中的地物信息收集装置2、图像识别装置3以及自身车辆位置识别装置4构成。该导航装置1以规定的地物类别的地物为对象地物,使用图像识别部18获取的对象地物的图像识别结果来学习该对象地物的位置。接着将此对象地物的学习结果反映至地物数据库DB2,从而,即使在地物信息F不完备的道路上也可以利用地物信息F来修正自身车辆位置信息P。另外,基于地物数据库DB2所存储的地物信息F来对对象地物进行图像识别而失败时,该导航装置1将对此结果进行学习,并反映至地物数据库DB2,从而对地物信息F进行修正。接着,导航装置1基于修正后的自身车辆位置信息P来进行路径导航等的导航处理。
图1所示的导航装置1的各个功能部具体包括:图像信息获取部12、自身车辆位置信息获取部16、地物信息获取部17、图像识别部18、自身车辆位置信息修正部19、导航用运算部20、识别信息处理部31、推测位置判断部34、地物信息管理部35、道路信息管理部39、道路属性信息获取部41、以及对象类别决定部42。这些功能部以CPU等的运算处理装置为核心构件,安装有用于对输入的数据进行各种处理的硬件或软件(程序)或是两者都安装。并且,这些功能部相互之间能够交换信息。另外,导航装置1中各个数据库DB1~DB6的硬件结构需同时具有可存储信息的存储介质及其驱动单元,例如具有硬盘驱动器、含DVD-ROM的DVD驱动器、含CD-ROM的CD驱动器等。以下,针对本实施方式的导航装置1的各部的结构进行详细说明。
1.地图数据库
地图数据库DB1是用来存储按规定区域划分的地图信息M的数据库。图2是表示地图数据库DB1所存储的地图信息M的结构的示例图。如该图所示,地图信息M具有道路信息Ra,该道路信息Ra通过与交叉路口对应的多个节点n和道路链k之间的连接关系来表示道路网,该道路链k与连接于各交叉路口间的道路相对应。各节点n具有以经度及纬度表示的地图上的位置(坐标)信息。各道路链k经由节点n进行连接。另外,作为属性信息,道路链k具有用来表示道路类别、地域类别、道路链长度、道路宽度、道路链形状的形状插入点等信息。其中,道路类别信息是将道路划分为多个类别时的道路类别信息,例如汽车专用道路、市区道路、狭窄道路、山岳道路等。另外,地域类别信息是将设有与道路链k对应的道路的地域划分为多个区域时的地域类别的信息,例如关东地区以及关西地区等地区、都道府县以及市区城镇等的行政划分。这些道路链k的属性信息即相当于道路属性信息Rb(参照图1)。并且,在本实施方式中,该地图数据库DB1相当于本发明中的道路信息存储单元及地图信息存储单元。另外,在图2中仅示出了一个区域的道路信息Ra,其他区域的道路信息Ra则在表示中被省略。
2.地物数据库
地物数据库DB2是用来存储道路上或道路周边所设置的各种地物的信息、即地物信息F的数据库。如图1所示,在本实施方式中,地物数据库DB2存储有两类信息:初始地物信息Fa及学习地物信息Fb。其中,初始地物信息Fa是关于地物数据库DB2预先完备存储的多个地物的地物信息F。该初始地物信息Fa,在包括道路信息Ra的地图信息M完备的全部地域中,仅大城市周边或干线道路等的一部分地域是完备的。另一方面,学习地物信息Fb如后文所述,是将使用图像识别部18所获取的对象地物的图像识别结果来作为学习结果存储在地物数据库DB2中的地物信息F。另外,在下述说明中单独提及“地物信息F”时,将其作为上述初始地物信息Fa及学习地物信息Fb的总称。在本实施方式中,该地物数据库DB2相当于本发明中的地物信息存储单元。
该地物数据库DB2中存储有地物信息F的地物包括在道路路面上所设置的道路标线(油漆标线)。图3是表示地图数据库DB2所存储的道路标线的地物信息F的示例图。该道路标线涉及的地物包括如下所述的地物等:人行横道、停止线、表示最高速度等的速度标志、斑马线、沿着道路划分车道的划分线(包括实线、虚线、双线等各种划分线)、规定各车道的前进方向的前进方向类别通行划分标志(箭头标志,例如包括直行箭头、右转箭头等)。另外,存储有地物信息F的地物,除了以上的道路标线之外,还可以包括信号灯、路标、高架桥、隧道等各种地物。
另外,地物信息F所存储的内容为各个地物的位置信息以及与其相对应关联的地物属性信息。其中,位置信息具有与构成道路信息Ra的道路链k或节点n相对应关联的各地物的代表点在地图上的位置(坐标)、以及各地物朝向的信息。在本例中,代表点被设置在各地物的长度方向及宽度方向的中央部附近。另外,地物属性信息包括地物类别信息、地物的形状、大小、色彩等地物的形态信息。其中,地物类别具体来说是表示基本具有同样形态的地物类别的信息,例如“人行横道”、“停止线”、“速度标志(30km/小时)”等。另外,在本实施方式中,地物信息F存储有表示与其接近的其他地物间关系的关联信息、以及表示与该其他地物间的地物间距的地物间距信息。其中,上述关联信息是,在自身车辆50(参照图5等)沿着道路行驶过程中,能够通过对一个地物进行图像识别从而预测前方存在的其他地物的信息。另外,地物间距信息是用于正确预测自身车辆到该前方存在的地物之间的距离的信息。
3.学习数据库
学习数据库DB3是这样的数据库:以可识别与各识别位置信息Aa以及各识别失败信息Ac的状态,存储由识别位置导出部32导出的识别位置信息Aa、以及由识别失败处理部33导出的识别失败信息Ac。这里,为了能够识别与各信息Aa、Ac对应的对象地物,将各信息Aa、Ac、以及与他们对应的对象地物的地物属性信息Ab相对应关联后进行存储。存储在该学习数据库DB3中的识别位置信息Aa、地物属性信息Ab、以及识别失败信息Ac,其具体内容将在后文说明。在本实施方式中,该学习数据库DB3相当于本发明中的识别结果存储单元。
4.图像信息获取部
图像信息获取部12发挥图像信息获取单元的作用,用于获取通过拍摄装置11拍摄的自身车辆周边图像信息G。在此,拍摄装置11为高像素车载摄像机等,其设置在至少能够拍摄自身车辆50周边的道路路面的位置。作为该拍摄装置11,例如优选采用图4所示的拍摄自身车辆50后方路面的后视摄像机。图像信息获取部12通过帧存储器等(无图示)以规定的时间间隔读取由拍摄装置11拍摄的拍摄信息。此时的图像信息G的读取时间间隔可以选择例如10~50ms左右。由此,图像信息获取部12可以连续获取由拍摄装置11拍摄的多帧的图像信息G。这里获取的图像信息G输出到图像识别部。
5.自身车辆位置信息获取部
自身车辆位置信息获取部16发挥自身车辆位置信息获取单元的作用,用于获取表示自身车辆50的当前位置的自身车辆位置信息P。在此,自身车辆位置信息获取部16与GPS接收器13、方位传感器14、以及距离传感器15相连接。在此,GPS接收器13是接收由GPS(Global Positioning System:全球定位系统)卫星发出的GPS信号的装置。该GPS信号通常每隔1秒钟接收并向自身车辆位置信息获取部16输出一次。在自身车辆位置信息获取部16中,可以对由GPS接收器13接收的GPS卫星发出的信号进行解析,获取自身车辆50的当前位置(经度及纬度)、前进方向、移动速度等信息。方位传感器14用来检查自身车辆50的前进方向或其前进方向变化。该方位传感器14例如由陀螺传感器、地磁传感器、安装在方向盘的旋转部的光学旋转传感器及旋转阻力电位器、以及安装在车轮上的角度传感器等构成。并且,方位传感器14将其检查结果输出到自身车辆位置信息获取部16。距离传感器15用来检查自身车辆50的车速及移动距离。该距离传感器15可由以下部件构成:车速脉冲传感器,每当车辆的传动轴或车轮旋转到一定量时输出脉冲信号;测定自身车辆50的加速度的横摆·G传感器;对测定的加速度进行积分的电路。并且,距离传感器15将作为其检查结果的车速及移动距离的信息输出到自身车辆位置信息获取部16。
然后,自身车辆位置信息获取部16基于由GPS接收器13、方位传感器14以及距离传感器15输出的内容,利用公知的方法进行运算,从而确定自身车辆位置。另外,自身车辆位置信息获取部16基于所获取的从地图数据库DB1中提取的自身车辆位置周边的道路信息Ra,通过进行公知的地图匹配(Map Matching),对自身车辆位置进行将自身车辆位置调整到道路信息Ra所示出的道路上的修正。由此,自身车辆位置信息获取部16获取以经纬度表示的自身车辆50的当前位置的信息以及含有自身车辆50的前进方向的自身车辆位置信息P。
6.地物信息获取部
地物信息获取部17基于由自身车辆位置信息获取部16所获取的自身车辆位置信息P,从地物数据库DB2提取并获得自身车辆50的周边存在的地物的地物信息F。作为本实施方式中的一例,地物信息获取部17基于自身车辆位置信息P,从地物数据库DB2提取对象地物的地物信息F,其中,该对象地物存在于从自身车辆位置信息P所示的自身车辆50的当前位置到表示该自身车辆50行驶中道路的道路链k的终端之间。然后,由该地物信息获取部17将所获取的地物信息F输出至图像识别部18以及自身车辆位置信息修正部19。这里,地物信息获取部17从地物数据库DB2中提取的对象地物的地物信息F中,包括初始地物信息Fa以及学习地物信息Fb。另外,成为对象地物的地物,是作为图像识别部5的图像识别处理对象的地物。在本实施方式中,将从道路路面设置的各种道路标线中选择的地物类别的地物作为对象地物,例如人行横道、停止线、速度标志等。
7.图像识别部
图像识别部18发挥图像识别单元的作用,用于对由图像信息获取部12获取的图像信息G中所含的对象地物进行图像识别处理。在本实施方式中,图像识别部18进行以下两种图像识别处理:位置修正用图像识别处理,用于对自身车辆位置信息P进行修正;信息收集用图像识别处理,用于学习对象地物的图像识别结果并将其反映至地物数据库DB2。在本实施方式中,图像识别部18参照由地物信息获取部17基于自身车辆位置信息P而从地物数据库DB2中获取的地物信息F。然后,当判断出在自身车辆50的周边存在作为地物信息F存储的对象地物时,进行位置修正用图像识别处理;当判断出在自身车辆50的周边不存在作为地物信息F存储的对象地物时,进行信息收集用图像识别处理。其原因在于:如后所述,当自身车辆50在地物信息F已完备的道路上行驶时,基于由位置修正用图像识别处理得到的图像识别结果与地物信息F,对自身车辆位置信息P进行修正处理,以及在位置修正用图像识别处理失败时对地物信息F进行修正处理;当自身车辆50在地物信息F不完备的道路上行驶时,根据由信息收集用图像识别处理得到的图像识别结果,对于对象地物的存在位置进行学习处理。另外,在本实施方式中,根据以下标准来判断在自身车辆50的周边是否存在作为地物信息F存储的对象地物,即,从自身车辆位置信息P所示的自身车辆50的当前位置(自身车辆位置)到表示该自身车辆50行驶中的道路的道路链k的终端之间,是否存在作为地物信息F存储的对象地物。
并且,在位置修正用图像识别处理中,图像识别部18基于对象地物的地物信息F,对包含在图像信息G中的该地物信息F所示的对象地物进行图像识别处理,其中,该对象地物的地物信息F是基于自身车辆位置信息P而从地物数据库DB2中获取的存在于自身车辆50周边的对象地物的地物信息。此时,图像识别部18设定进行该地物信息F所示的对象地物的识别要求的规定的识别区域E,并对该识别区域E内的图像信息G进行对象地物的图像识别处理。该识别区域E设定为以下范围:在道路信息Ra所示的道路链k上推测出该目标对象物存在的位置范围。这里,利用根据安装在自身车辆50上的拍摄装置11的安装位置、安装角度、以及视角等预先计算得到的自身车辆位置与摄像位置的位置关系,能够基于自身车辆位置信息P求得各图像信息G中包含的实际道路摄像区域。由此,图像识别部18基于上述所求得的各图像信息G的摄像区域的信息,提取与针对各对象地物所设定的识别区域E对应的图像信息G,并进行图像识别处理。然后,该位置修正用图像识别处理得到的该对象地物图像识别结果,用于由自身车辆位置信息修正部19对自身车辆位置信息P的修正。另外,在位置修正用图像识别处理中,图像识别部18也进行针对各对象地物所设定的识别区域E以外的对象地物的图像识别。这些在识别区域E以外被识别的对象地物的图像识别结果,如后述将被用于对地物信息F的修正,而不用于对自身车辆位置P的修正。
另外,在信息收集用图像识别处理中,图像识别部18将后述的由对象类别决定部42决定的对象类别的地物作为对象地物,对包含在图像信息G中的对象地物进行图像识别处理。由于该图像识别处理未利用存储在地物信息库DB2中的地物信息F,因此无法对对象地物的存在位置进行推测。因此,在该信息收集用图像识别处理中,对象类别决定部42对每个规定的道路区域Z(参照图9A、图9B及图10A、图10B)决定对象类别,与此对应,图像识别部18按照每个道路区域Z,针对关于该道路区域Z所决定的对象类别的对象地物进行图像识别处理。该道路区域Z是在道路信息Ra中所示的节点n及道路链k上所设定的区域,根据各道路(道路链k)的道路属性而设定,例如,设定为图9A、图9B所示的道路链端部Za及中央部Zb、以及图10A、图10B所示的节点上Zc及道路链上Zd等。在此,如上所述,利用根据在自身车辆50上安装的拍摄装置11的安装位置、安装角度、以及视角等预先计算得到的自身车辆位置与摄像位置的位置关系,能够基于自身车辆位置信息P求得各图像信息G中包含的实际道路摄像区域。由此,图像识别部18基于上述所求得的各图像信息G的摄像区域的信息,提取出各道路区域Z对应的图像信息G,并针对关于该道路区域Z所决定的对象类别的对象地物进行图像识别处理。然后,该信息收集用图像识别处理得到的对象地物图像识别结果,作为由识别位置导出部32得到的识别位置信息而被存储在学习数据库DB3中。
图像识别部18在对于对象地物进行图像识别时,对图像信息G进行二进制化处理及边缘检出处理等,提取包含在该图像信息G中的地物(道路标线)的轮廓信息。然后,图像识别部18对提取出来的地物的轮廓信息与对象地物形态特征量进行图案匹配(Pattern Matching)处理,从而提取包含在该图像信息G中的对象地物的图像。然后,图像识别部18在进行位置修正用图像识别处理时,当可从设定的识别区域E内的图像信息G中提取出对象地物的图像时,判断为对对象地物的图像识别成功。另外,图像识别部18在进行信息收集用图像识别处理时,当可以从各个道路区域Z的图像信息G中提取出对象地物的图像时,判断为对对象地物的图像识别成功。另一方面,当图像识别部18对识别区域E或各个道路区域Z内的所有图像信息G的图像识别处理结果为无法提取出对象地物的图像时,判断为对对象地物的图像识别失败。
8.自身车辆位置信息修正部
自身车辆位置信息修正部19作为自身车辆位置信息修正单元发挥作用,其基于由图像识别部18提供的对象地物的图像识别处理结果、以及包含在该对象地物的地物信息F中的该对象地物的位置信息,对自身车辆位置信息P进行修正。在本实施方式中,自身车辆位置信息修正部19利用基于图像识别部18中的地物信息F的位置修正用图像识别处理得到的对象地物的图像识别结果、以及包含在该地物信息F中的该对象地物的位置信息,沿着自身车辆50的行驶方向对自身车辆位置信息P进行修正。具体来说,首先,自身车辆位置信息修正部19基于由图像识别部18提供的位置修正用图像识别处理的结果、以及拍摄装置11的安装位置、安装角度、视角等,对取得含有对象地物的图像的图像信息G时的自身车辆50与对象地物之间的位置关系进行计算。接着,自身车辆位置信息修正部19基于该自身车辆50与对象地物之间的位置关系的计算结果、以及包含在该对象地物的地物信息F中的该对象地物的位置信息,以自身车辆50的行驶方向上的对象地物的位置信息(地物信息F)作为基准,计算并获取高精度的自身车辆50的位置信息。然后,身车辆位置信息修正部19基于如上述所获取的高精度的自身车辆50的位置信息,对自身车辆位置信息获取部16获取的自身车辆位置信息P中所含的自身车辆50在行驶方向上的当前位置信息进行修正。其结果,自身车辆位置信息获取部16取得如上所述的修正后的高精度的自身车辆位置信息P。
9.导航用运算部
导航用运算部20是运算处理单元,为了实现自身车辆位置表示、出发地至目的地之间的路径搜索、抵达目的地的前进向导、目的地检索等导航功能,根据应用程序23进行工作。例如,导航用运算部20基于自身车辆位置信息P,从地图数据库DB1中获取自身车辆50周边的地图信息M,并将地图图像显示在显示输入装置21上,同时,在该地图图像上,基于自身车辆位置信息P进行自身车辆位置标记的叠加表示处理。另外,导航用运算部20基于存储在地图数据库DB1中的地图信息M,进行由规定出发地到目的地的路径搜索。进一步,导航用运算部20基于搜索到的出发地到目的地的路径以及自身车辆位置信息P,利用显示输入装置21与声音输入装置22中的一方或是双方,对驾驶员进行前进线路向导。在另外,在本实施方式中,导航用运算部20连接至显示输入装置21及声音输出装置22。显示输入装置21是集液晶表示装置等的显示装置与触控式面板(Touch Panel)等输入装置为一体的装置。声音输出装置由扬声器等构成。在本实施方式中,导航用运算部20、显示输入装置21、及声音输出装置22作为本发明中的导航信息输出单元24发挥其作用。
10.识别信息处理部
识别信息处理部31是识别信息处理单元,用于将表示图像识别部18的图像识别处理结果的信息存储在学习数据库DB3中,这里的信息具体是指,由识别位置导出部32导出的识别位置信息以及由识别失败处理部33生成的识别失败信息。由此,在本实施方式中,识别信息处理部31具有识别位置导出部32以及识别失败处理部33。以下,利用图5~图8,对这些识别位置导出部32及识别失败处理部33的处理进行详细说明。
10-1.识别位置导出部
识别位置导出部32作为识别位置导出单元发挥作用,当图像识别部18对于对象地物的图像识别处理成功时,基于自身车辆位置信息P导出该对象地物的识别位置的。然后,识别位置导出部32生成表示导出的识别位置的识别位置信息Aa,并在可对已成功进行该图像识别的对象地物进行识别的状态下将其存储在学习数据库DB3中。图5是以自身车辆50在地物信息F不完备的道路(道路链k)上行驶时的情况为例,用于说明利用信息收集用图像识别处理的结果对地物信息F进行收集处理的概要的说明图。其中,图5的(a)部分是在自身车辆50行驶的实际道路上所设的道路标线(地物)的一例。图5的(b)部分是存储在学习数据库DB3中的识别位置信息Aa的一例。图5的(c)部分是反映存储在学习数据库DB3中的学习结果的地物数据库DB2的一例。在图5中,为了使说明简单,不是如图9A、图9B及图10A、图10B那样对每个规定的道路区域Z(Za~Zb)取对象类别不同的地物,而是以图示所有的领域内的对象类别都相同的“人行横道”的情况为例。
另外,在本实施方式中,如图5的(b)部分所示,识别位置导出部32生成各对象地物的识别位置信息Aa,来作为由图像识别部18得到的该对象地物的识别位置所属的规定位置范围的学习值,每当对该对象地物进行识别时,在每个上述位置范围内累加学习值,并进行存储。以下,利用图5的(a)部分及图5的(b)部分,顺次对识别位置导出部32所做的处理的内容进行说明。
首先,在图像识别部18进行将对象类别决定部42所决定的对象类别的地物作为对象地物的信息收集用图像识别处理时,识别位置导出部32监视对象地物的图像识别是否成功。在本例中,将地物类别为“人行横道”的所有地物作为对象地物,来进行信息收集用图像识别处理。由此,在图5的(a)部分所示的例子中,自身车辆50应该对行驶方向上四个区域中的作为对象地物的人行横道f1~f4进行图像识别。
然后,在通过图像识别部18对一个对象地物的图像识别成功的情况下,识别位置导出部32根据该图像识别结果导出该对象地物的识别位置。在此,识别位置导出部32导出对象物的识别位置,来作为以自身车辆位置信息P为基准的表示该对象地物在道路上的位置的信息。从而,识别位置导出部32根据由图像识别部18提供的对象地物的图像识别结果以及拍摄装置11的安装位置、安装角度、视角等,对取得含有对象地物的图像的图像信息G时的自身车辆50与对象地物的位置关系进行计算。进一步,自身车辆位置信息修正部19基于该自身车辆50与对象地物的位置关系的计算结果、以及取得该图像信息G时的自身车辆位置信息P,以自身车辆的位置信息P作为基准来计算对象地物的位置。在本例中,识别位置导出部32求出对象地物的位置,来作为沿着表示自身车辆50所行驶的道路的道路链k的方向的对象地物的代表点的位置。然后,识别位置导出部32导出以此方法计算得到的对象地物的位置,来作为对象地物的识别位置。由于该对象地物的识别位置的导出以取得含有该对象地物的图像的图像信息G时的自身车辆的位置信息P作为基准,因此该识别信息是反映了自身车辆的位置信息P所含有的误差。
接着,识别位置导出部32,将上述导出的对象地物的识别位置作为对规定的位置范围的学习值,将该规定位置范围的学习值作为识别位置信息Aa。在本例中,规定的位置范围是指:沿着表示道路的道路链k方向,每隔一定距离而划分并设置的范围。例如,沿着道路链k方向每隔0.5[m]所划分的范围。另外,学习值是指每当对一个对象地物的图像识别成功时,在学习数据库DB3中向该对象地物识别位置所属的位置范围内累加的值。例如,每当对一个对象地物的图像识别成功时记为1分。即,在本例中,识别位置信息Aa由表示含有对象地物的识别位置的位置范围的信息及其学习值为“1”的信息构成。
其中,图7是如图5的(b)部分所示的存储在学习数据库DB3中的学习值中关于人行横道f1部分的放大图。例如,在图5的(a)部分的例子中,对于作为对象地物的人行横道f1的图像识别成功时,在由识别位置导出部32导出的人行横道f1的识别位置在图7中表示为“a4”的位置范围内的情况下,如图7中虚线所示,对该位置范围“a4”的学习值加1。而当自身车辆50在同一道路上多次通行,从而对同一对象地物(如人行横道f1)进行多次图像识别之后,如图5的(b)部分及图7所示,在学习数据库DB3中,每次该对象地物被识别时所生成的作为多个识别位置信息Aa的学习值,在表示该对象地物的识别位置每个位置范围内相加而累积。这样,如后文所述,一旦学习值达到规定的学习阈值T1以上时,由地物信息生成部36生成该对象地物的学习地物信息Fb,并将其存储在地物数据库DB2中。在图5的例子中,如图5的(c)部分所示,人行横道f1~f4所对应的学习地物信息Fb1~Fb4存储在地物数据库DB2中。
另外,识别位置导出部32在通过图像识别部18进行位置修正用图像识别处理时,在针对各对象物设定的识别区域E以外对各对象地物进行图像识别的情况下,进行与上述利用信息收集用图像识别处理结果对地物信息F的收集处理同样的处理。即,识别位置导出部32基于位置修正用图像识别处理取得的对象地物的图像识别结果,以自身车辆的位置信息P作为基准导出该对象地物的识别位置。然后,识别位置导出部32生成表示导出的识别位置的识别位置信息Aa,并在可识别已成功进行该图像识别的对象地物的状态下将其存储在学习数据库DB3中。由此,如后所述,利用位置修正用图像识别处理中的对象地物的图像识别结果,可以对存储在地物数据库DB2中的地物信息F进行修正。另外,针对在位置修正用图像识别处理所设定的识别区域E以外对各对象地物进行图像识别的情况下识别位置导出部32所做的处理的具体内容,将在后文以图6为例进行详细说明。
然而,为了使成功进行了图像识别的该对象地物相对于其他对象地物处于可识别状态,识别位置导出部32将生成的识别位置信息Aa与表示该对象地物的各种属性的地物属性信息Ab相对应关联存储。其中,地物属性信息Ab所包含的对象地物的属性只要能够使这一个对象地物相对于其他对象地物可被识别即可。因此,地物属性信息Ab具备以下的一个或两个以上的信息:该对象地物的地物类别、该对象地物的具体形状及大小、存在该对象地物的道路链k的道路链ID、存在该对象地物的大概位置等。构成关于此类对象地物的地物属性信息Ab基于以下信息生成:由图像识别部18提供的该对象地物的图像识别结果、获取该图像识别处理的图像信息G时的自身车辆位置信息P。
10-2.识别失败处理部
当在图像识别部18进行的位置修正用图像识别处理中地物信息F所示的对象地物的图像识别失败时,识别失败处理部33生成表示该地物信息F所示的对象地物的图像识别失败的识别失败信息Ac,并在可识别该图像识别失败的对象地物识别的状态下,将其存储在学习数据库DB3中。即,识别失败处理部33作为识别失败处理单元发挥作用,进行生成这种识别失败信息Ac以及将其存储在学习数据库DB3中的识别失败处理。图6是以自身车辆50在地物信息F完备的道路(道路链k)上行驶时的情况为例,用于说明利用位置修正用图像识别处理的结果对地物信息F进行修正处理的概要的说明图。其中,图6的(a)部分是在自身车辆50行驶的实际道路上所设的道路标线(地物)的一例。图6的(b)部分是存储在学习数据库DB3中的识别位置信息Aa及识别失败信息Ac的一例。图6的(c)部分是反映了存储在学习数据库DB3中的学习结果的地物数据库DB2的一例。该图6是以如图6的(c)部分中由初始地物信息Fa11~Fa14所表示的四个“人行横道”作为对象地物进行位置修正用图像识别处理的情况下的图例。
另外,在本实施方式中,如图6的(b)部分所示,识别失败处理部33针对对象地物生成识别失败信息Ac作为对该对象地物的学习值,每当对该对象地物进行的图像识别失败时,减去关于该对象地物的学习值并进行存储。以下,利用图6的(a)部分~(c)部分,对识别失败处理部33所做的处理的内容依次进行说明。
首先,当图像识别部18对地物信息F表所的对象地物进行位置修正用图像识别处理时,识别失败处理部33监视针对该对象地物设定的规定识别区域E内的对象地物的图像识别是否成功。在本例中,当自身车辆50行驶在初始地物信息Fa完备的道路(道路链k)上时,将由初始地物信息Fa11~Fa14分别表示的四个“人行横道”作为对象地物,在图像识别部18内依次进行图像识别要求。但是,在本例中,如图6的(a)部分所示,由初始地物信息Fa12表示的人行横道f12模糊不清,由初始地物信息Fa13表示的人行横道完全消失。因此,对这两个例子进行说明:针对模糊不清的人行横道f12,一定的比率下图像识别失败;针对完全消失的人行横道,每次图像识别均失败。另外,当通过图像识别部18对地物信息F所示的对象地物进行位置修正用图像识别处理时,识别失败处理部33监视针对该对象地物设定的识别区域E以外是否图像识别出对象地物。在本例中,在针对由初始地物信息Fa13表示的对象地物(人行横道)设定的识别区域E13以外,设置了初始地物信息Fa不完备的人行横道f5,该人行横道f5被图像识别出。
另外,在本实施方式中,在学习数据库DB3中,对应于各个预先完备地存储在地物数据库DB2中的初始地物信息Fa,设定并存储有地物信息F所表示的对象地物的学习值的初始值Td。在图6的(b)部分所示的例子中,将学习值的初始值Td设定为低于学习阈值T1的值。然后,在对地物信息F表示的对象地物进行图像识别失败的情况下,识别失败处理部33生成该对象地物的识别失败信息Ac作为对该对象地物的学习值,每当对该对象地物的图像识别失败时,从存储在学习数据库DB3中的关于该对象地物的学习值的上述初始值Td中依次减去关于该对象地物的学习值并进行存储。此时,例如,每当对于对象地物的图像识别失败一次,则减去1分。即,在本例中,识别失败信息Ac由能够确定初始地物信息Fa所表示的对象地物或该初始地物信息Fa其本身的信息、其学习值“1”的信息构成。
这里,为了使该图像识别失败的对象地物相对于其他对象地物处于可识别状态,将存储在学习数据库DB3中的学习值的初始值Td以及由识别失败处理部33生成的识别失败信息Ac与表示该对象地物的各种属性的地物属性信息Ab相对应关联存储。该地物属性信息Ab是和与识别位置信息Aa对应关联存储的信息相同的信息。
这里,图8是如图6的(b)部分所示的存储在学习数据库DB3中的学习值中关于人行横道f12(初始地物信息Fa12)部分的放大图。例如,当图6的(a)部分中对作为初始地物信息Fa12表示的对象地物的人行横道f12的图像识别失败时,如图8中虚线所示,从该对象地物的学习值中减1。并且,当自身车辆50在同一道路上多次通行从而对同一对象地物的图像识别多次失败时,如图6的(b)部分中所示的由初始地物信息Fa13表示的人行横道f13的学习值那样,最终其学习值将被减少至零。这样,如后文所述,在本实施方式中,由于将删除阈值T2设定为零,因此一旦学习值为零,则由删除管理部38将表示该对象地物的初始地物信息Fa从地物数据库DB2中删除。在图6的例子中,初始地物信息Fa13表示的人行横道f13所对应的学习值变为零,因此初始地物信息Fa13被从地物数据库DB2中删除。
另外,在本实施方式中,当识别失败处理部33进行位置修正用图像识别处理时,即使是对学习地物信息Fb表示的对象地物的图像识别失败的情况下,也不会进行将该对象地物的识别失败信息Ac存储在学习数据库DB3中的处理。但是,当新生成学习地物信息Fb并将其存储在地物数据库DB2中时,优选以下结构:对于该学习地物信息Fb,也与初始地物信息Fa同样的设定学习值的初始值Td,取代到此之前的识别位置信息Aa的学习值,而将学习值的初始值Td存储在学习数据库DB3中。在此情况下,当对学习地物信息Fb表示的对象地物的图像识别失败时,识别失败处理部33生成该对象地物的识别失败信息Ac作为对该对象地物的学习值,每当对该对象地物的图像识别失败时,从存储在学习数据库DB3中的该对象地物的学习值的上述初始值Td依次减去该对象地物的学习值并进行存储。由此,针对学习地物信息Fb也可以采用与初始地物信息Fa同样的处理。
另一方面,当通过图像识别部1进行位置修正用图像识别处理时,在针对该对象地物设定的规定识别区域E内对于地物信息F所示的对象地物的图像识别成功时,不会将识别失败信息Ac作为学习值进行存储。在图6的例子中,由于成功的对初始地物Fa11表示的人行横道f11及初始地物Fa14表示的人行横道f14进行了图像识别,因此如图6所示,存储在学习数据库DB3中的人行横道f11及f14的学习值继续保持为初始值Td。
另外,当识别失败处理部33进行位置修正用图像识别处理时进行判断处理,来判断在针对各地物设定的识别领域E以外是否图像识别出对象地物。然后,当在针对各对象地物设定的识别区域E以外图像识别出对象地物时,如上文所述,识别位置导出部32利用信息收集用图像识别处理的结果进行与地物信息F收集处理相同的处理。即,识别位置导出部32基于位置修正用图像识别处理得到的对象地物的图像识别结果,以自身车辆的位置信息P作为基准导出该对象地物的识别位置。然后,识别位置导出部32生成表示导出的识别位置的识别位置信息Aa,并在可识别已成功进行该图像识别的对象地物的状态下将其存储在学习数据库DB3中。
在图6的例子中,相对于针对初始地物信息Fa13表示的对象地物(人行横道f13)设定的识别区域E13,在自身车辆50的前进方向前侧设有初始地物信息Fa不完备的人行横道f5。因此,在本例中,将该人行横道f5作为在针对各对象地物设定的识别领域E以外图像识别出的对象地物。在此情况下,由识别位置导出部32代替识别失败部33来利用信息收集用图像识别处理的结果进行与地物信息F收集处理相同的处理。即,每当对人行横道f5的图像识别成功时,识别位置导出部32将作为对人行横道f5的识别位置信息Aa的学习值,按照学习数据库DB3中该人行横道f5的识别位置所属的位置范围进行累加。并且,当自身车辆50在同一道路上多次通行从而人行横道f5被多次图像识别之后,如图6的(b)部分所示,每次该人行横道f5被识别时所生成的多个作为识别位置信息Aa的学习值将被相加累积存储在学习数据库DB3中。并且,一旦对该人行横道f5的学习值达到规定的学习阈值T1以上,则推测位置判断部34判断其推测位置pg。然后,如图6的(c)部分所示,由地物信息生成部36生成学习地物信息Fb5并将其存储在地物数据库DB2中。根据本实施方式的结构,能够实现以下处理:对于地物数据库DB2,如上述删除初始地物信息Fa以及追加学习地物信息Fb,从而将存储在地物数据库DB2中的地物信息F进行适当修正。使其符合现状。
另外,为了使该图像识别失败的对象地物相对于其他对象地物处于可识别状态,识别失败处理部33将生成的识别失败信息Ac与表示该对象地物的各种属性的地物属性信息Ab相对应关联存储。该地物属性信息Ab是和与识别位置信息Aa相对应关联存储的信息相同的信息。
11.推测位置判断部
推测位置判断部34作为推测位置判断单元发挥作用,基于通过对同一对象地物多次图像识别而存储在学习数据库DB3中的同一对象地物的多次识别位置信息Aa,来判断该对象地物的推测位置pg(参照图5)。这里,推测位置判断部34基于同一对象地物的多次识别位置信息Aa的分布,将该分布的代表值判断为该对象地物的推测位置pg。在本实施方式中,以众数(最频值)作为分布的代表值。即,推测位置判断部34将以下位置判断为该对象地物的推测位置,即,该位置是,当各对象地物的识别位置信息Aa的学习值达到最初设定的学习阈值T1以上时,代表其位置范围的位置。由此,当推测位置判断部34对一个对象地物的推测位置pg进行判断时,基于存储在学习数据库DB3中作为该对象地物的识别位置信息Aa的学习值的分布值,将代表取得众数(最频值)的位置范围的位置判断为该对象地物的推测位置pg。作为一例,对图5的例子中判断人行横道f1的推测位置pg时的判断方法进行说明。如图7所示,在位置范围a4中对人行横道f1的作为识别位置信息Aa的学习值最先达到了学习阈值T1以上。因此,推测位置判断部34将代表位置范围a4的位置判断为人行横道f1的推测位置pg,例如将位置范围a4的中央位置pg4判断为人行横道f1的推测位置pg。
12.地物信息管理部
地物信息管理部35作为地物信息管理单元发挥作用,其基于存储在学习数据库DB3中的对象地物的学习结果,对存储在地物数据库DB2中的地物信息F进行管理。在本实施方式中,该地物信息管理部35具备地物信息生成部36、地物间距判断部37以及删除管理部38。以下分别进行说明。
12-1.地物信息生成部
地物信息生成部36作为地物信息生成单元发挥作用,其基于存储在学习数据库DB3中的对象地物的学习结果来生成学习地物信息Fb。即,地物信息生成部36将由推测位置判断部34所判断的代表各对象地物的推测位置pg的位置信息和基于图像识别部18获取的该对象地物的图像识别结果而得到的属性信息相对应关联,从而生成学习地物信息Fb。这里,利用在学习数据库DB3中与该对象地物的识别位置信息Aa相对应关联存储的地物属性信息Ab的内容,来生成构成学习地物信息Fb的地物属性信息。由此,学习地物信息Fb与初始地物信息Fa同样生成为具备位置信息及与其对应关联的地物属性信息的信息。并且,该地物信息生成部36生成的该学习地物信息Fb被存储在地物数据库DB2中。在本实施方式中,由地物信息生成部36生成图5的(c)部分中所示的学习地物信息Fb1~Fb4以及图6的(c)部分中所示的学习地物信息Fb5,并将它们存储在地物数据库DB2中。另外,这些图中所示的黑四方“■”表示各学习地物信息Fb1~Fb5的位置信息所示的各对象地物的推测位置pg。
12-2.地物间距判断部
地物间距判断部37作为地物间距判断单元发挥作用,其基于对两个对象地物的多次的识别位置信息Aa,对表示该两者之间间距的地物间距D进行判断。在本实施方式中,地物间距判断部37利用由推测位置判断部34判断的关于两个对象地物的推测位置pg的信息,通过计算一个对象地物的推测位置pg与其他对象地物的推测位置pg之间的距离来求出这两个对象地物的地物间距D。在图5的(b)部分所示的例子中,地物间距判断部37求出相邻的两个对象地物间的距离。即,在本例中,地物间距判断部37判断并求出以下距离:人行横道f1与人行横道f2之间的地物间距D1;人行横道f2与人行横道f3之间的地物间距D2;人行横道f3与人行横道f4之间的地物间距D3。由该地物间距判断部37判断得到的地物间距D,作为构成由上述地物信息生成部36生成的学习地物信息Fb的信息而被利用。即,在本实施方式中,所生成的各对象地物的学习地物信息Fb包含如下内容:表示与接近于该对象地物的其他对象地物之间的关系的对应关联信息;表示与该其他对象地物间的地物间距D的地物间距信息。这些信息也与包含在初始地物信息Fa中的对应关联信息及地物间距信息内容相同。
12-3.删除管理部
删除管理部38作为删除管理单元发挥作用,其基于存储在学习数据库DB3中的对象地物的学习结果,来对存储在地物数据库DB2中的地物信息F进行删除处理。即,删除管理部38基于对同一对象地物的多次识别失败信息Ac,对存储在地物数据库DB2中的地物信息F进行删除,其中,上述同一对象地物的多次识别失败信息Ac是通过对同一对象地物的多次图像识别而存储在学习数据库DB3中的。具体来说,当对各个对象地物的学习值达到规定的删除阈值T2以上时,删除管理部38删除该对象地物的地物信息F。如上所述,在本实施方式中,将删除阈值T2设定为零。由此,当存储在学习数据库DB3中的对一个对象地物的识别失败信息Ac的学习值达到零时,删除管理部38进行删除处理,从地物数据库DB2中删除该对象地物的地物信息F。
另外,在本实施方式中,关于学习地物信息Fb,没有将识别失败信息Ac存储在学习数据库DB3中,因此删除管理部38从地物数据库DB2中只删除初始地物信息Fa。在图6所示的例子中,当由初始地物信息Fa13表示的人行横道f13的学习值达到零时,删除管理部38将初始地物信息Fa13从地物数据库DB2中删除。另外,如上所述,对于学习地物信息Fb,与初始地物信息Fa同样的将识别失败信息Ac存储在学习数据库DB3中的情况下,删除管理部38对学习地物信息Fb也将进行从地物数据库DB2中删除的处理。
13.道路信息管理部
道路信息管理部39作为道路信息管理单元发挥作用,其对存储在地图数据库DB1中的道路信息Ra及道路属性信息Rb中的一方或是双方进行修正处理。在本实施方式中,道路信息管理部39对道路信息Ra中的节点n的位置信息以及连接两个节点n间道路链k的长度信息中的一方或是双方进行修正。此时,道路信息管理部39基于位置信息,对节点n的位置及道路链k的长度中的一方或双方进行修正,其中,该位置信息是指,针对隔着节点n并相对该节点n具有大致均等间距的两个对象地物,表示由推测位置判断部34判断出的推测位置pg的位置信息。这里,作为隔着节点n并相对该节点n具有基本均等间距的对象地物,例如人行横道。
即,由于人行横道设在交叉路口与道路的交界部,因此一般表示交叉路口中心的节点n的两侧以大致均等的间距配置的对象地物。因此,如图5的(b)部分所示,基于存储在学习数据库DB3中的识别位置信息Aa,只要推测位置判断部34求出在节点n附近存在的两个人行横道的推测位置pg,则可将相对于这两个人行横道的推测位置pg具有均等间距d的中间位置推测为节点n所在的节点位置pn。同样,针对道路链k上与上述节点n相反一侧的端部存在的节点n,只要求出节点位置pn,则可推测这两个节点位置pn间的距离相当于道路链长度L。并且,当这样求出的节点位置pn及道路链长度L与存储在地图数据库DB1中的道路信息Ra所示出的内容不同时,道路信息管理单元39按照这样求出的节点位置pn及道路链长度L对道路信息Ra进行修正处理。由此,利用对于对象地物的学习结果,能够进行适当修正,使得存储在地图数据库DB1中的道路信息Ra符合实际情况。
14.道路属性信息获取部
道路属性信息获取部41作为道路属性信息获取单元发挥作用,其基于自身车辆位置信息P,从地图数据库DB1中获取自身车辆50所行驶的道路(道路链k)的道路属性信息Rb。如上所述,存储在地图数据库DB1中的道路属性信息Rb包括道路类别、地域类别、道路链长度、道路宽度、表示道路链形状的形状插入点等信息。并且,道路属性信息获取部41为了通过后述的对象类别决定部42从它们中决定对象类别,而从地图数据库DB1中获取必要的信息作为道路属性信息Rb。在本实施方式中,道路属性信息获取部41获取道路类别信息及地域类别信息作为道路属性信息Rb。如上所述,道路类别信息是将道路划分为多个类别时的道路类别信息,例如汽车专用道路、市区道路、狭窄道路、山岳道路等。另外,地域类别信息是将设有与道路链k对应的道路的地域划分为多个区域时的地域类别的信息,例如关东地区及关西地区等地区、都道府县及市区城镇等的行政划分。因此,道路属性信息获取部41所获取例如“道路类别:市区道路;地域类别:爱知县”这样的信息作为自身车辆50行驶的道路(道路链k)上的道路属性信息Rb。
15.识别属性数据库
识别属性数据库DB4作为识别属性信息存储单元发挥作用,是存储有识别率信息S1的数据库,该识别率信息S1作为可以成为对象类别的所有地物类别的识别属性信息。这里,识别率信息S1表示这种信息,即,该信息基于各个地物类别的固有的性质而决定,表示由图像识别部18进行信息收集用图像识别处理时的各地物类别的地物的识别率。即,识别率信息S1表示对各地物类别的对象地物进行图像识别时成功识别的理论比率。这里,作为对各地物类别的识别率产生影响的各地物类别固有的性质,例如包括:每种地物类别的形态、大小、色彩以及产生模糊的难易度等。例如,关于地物的形态,有这样的趋势:对于误识别为其他地物类别的可能性低而具有易于识别的特征形态的地物类别,其识别率高。关于地物的大小有这样的趋势:由于特别在道路的宽度方向越大的地物,其包含在拍摄装置11所拍到的图像信息G中的可能性就越大,因而其识别率就越高。关于地物的色彩的趋势:道路路面色彩的对比度越强,其识别率就越高。关于地物产生模糊的难易度的趋势:产生模糊的可能性越高,对其进行图像识别失败的可能性也越高,其识别率就越低。另外,每个地物产生模糊的难易度,是基于对各种地物类别的地物具有多大比率的模糊部分的实地调查结果而统计求出的结果。并且,存储在识别属性数据库DB4中的各个地物类别的识别率信息S1表示基于这些地物类别的固有性质而预先确定的识别率的预测值。
16.出现频率数据库
出现频率数据库DB5作为出现频率信息存储单元发挥作用,该数据库中对于可以成为对象类别的所有地物类别而存储有出现频率信息S2,该出现频率信息S2表示道路属性信息Rb所示的道路属性所对应的各地物类别的出现频率。这里,出现频率信息S2表示这样的信息:在各道路属性信息Rb所示多个道路属性的道路(道路链k)上各个地物类别的地物的出现频率。在本实施方式中,如上所述,使用道路类别信息以及地域类别信息作为道路属性信息Rb。因此,出现频率数据库DB5中规定有针对道路类别信息与地域类别信息的所有组合的各地物类别的出现频率信息S2。基于在各道路属性的道路上存在的地物的地物类别相关的实地调查结果,来统计求出这种各道路属性所对应的各地物类别的出现频率。在本实施方式中,该出现频率信息S2是表示单位长度的道路上各个地物类别出现的个数的信息,具体而言,表示每1[km]长的道路上出现的个数。因此,例如道路属性为“道路类别:市区道路;地域类别:爱知县”、地物类别为“人行横道”出现频率信息S2为“10.3”的情况,表示每1[km]长的道路上所设置的人行横道数的统计结果为10.3个。
17.配置倾向数据库
配置倾向数据库DB6作为配置倾向信息存储单元发挥作用,该数据库中存储有各个地物类别的区域信息S3,作为表示可以成为对象类别的所有地物类别的地物在道路上的配置倾向的配置倾向信息。这里,区域信息S3表示:在以交叉路口(节点n)为基准而沿道路(道路链k)的长度方向划分的多个道路区域Z中,各个地物类别的地物配置在其中哪个区域内的可能性高。即,区域信息S3表示各地物类别的地物的配置可能性高的道路区域Z。在本实施方式中,如图9A、图9B及图10A、图10B所示,区域信息S3划分为因道路属性信息Rb所示的道路类别而不同的道路区域Z。即,在此如图9A、图9B所示,针对市区道路,将道路(道路链k)沿其长度方向划分为以下两个道路区域Z:相当于道路边缘区域的“道路链端部Za”以及相当于道路中央区域的“道路链中央部Zb”。另外,如图10A、图10B所示,针对狭窄道路,将道路(道路链k)沿其长度方向划分为以下两个道路区域Z:相当于交叉路口中央区域的“节点上Zc”及相当于交叉路口以外道路上的区域的“道路链上Zd”。并且,作为存储在配置倾向数据库DB6中的区域信息S3的具体例子,例如:地物类别为“人行横道“的区域信息S所表示的道路区域Z,对于市区道路为“道路链端部Za”,对于狭窄道路为“道路链上Zd”。
18.对象类别决定部
对象类别决定部42作为对象类别决定单元单元发挥作用,其基于由道路属性信息获取部41获取的道路属性信息Rb以及关于图像识别处理预定的每种地物类别的识别属性信息,来决定对象类别。这里,对象类别是成为图像识别部18进行信息收集用图像识别处理的对象的一个或两个以上的地物类别。在本实施方式中,对象类别决定部42从人行横道、停止线、速度标志等在道路路面上设置的各种道路标线的地物类别中选择并决定对象类别。为了适当决定该对象类别,在本实施方式中,对象类别决定部42具有识别频率导出部43、对象类别决定运算部44及识别成败管理部45。以下,利用图9A、图9B及图10A、图10B对这些单元所进行的处理进行详细说明。图9A、图9B是表示当道路类别为市区道路时的道路区域Z的划分及对象类别决定处理的详细示例图。图10A、图10B是表示道路类别为狭窄道路时的道路区域Z的划分及对象类别决定处理的详细示例图。在这些图,图9A、图10A是表示道路区域Z的划分的详细示例图,图9B、图10B是表示对象类别决定处理的详细示例图。
18-1.识别频率导出部
识别频率导出部43作为识别频率导出单元发挥作用,其基于由道路属性信息获取部41获取的道路属性信息Rb所示的道路属性所对应的各地物类别的出现频率,并且基于识别属性信息所示的各个地物类别在图像识别处理时的易于识别度,来导出各地物类别的识别频率。因此,在本实施方式中,首先,识别频率导出部43基于由道路属性信息获取部41获取的道路属性信息Rb,对出现频率数据库DB5进行检索,进一步获取出现频率信息S2,该出现频率信息S2表示该道路属性信息Rb所示的道路属性所对应的各地物类别的出现频率。这里,识别频率导出部43基于道路属性信息Rb,针对各地物类别获取与该道路类别与地域类别的组合对应的出现频率信息S2,其中,该道路属性信息Rb道路属性信息获取部41获取,表示自身车辆50正在行驶的道路(道路链k)的道路类别信息及地域类别信息。
具体来说,例如当获取到自身车辆50正在行驶的道路(道路链k)的道路属性信息Rb为“道路类别:市区道路;地域类别:爱知县”时,如图9B所示,从出现频率数据库DB5中提取对应于该道路类别与地域类别的不同组合的多个地物类别的出现频率信息S2。在图示的例子中,所获取的各个地物类别的出现频率信息S2是:“人行横道:10.3”、“停止线:8.7”、“箭头:15.2”、“禁止转弯:3.3”、“最高速度:3.1”。另外,当获取的自身车辆50所行驶的道路(道路链k)的道路属性信息Rb为“道路类别:狭窄道路;地域类别:东京都”时,如图10B所示,从出现频率数据库DB5中提取与该道路类别和地域类别的组合对应的多个地物类别的出现频率信息S2。在图示的例子中,所获取的各个地物类别的出现频率信息S2是:“T字路口:9.8”、“十字路口:10.5”、“停止线:19.6”、“人行横道:5.1”、“人行横道预告:5.3”。另外,为了方便说明,这些图中例示取得关于5种地物类别的出现频率信息S2,但是实际上可以获取关于更多种地物类别的出现频率信息S2。
接下来,识别频率导出部43从识别属性数据库DB4中获取作为各地物类别的识别属性信息的识别率信息S1。这里,识别频率导出部43针对如上所述获取了出现频率信息S2的多个地物类别,分别从识别属性数据库DB4中检索并获取其识别率信息S1。具体来说,在图9B所示的例子中,所获取的各个地物类别的识别率信息S1是:“人行横道:80%”、“停止线:55%”、“箭头:70%”、“禁止转弯:90%”、“最高速度:80%”。而在图10B所示的例子中,所获取的各个地物类别的识别率信息S1是:“T字路口:90%”、“十字路口:80%”、“停止线:55%”、“人行横道:80%”、“人行横道预告:60%”。
然后,识别频率导出部43基于所获取的出现频率信息S2及识别率信息S1导出各地物类别的识别频率。在本实施方式中,如下式(1)所示,识别频率导出部43将出现频率信息S2所示的各地物类别的出现频率与识别率信息S1所示的各地物类别的地物识别率的预测值相乘,从而以其乘积作为识别频率。
(识别频率)=(出现频率)×(识别率的预测值)……(1)
即,该识别频率是将以下二者相乘而反映二者叠加效果的值:自身车辆50所行驶的道路(道路链k)的道路属性所对应的各地物类别的地物的出现频率;对各地物类别的地物的图像识别处理时的识别率的预测值。由此,表示这样的信息:自身车辆50在具有道路属性信息Rb所示的道路属性的道路(道路链k)上行驶并进行地物的图像识别处理时的各地物类别的地物综合性的识别率。具体来说,在如图9B所示的例子中,针对地物类别为“人行横道”的情况,其识别频率是“出现频率:10.3”乘以“识别率的预测值:80%”后所得到的“8.2”。同样,各地物类别的识别频率也可求得:“停止线:4.8”、“箭头:10.6”、“禁止转弯:3.0”、“最高速度:2.5”。在如图10B所示的例子中,各地物类别的识别频率也可求得:“T字路口:8.8”、“十字路口:8.4”、“停止线:10.8”、“人行横道:4.1”、“人行横道预告:3.2”。识别频率导出部43通过以上方式导出各地物类别的识别频率。
18-2.对象类别决定运算部
对象类别决定运算部44根据识别频率导出部43导出的各地物类别的识别频率来决定信息收集用图像识别处理对象中的一种或两种以上的地物类别的对象类别。在本实施方式中,对象类别决定运算部44按照由识别频率导出部43导出的各个地物类别的识别频率,在可以成为对象类别的所有地物类别中,决定识别频率较高的其中一种或两种以上的地物类别作为对象类别。但是,此时对象类别决定运算部44基于作为各地物类别的地物的配置倾向信息的区域信息S3,优先对这种地物类别决定对象类别,这种地物类别是:各地物类别的区域信息S3所表示的配置倾向与基于自身车辆位置信息P的自身车辆50所在道路(道路链k)上的配置一致。因此,在本实施方式中,对象类别决定运算部44参照存储在配置倾向数据库DB6中的关于各地物类别的区域信息S3,按照各区域信息S3所示的每个道路区域Z,以识别频率由高到低的顺序决定各地物类别的优先顺序。
在图9A、图9B所示的市区道路的例子中,由识别频率导出部43导出了识别频率的多个地物类别中,对于“人行横道”及“停止线”,区域信息S3所示的道路区域Z为“道路链端部Za”;对于“箭头”、“禁止转弯”及“最高速度”,区域信息S3所示的道路区域Z为“道路链中央部Zb”。由此,对象类别决定运算部44对于道路区域Z为“道路链端部Za”的各地物类别这样决定优先顺序:按该道路区域Z内地物类别中识别频率从高到底的顺序,决定为“人行横道:1”、“停止线:2”。另外,对象类别决定运算部44对于道路区域Z为“道路链中央部Zb”的各地物类别这样决定优先顺序:按该道路区域Z内地物类别中识别频率从高到底的顺序,决定为“箭头:1”、“禁止转弯:2”、“最高速度:3”。另外,在图9A所示的例子中,将设置在交叉路口(节点n)两侧的包括人行横道以及停止线的交叉路口(节点n)附近区域作为“道路链端部Za”,其他的道路(道路链k)作为“道路链中央部Zb”。
另外,在图10A、图10B所示的狭窄道路的例子中,在由识别频率导出部43导出了识别频率的多个地物类别中,对于“T字路口”及“十字路口”,区域信息S3所示的道路区域Z为“节点上Zc”;对于“停止线”、“人行横道”及“人行横道预告”,区域信息S3所示的道路区域Z为“道路链上Zd”。由此,对象类别决定运算部44对于道路区域Z为“节点上Zc”的各地物类别这样决定优先顺序:按照该道路区域Z内地物类别中识别频率从高到底的顺序,决定为“T字路口:1”、“十字路口:2”。另外,在本例中,即使识别频率的值不同,“T字路口”与“十字路口”的优先顺序也为“1”。这是由于,由于“T字路口”与“十字路口”不会配置在同一场所,因此位置不会冲突,并且,这些地物具有共通的形态,因此可以使用共通的图像识别处理将两者同时识别为对象类别。另外,对象类别决定运算部44对于道路区域Z为“道路链上Zd”的各地物类别这样决定优先顺序:按该道路区域Z内地物类别中识别频率从高到底的顺序,决定为“停止线:1”、“人行横道:2”、“人行横道预告:3”。另外,在图10A所示的例子中,将设置在交叉路口(节点n)两侧的包括人行横道以及停止线的道路(道路链k)上的区域作为“道路链上Zd”,将其他的交叉路口(节点n)附近的区域作为“节点上Zc”。
然后,对象类别决定运算部44基于每个道路区域Z内各地物类别的优先顺序,针对每个道路区域Z来确定对象类别。在本实施方式中,对象类别决定运算部44将每个道路区域Z内优先顺序为“1”的地物类别决定为对象类别。从而,在图9A、图9B所示的例子中,将道路区域Z为“道路链端部Za”的对象类别决定为“人行横道”,将道路区域Z为“道路链中央部Zb”的对象类别决定为“箭头”。而在图10A、图10B所示的例子中,将道路区域Z为“节点上Zc”的对象类别决定为“T字路口”及“十字路口”,将道路区域Z为“道路链上Zd”的对象类别决定为“停止线”。
另外,在本实施方式中,对象类别决定运算部44在进行上述的对象类别决定时,参照存储在识别成败管理部45中的类别失败信息S4,基于过去对于对象地物的图像识别成败与否的信息来确定对象类别。此时,对象类别决定运算部44首先基于自身车辆位置信息P对识别成败管理部45进行检索,并提取关于自身车辆50所行驶道路区域Z的类别失败信息S4。如后所述,在本实施方式中,类别失败信息S4是表示过去对每个道路区域Z决定的对象类别的地物的图像识别失败的信息,包括:表示该图像识别失败的地物类别的信息;表示与该图像识别失败的区域相当的规定的道路区域Z的信息。
然后,在获取了关于自身车辆50所行驶道路区域Z的类别失败信息S4的情况下,对象类别决定运算部44对该道路区域Z的地物类别的优先顺序进行变更调整,使得该类别失败信息S4所示的地物类别的优先顺序排在后面。具体来说,对象类别决定运算部44改变原来的优先顺序,使得类别失败信息S4所示的地物类别排在后面。而此时,对象类别决定运算部44使其他的地物类别的优先顺序依次提前。然后,对象类别决定运算部44将变更后优先顺序为“1”的地物类别确定为对象类别。例如,在图9A、图9B所示的例子中,在自身车辆50的行驶方向的道路链中央部Zb的规定的道路区域Z内,获取了表示过去对于对象类别为“箭头”的图像识别失败的类别失败信息S4。此时,对象类别决定运算部44将“箭头”的优先顺序变更为最后一位。由此,该规定的道路区域Z中“禁止转弯”的优先顺序依次提前为“1”,“最高速度”的优先顺序依次提前为“2”。由此,此时对象类别决定运算部44按照变更后的优先顺序,将对象类别确定为“禁止转弯”。
18-3.识别成败管理部
识别成败管理部45作为识别成败管理单元发挥作用,其对于信息收集用图像识别处理,管理过去对于对象地物的图像识别的成败信息。因此,识别成败管理部45基于自身车辆位置信息P,对于每个道路区域Z(规定区域的一例),生成作为识别成败信息的类别失败信息S4,并存储所生成的类别失败信息S4,其中,该识别成败信息表示由对象类别决定运算部44决定的对象类别的对象地物的图像识别的成败。在本实施方式中,类别失败信息S4是表示以下事实的信息:关于过去由对象类别决定运算部44在每个道路区域Z确定的对象类别的对象地物的信息收集用图像识别处理,在所有的道路区域Z都无法图像识别出对象地物的情况下,该图像识别失败。由此,在本例中,类别失败信息S4包括:表示该图像识别失败的地物类别的信息;表示与该图像识别失败的区域相当的规定的道路区域Z的信息。这里,类别失败信息S4中所包括的“规定的道路区域Z”是可以规定该图像识别失败的一个道路区域Z的信息,如存储在配置倾向数据库DB6中的区域信息S3那样,与仅规定“道路链端部Za”、“道路链中央部Zb”等道路区域Z的类别的信息不同。因此,该类别失败信息S4中所包括的“规定的道路区域Z”是基于以下的信息求出的,这些信息是:通过图像识别失败的规定的道路区域Z时的自身车辆位置信息P与道路信息Ra,例如,与存在该规定的道路区域Z的规定的道路链k相对应关联的信息。
接着,针对规定的道路区域Z内对于对象地物图像识别处理,识别成败管理部45累计该图像识别失败的次数,当连续失败了规定的次数(如,1次、5次、10次等)时,生成并存储类别失败信息S4。由此,对于规定的道路区域Z,当由对象类别决定运算部44决定的对象类别的地物的图像识别失败了规定的次数后,该规定的道路区域Z的对象类别被变更。从而,在进行信息收集用图像识别处理时,能够高效的进行对象地物的图像识别以及对于对象地物的学习。
19.导航装置的工作处理
接着,针对本实施方式的导航装置1中执行的地物信息收集方法、地物信息修正方法、自身车辆信息修正方法以及用于执行地物信息收集方法的对象类别决定方法进行说明。图11是表示本实施方式中所涉及的包括导航装置1的自身车辆信息修正方法的整体工作处理顺序的流程图。图12是表示本实施方式中所涉及的作为地物信息收集方法的地物信息收集处理的详细处理顺序的流程图。图13是表示本实施方式中所涉及的作为对象类别决定方法的对象类别决定处理的详细处理顺序的流程图。图14是表示本实施方式中所涉及的作为地物信息修正方法的地物信息修正处理的详细处理顺序的流程图。以下首先针对导航装置1的整体工作处理进行说明。
如图11所示,在导航装置1中,首先通过自身车辆位置信息获取部16获取自身车辆位置信息P(步骤#01)。接着,通过图像信息获取部12获取由拍摄装置11拍摄的自身车辆50周边的图像信息G(步骤#02)。之后,通过地物信息获取部17从地物数据库DB2中获取这样的对象地物的地物信息F(步骤#03),即,该对象地物存在于从自身车辆位置信息P所示的自身车辆50的当前位置(自身车辆位置)到表示该自身车辆50所行驶的道路的道路链k的终端之间。然后,当在步骤#03中未获取地物信息F时(步骤#04:否),导航装置1执行地物信息收集处理(步骤#07)。关于该地物信息收集处理,后文将基于图12所示的流程图进行详细说明。
另一方面,当在步骤#03获取了地物信息F时(步骤#04:是),接下来图像识别部18针对在步骤#03中所获取的各个地物信息F所表示的各对象地物,设定识别区域E并进行图像识别处理(步骤#05)。该步骤#05的图像识别处理是上述图像识别部18所进行的位置修正用图像识别处理。接下来,通过步骤#05在识别区域E内图像识别出对象地物时(步骤#06:是),自身车辆位置修正部19基于该对象地物的图像识别结果及该对象地物的地物信息F所含的该对象地物的位置信息,对自身车辆位置信息P进行修正(步骤#08)。另一方面,在识别区域E内无法图像识别出对象地物时(步骤#06:否),导航装置1执行地物信息修正处理(步骤#09)。关于该地物信息修正处理,后文将基于图14所示的流程图进行详细说明。至此,导航装置1的整体工作处理结束。
19-1.地物信息收集方法
接着,针对本实施方式中作为地物信息收集方法的地物信息收集处理的处理顺序进行说明。如图12所示,首先,通过对象类别决定部42进行对象类别决定处理(步骤#21)。该对象类别决定处理,在可以成为对象地物的众多地物类别中,将作为信息收集用图像识别处理对象的地物类别决定为对象类别。此时,针对每个规定的道路区域Z(参照图9A、图9B及图10A、图10B)决定对象类别。关于该对象类别决定处理,后文将基于图13所示的流程图进行详细说明。接下来,图像识别部18按照在步骤#21中对每个道路区域Z决定的对象类别,对每个道路区域Z内的对象地物进行图像识别处理(步骤#22)。此时,图像识别部18将对每个道路区域Z决定的对象类别的地物作为对象地物进行图像识别。该步骤#22中的图像识别处理为上述图像识别部18所进行的信息收集用图像识别处理。然后,当在一个道路区域Z中无法图像识别出对象地物时(步骤#23:否),将表示在该道路区域Z中步骤#21所决定的对象类别的图像识别失败的类别失败信息S4(参照图1),存储在识别成败管理部45(步骤#30)。
另一方面,当通过图像识别部18图像识别出对象地物时(步骤#23:是),识别位置导出部32基于在步骤#01中获取的自身车辆位置信息P,导出该对象地物的识别位置(步骤#24)。接着,生成表示步骤#24中导出的对象地物识别位置的识别位置信息Aa,作为关于该识别位置所属的规定的位置范围的学习值,并如图5的(b)部分及图7所示,在每个位置范围内累加其学习值并将结果储存到学习数据库DB3中(步骤#25)。这里,在储存在学习数据库DB3中的关于该对象地物的识别位置信息Aa的学习值不足规定的学习阈值T1的情况下(步骤#26:否),处理就此结束。
另一方面,当储存在学习数据库DB3中的关于该对象地物的识别位置信息Aa的学习值在规定的学习阈值T1以上时(步骤#26:是),由推测位置判断部34判断该对象地物的推测位置pg(步骤#27)。然后,由地物信息生成部36生成关于该对象地物的学习地物信息Fb(步骤#28),该学习地物信息Fb与步骤#27中判断的推测位置pg以及基于图像识别结果的地物属性信息相对应关联。然后,将生成的学习地物信息Fb存储在地物数据库DB2中(步骤#29)。至此,地物信息收集处理结束。
19-2.对象类别决定方法
接着,对本实施方式中作为地物类别决定方法的对象类别决定处理的处理顺序进行说明。如图13所示,首先,由道路属性信息获取部41基于在步骤#01中获取的自身车辆位置信息P,从地图数据库DB1中获取关于自身车辆50所行驶的道路(道路链k)的道路属性信息Rb(参照图1)(步骤#41)。接着,由对象类别决定部42的识别频率导出部43从出现频率数据库DB5中获取在步骤#41中获得的道路属性信息Rb所对应的各地物类别的出现频率信息S2(参照图2)(步骤#42)。另外,识别频率导出部43从识别属性数据库DB4中获取各地物类别的识别率信息S1(步骤#43)。然后,识别频率导出部43基于由步骤#41~步骤#43获取的信息,导出各地物类别的识别频率(步骤#44)。识别频率导出部43导出各地物类别识别频率的导出方法如上述说明。
接着,由对象类别决定部42的对象类别决定运算部44从配置倾向数据库DB6中获取作为各地物类别的配置倾向信息的区域信息S3(步骤#45)。然后,由对象类别决定运算部44针对区域信息S3所示的每个规定的道路区域Z来确定各地物类别的优先顺序(步骤#46)。具体来说,如上所述,针对区域信息S3所示的每个规定的道路区域Z,以识别频率高的地物类别排在前面的方式来决定各地物类别的优先顺序。然后,对象类别决定部42参照识别成败管理部45(步骤#47)。接着,针对在步骤#46中决定了优先顺序的道路区域Z,判断其识别失败信息S4是否已存储在识别成败管理部45中(步骤#48)。这里,在这种识别失败信息S4没有存储在识别成败管理部45中时(步骤#48:否),处理进到步骤#50。另一方面,在当判断出在步骤#46中决定了优先顺序的道路区域Z的识别失败信息S4已存储在识别成败管理部45中时(步骤#48:是),对具有该识别失败信息S4的道路区域Z的优先顺序进行变更。具体来说,如上所述,以类别失败信息S4所示的地物类别排在后面的方式,来决定地物类别的优先顺序。接着,对象类别决定运算部44按照在步骤#46及步骤#49中决定的各地物类别的优先顺序,来决定其中一个或者两个以上的对象类别(步骤#50)。至此,对象类别决定处理结束。
19-3.地物信息修正方法
下面,针对本实施方式中作为地物信息修正方法的对象类别信息修正处理的处理顺序进行说明。如图14所示,首先,由识别失败处理部33针对在步骤#05的位置修正用图像识别处理中识别区域E内的图像识别失败(步骤#06:否)的对象地物,生成作为该对象地物的识别失败信息Ac的学习值,并如图6的(b)部分及图8所示,减去关于该对象地物的学习值并将其结果存储在学习数据库DB3中(步骤#61)。这里,在学习值不为零的情况下(步骤#62:否),处理进到步骤#64。并且,在学习值为零的情况下(步骤#62:是),即学习值在删除阈值T2以下的情况下,删除管理部38将该对象地物的地物信息F从地物数据库DB2中删除(步骤#63)。
然后,识别失败处理部33判断在步骤#05的位置修正用图像识别处理中是否在识别区域E以外图像识别出对象地物(步骤#64)。当在识别区域E以外未图像识别出对象地物时(步骤#64:否),处理就此结束。另一方面,当在识别区域E以外图像识别出对象地物时(步骤#64:是),识别位置导出部32进行与信息收集用图像识别处理中图像识别出对象地物的步骤#24~#29同样的处理。即,识别位置导出部32基于在步骤#01中获取的自身车辆位置信息P,导出该对象地物的识别位置(步骤#65)。接下来,如图6的(b)部分中所示的人行横道f5的例子,生成表示步骤#65所导出的对象地物的识别位置的识别位置信息Aa,作为该识别位置所属的规定位置范围的学习值,并在每个位置范围内累加其值,将累加结果存储在学习数据库DB3中(步骤#66)。这里,当存储在学习数据库DB3中的该对象地物的识别位置信息Aa的学习值在规定的学习阈值以下时(步骤#67:否),处理就此结束。
另一方面,当存储在学习数据库DB3中的该对象地物的识别位置信息Aa的学习值在规定的学习阈值以上时(步骤#67:是),推测位置判断部34对该对象地物的推测位置pg进行判断(步骤#68)。然后,地物信息生成部36针对该对象地物生成学习地物信息Fb(步骤#69),其中,该学习地物信息Fb与在步骤#68中判断的推测位置pg以及基于图像识别结果的地物属性信息相对应关联。然后,将生成的学习地物信息Fb存储在地物数据库DB2中(步骤#70)。至此,地物信息修正处理结束。
20.其他实施方式
(1)在上述实施方式中,针对以下情况的例子进行了说明:识别位置导出部32导出识别位置信息Aa所示的对象地物的识别位置,作为表示以自身车辆位置信息P为基准的该对象地物在道路上所处位置的信息。但是,在本发明中所涉及的识别位置信息Aa并不仅限于此类位置信息。因此,以下的例子也是适于本发明的实施方式之一,即,将识别位置信息Aa所示的对象地物的识别位置,作为获取含有该对象地物图像的图像信息G时的自身车辆位置信息P所示的自身车辆50的位置。在该情况下,优选以下方式:在由地物信息生成部36生成学习地物信息Fb时,识别位置导出部32基于拍摄装置11的安装位置、安装角度及视角等,计算图像信息G中的对象地物在道路上相对于自身车辆50位置的位置,并将该对象地物在道路上的位置作为含有对象地物的学习地物信息Fb的位置信息。
(2)在上述实施方式中,针对以下情况的例子进行了说明:推测位置判断部34基于对同一对象地物的多次识别位置信息Aa的分布,将该分布的众数(最频值)作为该对象地物的推测位置pg。但是,由推测位置判断部34进行的推测位置pg的判断方法并不仅限于此。因此,以下的例子也是适于本发明的实施方式之一,即,基于识别位置信息Aa的分布,将该分布的平均值、中值等其他代表值判断为该对象地物的推测位置pg。
(3)在上述实施方式中,针对以下情况的例子进行了说明:每当对一个对象地物进行图像识别成功时,识别位置导出部累加一分的学习值。但是,本发明的实施方式并不仅限于此。因此,以下的例子也是适于本发明的实施方式之一,即,在由图像识别部18进行对象地物的图像识别处理时,基于图像识别结果判断识别自信度,并累计相加因该识别自信度而不同的学习值,其中,该识别自信度表示对象类别决定部42决定的对象类别的对象地物的确切度。即,优选当在每个位置范围累加作为识别位置信息Aa的学习值并将其存储在学习数据库DB3中时,在判断为该地物类别的对象地物具有高自信度的情况下,累加一个大的学习值;相反在自信度低的情况下,累加一个小的学习值。另外,每当对象地物的图像识别成功时,所累计的学习值不只限于正数,也可以是负数。另外,该学习值不只限于整数,也可以是小数。
(4)在上述实施方式中,针对以下结构进行了说明:每当对象地物的图像识别失败时,识别失败处理部33从规定的初始值Td减去作为该对象地物的识别失败信息Ac的学习值,当学习值达到零时从地物数据库DB2中删除该对象地物的地物信息F。但是,作为识别失败信息Ac的学习值的结构并不仅限于此,以下的例子也是适于本发明的实施方式之一,即,将学习值的初始值Td设为零,每当图像识别失败时对减去学习值,当达到设定为负值的规定删除阈值T2以下时,将该对象地物的地物信息F从数据库DB2中删除。另外,每当对象地物的图像识别失败时减去的学习值不只限于正数,也可以是负数。另外,该学习值也不只限于整数,也可以是小数及分数。另外,存储在学习数据库DB3中的识别失败信息Ac,其构成不只限于采用上述学习值,为了存储地物信息F所示的对象地物的图像识别失败这一情况,可以采用各种方式的信息。
(5)在上述实施方式中,各数据库DB1~DB6的分类方法仅仅是一个例子,并不限制各个数据库DB1~DB6的硬件结构。因此,也可以采用以下的任意一种结构:例如,将地物数据库DB2与学习数据库DB3合并为一个数据库,或者将地图数据库DB1与地物数据库DB2合并为一个数据库等。
(6)在上述实施方式中,针对以下情况的例子进行了说明:将用于判断在自身车辆50的周边是否存在存储为地物信息F的对象地物的自身车辆50周边的范围,设为从自身车辆位置信息P所示的自身车辆50的当前位置(自身车辆位置)到表示该自身车辆50所行驶的道路的道路链k的端部之间的范围。但是,这仅仅是一个例子,也可以将基于其他标准决定的范围设为自身车辆50周边的范围。因此,以下的例子也是适于本发明的实施方式之一,即,将自身车辆50周边的范围设为从自身车辆50的当前位置到不以道路链k为单位的规定距离内的范围。
(7)在上述实施方式中,针对进行以下两方面处理的地物信息收集装置2的例子进行了说明,这两方面处理是:地物信息收集处理,当自身车辆50的周边不存在作为存储为地物信息F的对象地物时,基于将规定地物类别的地物作为对象地物进行图像识别结果,来学习对象地物的位置,从而生成地物信息F;地物信息修正处理,当自身车辆50的周边存在存储为地物信息F的对象地物时,学习地物信息F所示的对象地物的图像识别失败的信息,并删除或修正地物信息F。但是,本发明中地物信息收集装置2的实施方式不只限于此,以下的例子也是适于本发明的实施方式之一,即,只进行上述地物信息收集处理、上述地物信息修正处理或地物信息删除处理中的一个处理。
(8)在上述实施方式中,针对以下情况的例子进行了说明:由识别频率决定部42的识别频率导出部43获取出现频率信息S2及识别率信息S1,将出现频率信息S2所示的道路属性所对应的各地物类别的出现频率,与识别率信息S1所示的各地物类别的地物识别率的预测值相乘,以其乘值作为识别频率。但是,本发明的实施方式并不仅限于此。因此,以下结构也是适于本发明的实施方式之一,即,可以基于由道路信息获取部41获取的道路属性信息Rb,利用规定了识别频率的识别频率表,针对所有的道路属性与地物类别的组合,参照识别频率表求出各地物类别的识别频率。
(9)在上述实施方式中,针对以下情况的例子进行了说明:当根据每个道路区域Z中各个地物类别的优先顺序来决定每个道路区域Z的对象类别时,将每个道路区域Z中优先顺序为“1”的地物类别决定为对象类别。这是由于:为了减小图像识别处理部18进行图像识别处理时的负荷,而将对象类别的个数抑制为较少。此外,当图像识别处理部18进行运算处理的能力有富余时,也可以将每个道路区域Z内优先顺序为“1”以外的地物类别也作为对象类别,从俄可以增加对象类别的个数。另外,此时也可以将不同的道路区域Z内的地物类别作为对象类别。
(10)在上述实施方式中,针对以下情况的例子进行了说明:获取道路类别信息及地域类别信息作为道路属性信息Rb,基于这些信息求出自身车辆50所行驶的道路上各个地物类别的出现频率。但是,本发明的实施方式并不仅限于此,以下结构也适于本发明,即。即使是道路类别及地域类别以外的其他道路属性,只要是影响地物类别出现频率的参数,都可以作为道路属性信息Rb。因此,例如获取道路链长度、道路宽度、道路链形状等信息作为道路属性信息Rb,也是适于本发明的实施方式之一。
(11)在上述实施方式中,将以下情况作为例子进行了说明:为了决定对象类别,获取表示各地物类别的地物的识别率预测值的识别率信息信息S1,作为各地物类别的识别属性信息。但是,为了决定对象类别所采用的各个地物类别的识别属性信息并不仅限于识别率的预测值的信息,也可以将影响各地物类别的地物的图像识别处理的各种信息作为识别属性信息,来用于决定对象类别。
(12)在上述实施方式中,将以下情况作为例子进行了说明:在决定对象类别时,参照存储在配置倾向数据库DB6中的关于各地物类别的区域信息S3,分别针对每区域信息S3所示的道路区域Z,按识别频率由大到小的顺序决定各地物类别的优先顺序。但是,本发明的实施方式不仅限于此。因此,以下结构也是适于本发明的实施方式之一,即,不利用如区域信息S3这样的各地物类别的地物的配置倾向信息而决定对象类别。在此情况下,例如,可以根据由识别频率导出部43导出的各地物类别的识别频率,将可能成为对象类别的所有地物类别中排在最前面的一个或两个以上的地物类别决定为对象类别。
(13)在上述实施方式中,将以下情况作为例子进行了说明:在决定对象类别时,参照存储在识别成败管理部45中的类别失败信息S4,基于过去对于对象地物的图像识别的成败的信息来决定对象类别。但是,本发明的实施方式不仅限于此。因此,以下结构也是适于本发明的实施方式之一,即,设为不具备识别成败管理部45的结构,不论过去对象地物的图像识别成败与否,一律基于识别频率导出部43导出的各地物类别的识别频率等来决定各地物类别的优先顺序,进一步决定对象类别。
(14)在上述实施方式中,将以下情况作为例子进行了说明:将从道路路面上设置的各种道路标线中选择的地物类别作为对象类别。但是,本发明的实施方式不仅限于此,也可以将道路周边所设的各种地物作为对象地物。因此,也可以将道路标线、引导标志、广告牌、信号灯、窨井等各种地物作为对象地物。
(15)在上述实施方式中,将以下情况作为例子进行了说明:涉及本发明的地物信息收集装置2的所有结构均装载在自身车辆50上。但是,本发明的实施方式不仅限于此。即,以下结构也是适于本发明的实施方式之一:如图15所示,作为本发明的识别结果存储单元的包含学习数据库DB3的地物信息收集装置2的一部分结构,设置在可以通过无线通讯电路等实现与多台车辆50通信的服务器装置60上。如果地物信息收集装置2采用这样的结构,则可以将多台车辆50的对象地物学习结果集中到设置在服务器装置60上的学习数据库DB3中。由此,利用更多的识别位置信息Aa及识别失败信息Ac,能够生成具有更高精度的位置信息的对象地物的地物信息F。另外,服务器装置60上设置的地物信息收集装置2的结构也不只限于学习数据库DB3,也可以将如拍摄装置11、自身车辆信息获取部16等需要装载在自身车辆50上的结构以外的所有结构设置在服务器装置60上。另外,同样地,将图像识别装置3、自身车辆位置识别装置4及导航装置1的一部分结构设置在服务器装置60上也是适于本发明的实施方式之一。
(16)在上述实施方式中,将以下情况作为例子进行了说明:将涉及本发明的图像识别装置3用于地物信息收集装置2,将涉及本发明的地物信息收集装置2用于自身车辆位置识别装置4及导航装置1。但是,本发明的实施方式不仅限于此。因此,当然可以将各装置用于与上述实施方式不同的其他用途,例如将具有本发明的图像识别装置3及地物信息收集装置2的自身车辆位置识别装置4用于车辆的行驶控制装置等。
本发明可适用于以下图像识别装置以及图像识别方法:基于由装载在车辆上的摄像装置等获取车辆周边图像信息,对该图像信息中的对象地物进行图像识别处理。
Claims (16)
1.一种图像识别装置,其特征在于,具有:
自身车辆位置信息获取单元,获取表示自身车辆的当前位置的自身车辆位置信息,
图像信息获取单元,获取自身车辆周边的图像信息,
道路属性信息获取单元,基于上述自身车辆位置信息,获取自身车辆正在行驶的道路的道路属性信息,
对象类别决定单元,决定对象类别,该对象类别是作为对上述图像信息的图像识别处理的对象的一种或两种以上地物类别,
图像识别单元,将上述对象类别决定单元所决定的上述对象类别的地物作为对象地物,对上述图像信息中的对象地物进行图像识别处理;
上述对象类别决定单元基于上述道路属性信息获取单元所获取的上述道路属性信息、以及关于图像识别处理预先确定的每种地物类别的识别属性信息,决定对象类别。
2.如权利要求1所记载的图像识别装置,其特征在于,上述对象类别决定单元根据识别频率,将上述识别频率在可以成为上述对象类别的所有地物类别中排在前面的一种或两种以上的地物类别决定为上述对象类别,其中,该识别频率是基于与上述道路属性信息所示的道路属性相对应的各地物类别的出现频率、和易于识别程度来决定的,该易于识别程度是在对上述识别属性信息所示的各地物类别进行图像识别处理时的易于识别程度。
3.如权利要求1或权利要求2所记载的图像识别装置,其特征在于,上述道路属性信息包括道路类别信息及地域类别信息中的任何一个以上。
4.如权利要求1至权利要求3中任一项所记载的图像识别装置,其特征在于,上述识别属性信息包括识别率信息,该识别率信息是基于各地物类别的固有性质来决定的,并表示进行图像识别处理时的识别率的预测值,其中,该各地物类别的固有性质包括各地物类别的形状、大小、色彩及产生模糊的难易程度中的任何一项以上。
5.如权利要求1至权利要求4中任一项所记载的图像识别装置,其特征在于,上述对象类别决定单元根据表示各地物类别的地物在道路上的配置倾向的每种地物类别的配置倾向信息,优先对于该配置倾向信息所示的配置倾向与基于上述自身车辆位置信息的自身车辆的道路上的配置一致的地物类别,决定上述对象类别。
6.如权利要求5所记载的图像识别装置,其特征在于,上述配置倾向信息包括区域信息,该区域信息表示各地物类别的地物配置在多个道路区域中的哪个道路区域的可能性高,该多个道路区域是以交叉路口为基准而在道路的长度方向上划分的区域。
7.如权利要求1至权利要求6中任一项所记载的图像识别装置,其特征在于,上述对象类别决定单元基于上述自身车辆位置信息,针对规定的每个区域,管理上述对象类别决定单元所决定的上述对象类别的对象地物的图像识别的成败,并基于对上述对象类别的对象地物的图像识别的成败信息,决定上述对象类别。
8.如权利要求1至权利要求7中任一项所记载的图像识别装置,其特征在于,能够成为上述对象类别的地物类别是从设置在从道路路面上的各种道路标线中选择的地物类别。
9.一种地物信息收集装置,其特征在于,具有:
权利要求1至权利要求8中任一项所记载的图像识别装置;
识别结果存储单元,以能够识别对象地物的状态存储识别位置信息,其中,该识别位置信息是基于上述自身车辆位置信息求出的,并表示上述图像识别单元所获取的该对象地物的识别位置。
10.如权利要求9所记载的地物信息收集装置,其特征在于,还具有推测位置判断单元,该推测位置判断单元基于同一对象地物的多个上述识别位置信息,判断该对象地物的推测位置,其中,该同一对象地物的多个上述识别位置信息是通过对同一对象地物的多次图像识别存储在上述识别结果存储单元中的信息。
11.如权利要求10所记载的地物信息收集装置,其特征在于,还具有地物信息存储单元,该地物信息存储单元存储将位置信息与属性信息相对应关联的地物信息,其中,该位置信息表示上述推测位置判断单元所判断的各对象地物的推测位置,该属性信息是基于上述图像识别单元对该对象地物的图像识别结果的属性信息。
12.如权利要求9至权利要求11中任一项所记载的地物信息收集装置,其特征在于,上述识别结果存储单元与多台车辆以能够通信的方式连接,并存储多台车辆的上述识别位置信息。
13.一种图像识别方法,其特征在于,包括:
自身车辆位置信息获取步骤,获取表示自身车辆的当前位置的自身车辆位置信息,
图像信息获取步骤,获取自身车辆周边的图像信息,
道路属性信息获取步骤,基于上述自身车辆位置信息,获取自身车辆正在行驶的道路的道路属性信息,
对象类别决定步骤,决定对象类别,该对象类别是作为对上述图像信息的图像识别处理的对象的一种或两种以上地物类别,
图像识别步骤,将上述对象类别决定步骤所决定的上述对象类别的地物作为对象地物,对上述图像信息中的对象地物进行图像识别处理;
在上述对象类别决定步骤中,基于上述道路属性信息获取步骤所获取的上述道路属性信息、以及关于图像识别处理预先确定的每种地物类别的识别属性信息,决定对象类别。
14.如权利要求13所记载的图像识别方法,其特征在于,在上述对象类别决定步骤中,根据识别频率,将上述识别频率在可以成为上述对象类别的所有地物类别中排在前面的一种或两种以上的地物类别决定为上述对象类别,其中,该识别频率是基于与上述道路属性信息所示的道路属性相对应的各地物类别的出现频率、和易于识别程度来决定的,该易于识别程度是在对上述识别属性信息所示的各地物类别进行图像识别处理时的易于识别程度。
15.如权利要求13或权利要求14所记载的图像识别方法,其特征在于,在上述对象类别决定步骤中,根据表示各地物类别的地物在道路上的配置倾向的每种地物类别的配置倾向信息,优先对于该配置倾向信息所示的配置倾向与基于上述自身车辆位置信息的自身车辆的道路上的配置一致的地物类别,决定上述对象类别。
16.如权利要求13至权利要求15中任一项所记载的图像识别方法,其特征在于,在上述对象类别决定步骤中,基于上述自身车辆位置信息,针对规定的每个区域,管理上述对象类别决定步骤所决定的上述对象类别的对象地物的图像识别的成败,并基于对上述对象类别的对象地物的图像识别的成败信息,决定上述对象类别。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007091047A JP4446201B2 (ja) | 2007-03-30 | 2007-03-30 | 画像認識装置及び画像認識方法 |
JP2007-091047 | 2007-03-30 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN101275852A true CN101275852A (zh) | 2008-10-01 |
CN101275852B CN101275852B (zh) | 2011-12-28 |
Family
ID=39550928
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN2008100836821A Expired - Fee Related CN101275852B (zh) | 2007-03-30 | 2008-03-14 | 图像识别装置与图像识别方法 |
Country Status (4)
Country | Link |
---|---|
US (1) | US8184861B2 (zh) |
EP (1) | EP1975558A3 (zh) |
JP (1) | JP4446201B2 (zh) |
CN (1) | CN101275852B (zh) |
Cited By (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102460508A (zh) * | 2009-06-18 | 2012-05-16 | 佳能株式会社 | 图像识别方法和图像识别设备 |
CN102768805A (zh) * | 2012-06-14 | 2012-11-07 | 深圳市凯立德科技股份有限公司 | 交通信息的显示方法以及可显示交通信息的装置 |
CN103443839A (zh) * | 2011-03-28 | 2013-12-11 | 松下电器产业株式会社 | 图像显示装置 |
CN104751667A (zh) * | 2013-12-20 | 2015-07-01 | 矢崎能源系统公司 | 交通信息管理系统 |
CN104751668A (zh) * | 2013-12-20 | 2015-07-01 | 矢崎能源系统公司 | 交通信息管理系统 |
CN105074794A (zh) * | 2013-04-04 | 2015-11-18 | 日产自动车株式会社 | 信号识别装置 |
CN105759820A (zh) * | 2016-04-08 | 2016-07-13 | 济宁中科先进技术研究院有限公司 | 基于激光和视觉的道路自主清扫控制系统及控制方法 |
CN110231039A (zh) * | 2019-06-27 | 2019-09-13 | 维沃移动通信有限公司 | 一种定位信息修正方法及终端设备 |
CN110470149A (zh) * | 2019-07-18 | 2019-11-19 | 首钢京唐钢铁联合有限责任公司 | 一种台车动态跟踪方法和装置 |
CN110741379A (zh) * | 2017-06-06 | 2020-01-31 | 标致雪铁龙汽车股份有限公司 | 用于确定车辆行驶所在的道路的类型的方法 |
CN113227712A (zh) * | 2018-10-18 | 2021-08-06 | 大众汽车股份公司 | 用于确定车辆的环境模型的方法和系统 |
Families Citing this family (30)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP2149132B1 (de) * | 2007-05-25 | 2013-05-01 | Continental Teves AG & Co. oHG | Verfahren und vorrichtung zur erkennung von verkehrsrelevanten informationen |
US8803966B2 (en) * | 2008-04-24 | 2014-08-12 | GM Global Technology Operations LLC | Clear path detection using an example-based approach |
KR101541076B1 (ko) * | 2008-11-27 | 2015-07-31 | 삼성전자주식회사 | 지형지물 인식방법 |
US8744131B2 (en) * | 2009-09-29 | 2014-06-03 | Panasonic Corporation | Pedestrian-crossing marking detecting method and pedestrian-crossing marking detecting device |
TWI419061B (zh) * | 2010-01-18 | 2013-12-11 | Pixart Imaging Inc | 多物件影像辨識方法 |
WO2012089261A1 (en) * | 2010-12-29 | 2012-07-05 | Tomtom Belgium Nv | Method of automatically extracting lane markings from road imagery |
US8504270B2 (en) * | 2011-02-16 | 2013-08-06 | Bayerische Motoren Werke Aktiengesellschaft | Traffic broadcast system |
JP5782948B2 (ja) * | 2011-09-15 | 2015-09-24 | 富士通株式会社 | 情報管理方法及び情報管理装置 |
KR20140019501A (ko) * | 2012-08-06 | 2014-02-17 | 현대자동차주식회사 | 장애물 인식을 위한 분류기의 생성방법 |
JP6094252B2 (ja) * | 2013-02-20 | 2017-03-15 | 株式会社デンソー | 道路標識認識装置 |
JP6044556B2 (ja) * | 2014-01-16 | 2016-12-14 | 株式会社デンソー | 学習システム、車載装置、及び、サーバ |
US9081383B1 (en) * | 2014-01-22 | 2015-07-14 | Google Inc. | Enhancing basic roadway-intersection models using high intensity image data |
JP6280409B2 (ja) * | 2014-03-25 | 2018-02-14 | 株式会社日立製作所 | 自車位置修正方法、ランドマークデータ更新方法、車載機、サーバおよび自車位置データ修正システム |
JP2016018295A (ja) * | 2014-07-07 | 2016-02-01 | 日立オートモティブシステムズ株式会社 | 情報処理システム |
JP2016134136A (ja) * | 2015-01-22 | 2016-07-25 | キャンバスマップル株式会社 | 画像処理装置、および画像処理プログラム |
TWI569764B (zh) * | 2015-05-20 | 2017-02-11 | 國立交通大學 | 用於微創手術的多器械影像辨識方法及系統 |
US9884623B2 (en) * | 2015-07-13 | 2018-02-06 | GM Global Technology Operations LLC | Method for image-based vehicle localization |
US20190266416A1 (en) * | 2015-11-08 | 2019-08-29 | Otobrite Electronics Inc. | Vehicle image system and method for positioning vehicle using vehicle image |
JP6665522B2 (ja) * | 2015-12-18 | 2020-03-13 | 株式会社リコー | 情報処理装置、情報処理システム、および情報処理プログラム |
DE112016005947B4 (de) | 2016-01-26 | 2021-06-24 | Mitsubishi Electric Corporation | Fahrzeugbestimmungsvorrichtung, Fahrzeugbestimmungsverfahren und Fahrzeugbestimmungsprogramm |
WO2017199369A1 (ja) * | 2016-05-18 | 2017-11-23 | パイオニア株式会社 | 地物認識装置、地物認識方法およびプログラム |
CN106781470B (zh) * | 2016-12-12 | 2022-01-28 | 百度在线网络技术(北京)有限公司 | 城市道路的运行速度的处理方法及装置 |
US11093760B2 (en) * | 2017-08-26 | 2021-08-17 | Here Global B.V. | Predicting features on a road network with repeating geometry patterns |
CN108831176B (zh) * | 2018-05-31 | 2020-11-20 | 京东方科技集团股份有限公司 | 交通标识的观测方法、装置、系统、设备和介质 |
CN110617821B (zh) * | 2018-06-19 | 2021-11-02 | 北京嘀嘀无限科技发展有限公司 | 定位方法、装置及存储介质 |
JP7559748B2 (ja) * | 2019-03-28 | 2024-10-02 | ソニーグループ株式会社 | 情報処理装置、情報処理方法及びプログラム |
CN111942288B (zh) * | 2019-05-14 | 2022-01-28 | 欧特明电子股份有限公司 | 车辆影像系统及使用车辆影像的车辆定位方法 |
JP7364365B2 (ja) * | 2019-06-18 | 2023-10-18 | 矢崎エナジーシステム株式会社 | 車載器及び運転評価システム |
US11932245B2 (en) * | 2020-09-01 | 2024-03-19 | Toyota Motor Engineering & Manufacturing North America, Inc. | Systems and methods for improving path selection for automated driving |
WO2022264492A1 (ja) * | 2021-06-18 | 2022-12-22 | 日立Astemo株式会社 | 外界認識システム |
Family Cites Families (76)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS57144589A (en) * | 1981-03-04 | 1982-09-07 | Nissan Motor | Picture display unit |
WO1986002764A1 (en) | 1984-10-22 | 1986-05-09 | Etak, Inc. | Apparatus and method for displaying a map |
JPH074952B2 (ja) * | 1987-01-12 | 1995-01-25 | キヤノン株式会社 | プリンタ制御装置 |
JPS62187884A (ja) | 1987-02-12 | 1987-08-17 | 株式会社日立製作所 | 回転画像表示装置 |
US5280577A (en) * | 1988-01-19 | 1994-01-18 | E. I. Du Pont De Nemours & Co., Inc. | Character generation using graphical primitives |
US5123085A (en) * | 1990-03-19 | 1992-06-16 | Sun Microsystems, Inc. | Method and apparatus for rendering anti-aliased polygons |
JPH04144479A (ja) | 1990-10-05 | 1992-05-18 | Ricoh Co Ltd | 図形出力装置 |
JP2822697B2 (ja) | 1991-07-08 | 1998-11-11 | 日本電気株式会社 | パーキングメータシステム |
JPH06127318A (ja) | 1992-10-13 | 1994-05-10 | Nissan Motor Co Ltd | 駐車スペースの長さ検出装置 |
DE4313568C1 (de) * | 1993-04-26 | 1994-06-16 | Daimler Benz Ag | Verfahren zur Leithilfe für einen Fahrspurwechsel durch ein Kraftfahrzeug |
DE69316898T2 (de) * | 1993-11-05 | 1998-07-30 | Philips Electronics Nv | Fahrzeugnavigationsanzeigesystem |
US5790714A (en) * | 1994-11-01 | 1998-08-04 | International Business Machines Corporation | System and method for scaling video |
JPH08194432A (ja) | 1995-01-17 | 1996-07-30 | Nippondenso Co Ltd | 地図表示装置 |
US5684940A (en) * | 1995-03-13 | 1997-11-04 | Rutgers, The States University Of New Jersey | Computer-implemented method and apparatus for automatically labeling area regions of maps using two-step label placing procedure and for curved labeling of point features |
JP3564547B2 (ja) | 1995-04-17 | 2004-09-15 | 本田技研工業株式会社 | 自動走行誘導装置 |
KR100224326B1 (ko) | 1995-12-26 | 1999-10-15 | 모리 하루오 | 차량용 네비게이션장치 |
JP3225203B2 (ja) | 1996-05-07 | 2001-11-05 | 小糸工業株式会社 | 駐車場利用状況予測装置及び駐車場利用状況測定装置、並びにこれらを用いた駐車場案内装置 |
JP3665436B2 (ja) * | 1996-10-22 | 2005-06-29 | 株式会社ザナヴィ・インフォマティクス | ナビゲーション装置 |
DE19724919A1 (de) * | 1997-06-12 | 1999-01-07 | Adolph Michael Dr | Verfahren zum Erzeugen, Verschmelzen und Aktualisieren von in einem Zielführungssystem nutzbaren Daten |
US6047234A (en) * | 1997-10-16 | 2000-04-04 | Navigation Technologies Corporation | System and method for updating, enhancing or refining a geographic database using feedback |
JPH11306498A (ja) | 1998-04-16 | 1999-11-05 | Matsushita Electric Ind Co Ltd | 車載カメラシステム |
JP3434453B2 (ja) | 1998-07-07 | 2003-08-11 | ティーポール株式会社 | 殺菌洗浄剤組成物 |
JP2000029450A (ja) | 1998-07-09 | 2000-01-28 | Alpine Electronics Inc | 文字列表示方法 |
US6771264B1 (en) * | 1998-08-20 | 2004-08-03 | Apple Computer, Inc. | Method and apparatus for performing tangent space lighting and bump mapping in a deferred shading graphics processor |
DE19842176A1 (de) * | 1998-09-15 | 2000-03-16 | Bosch Gmbh Robert | Verfahren und Vorrichtung zur Verkehrszeichenerkennung und Navigation |
WO2000031707A1 (en) * | 1998-11-23 | 2000-06-02 | Nestor, Inc. | Non-violation event filtering for a traffic light violation detection system |
US6292111B1 (en) * | 1999-03-01 | 2001-09-18 | Yazaki Corporation | Vehicle-applied rear-and-side monitoring system and vehicle-applied rear-and-side monitoring and alarming system |
US6226592B1 (en) * | 1999-03-22 | 2001-05-01 | Veridian Erim International, Inc. | Method and apparatus for prompting a motor vehicle operator to remain within a lane |
DE19916967C1 (de) * | 1999-04-15 | 2000-11-30 | Daimler Chrysler Ag | Verfahren zur Aktualisierung einer Verkehrswegenetzkarte und kartengestütztes Verfahren zur Fahrzeugführungsinformationserzeugung |
WO2000063875A1 (fr) * | 1999-04-20 | 2000-10-26 | Mitsubishi Denki Kabushiki Kaisha | Dispositif et procede d'affichage de caracteres |
JP2001075967A (ja) | 1999-08-31 | 2001-03-23 | Denso Corp | 地図データの更新用情報作成方法及び地図データの差分更新システム |
DE19941477A1 (de) * | 1999-09-01 | 2001-03-22 | Bosch Gmbh Robert | Navigationsgerät für ein landgebundenes Fahrzeug |
US6516273B1 (en) * | 1999-11-04 | 2003-02-04 | Veridian Engineering, Inc. | Method and apparatus for determination and warning of potential violation of intersection traffic control devices |
US6803913B1 (en) * | 1999-12-01 | 2004-10-12 | Microsoft Corporation | Warping text along a curved path |
JP4522521B2 (ja) | 2000-01-19 | 2010-08-11 | 日本信号株式会社 | パーキングメータ集中監視システム |
JP3646605B2 (ja) | 2000-02-23 | 2005-05-11 | 株式会社日立製作所 | 車両走行制御装置 |
US6615130B2 (en) * | 2000-03-17 | 2003-09-02 | Makor Issues And Rights Ltd. | Real time vehicle guidance and traffic forecasting system |
DE10028130C2 (de) | 2000-06-07 | 2003-08-21 | Daimler Chrysler Ag | System zur Fahrzeugführung vor verkehrsgeregelten Kreuzungen |
KR100335906B1 (ko) * | 2000-06-08 | 2002-05-08 | 이계안 | 차량의 교통 신호등 연동 속도 제어 시스템 |
JP2003078654A (ja) | 2001-02-19 | 2003-03-14 | Hitachi Kokusai Electric Inc | 緊急情報通報システムおよび緊急情報通報システムを利用する装置およびその方法、および移動物体 |
EP1233387A2 (en) * | 2001-02-19 | 2002-08-21 | Hitachi Kokusai Electric Inc. | Vehicle emergency reporting system and method |
JP4649756B2 (ja) | 2001-03-28 | 2011-03-16 | 日産自動車株式会社 | 車両用死角モニタの制御装置 |
US6737963B2 (en) * | 2001-03-30 | 2004-05-18 | Koninklijke Philips Electronics N.V. | Driver tailgating and following aid |
JP3660308B2 (ja) | 2001-05-18 | 2005-06-15 | 本田技研工業株式会社 | 車両の走行区分線認識装置 |
US6724320B2 (en) * | 2001-07-09 | 2004-04-20 | International Business Machines Corporation | System and method for controlling a traffic light |
EP1324274A3 (en) * | 2001-12-28 | 2005-11-02 | Matsushita Electric Industrial Co., Ltd. | Vehicle information recording system |
JP2003256257A (ja) | 2002-02-28 | 2003-09-10 | Ntt Comware Corp | 全社統合システムにおける共通処理装置並びにその方法、及び共通処理プログラム |
JP3953858B2 (ja) | 2002-03-26 | 2007-08-08 | アルパイン株式会社 | 車載用ナビゲーション装置 |
GB0208835D0 (en) * | 2002-04-18 | 2002-05-29 | Koninkl Philips Electronics Nv | A method of labelling an image on a display |
JP3660326B2 (ja) | 2002-05-31 | 2005-06-15 | 博久 森田 | デジタル地図情報提供方法、デジタル地図情報提供システム |
JP4003569B2 (ja) | 2002-07-22 | 2007-11-07 | 株式会社デンソー | 交差点事故防止装置及びプログラム |
JP3970718B2 (ja) | 2002-08-07 | 2007-09-05 | アルパイン株式会社 | 車載用ナビゲーション装置 |
DE10251357A1 (de) * | 2002-11-05 | 2004-05-13 | Daimlerchrysler Ag | Setzen oder Abschalten eines Fahrtrichtungsanzeigers |
JP3979272B2 (ja) | 2002-11-20 | 2007-09-19 | 株式会社日立製作所 | 道路交通計測装置 |
JP4578795B2 (ja) * | 2003-03-26 | 2010-11-10 | 富士通テン株式会社 | 車両制御装置、車両制御方法および車両制御プログラム |
US6925378B2 (en) * | 2003-05-12 | 2005-08-02 | Circumnav Networks, Inc. | Enhanced mobile communication device with extended radio, and applications |
JP2004362287A (ja) | 2003-06-05 | 2004-12-24 | Canon Inc | データ更新方式 |
JP4597496B2 (ja) * | 2003-09-04 | 2010-12-15 | 三菱電機株式会社 | 表示装置 |
DE10351894A1 (de) | 2003-11-06 | 2005-06-09 | Robert Bosch Gmbh | Verfahren zur Ermittlung einer Parklücke |
JP2005165639A (ja) | 2003-12-02 | 2005-06-23 | Matsushita Electric Ind Co Ltd | 差分地図データ生成装置、地図データ更新装置、差分地図データ生成プログラムおよび地図差分更新システム |
JP3979382B2 (ja) * | 2003-12-03 | 2007-09-19 | 日産自動車株式会社 | 車線逸脱防止装置 |
US6989766B2 (en) * | 2003-12-23 | 2006-01-24 | International Business Machines Corporation | Smart traffic signal system |
US6972675B2 (en) * | 2004-01-22 | 2005-12-06 | Ford Global Technologies, Llc | Vehicle turn signal system |
JP2006038558A (ja) | 2004-07-26 | 2006-02-09 | Denso Corp | カーナビゲーションシステム |
JP2006084257A (ja) | 2004-09-15 | 2006-03-30 | Matsushita Electric Ind Co Ltd | 情報配信システムおよびその端末装置、センタ装置 |
JP4729905B2 (ja) * | 2004-11-17 | 2011-07-20 | アイシン・エィ・ダブリュ株式会社 | 車両報知装置及びプログラム |
JP4577827B2 (ja) | 2005-01-06 | 2010-11-10 | アイシン・エィ・ダブリュ株式会社 | 走行車両の次道路予測装置 |
JP4321821B2 (ja) * | 2005-01-28 | 2009-08-26 | アイシン・エィ・ダブリュ株式会社 | 画像認識装置及び画像認識方法 |
JP4557288B2 (ja) | 2005-01-28 | 2010-10-06 | アイシン・エィ・ダブリュ株式会社 | 画像認識装置及び画像認識方法、並びにそれを用いた位置特定装置、車両制御装置及びナビゲーション装置 |
JP2006275690A (ja) | 2005-03-29 | 2006-10-12 | Fujitsu Ten Ltd | 運転支援装置 |
JP2006330908A (ja) | 2005-05-24 | 2006-12-07 | Toyota Motor Corp | 位置記録装置及び位置記録方法 |
JP2007041916A (ja) | 2005-08-04 | 2007-02-15 | Nissan Motor Co Ltd | 車両用停止線検出システム |
JP4548607B2 (ja) | 2005-08-04 | 2010-09-22 | アルパイン株式会社 | 標識提示装置及び標識提示方法 |
JP2007131169A (ja) | 2005-11-10 | 2007-05-31 | Nippon Soken Inc | 駐車スペース検出装置 |
US7466227B2 (en) * | 2006-03-17 | 2008-12-16 | Alcatel-Lucent Usa Inc. | Location based vehicle traffic signal alert system |
JP4680131B2 (ja) | 2006-05-29 | 2011-05-11 | トヨタ自動車株式会社 | 自車位置測定装置 |
-
2007
- 2007-03-30 JP JP2007091047A patent/JP4446201B2/ja not_active Expired - Fee Related
-
2008
- 2008-03-11 US US12/073,876 patent/US8184861B2/en not_active Expired - Fee Related
- 2008-03-12 EP EP08004629A patent/EP1975558A3/en not_active Withdrawn
- 2008-03-14 CN CN2008100836821A patent/CN101275852B/zh not_active Expired - Fee Related
Cited By (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10891329B2 (en) | 2009-06-18 | 2021-01-12 | Canon Kabushiki Kaisha | Image recognition method and image recognition apparatus |
CN102460508A (zh) * | 2009-06-18 | 2012-05-16 | 佳能株式会社 | 图像识别方法和图像识别设备 |
CN102460508B (zh) * | 2009-06-18 | 2016-08-31 | 佳能株式会社 | 图像识别方法和图像识别设备 |
US9852159B2 (en) | 2009-06-18 | 2017-12-26 | Canon Kabushiki Kaisha | Image recognition method and image recognition apparatus |
CN103443839A (zh) * | 2011-03-28 | 2013-12-11 | 松下电器产业株式会社 | 图像显示装置 |
CN103443839B (zh) * | 2011-03-28 | 2016-04-13 | 松下知识产权经营株式会社 | 图像显示装置 |
CN102768805A (zh) * | 2012-06-14 | 2012-11-07 | 深圳市凯立德科技股份有限公司 | 交通信息的显示方法以及可显示交通信息的装置 |
CN102768805B (zh) * | 2012-06-14 | 2015-10-28 | 深圳市凯立德科技股份有限公司 | 交通信息的显示方法以及可显示交通信息的装置 |
CN105074794A (zh) * | 2013-04-04 | 2015-11-18 | 日产自动车株式会社 | 信号识别装置 |
CN104751667A (zh) * | 2013-12-20 | 2015-07-01 | 矢崎能源系统公司 | 交通信息管理系统 |
CN104751668A (zh) * | 2013-12-20 | 2015-07-01 | 矢崎能源系统公司 | 交通信息管理系统 |
CN105759820A (zh) * | 2016-04-08 | 2016-07-13 | 济宁中科先进技术研究院有限公司 | 基于激光和视觉的道路自主清扫控制系统及控制方法 |
CN110741379A (zh) * | 2017-06-06 | 2020-01-31 | 标致雪铁龙汽车股份有限公司 | 用于确定车辆行驶所在的道路的类型的方法 |
CN113227712A (zh) * | 2018-10-18 | 2021-08-06 | 大众汽车股份公司 | 用于确定车辆的环境模型的方法和系统 |
US11892300B2 (en) | 2018-10-18 | 2024-02-06 | Volkswagen Aktiengesellschaft | Method and system for determining a model of the environment of a vehicle |
CN113227712B (zh) * | 2018-10-18 | 2024-08-23 | 大众汽车股份公司 | 用于确定车辆的环境模型的方法和系统 |
CN110231039A (zh) * | 2019-06-27 | 2019-09-13 | 维沃移动通信有限公司 | 一种定位信息修正方法及终端设备 |
CN110470149A (zh) * | 2019-07-18 | 2019-11-19 | 首钢京唐钢铁联合有限责任公司 | 一种台车动态跟踪方法和装置 |
Also Published As
Publication number | Publication date |
---|---|
JP2008249480A (ja) | 2008-10-16 |
CN101275852B (zh) | 2011-12-28 |
EP1975558A3 (en) | 2009-11-04 |
JP4446201B2 (ja) | 2010-04-07 |
US20080240506A1 (en) | 2008-10-02 |
EP1975558A2 (en) | 2008-10-01 |
US8184861B2 (en) | 2012-05-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN101275852B (zh) | 图像识别装置与图像识别方法 | |
CN101275839B (zh) | 地物信息收集装置与地物信息收集方法 | |
EP1975565B1 (en) | Road surface feature information collecting apparatus and method | |
CN102208013B (zh) | 风景匹配参考数据生成系统和位置测量系统 | |
US9129163B2 (en) | Detecting common geographic features in images based on invariant components | |
US8953838B2 (en) | Detecting ground geographic features in images based on invariant components | |
US7734410B2 (en) | Navigation system | |
CN101469998B (zh) | 地物信息收集装置、自车位置识别装置和导航装置 | |
US6366851B1 (en) | Method and system for automatic centerline adjustment of shape point data for a geographic database | |
CN1991310B (zh) | 行驶道路链确定系统 | |
EP1098168B1 (en) | Method of making geographic database products | |
CN102208036B (zh) | 车辆位置检测系统 | |
CN109643367A (zh) | 用于自主车辆导航的众包和分发稀疏地图以及车道测量 | |
CN105210119A (zh) | 通过计算装置提供的位置数据点确定通行费的数额 | |
CN103109160A (zh) | 用于确定车辆在路面上的位置的方法和设备以及具有这种设备的汽车 | |
CN107430815A (zh) | 用于自动识别停车区的方法和系统 | |
CN101675442A (zh) | 车道确定装置、车道确定方法及使用该装置的导航设备 | |
US6591187B2 (en) | Map generation device | |
JPH031300A (ja) | 道路交通のための最新のデータフアイルを作成し保存するシステム | |
KR102562757B1 (ko) | 노면표시 정보의 예측 및 인식방법 및 도로 유지관리 방법 | |
JP5099460B2 (ja) | 地物情報収集装置及び地物情報収集方法 | |
JP7259299B2 (ja) | 地図画像表示装置及びコンピュータプログラム | |
Liu et al. | Automatic detection of deteriorated inverted-T patching using 3D laser imaging system based on a true story indiana | |
JP2010185879A (ja) | 自車位置認識装置及び自車位置認識方法 | |
CN117609793A (zh) | 一种目标数据生成方法、装置及设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20111228 |
|
CF01 | Termination of patent right due to non-payment of annual fee |