CN104520732A - 定位传感器的方法以及相关设备 - Google Patents
定位传感器的方法以及相关设备 Download PDFInfo
- Publication number
- CN104520732A CN104520732A CN201380008829.XA CN201380008829A CN104520732A CN 104520732 A CN104520732 A CN 104520732A CN 201380008829 A CN201380008829 A CN 201380008829A CN 104520732 A CN104520732 A CN 104520732A
- Authority
- CN
- China
- Prior art keywords
- experience
- scene
- storage
- vehicle
- sensor
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 84
- 238000012545 processing Methods 0.000 claims abstract description 13
- 238000003860 storage Methods 0.000 claims description 96
- 238000011282 treatment Methods 0.000 claims description 34
- 230000008569 process Effects 0.000 claims description 27
- 238000013461 design Methods 0.000 claims description 7
- 238000005516 engineering process Methods 0.000 claims description 7
- 238000006243 chemical reaction Methods 0.000 claims description 6
- 239000000284 extract Substances 0.000 claims description 5
- 230000005540 biological transmission Effects 0.000 claims description 2
- 230000002596 correlated effect Effects 0.000 claims description 2
- 230000008859 change Effects 0.000 description 24
- 229920003023 plastic Polymers 0.000 description 13
- 239000004033 plastic Substances 0.000 description 13
- 230000014509 gene expression Effects 0.000 description 8
- 230000000007 visual effect Effects 0.000 description 8
- 238000010586 diagram Methods 0.000 description 7
- 238000002474 experimental method Methods 0.000 description 6
- 230000002349 favourable effect Effects 0.000 description 5
- 230000007774 longterm Effects 0.000 description 5
- 238000013507 mapping Methods 0.000 description 5
- 239000007787 solid Substances 0.000 description 5
- 230000008878 coupling Effects 0.000 description 4
- 238000010168 coupling process Methods 0.000 description 4
- 238000005859 coupling reaction Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 230000005855 radiation Effects 0.000 description 4
- 230000009183 running Effects 0.000 description 4
- 239000012141 concentrate Substances 0.000 description 3
- 230000000875 corresponding effect Effects 0.000 description 3
- 230000033001 locomotion Effects 0.000 description 3
- 238000004321 preservation Methods 0.000 description 3
- 238000009825 accumulation Methods 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 238000011221 initial treatment Methods 0.000 description 2
- 238000009434 installation Methods 0.000 description 2
- 230000014759 maintenance of location Effects 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 241001061260 Emmelichthys struhsakeri Species 0.000 description 1
- 238000007476 Maximum Likelihood Methods 0.000 description 1
- 241001553014 Myrsine salicina Species 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 239000012491 analyte Substances 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000033228 biological regulation Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 150000001875 compounds Chemical class 0.000 description 1
- 230000001276 controlling effect Effects 0.000 description 1
- 230000001186 cumulative effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000003203 everyday effect Effects 0.000 description 1
- 238000009432 framing Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000035800 maturation Effects 0.000 description 1
- 230000002085 persistent effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 230000001932 seasonal effect Effects 0.000 description 1
- 230000009897 systematic effect Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
- G01C21/3804—Creation or updating of map data
- G01C21/3833—Creation or updating of map data characterised by the source of data
- G01C21/3837—Data obtained from a single source
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
- G01C21/3804—Creation or updating of map data
- G01C21/3833—Creation or updating of map data characterised by the source of data
- G01C21/3848—Data obtained from both position sensors and additional sensors
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
- G01C21/3863—Structures of map data
- G01C21/3867—Geometry of map features, e.g. shape points, polygons or for simplified maps
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
- G01S19/38—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system
- G01S19/39—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system the satellite radio beacon positioning system transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
- G01S19/42—Determining position
- G01S19/48—Determining position by combining or switching between position solutions derived from the satellite radio beacon positioning system and position solutions derived from a further system
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
- G01S19/38—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system
- G01S19/39—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system the satellite radio beacon positioning system transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
- G01S19/42—Determining position
- G01S19/48—Determining position by combining or switching between position solutions derived from the satellite radio beacon positioning system and position solutions derived from a further system
- G01S19/485—Determining position by combining or switching between position solutions derived from the satellite radio beacon positioning system and position solutions derived from a further system whereby the further system is an optical system or imaging system
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
Abstract
一种定位载有传感器的车辆的方法,包括以下步骤:在当前时间从传感器中获取数据,所述传感器提供在车辆周围的感测的场景;处理所感测的场景,以从所感测的场景中提取一组特征,并且使用所提取的特征,相关于在更早的时间的传感器的位置从所感测的场景确定车辆的位置;比较从所感测的场景中所提取的特征集与一个或多个储存的经验,其中,每个储存的经验包括多个特征集,在此,从先前感测的场景中确定了每个特征集,以查明在任何储存的经验内是否可识别所感测的场景,并且如果在任何储存的经验中识别所感测的场景的所提取的特征集,那么将该储存的经验用于相对于储存的经验产生在当前时间的车辆的位置的估计。
Description
技术领域
本发明的实施方式涉及定位车辆或者被设置为在车辆上使用的传感器的方法以及相关设备。
背景技术
由于定位(即,确定位置)以及映射算法成熟,所以真正长期的导航的问题变得越来越迫切。在变化的环境中需要机器人化的(在一些实施方式中,其可为车辆)导航的共同问题,并且该问题是实现终身自主的主要障碍。一旦在最初访问时,希望这在表面上足够接近,以便可用于进行随后的访问,传统的映射方法就通常产生初始图,这通常是单片方法(作为融合或平均化等工序的结果)。近年来,人们试图解决这些问题。
为了实现长期自主,机器人化的系统应该能够在改变的环境中运行,这在本领域中被视为巨大的挑战。变化可来自很多来源:突然的结构变化、照明条件、当日时间、天气、季节变化等。为了进行说明,考虑自运动估计的问题,在室外操作的机器人上安装摄像头。这是丰富的研究开采区域,我们立即触及视觉导航(同时定位与映射-SLAM)系统,该系统可同时映射和定位。然而,在重新访问该位置时,可发生巨大的变化,并且例如,可能下雪。由于季节改变,从夏天变成秋天,所以场景的外观可逐渐改变。现有技术表明需要产生单片图,该单片图包含允许在变化的环境内定位的信息。
Konolige和Bowman([1]K.Konolige and J.Bowman,"Towardslifelong visual maps,"in IROS,2009,pp.1156-1163)开发了其基于视图的地图系统([2]K.Konolige,J.Bowman,J.D.Chen,P.Mihelich,M.Calonder,V.Lepetit,and P.Fua,"View-based maps,"International Journal of RoboticsResearch(IJRR),vol.29,no.10,2010),以适合于室内环境的变化。该系统从VO(视觉测程法)系统中产生了关键帧的轮廓图。然后,根据被设计为在限制最大数量的视图的同时保留视图多样性的方案,更新和删除在节点上储存的视图。其轮廓图在单个参考帧内并且通过Toro递增地优化([3]G.Grisetti,C.Stachniss,S.Grzonka,and W.Burgard,"A Tree Pa-rameterization for Efficiently Computing Maximum Likelihood Maps usingGradient Descent,"Robotics Science and Systems,2007)。这显示了办公室的结果,包括移动的人群、家具以及改变的照明条件。
Milford与Wyeth的RatSLAM系统([4]M.Milford and G.Wyeth,"Persistent navigation and mapping using a biologically inspired SLAMsystem,"The International Journal of Robotics Research,2009)使用储存大量经验的经验图的概念。其经验是在世界上的许多地方,也储存到其他经验的过渡信息,以解决测程法偏移问题。随着时间的过去,经验图放松,以尽可能减小在绝对经验位置与其到其他位置的过渡信息之间的差异。还删除经验,以将密度控制为较低。
Biber和Duckett([5]P.Biber and T.Duckett,"Dynamic maps forlong-term operation of mobile service robots,"in Proceedings of Robotics:Science and Systems,Cambridge,USA,June 2005)通过一系列的时间标度将激光图取样,以产生具有长期和短期结构的单个图。这允许他们塑造短期动态物体以及长期结构变化。在具有忙碌的实验室环境的几周时间中,他们显示了提高的定位精度。
还要注意Furgale和Barfoot的工作([6]P.Furgale and T.D.Barfoot,"Visual teach and repeat for long-range rover autonomy,"Journal of FieldRobotics,vol.27,no.5,pp.534-560,2010),他们开发了在室外环境中使用视觉的教导和重复系统。在教导阶段,机器人使用VO产生了一系列子图像。然后,定位模块用于重描原始路径。他们显示了超过几千米的结果。
然而,以上技术都未令人满意地处理变化的环境,在传感器(或携带该传感器的车辆)移动穿过环境时,可体验该环境。
发明内容
根据本发明的第一方面,提供了一种定位载有传感器的车辆的方法,包括以下步骤中的至少一个:
a)在当前时间从传感器中获取数据,所述传感器提供在车辆周围的感测的场景;
b)处理所感测的场景,在此,所述处理相关于在更早的时间的传感器的位置从所感测的场景确定车辆的地点;
c)将所感测的场景与一个或多个储存的经验进行比较,以确定在任何或每个储存的经验内是否可识别所感测的场景;
d)如果在储存的经验中识别所感测的场景,那么将该储存的经验用于相对于储存的经验产生在当前时间的车辆的位置的估计;
e)重复步骤a到d中的至少一些。
人们认为提供这种方法的实施方式有利,这是因为这些实施方式能够允许比现有技术系统更容易地在改变的环境内定位车辆。而且,这种实施方式表示如果有需要,那么仅仅需要储存与所感测的场景相关的数据,并且这种策略有助于减少所需要的储存量以及处理储存的数据可能需要的处理量。同样,本发明的实施方式可更精确,需要比预期更少的内存并且比现有技术更快速。
术语定位车辆旨在表示从由传感器生成的数据中相对于更早的时间确定车辆的地点。定位是从传感器中采用数据、在具有场景的先前表示(通常由地图提供或者在一些实施方式中由储存的经验提供)时处理该数据并且相对于该先有表示提出车辆姿势(位置)的参数化。通常,在本发明的实施方式中,先有表示由多个储存的经验提供。
方便地,设置该方法,以便如果在多于预订数量的储存的经验内未识别所感测的场景,那么所述方法储存所感测的场景,以便所感测的场景变成新储存的经验的一部分,以供未来进行比较。人们通过其自身的经验,认为这种实施方式有利。在车辆感测更多的场景时,车辆未来可使用的储存的经验的数量可能增大。
本发明的实施方式所使用的方法注意到,在冬天在指定树上的特征并非简单地是在夏天在同一颗树上记下的特征;在正午时在湿润的路面上看到的细节与在路面干燥时黎明看到的细节不同。本发明的实施方式未尝试使事物一致。例如,如果在周二的环境与在周三的环境完全不同,那么实施方式可能将其视为同样获得该环境的本质的两个单独的经验。实施方式仅仅在拓扑上将其捆绑在一起。随后,一些实施方式可通过下面讨论的地点概念连接储存的经验。
在一个新区域最初看到车辆时,本发明的实施方式可保存一系列视觉特征(通常由从传感器中生成的数据提供),作为一个新经验。
然而,在传感器/车辆移动时,本发明的实施方式被设置为尝试在任何保存的经验内定位所感测的场景。同样,在重新访问该区域时,传感器/车辆尝试使用实时数据流(其可为图像)来在任何保存的经验中定位。在一些实施方式中,该方法可被设置为使所储存的经验由使用这些经验的车辆/传感器生成。
然而,在其他实施方式中,所储存的经验可由除了生成这些经验的车辆/传感器以外的车辆/传感器使用。这可以是除了由生成这些经验的车辆/传感器使用以外,还由车辆和/或传感器使用。这种实施方式被视为集中经验,允许多个车辆利用所储存的经验。这种方法可有利,这是因为该方法允许由多个车辆建立和/或共享数据。
在车辆依然保存该新经验的同时继续时,还可被设置为试图在其先前储存的经验中重新定位(即,在储存的经验内识别感测的场景)。如果重新定位在任一点上都成功,那么可停止保存新经验,并且该方法在其先前的经验中返回定位。
这种方法通常促使实施方式为频繁改变的感测的场景储存更多的表示,并且为更固定的感测的场景储存更少的表示。
因此,实施方式可无缝地处理新路线以及完全定位故障。实际上,通常是推动保存新经验的定位的故障。同样,定位故障可被视为由糟糕的或者不能解决的数据关联造成,以前存在的数据关联现在根本不存在。
与现有技术的先前方法相反,在当前储存的经验不充足时,一些实施方式可仅仅储存新经验。因此,这种方法应产生表示不同的视觉模式的每个储存的经验,因此,删除不是什么问题。实施方式可允许在其自身的参考系内具有每个经验,因为这种方法可允许平行进行定位并且允许在任何时间使用多个经验。这还允许可明显不同的不同视觉模式表示相同的物理空间。
在一些实施方式中,传感器的数据可为数据流的一部分。
在一个实施方式中,传感器是一对立体照相机。因此,这种实施方式的传感器的输出可为一连串图像并且可为多对图像。
该方法可在传感器的输出上进行初始处理,该传感器可在由立体照相机生成的几对图像之间识别共同的特征。初始处理可生成车辆的场所的3D模型。因此,一些实施方式可从所感测的场景中提取特征集并且使用那些提取的特征来确定传感器、或在其上安装了传感器的车辆、或机器人等的位置。
3D模型可提供稍后可参考的经验。在一些实施方式中,可由多个特征集提供经验,其中,从规定的感测的场景中提取每个特征集。通常,实施方式促使传感器相对于车辆的轨迹生成连续不断的3D特征(即,在数据内的点)。因此,轨迹可被视为与立体对连接的各个时刻的一系列点、在先前时间点的相对姿势(图像对)以及多个3D特征。
该方法可被设置为分析传感器的数据,以在感测的场景内确定3D特征(也可称为点或节点),并且进一步地使在第一时间在图像内的那些3D特征(或由传感器生成的感测的场景的其他表示)与在使用转换的稍后第二时间的后续图像连接。该连接可为传感器和/或车辆提供轨迹。
该方法可被设置为在图像内确定地标。地标可为在传感器的数据内可识别的结构,并且通常与现实世界的对象对应。例如,地标可与建筑物的角落、树木等对应。
在本发明的一些实施方式中,该方法可被设置为相对于传感器和/或车辆生成地标的位置。在传感器是立体照相机的实施方式中,使用这两个图像的信息,可确定地标的位置。
通常,该方法可在任一个感测的场景内定位多个地标。
在其他实施方式中,传感器可具有激光传感器、雷达、光达(光探测和测距)、3D闪光光达、MicrosoftTMKinectTM等。
该方法可利用传感器(或在其上安装传感器的车辆)的粗糙位置来大致确定传感器的位置。尤其地,本发明的实施方式可使用全球定位系统(GPS)、一个或多个加速计或其他这种测距系统等来识别车辆的地点。
实施方式可使用传感器(或在其上安装传感器的车辆)的位置来确定应考虑哪些储存的经验,来确定是否可在其内识别所感测的场景。同样,使用粗糙位置的传感器的位置可被视为使用回路关闭器。
除了使用粗糙位置以外或者代替使用粗糙位置,其他实施方式可使用图像匹配技术来确定与感测的场景在视觉上相似的储存的经验。人们认为这种实施方式有利,这是因为在视觉上相似的储存的经验可提供良好的候选,用于为感测的场景提供匹配。
该方法可被设置为并行运行,以便该方法试图在任何时间在多个储存的经验内识别感测的场景。这可被视为在任何时间运行多个定位器。除了在储存的经验内识别感测的场景以外,该方法还可计算从位于感测的场景内的节点到在储存的经验内的那些节点的转换。
该方法要求在确定已经定位车辆之前,在预定的多个储存的经验内可识别感测的场景。人们认为提供这种步骤的一个实施方式提供了实际上已经正确地定位车辆的更大确定度。
该方法可被设置为确定储存的经验是否与相似的地点彼此相关。如果确定储存的经验是相似的地点,那么实施方式可与这种储存的经验连接。人们认为与储存的经验连接以形成这种地点的实施方式有利,这是因为地点可用于在储存的经验内协助识别感测的场景。
储存的经验可包括以下中的任一个:从传感器中输出的原始数据;车辆的大致位置、当日时间、日期、天气条件、在传感器的输出内确定的节点、车辆的场所的所生成的3D图像。
根据本发明的第二方面,提供了一种系统,其被设置为定位车辆,所述系统包括:传感器,所述传感器被配置为生成表示在当前时间的车辆周围的感测场景的数据;处理电路,被设置为处理数据,其中,所述处理可被设置为执行以下中的至少一个:
相对于在更早的时间的所述传感器的位置从所述数据确定车辆的地点;
比较所述数据与保持在储存装置内的一个或多个储存的经验,以查明在任何储存的经验内是否可识别所感测的场景;以及
如果所述数据允许在任何储存的经验中识别所感测的场景,那么使用该储存的经验来估计车辆的地点。
储存装置可由任何适当形式的装置(例如,一个硬盘驱动器、一系列硬盘驱动器等)提供。实际上,储存装置可以是分布式的。
在一些实施方式中,至少一部分储存装置可安装在车辆上。在其他实施方式中,至少一部分储存装置可安装在车辆之外并且被设置为可从车辆访问。
该系统可包括服务器,其被配置为与在车辆上的处理电路进行通信。服务器可被设置为通过任何合适的网络与处理电路进行通信,该网络可包括因特网和/或无线电信网络,例如,3G、4G、WIFI等。
处理电路可被设置为将所述数据与可用的储存的经验的子集进行比较。在一些实施方式中,处理电路可被设置为从远程储存装置中获得可本地保持在位于车辆上的储存装置上的可用的储存的经验的子集。
根据本发明的第三方面,提供了一种车辆,在所述车辆上安装了传感器,其中,所述传感器被设置为生成表示在当前时间的车辆周围的感测场景的数据;以及处理电路,被设置为处理数据,其中,所述处理电路可被设置为执行以下中的至少一个:
相对于在更早的时间的所述传感器的位置从所述数据确定车辆的地点;
将所述数据与一个或多个储存的经验进行比较,查明在任何储存的经验内是否可识别所感测的场景;以及
如果所述数据允许在任何储存的经验中识别所感测的场景,那么使用该储存的经验来估计车辆的地点。
根据本发明的第四方面,提供了一种服务器,其被设置为为一个或多个储存的经验从网络中接收网络请求,所述服务器被设置为处理所述请求,以从储存装置中检索请求的储存的经验,并且在网络上传输所请求的储存的经验。
根据本发明的第五方面,提供了一种机器可读介质,其包含指令,由机器读取时,所述指令促使该机器执行本发明的第一方面的方法、本发明的第二方面的系统的至少一部分或者系统的第三方面的车辆的处理电路。
在本发明的任何以上方面提及的机器可读介质可为以下中的任一个:CDROM、DVD ROM/RAM(包括-R/-RW或+R/+RW)、硬盘驱动器、存储器(包括USB驱动器、SD卡、闪存卡等)、发送的信号(包括互联网下载、ftp文件传输等)、配线等。
相对于本发明的任何以上方面描述的特征可准用于本发明的任何其他方面。
附图说明
现在,仅仅通过实例,详细描述本发明的实施方式,其中:
图1为利用车辆的一个实施方式来相对于车辆的场所定位车辆的车辆示意图;
图2为显示了车辆的场所可如何随着时间和/或场所经历的天气变化的方式的一系列照片;
图3示意性显示了本发明的一个实施方式的方法;
图4示意性显示了视觉测距系统的输出,例如,如在图1的车辆中所使用的;
图5示意性显示了与场所相关的数据可如何更新的方式;
图6提供了场景的进一步说明,其中,场所频繁地变化(a和b)或者相对恒定(c和d);
图7显示了从在图中所示的跟踪周围的多个路程中生成和储存的多个经验;
图8显示了对于穿越测试线路,如何将感测的场景加入储存的经验中的方式;
图9显示了用于生成图7和图8的结果的路程的天气统计;
图10显示了重新安排数据对如何将当前感测的场景存储为储存的经验的影响;
图11显示了天气对如何将感测的场景存储为储存的经验的影响;
图12显示了在位于图7的跟踪周围的第一路程期间的定位故障的一个实例;
图13显示了在位于图7的跟踪周围的第二路程期间的定位故障的一个实例;
图14显示了在位于图7的跟踪周围的第三路程期间在图1中所示的车辆的处理电路的时间性能;
图15为概述一个实例实施方式的流程图;以及
图16显示了本发明的另一个分布式实施方式。
具体实施方式
相对于安装在车辆102上的传感器100并且相对于图15的流程图,描述本发明的实施方式。传感器100被设置为监控其场所并且根据监控来生成数据,从而提供关于位于车辆1500周围的感测场景的数据。在所描述的实施方式中,然后,由于传感器安装在车辆102上,所以传感器100也被设置为监控车辆的场所。
在所描述的实施方式中,传感器100是无源传感器(即,没有产生辐射并且仅仅感测辐射),尤其是立体照相机;包括两个照相机104、106。技术人员会理解的是,这种传感器可由两个单独的照相机提供。
在其他实施方式中,传感器100可包括其他形式的传感器,例如,激光扫描仪等。同样,传感器100还可为有源传感器,该传感器被设置为从其中发出辐射并且感测反射的辐射。
在图1中所示的实施方式中,车辆102沿着道路108行驶并且在车辆102行驶时,传感器100将场所(即,建筑物110、道路108等)成像。在该实施方式中,车辆102还包括处理电路112,该电路被设置为从传感器中获得数据,然后处理由传感器100生成的数据(在这种情况下是图像)。因此,处理电路从传感器100中获得数据,该数据在当前时间从车辆周围提供感测的场景。在所描述的实施方式中,处理电路112还包括或者访问位于车辆上的储存装置114。
示图的下部部分显示了在典型的处理电路112内可发现的元件。可提供处理单元118,该处理单元可为X86处理器,例如,15、17处理器等。处理单元118被设置为通过系统总线120与I/O子系统122(从而与外部网络、显示器等连通)以及存储器124连通。
技术人员会理解的是,可由各种元件提供存储器124,包括易失性存储器、硬盘驱动器、非易失性存储器等。实际上,在处理单元118的控制下,存储器124包括多个元件。
然而,通常,存储器124提供:程序储存部分126,该部分被设置为储存程序代码,在执行时,该代码进行行动;以及数据储存部分128,该部分可用于暂时和/或永久地储存数据。
在其他实施方式中,可从车辆中远程提供至少一部分处理电路112。同样,可以想象,在车辆102外或者部分在车辆102上并且部分在车辆外,进行由传感器100生成的数据的处理。在车辆上以及在车辆外提供处理电路的实施方式中,进行网络连接(例如,3G UMTS(通用移动通信系统)或WiFi(IEEE 802.11)等)。
方便地参照沿着道路行驶的车辆,但是技术人员会理解的是,本发明的实施方式不需要限于地面车辆,并且可为水运船舶(例如,轮船、小船等)或者实际上为空运飞机(例如,飞机等)。同样,在以下描述中,方便地参照由照相机104、106生成的图像数据,但是本发明的其他实施方式可生成其他类型的数据。
传感器100与和传感器100连接的处理电路112以及在处理电路112上运行的软件共同形成通常称为视觉测程法(VO)系统的物体。在所描述的实施方式中,视觉测程法(VO)系统使用从照相机(104、106)中生成的数据连续地产生(可能短暂的)3D模型的世界。通常,VO系统在可位于这两个图像内的照相机对的每个图像内定位特征(可称为节点或点)。然后,在随后的图像之间(即,在第一或更早的时间与第二(可能是当前)时间之间)跟踪这些特征,以生成车辆102的轨迹。
照相机的这种设置可称为立体对。在所描述的实施方式中,在车辆102运行时,VO系统始终打开,始终使用照相机(104、106)的实时数据流(即,图像)并且估计在从这两个照相机104、106中生成的图像之间的相对转换(即,照相机姿势),以生成轨迹,并且相对于那些照相机姿势产生特征的位置。照相机的立体性质允许相对于照相机计算特征的3D位置。
在传感器100/车辆102移动时,生成多个特征位置的集;即,从每个场景中生成特征集。多组位置可称为一个经验。处理电路112可被设置为储存的经验的以下元数据中的至少一个:从传感器100中生成的数据(在该实施方式中,是两个照相机的图像);特征(即,3D特征位置);时间和/或日期;天气;位置(通过全球定位系统GPS等);亮度程度;交通水平、云量、传感器类型等。
因此,在车辆102移动时,作为一组相对姿势和特征(即,节点)位置,储存的经验。应注意的是,这是一组储存的相对姿势。本发明的实施方式通常不使用单个全局帧进行操作。本发明的实施方式提出了在传感器100当前姿势附近的照相机运动和3D特征位置的度量正确的概念。本发明的实施方式不需要确定远离传感器并且不能由传感器100感测(即,在这种情况下,不能看见)的物体的位置。如后文中所述,在车辆102重新访问一个区域时,企图在与该区域相关的先前(储存的)经验中进行定位;这种定位被视为试图相关于在更早的时间的传感器的位置从感测的场景中确定车辆102的位置,其中,由该或每个储存的经验提供传感器在更早的时间的位置。在该背景下,定位可被视为在更早的时间提供传感器的位置的至少一个储存的经验内,识别在当前时间由传感器100提供的感测的场景。
同样,并且随着时间的过去,在车辆102在储存的一组经验周围移动,每个经验彼此独立。定位器可与每个储存的经验相关联并且可被设置为在其储存的经验内尝试和识别所感测的场景。在其他实施方式中,定位器可被设置为处理多个储存的经验。
本发明的实施方式被设置为处理储存的经验,以在那些先前储存的经验内尝试和识别车辆102/传感器100的当前位置;即,在试图定位车辆102(步骤1506)时,实施方式可比较感测的场景与储存的场景。同样,实施方式可被视为包括比较器134(即,定位器)。通过定位,这意味着处理电路112可确定当前实时图像是否可成功地与先前(储存的)经验匹配。由在处理电路112上运行的定位器130进行该定位,并且通过使先前储存的经验保持独立,能够进行定位。
本发明的实施方式还可被设置为在感测的场景内确定地标,这些地标通常与现实世界的对象对应,例如,建筑物的角落等。如果在所感测的场景内识别地标,那么确定地标相对于车辆的地点。在该实施方式中,这由几何计算来进行,这是因为立体照相机对提供两个图像,在这两个图像内可发现地标,从而提供充足的信息,以确定地标相对于传感器的位置。在产生地标时,储存一片数据。在所描述的实施方式中,这是像素数据,并且在一个实例中,储存9x9网格的像素。一些实施方式可储存任何识别的地标和/或数据片,作为一部分储存的经验。
为了使感测的场景与储存的经验匹配,一些实施方式试图对着位于感测的场景内的地标定位在储存的经验内发现的地标。试图通过在感测的场景内发现的那些地标,定位与在储存的场景内的地标相关的数据片(在这种情况下,9x9网格的像素),从而实现这个目标。在所描述的实施方式中,定位器与储存的经验相关联并且寻找与在储存的经验(在感测的场景中,与该经验相关联)内的地标相关联的数据片。
一些实施方式可执行高级的数据片匹配,以便合适的候选数据片可快速定位并且随后进行更详细的比较,以识别匹配是否实际上被视为已经发生。
在先前经验中的定位可并行进行,并且允许该系统利用相关的先前经验。实际上,在运行时,人们通常发现积极的并且成功定位的经验的数量较小。如下文中所述,通常,由于可仅仅在小于预定数量(N)的储存的经验中匹配数据,所以仅仅产生每个新经验(在所描述的实施方式中,这表示由照相机104、106生成的图像不能与2个或多个储存的经验匹配,并且不能进行定位)。因此,随后访问一个区域,应该能够仅仅在少量的储存的经验内定位,这种因为其结构在视觉上不同。因此,如果该方法确定所感测的场景不能在充分的经验(即,多于预定数量)中匹配,并且因此不能执行定位,那么所感测的场景通常作为新储存的经验储存,该经验可用于未来进行比较,步骤1508。
因此,本发明的实施方式在变化的环境中提供了长期导航的框架。如上面简单地所述,车辆102从VO系统中连续地产生环境的3D模型,该系统从传感器100中采用实时图像流,作为其输入。同时,车辆102的处理电路112伺机试图在先前储存的经验中定位当前位置。
如果在先前经验中定位成功,那么实施方式假设当前地点的表述充分,并且然后能够相对于储存的场景在当前时间产生车辆位置的估计。然而,如果在先前经验中不能进行定位,那么通过保存VO系统的输出,产生一个新经验。
经验由ε表示,并且第j个经验表示为jε。因此,这组所有经验产生地图,该地图方便地称为塑料图。该地图由等式(1)提供。
通常,本发明的实施方式依赖于局部导航并且能够“关闭回路”的能力;要认识到车辆102/传感器100已经返回到先前访问的地点(先前储存的经验)的时间。
在各个论文中显示了局部导航的技术,这些论文提供了轨迹估计系统。尤其地,在下面讨论使用激光扫描仪的技术:
[7]M.Bosse and R.Zlot,"Map Matching and Data Association forLarge-Scale Two-dimensional Laser Scan-based SLAM,"International Journalof Robotics Research,vol.27,pp.667-691,2008
在论文中显示了使用视觉系统的轨迹估计的技术:
[8]D.Nister,O.Naroditsky,and J.Bergen,"Visual Odometry forGround Vehicle Applications,"Journal of Field Robotics,vol.23,2006
[9]C.Mei,G.Sibley,M.Cummins,P.Newman,and I.Reid,"Real:Asystem for large-scale mapping in constant-time using stereo,"InternationalJournal of Computer Vision,pp.1-17,2010,special issue of BMVC
这些论文的内容据此并入本文中,以作参考,并且技术人员集中精力阅读和理解这些论文,尤其参照可确定VO系统的车辆的轨迹的方式。
在以下论文中,相对于视觉系统,教导了可用于确定在先前经验中是否已经体验当前传感器数据的进一步的回路关闭技术:
[10]M.Cummins and P.Newman,"Highly Scalable Appearance-OnlySLAM FAB-MAP 2.0,"in Robotics Science and Systems,2009
而且,该论文的内容据此并入本文中,以作参考,并且技术人员集中精力阅读和理解这些论文,尤其参照实现VO系统的回路关闭系统。这种系统通常试图在储存的经验内定位图像(即,提供图像匹配技术),这些经验与所感测的场景的经验在视觉上相似。同样,FABMAP可被视为回路关闭器,该关闭器可用于触发与储存的经验相关联的定位器,以便尝试和定位具有感测的场景的该储存的经验。
技术人员还会理解的是,可利用全球定位系统(GPS),该系统能够为位置提供几米的精度。因此,本发明的实施方式可使用GPS系统116或其他相似系统的输出,以提供粗略或大概的位置。GPS系统116的输出通常与处理电路连接,以允许处理电路识别车辆102的大概位置。与使用传感器100的数据的处理可获得的定位相比,术语大概位置旨在传达相对不精确的意思。
然而,本发明的实施方式使用传感器100的输出,能够相对于先前储存的经验确定车辆102移动大约几毫米或者至少几厘米。
因此,如上面广义上所述,VO系统在一系列立体帧上进行操作。
在时间k处,处理立体帧,并且相机节点nk与节点nk-1通过6个自由度变换tk=[x,y,z,θr,θp,θq]T连接,其中,θr、θp以及θq分别是横滚、俯仰以及偏航。因此,节点nk-1可被视为在第一时间发生,并且节点nk可被视为在随后的第二时间发生。同样,处理电路112在第二场景1502内识别节点。可在一系列帧之上跟踪这些节点,如后面所述,以生成车辆1504的轨迹。实施方式可被视为包括节点定位器,以执行该功能`132。
如果新3D地标初始化为那么这些地标也连接至相机节点nk。将连接至nk的第i个这种地标(其中,i是全局索引(以便每个地标具有唯一的ID)))表示为li,k=[x,y,z]T,这是在时间k时的在相机帧内的向量。相机节点nk还被设置为包含在内观察的一系列所有地标,很多地标连接至其他节点,即,初始化地标的节点。
同样,通过由p∏q表示的操作将l*,p变换成l*,q,在帧p内描述的地标可与一个不同的帧q连接,以便:
l*,q←p∏q(l*,p) (2)
在所描述的实施方式中,VO系统在由照相机104、106生成的实时帧流(即,数据)上连续地运行。如果产生一个新经验(见下面关于发生这种情况的时间的讨论),那么产生一个新经验jε,并且VO系统的输出储存在该新经验内。然后,jε可因此仅仅为相机节点nk的链条、节点间变换以及相关的3D特征。将在经验中的节点称为jεm.。稍后,解释这些链条(在拓扑上)相关的方式,以一致地形成塑料图。
因此,图4显示了从由节点n表示的这系列帧中构建经验的方式。VO系统的输出的每个帧(由圆圈表示)表示为从nk-2,从nk到nk+1;当前帧nk由数字400表示。每个节点n由描述在与之间的相机运动的6个自由度变换连接。
而且,一系列地标402、404、406、408由在当前帧内的车辆102的场所表示。这些地标402-408中的每个可变换,以便这些地标相对于k使用上面的等式2。
如上面广义上所述,定位器用于在先前的经验内尝试和定位车辆102的当前位置。在广义上,这可被视为在先前的经验(可为储存的经验)内识别感测的场景。可提供不止一个定位器,并且这个或每个定位器在先前的经验(即,储存的经验)之上运行。如果实时帧为那么这个或每个定位器的任务是计算从帧到在先前经验中的节点n的变换。
定位器可通过与实时VO系统相似的方式进行操作,除了所提出的地标组来自保存的经验而非先前帧以外。在经验中从包围先前位置的局部区域中提取地标。此外,在所描述的实施方式中,定位器未尝试在当前VO输出或先前经验中加入或更新地标。在其对当前VO输出和先前经验的影响方面,完全被动;即,未修改当前VO输出或先前经验的数据。
定位器被设置为了解是否“丢失”;即,在不再在先前经验中定位输入帧时,具有多种方法来进行计算。可能性包括所发现的和/或作为内围层分类的地标的数量以及与当前VO输出进行比较。每个定位器在每个时间步骤中的输出是表示是否依然成功定位的二进制结果:
如果成功,那么可查询定位器,用于在经验中查询最接近的节点。
一旦宣布丢失定位器,就停留在该状态中,直到接收外力援助,下面进行讨论并且该援助再次通过先前经验关闭回路。
N限定为在任何时间成功定位器的最小可接受的数量(即,在先前经验内或者在其他术语中确定当前位置的成功尝试,N是储存的经验的预定最小数量,其中,在定位被视为已经发生之前,应识别所感测的场景)。对于每个帧计算这组活动经验A。对于在A中的每个经验,其相关的定位器运行,结果是表示每个经验成功或失败的二进制向量S。如果|S|低于N,那么产生一个新经验jε,并且保存VO输出,直到|S|返回大于或等于N。由算法1描述该工序。
同样,如果在N个以上储存的场景中可定位所感测的场景,那么能够相对于那些储存的经验确定车辆102的位置,即,步骤1512。
参照图3,可解释该算法,并且在该图3的顶部区域中,显示不同的‘时间点’,其中,每个时间点表示在三个不同时间的VO系统的输出的一组帧在该实施方式中,已经将最小数量的成功定位器(N)设为2。
对于每个时间点A,在图的左边,每个帧已经标有Fk-2,从Fk到Fk+3。其他时间点(B和C)中的每个可同样标记,但是为了清晰起见,还未进行标记。
在时间点A到C的每个帧之下,具有三个表示:顶行的圆圈表示VO系统的当前输出;中间第二行的圆圈表示储存在经验1中的数据;并且底部第三行圆圈表示储存在经验2中的数据。
在时间点A中,可以看出由传感器产生的图像是可被视为黑色/灰色300以及水平实线302的数据的两个不同趋势的组合。查看经验1,可以看出在数据中具有‘水平’实线趋势,并且同样,定位器能够通过经验1定位当前图像。查看经验2,可以看出在数据中具有‘黑色/灰色’趋势,并且同样,定位器能够通过经验2定位当前图像。要注意的是,N=2,现在不需要产生新经验,这是因为已经在最小数量中进行了定位并且可仅仅忘记VO输出。
移动到时间点B,可以看出,由传感器产生的图像是可被视为黑色/灰色300以及水平实线304的数据的两个不同趋势的组合。查看经验1,在当前图像中不能定位水平实线302趋势。然而,查看经验2,可以看出,与在当前数据中一样,具有黑色/灰色趋势,并且同样,定位器依然能够在经验2内定位当前数据。然而,由于将N设为2,并且仅仅发生了单个定位,所以现在,储存VO系统的输出,作为一个新经验306。
然后,继续移动到时间点C,在当前图像中的趋势返回在经验1和经验2中可定位的黑色/灰色以及水平实线。同样,可再次忘记VO系统的输出。
技术人员会理解的是,即使大于N定位,实施方式也可储存VO输出,但是不这样做,可能较为有利。不必要地储存数据,会产生更大的数据累积并且可能降低系统的性能。
因此,除了获得相同区域的不同外观以外,塑料图(在等式(1)中识别)还储存覆盖无限空间区域的很多经验,因此,经验并非都与所有的时间相关;即,VO系统可为不同空间区域和/或不同视觉外观的输出信息。所有经验并未都获得在其环境中的车辆的空间位置。因此,最好计算哪些经验适用于经验并未储存在单个参考系内,因此,不能整合局部变换,来估计不同的位置。
为了克服不能估计在不同帧中的位置,介绍了地点概念,这些地点在经验之间产生拓扑连接。地点表示为P,并且第z个地点表示为Pz。
Pz={jεm}是已知同时定位的所有节点(从不同的经验中获得)的集合。因此,Pz是查看物理地点的一组相机帧。
在不止一个经验中同时定位时,创建一个地点。通过为其每个最近的节点查询每个成功的定位器,可通过集合{jεm}k创建地点。然而,还能够使先前创建的地点包含这些节点中的一些节点,在这种情况下,合并从中创建的集合以及先前的地点。
其中,根据从中生成的节点是否处于先前地点中,在右手边的Pz可能是空集。在图5中显示了地点创建和合并的一个简单实例,并且还参照图3进行了解释。
首先参照图3,可以看出,在效应3中,具有在该图中表示的经验:由水平实线表示的经验;由黑色/灰色表示的经验;以及由水平虚线表示的经验。图5还显示了3个经验:分别由黑色、灰色以及白色表示的经验1、2以及3。
图5显示了先前帧Fprevious,能够在经验1和经验2中定位该帧,从而生成地点A。然而,在当前帧FK中,能够在经验2和经验3中定位,从而生成地点B。因此,可以断定,地点A和B实际上表示相同地点(由于在这两个地点中都包括经验2),并且同样,地点A和B可合并,以创建地点C。
因此,再次参照图3,可以推断出,由于经验2由所有这三个时间点A到C共有,所以在其内表示的所有这三个经验(经验1;经验2以及在时间点B中从VO中储存的经验)均实际上表示相同的地点。
因此,并且参照图3进行讨论,地点可用于连接经验。使用以下能力:通过一组经验节点查询所有地点,并且接收包含这些节点的这组地点。通过Ω限定该查询。
1)计算相关经验:如上所述,由于储存的经验不必覆盖车辆的当前位置,所以对于并非所有储存的经验都相关。因此,实施方式允许定位器采用两种状态,即,活动和不活动状态。在处理之前,先前帧的这组成功的定位器位置{jεm}k-1用于生成这组相关的地点:
然后,每个不活动定位器查询查询其自身节点的存在,并且如果具有任何节点,那么在检索的位置激活其自身。在车辆102移动越过经验的范围(即,定位器丢失,如在图3中所述)时,相关的定位器将其自身设为不活动。
2)重新初始化丢失的定位器:由于不再跟踪当前帧所以定位器丢失,然而,这可仅仅是暂时状态,并且定位器能够在经验内重新定位其自身。同样,在定位器最初丢失之后,定位器/经验可再次相关片刻,因此,实施方式试图重新初始化丢失的定位器。在可能的情况下未重新初始化丢失的定位器,可能造成系统保存超过必要的经验,由于额外的数据,所以具有数据的储存要求增大并且处理性能降低的相关问题。
同样,本发明的实施方式可评估如果在一个经验中具有一个已知的位置,那么该位置是否是通过地点的另一个经验。因此,可设置一些实施方式,丢失的定位器定期查询看看是否可重新初始化。
有时,所有定位工序丢失,此时,该系统不知道在塑料图中的哪个地方。这可能是因为当前位置已经大幅改变(例如,下雪),或者因为车辆102正在探测新路线。无论哪种原因,VO系统继续处理实时帧(数据)流,并且将输出保存到一个新经验中,如相对于时间点B在图2中所述。然而,车辆102可能随后返回可成功定位的地点并且在塑料图中再次获得其位置;即,车辆102能够再次在大于N的多个经验中定位。对于通过反复穿越从而应变得越来越少的该问题的解决方法,使用可重新初始化丢失的定位器的外部回路关闭器。
在讨论从新线路中重新加入先前探索的线路的车辆时,在下面讨论的图7中,强调外部回路关闭。
然而,在一些实施方式中,GPS等系统可用于提供车辆102的大概位置。在这种实施方式中,处理电路可使用车辆的大概位置来强调哪些储存的经验是有希望的候选对象,以考虑通过其定位车辆。同样,车辆102的大概位置可用于帮助识别哪些储存的经验可用于定位车辆102,即,步骤1510。实施方式可被视为包括回路关闭器136。
在本发明的实施方式中,通常是以下情况:一旦已经计算这组相关的定位器,每个定位器就变得独立,因此,可并行运行。如果数据关联(即,与从储存的经验到感测的场景的每个立体照相机帧的地标匹配)以及轨迹估计步骤(即,确定在当前与先前帧之间的车辆的姿势的变化)控制计算时间,那么通过使其并行,实施方式目前能够处理具有15Hz的帧。技术人员会理解的是,如果增加进一步的处理能力,那么可处理数据的频率增大。
虽然技术人员会理解实施能够从大量传感器数据中处理和生成轨迹的系统的方式,但是以下论文用作参考文献。这些论文并入本文中,以作参考,并且技术人员集中精力阅读这些论文的相关部分。
为了实现稳健的数据关联,本发明的实施方式可使用二进制稳健独立基元特征(BRIEF)描述符。
[11]M.Calonder,V.Lepetit,C.Strecha,and P.Fua,"BRIEF:BinaryRobust Independent Elementary Features,"in European Conference onComputer Vision,September 2010
BRIEF描述符特征仅仅使用处理电路112的CPU快速进行计算和匹配,并且能够将可比较的性能提供给SURF[12].。
[12]H.Bay,A.Ess,T.Tuytelaars,and L.V.Goo,"Surf:Speeded uprobust features,"Computer Vision and Image Understanding(CVIU),vol.110,pp.346-359,2008
本发明的实施方式可使用GPU(图形处理单元),可利用SURF等描述符的实现方式并且这些实现方式允许具有帧速率性能:
[13]N.Cornells and L.V.Gool,"Fast Scale Invariant Feature Detectionand Matching on Programmable Graphics Hardware,"in Computer Vision andPattern Recognition,2008
然而,在每个定位器和实时VO系统中的匹配步骤需要访问GPU(在输入帧上的特征提取具有独立性并且在开始时可进行一次)。由于大部分系统最多仅仅具有一个GPU,所以与在多核心或多工序系统上运行仅仅CPU程序相比,GPU的使用要求难以并行。同样,实施方式趋向于使用基于GPU的方法。
实施方式可使用快速角落提取器来计算BRIEF的兴趣点:
[14]E.Rosten,G.Reitmayr,and T.Drummond,"Real-time videoannotations for augmented reality,"in Advances in Visual Computing.LNCS3840,December 2005,pp.294-302
在一些实施方式中,使用有效的二阶匹配,可将匹配的地标改善为亚像素精度,Mei进行了描述:
[15]C.Mei,S.Benhimane,E.Malis,and P.Rives,"Efficienthomography-based tracking and 3-d reconstruction for single-viewpointsensors,"IEEE Transactions on Robotics,vol.24,no.6,pp.1352-1364,Dec.2008
从在Begbroke Science Park周围的两个半重叠的0.7km路线的53个穿越中收集数据。使用该团体的调查车辆Wildcat,在一天的不同时间并且通过不同的天气条件,收集在三个月的时间内的数据。
图7显示了场地的上空以及车辆行驶的两个路线,例如,车辆102。在开头47个穿越上驱动由加粗的线表示的外部回路700,同时最后6个穿越穿过由更细的线表示的内部回路702。绘图的强度表示在每个点上标出了多少经验,并且在图的右边显示刻度。为了进行说明,控制外部回路关闭器的信号,因此,仅仅瞄准在每个回路上的14个预先定义的点。这些点沿着每个回路大致均匀地隔开。同样,如果定位器丢失,那么在这14个预先定义的点上可重新定位。技术人员会理解的是,其他实施方式可能不同地、可能随机地、基本上连续地、以预定的时间间隔等实现这个目标。
路线的一些区域需要比其他区域更多的经验。在图6中,显示了地点实例,这些地点显示了高低视觉变化。具有高视觉变化的区域的一个实例是停车场,图6(a)。该空间的内容和配置每天改变,因此,在前几天储存的经验不能使用。另一个实例是由悬伸的树木覆盖的道路部分,如图6(b)中所示。阳光造成强烈的并且复杂的阴影效应。虽然这些有利于实时VO系统在其内提供地标,但是并不经常遇见定位的地标,这再次表示先前的经验没有用。具有高度视觉变化的图像鼓励始终使用实时VO系统。
相反,图6c和6d显示了道路的展开式延伸,在相似的天气条件下,这些延伸具有相当稳定的外观。
图8显示了保存的每个穿越的量以及获得的时间。在此处,访问数量的顺序是收集数据的顺序。同样,在图的左边可以看出,在塑料图相对不广泛并且并未储存很多经验时,储存大部分VO输出。在穿越的数量增大时,由于车辆102能够在更多的先前经验中定位其本身,所以所储存的VO输出的量减少(根据图3的讨论,其中,在大于N的经验中发生定位时,不再储存新VO输出)。
由于第一次在夜幕降临时收集数据,所以在穿越35-38周围发生大跳跃。道路还具有积水,并且下着小雨,某些该系统以前没遇到过的问题。图13提供在穿越38上由传感器生成的图像,并且在穿越38上生成图像b)和d),然而,在更早的穿越上生成图像a)和c),这些图像同样与储存的经验相关。因此,可以看出,在在穿越38上生成的图像与更早的穿越的图像不同。
通过首先驱动内部回路702,造成在访问47处具有第二高峰。突然,任何定位都不成功,并且保存整个部分,直到回路关闭器瞄准。在内部回路702重新加入外部回路704时或者之后不久,回路关闭器应该能够重新定位车辆102的位置,并且定位器再次能够在储存的经验内定位。
略微更详细地描述图8,该视图显示了VO输出的部分(见左边的轴),保存该输出,以供未来使用。而且,结果强调了变化的N(为了确定不丢失车辆102所需要的最小数量的定位)的影响,并且通过改变用于该示图的每行的符号,结果显示具有最少数量的定位器N=1、N=2以及N=3。
对于每个穿越,在每隔一次访问用作单个可用经验并且将结果平均化时,还计算所保存的VO输出的部分。将此称为通过单个先前经验进行平均(AwSPE),并且这由标有三角形的虚线表示。
图12显示了在穿越4上的定位故障的实例,其中,第一次遇见强烈的阴影效应:从更早的穿越中生成图像a)和c),并且这些图像作为经验储存,然而,在穿越4上生成图像b)和d)。
因此,在图12和13中可以看出,其中,出现造成环境大幅变化(例如,在黄昏或者通过不同的路线行驶)的情况,人们发现,在车辆102重新访问该路线时,通常需要记住在每个穿越上的越来越少的VO输出。
为了如上所述,评估保存多个经验以建立塑料图(在本发明的实施方式中进行了描述)的优点,进行实验,这些实验试图在单个先有访问中定位当前VO数据,即,未尝试获得变化的环境。对于这些实验,仅仅储存的经验限于所选择的实例访问,并且在路线的每个穿越中,在每种情况下确定需要保存的VO输出的量,表示定位失败,并且将结果平均化。因此,首先,将穿越数量1视为所选择的实例并且用作穿越数量2到53的仅仅储存的经验。其次,穿越数量2被视为所选择的实例并且用作穿越数量1和3到53的仅储存的经验。重复该模式,直到每个穿越已经用作所选择的实例。
在图8中显示了这些,称为通过单个先前经验进行平均(AwSPE)通过所有访问,所保存的平均VO输出是65.8%,并且作为其他访问的优先权,没有一个访问特别“好”。这促使使用多个经验来表示环境。随着时间的过去,露出新路线,在该系统获得路线的典型变化时,如上所述生成塑料图的实施方式产生了1/(穿越数)衰减。
收集数据的顺序是特权序列。然而,可通过53!方式排序,以产生不同的性能图。为了证明这一点,热切地重新排序,其中,外部路线的10个最令人惊讶的穿越以及开始的6个内部穿越重新运行该系统。在图10中显示了所产生的性能图。同样,最“有趣的”以及“惊讶的”穿越已经移动到塑料图创建的开始,并且要注意的是,经验累积保持较高(同时发生高度变化的穿越),直到在大幅降落之前的穿越18。
还能够将每个穿越分类为阴天或晴天(在图9中显示每次访问的天气)。在另一个实验中,仅仅使用阴天或晴天的经验,重新处理数据,在图11中显示了其结果。(去除4个黄昏以及6个内部回路穿越)。有趣的是,在仅仅阴天遍布(图11的顶视图)时,该系统快速累积充分的经验,来管理多云的天气条件,同时晴天遍布(图11的底视图)具有略微偏移的偏差。人们相信,略微偏移的偏差由阴影效应造成,使在先前的经验中难以定位;在图6b中当然可以看出这种阴影。
最后,在图14中显示了在测试车辆上运行的系统的性能。显示了在穿越47上的每个帧的成功定位器的数量以及时间性能,该穿越是内部回路的第一穿越。定位成功,直到帧1296,此时,车辆转到内部回路上。此时,开始一个新经验,并且由于没有储存相关经验,所以没有定位。在帧2239处,外部回路关闭器瞄准,并且造成成功的定位,因此,新经验停止保存。即使具有不同数量的有源定位器,每个帧的时间也通常保持在100ms之下,同时,该序列的成功定位部分的平均值(即,不包括帧1296-2239)是53ms。
图16显示了在与图1中的系统相比时,经修改的系统的一个实施方式。然而,为了方便起见,相同的部件使用相同的参考数字。在该实施方式中,处理电路112具有无线通信装置1600,例如,3G调制解调器等。无线通信装置1600允许处理电路112通过网络1602与远程服务器1604进行通信。网络可为任何合适的网络,但是通常是互联网。技术人员会理解的是,在服务器1604在图中表示为单个装置的同时,实际上可为多个单独装置,这些装置可彼此不同。
在一个实施方式中,例如,在图16中所示的实施方式,可以想象,远程服务器1604可共享处理从传感器100中生成的数据(和/或VO系统的输出)的一些处理负荷。然而,服务器还可储存可用于定位车辆102的经验。
如上所述,根据当天的时间、天气条件等,从传感器100中输出的数据可大幅变化。同样,可以想象,仅仅储存的经验的子集可用于在其当前的场所中定位车辆120。
同样,远程服务器1604可被设置为在储存装置1606上储存一组经验,并且车辆102可被设置为下载储存的经验的子集。因此,要理解的是,储存装置1606提供安装在车辆102外面的储存装置。根据各种参数,经验的子集可下载到车辆102中,这些参数包括以下中的任一个或多个:当天的时间、天气条件、预期路线、位置等。
实际上,如果在进行穿越时,车辆102生成新经验,那么车辆102可被设置为将该新经验上传给远程服务器1604。
实际上,在服务器1604上保持的这组经验可由多个车辆生成。同样,服务器1604可提供经验库,可由希望使用那些经验来定位本身的任何数量的车辆使用经验库。
同样,本发明的实施方式可显示车辆120的连续定位。在一段时间内,该定位可处于变化的照明和/或天气条件下,在该试验中,该时间段是3个月。实施方式使用所谓的塑料图。同样,实施方式不集中于构建单片图或者推断解释了工作空间的所有观察的潜在的基本状态,而是集中于创建从多个重叠的经验中构造的复合表示。该表示(即,塑料图)可仅仅与所需要的一样复杂和丰富。实施方式通常通过相同的方式处理剧烈的变化和缓慢的变化,先有经验一未充分进行描述,就保存一个新经验,供未来参考。实验已经显示了在定位性能(稳健性)中的塑料图的优点,并且使用已经获得的3个月的数据,能够显示塑料图维护的渐近特性。
技术人员会理解的是,很多上述特征可在软件、固件或者硬件中实现或者实际上由这些软件、固件以及硬件的组合实现。同样,其目的在于,包括由这些技术的任意组合实现的系统。
Claims (23)
1.一种定位载有传感器的车辆的方法,包括以下步骤:
a)在当前时间从所述传感器中获取数据,所述传感器提供在所述车辆周围的感测的场景;
b)处理所感测的场景,以从所感测的场景中提取特征集,并且使用所提取的特征,相关于在更早的时间的所述传感器的位置从所感测的场景确定所述车辆的位置;
c)比较从所感测的场景中所提取的特征集与一个或多个储存的经验,其中,每个储存的经验包括多个特征集,在此,从先前感测的场景确定了每个特征集,以查明在任何所述储存的经验内是否可识别所感测的场景;
d)如果在任一个所述储存的经验中识别所感测的场景的所提取的特征集,那么将该储存的经验用于相对于所述储存的经验产生在当前时间的所述车辆的位置的估计;
e)重复步骤a到d中的至少一些。
2.根据权利要求1所述的方法,其中,设置所述方法,以便如果在多于预定数量的所述储存的经验内未识别所感测的场景,那么所述方法储存所感测的场景,以便所感测的场景变成新储存的经验的一部分,以供未来进行比较。
3.根据权利要求2所述的方法,其中,在所述方法储存所感测的场景作为新经验时,继续在所述一个或多个储存的经验内尝试和识别所感测的场景。
4.根据前述权利要求中任一项所述的方法,其中,所述储存的经验由生成这些经验的所述车辆/传感器使用。
5.根据前述权利要求中任一项所述的方法,其中,所述储存的经验还由除了生成这些经验的所述车辆/传感器以外的车辆和/或传感器使用。
6.根据前述权利要求中任一项所述的方法,所述方法分析所提取的特征,并且使用转换将在所述当前时间的感测的场景内的特征与在稍后第二时间的后续感测的场景中的特征链接。
7.根据权利要求6所述的方法,所述方法被设置为使用在所感测的场景内链接节点的转换生成所述车辆的轨迹。
8.根据前述权利要求中任一项所述的方法,所述方法使用所述车辆的粗糙位置来大致确定所述车辆的地点。
9.根据权利要求8所述的方法,所述方法使用所述车辆的地点来确定应考虑哪些储存的经验,来确定是否可在其内识别所感测的场景。
10.根据前述权利要求中任一项所述的方法,所述方法使用图像匹配技术来确定与所感测的场景相似的储存的经验,并且随后使用相似的感测的场景,来确定是否可在其内识别所感测的场景。
11.根据前述权利要求中任一项所述的方法,所述方法要求在确定已经定位所述车辆之前,在预定数量的储存的经验内识别感测的场景。
12.根据前述权利要求中任一项所述的方法,所述方法确定储存的经验是否与相似的地方彼此相关,并且如果确定储存的经验与大致相同的地方相关,那么将这些储存的经验链接。
13.一种定位车辆的系统,所述系统包括:传感器,所述传感器被配置为生成表示在当前时间的所述车辆周围的感测场景的数据;被设置为处理所述数据的处理电路,其中,所述处理被设置为:
从所感测的场景中提取特征集,以相对于在更早的时间的所述传感器的位置从所述数据确定所述车辆的位置;
将所述数据与一个或多个储存的经验进行比较,在此,每个储存的经验提供保持在储存装置内的多个特征位置的集,以查明在任何所述储存的经验内是否可识别所感测的场景;以及
如果所述数据允许在任何储存的经验中识别所感测的场景,那么使用该储存的经验来估计所述车辆的所述位置。
14.根据权利要求13所述的系统,其中,所述储存装置的至少一部分被安装在所述车辆之外并且被设置为可从所述车辆访问。
15.根据权利要求13或14所述的系统,所述系统包括服务器,所述服务器被配置为与在所述车辆上的处理电路进行通信。
16.根据权利要求13到15中任一项所述的系统,其中,所述处理电路被设置为将所述数据与可用的储存的经验的子集进行比较。
17.根据权利要求16所述的系统,其中,所述处理电路被设置为从远程储存装置中获得可用的储存的经验的所述子集,所述可用的储存的经验的所述子集可本地保持在所述车辆上的储存装置上。
18.一种在其上安装了传感器的车辆,其中,所述传感器被设置为生成表示在当前时间的所述车辆周围的感测场景的数据;以及被设置为处理所述数据的处理电路,其中,所述处理电路被设置为:
从所感测的场景中提取特征集,以相对于在更早的时间的所述传感器的位置从所述数据确定所述车辆的位置;
将所述数据与一个或多个储存的经验进行比较,在此,每个储存的经验提供多个特征位置的集,以查明在任何储存的经验内是否可识别所感测的场景;以及
如果所述数据允许在任何储存的经验中识别所感测的场景,那么使用该储存的经验来估计所述车辆的所述位置。
19.一种服务器,被设置为为一个或多个储存的经验从网络中接收网络请求,所述服务器被设置为处理所述请求,以从储存装置中检索所请求的储存的经验,并且在网络上传输所请求的储存的经验。
20.一种机器可读介质,包含由机器读取时使该机器执行根据权利要求1到12中任一项所述的方法的指令。
21.一种机器可读介质,包含由机器读取时使该机器作为根据权利要求13到17中任一项所述的系统的至少一部分执行的指令。
22.一种机器可读介质,包含由机器读取时使该机器作为根据权利要求18所述的车辆执行的指令。
23.一种机器可读介质,包含由机器读取时使该机器作为根据权利要求19所述的服务器执行的指令。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
GB1202344.6 | 2012-02-10 | ||
GBGB1202344.6A GB201202344D0 (en) | 2012-02-10 | 2012-02-10 | Method of locating a sensor and related apparatus |
PCT/GB2013/050299 WO2013117940A2 (en) | 2012-02-10 | 2013-02-08 | Method of locating a sensor and related apparatus |
Publications (2)
Publication Number | Publication Date |
---|---|
CN104520732A true CN104520732A (zh) | 2015-04-15 |
CN104520732B CN104520732B (zh) | 2018-04-17 |
Family
ID=45929944
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201380008829.XA Active CN104520732B (zh) | 2012-02-10 | 2013-02-08 | 定位传感器的方法以及相关设备 |
Country Status (10)
Country | Link |
---|---|
US (2) | US9576206B2 (zh) |
EP (1) | EP2812727B1 (zh) |
JP (2) | JP2015508163A (zh) |
KR (1) | KR102053802B1 (zh) |
CN (1) | CN104520732B (zh) |
BR (1) | BR112014019731B1 (zh) |
GB (1) | GB201202344D0 (zh) |
HK (1) | HK1209488A1 (zh) |
IN (1) | IN2014MN01485A (zh) |
WO (1) | WO2013117940A2 (zh) |
Cited By (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106774312A (zh) * | 2016-12-05 | 2017-05-31 | 遨博(北京)智能科技有限公司 | 一种为移动机器人确定移动轨迹的方法和装置 |
CN106793074A (zh) * | 2016-12-21 | 2017-05-31 | 深圳市卡迪尔通讯技术有限公司 | 定位方法及定位器 |
CN106802654A (zh) * | 2016-11-25 | 2017-06-06 | 斑马信息科技有限公司 | 移车系统和移车方法 |
CN106814737A (zh) * | 2017-01-20 | 2017-06-09 | 安徽工程大学 | 一种基于啮齿类动物模型和RTAB‑Map闭环检测算法的SLAM方法 |
CN107223244A (zh) * | 2016-12-02 | 2017-09-29 | 深圳前海达闼云端智能科技有限公司 | 定位方法和装置 |
CN107247761A (zh) * | 2017-06-01 | 2017-10-13 | 武汉理工大学 | 基于位图的轨迹编码方法 |
CN108398944A (zh) * | 2016-12-15 | 2018-08-14 | 苏州宝时得电动工具有限公司 | 自移动设备的作业方法、自移动设备、存储器和服务器 |
CN108885110A (zh) * | 2018-07-10 | 2018-11-23 | 深圳前海达闼云端智能科技有限公司 | 一种定位方法、定位装置、定位系统及可读存储介质 |
CN109269483A (zh) * | 2018-09-20 | 2019-01-25 | 国家体育总局体育科学研究所 | 一种动作捕捉节点的标定方法、标定系统及标定基站 |
CN109612455A (zh) * | 2018-12-04 | 2019-04-12 | 天津职业技术师范大学 | 一种室内定位方法及系统 |
CN109726684A (zh) * | 2018-12-29 | 2019-05-07 | 百度在线网络技术(北京)有限公司 | 一种地标元素获取方法和地标元素获取系统 |
CN110146910A (zh) * | 2019-05-15 | 2019-08-20 | 重庆大学 | 一种基于gps与激光雷达数据融合的定位方法及装置 |
CN110446907A (zh) * | 2017-03-22 | 2019-11-12 | 罗伯特·博世有限公司 | 用于运行车辆的方法和设备 |
CN110954922A (zh) * | 2018-09-27 | 2020-04-03 | 千寻位置网络有限公司 | Gnss动态路测的场景自动识别方法及装置 |
CN111936820A (zh) * | 2018-03-30 | 2020-11-13 | 丰田自动车欧洲公司 | 用于调整车辆外部位置信息的系统和方法 |
Families Citing this family (22)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9403482B2 (en) | 2013-11-22 | 2016-08-02 | At&T Intellectual Property I, L.P. | Enhanced view for connected cars |
GB2533295A (en) * | 2014-12-15 | 2016-06-22 | The Chancellor Masters And Scholars Of The Univ Of Oxford | Localising portable apparatus |
US9519061B2 (en) * | 2014-12-26 | 2016-12-13 | Here Global B.V. | Geometric fingerprinting for localization of a device |
US9978284B2 (en) * | 2015-06-05 | 2018-05-22 | Here Global B.V. | Method and apparatus for generating vehicle maneuver plans |
EP3112965A1 (en) * | 2015-07-02 | 2017-01-04 | Accenture Global Services Limited | Robotic process automation |
CN106052697B (zh) * | 2016-05-24 | 2017-11-14 | 百度在线网络技术(北京)有限公司 | 无人车、无人车定位方法、装置和系统 |
US11093753B2 (en) * | 2016-06-24 | 2021-08-17 | Robert Bosch Gmbh | RGB-D camera based tracking system and method thereof |
EP3263405B1 (en) * | 2016-06-27 | 2019-08-07 | Volvo Car Corporation | Around view monitoring system and method for vehicles |
US9805306B1 (en) | 2016-11-23 | 2017-10-31 | Accenture Global Solutions Limited | Cognitive robotics analyzer |
CA3040599C (en) * | 2016-11-29 | 2022-09-06 | Continental Automotive Gmbh | Method and system for generating environment model and for positioning using cross-sensor feature point referencing |
JP6882664B2 (ja) * | 2017-02-07 | 2021-06-02 | 富士通株式会社 | 移動体位置推定システム、移動体位置推定端末装置、情報格納装置、及び移動体位置推定方法 |
CN108732582B (zh) * | 2017-04-20 | 2020-07-10 | 百度在线网络技术(北京)有限公司 | 车辆定位方法和装置 |
US10235192B2 (en) | 2017-06-23 | 2019-03-19 | Accenture Global Solutions Limited | Self-learning robotic process automation |
GB201718507D0 (en) | 2017-07-31 | 2017-12-27 | Univ Oxford Innovation Ltd | A method of constructing a model of the motion of a mobile device and related systems |
DE102017214729A1 (de) * | 2017-08-23 | 2019-02-28 | Robert Bosch Gmbh | Verfahren und Vorrichtung zum Bestimmen einer hochgenauen Position und zum Betreiben eines automatisierten Fahrzeugs |
JP6759175B2 (ja) | 2017-10-27 | 2020-09-23 | 株式会社東芝 | 情報処理装置および情報処理システム |
DE102018210712A1 (de) * | 2018-06-29 | 2020-01-02 | Zf Friedrichshafen Ag | System und Verfahren zur gleichzeitigen Lokalisierung und Kartierung |
US10922840B2 (en) * | 2018-12-20 | 2021-02-16 | Here Global B.V. | Method and apparatus for localization of position data |
CN113454487A (zh) * | 2019-03-13 | 2021-09-28 | 千叶工业大学 | 信息处理装置以及移动机器人 |
US11960297B2 (en) * | 2019-05-03 | 2024-04-16 | Lg Electronics Inc. | Robot generating map based on multi sensors and artificial intelligence and moving based on map |
CN111044073B (zh) * | 2019-11-26 | 2022-07-05 | 北京卫星制造厂有限公司 | 基于双目激光高精度agv位置感知方法 |
US20210200237A1 (en) * | 2019-12-31 | 2021-07-01 | Lyft, Inc. | Feature coverage analysis |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP1677076A2 (en) * | 2005-01-04 | 2006-07-05 | The Boeing Company | Precision landmark-aided navigation |
CN1841023A (zh) * | 2005-01-28 | 2006-10-04 | 爱信艾达株式会社 | 车辆位置识别装置及车辆位置识别方法 |
CN101556584A (zh) * | 2008-04-10 | 2009-10-14 | 深圳市万水千山网络发展有限公司 | 一种实现图片交易的计算机系统及方法 |
US20100070125A1 (en) * | 2008-09-12 | 2010-03-18 | Samsung Electronics Co., Ltd. | Apparatus and method for localizing mobile robot |
US20110125374A1 (en) * | 2004-11-18 | 2011-05-26 | Stam Joseph S | Image acquisition and processing systems for vehicle equipment control |
CN102099656A (zh) * | 2008-07-16 | 2011-06-15 | 奥迪股份公司 | 用于更新车辆导航系统用的地理数据库的方法 |
CN102208035A (zh) * | 2010-03-31 | 2011-10-05 | 爱信艾达株式会社 | 图像处理系统及位置测量系统 |
Family Cites Families (27)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5999866A (en) * | 1996-11-05 | 1999-12-07 | Carnegie Mellon University | Infrastructure independent position determining system |
JP3770344B2 (ja) * | 1996-12-26 | 2006-04-26 | ソニー株式会社 | 画像照合装置及び画像照合方法 |
JP2003263104A (ja) * | 2002-03-11 | 2003-09-19 | Mitsubishi Electric Corp | 撮像情報認識システム |
US7242460B2 (en) | 2003-04-18 | 2007-07-10 | Sarnoff Corporation | Method and apparatus for automatic registration and visualization of occluded targets using ladar data |
JP4321128B2 (ja) * | 2003-06-12 | 2009-08-26 | 株式会社デンソー | 画像サーバ、画像収集装置、および画像表示端末 |
MX2007008283A (es) | 2005-01-06 | 2007-12-05 | Alan Shulman | Sistema de navegacion e inspeccion. |
EP1979874B1 (en) | 2005-09-12 | 2011-10-26 | Carlos Tapang | Frame and pixel based matching of model-generated graphics images to camera frames |
JP2007114020A (ja) * | 2005-10-19 | 2007-05-10 | Aisin Aw Co Ltd | 車両の移動距離検出方法、車両の移動距離検出装置、車両の現在位置検出方法及び車両の現在位置検出装置 |
US7539557B2 (en) | 2005-12-30 | 2009-05-26 | Irobot Corporation | Autonomous mobile robot |
JP4946238B2 (ja) * | 2006-07-25 | 2012-06-06 | 株式会社デンソー | 車両周辺撮影送信装置および車両周辺撮影送信プログラム |
JP4717760B2 (ja) | 2006-08-31 | 2011-07-06 | 三菱電機株式会社 | 物体認識装置および映像物体測位装置 |
CN101231755B (zh) * | 2007-01-25 | 2013-03-06 | 上海遥薇(集团)有限公司 | 运动目标跟踪及数量统计方法 |
JP4569837B2 (ja) | 2007-03-30 | 2010-10-27 | アイシン・エィ・ダブリュ株式会社 | 地物情報収集装置及び地物情報収集方法 |
JP4437556B2 (ja) * | 2007-03-30 | 2010-03-24 | アイシン・エィ・ダブリュ株式会社 | 地物情報収集装置及び地物情報収集方法 |
US20080320036A1 (en) * | 2007-06-22 | 2008-12-25 | Winter Gentle E | Automatic data collection |
CN101338987B (zh) * | 2007-07-06 | 2011-05-04 | 高克联管件(上海)有限公司 | 一种冷凝用传热管 |
EP2242994A1 (en) * | 2008-02-04 | 2010-10-27 | Tele Atlas North America Inc. | Method for map matching with sensor detected objects |
US8890951B2 (en) * | 2008-04-24 | 2014-11-18 | GM Global Technology Operations LLC | Clear path detection with patch smoothing approach |
DE102008041679A1 (de) * | 2008-08-29 | 2010-03-04 | Robert Bosch Gmbh | Vorrichtung und Verfahren zur erinnerungsbasierten Umfelderkennung |
TWI403690B (zh) | 2009-10-26 | 2013-08-01 | Ind Tech Res Inst | 自我定位裝置及其方法 |
JP5062498B2 (ja) * | 2010-03-31 | 2012-10-31 | アイシン・エィ・ダブリュ株式会社 | 風景マッチング用参照データ生成システム及び位置測位システム |
JP5505723B2 (ja) | 2010-03-31 | 2014-05-28 | アイシン・エィ・ダブリュ株式会社 | 画像処理システム及び位置測位システム |
JP5062497B2 (ja) | 2010-03-31 | 2012-10-31 | アイシン・エィ・ダブリュ株式会社 | 風景画像認識を用いた自車位置検出システム |
US8433142B2 (en) * | 2010-04-05 | 2013-04-30 | The Nielsen Company (Us), Llc | Methods and apparatus to detect differences between images |
EP2619742B1 (en) * | 2010-09-24 | 2018-02-28 | iRobot Corporation | Systems and methods for vslam optimization |
WO2012145822A1 (en) | 2011-04-25 | 2012-11-01 | Magna International Inc. | Method and system for dynamically calibrating vehicular cameras |
US8744169B2 (en) | 2011-05-31 | 2014-06-03 | Toyota Motor Europe Nv/Sa | Voting strategy for visual ego-motion from stereo |
-
2012
- 2012-02-10 GB GBGB1202344.6A patent/GB201202344D0/en not_active Ceased
-
2013
- 2013-02-08 WO PCT/GB2013/050299 patent/WO2013117940A2/en active Application Filing
- 2013-02-08 US US14/375,407 patent/US9576206B2/en active Active
- 2013-02-08 BR BR112014019731-8A patent/BR112014019731B1/pt active IP Right Grant
- 2013-02-08 CN CN201380008829.XA patent/CN104520732B/zh active Active
- 2013-02-08 KR KR1020147025184A patent/KR102053802B1/ko active IP Right Grant
- 2013-02-08 JP JP2014556140A patent/JP2015508163A/ja active Pending
- 2013-02-08 EP EP13710520.1A patent/EP2812727B1/en active Active
-
2014
- 2014-07-22 IN IN1485MUN2014 patent/IN2014MN01485A/en unknown
-
2015
- 2015-10-14 HK HK15110087.6A patent/HK1209488A1/zh unknown
-
2016
- 2016-12-14 US US15/379,459 patent/US20170098128A1/en not_active Abandoned
-
2017
- 2017-08-14 JP JP2017156512A patent/JP6738777B2/ja active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20110125374A1 (en) * | 2004-11-18 | 2011-05-26 | Stam Joseph S | Image acquisition and processing systems for vehicle equipment control |
EP1677076A2 (en) * | 2005-01-04 | 2006-07-05 | The Boeing Company | Precision landmark-aided navigation |
CN1841023A (zh) * | 2005-01-28 | 2006-10-04 | 爱信艾达株式会社 | 车辆位置识别装置及车辆位置识别方法 |
CN101556584A (zh) * | 2008-04-10 | 2009-10-14 | 深圳市万水千山网络发展有限公司 | 一种实现图片交易的计算机系统及方法 |
CN102099656A (zh) * | 2008-07-16 | 2011-06-15 | 奥迪股份公司 | 用于更新车辆导航系统用的地理数据库的方法 |
US20100070125A1 (en) * | 2008-09-12 | 2010-03-18 | Samsung Electronics Co., Ltd. | Apparatus and method for localizing mobile robot |
CN102208035A (zh) * | 2010-03-31 | 2011-10-05 | 爱信艾达株式会社 | 图像处理系统及位置测量系统 |
Non-Patent Citations (1)
Title |
---|
FRIEDRICH FRAUNDORFER ETC.: "Topological mapping,localization and navigation using image collections", 《PROCEEDINGS OF THE 2007 IEEE/RSJ INTERNATIONAL CONFERENCE ON INTELLIGENT ROBOTS AND SYSTEMS》 * |
Cited By (23)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106802654A (zh) * | 2016-11-25 | 2017-06-06 | 斑马信息科技有限公司 | 移车系统和移车方法 |
CN107223244A (zh) * | 2016-12-02 | 2017-09-29 | 深圳前海达闼云端智能科技有限公司 | 定位方法和装置 |
WO2018098811A1 (zh) * | 2016-12-02 | 2018-06-07 | 深圳前海达闼云端智能科技有限公司 | 定位方法和装置 |
CN106774312A (zh) * | 2016-12-05 | 2017-05-31 | 遨博(北京)智能科技有限公司 | 一种为移动机器人确定移动轨迹的方法和装置 |
CN108398944A (zh) * | 2016-12-15 | 2018-08-14 | 苏州宝时得电动工具有限公司 | 自移动设备的作业方法、自移动设备、存储器和服务器 |
CN108398944B (zh) * | 2016-12-15 | 2021-04-06 | 苏州宝时得电动工具有限公司 | 自移动设备的作业方法、自移动设备、存储器和服务器 |
CN106793074A (zh) * | 2016-12-21 | 2017-05-31 | 深圳市卡迪尔通讯技术有限公司 | 定位方法及定位器 |
CN106814737A (zh) * | 2017-01-20 | 2017-06-09 | 安徽工程大学 | 一种基于啮齿类动物模型和RTAB‑Map闭环检测算法的SLAM方法 |
CN110446907A (zh) * | 2017-03-22 | 2019-11-12 | 罗伯特·博世有限公司 | 用于运行车辆的方法和设备 |
CN107247761A (zh) * | 2017-06-01 | 2017-10-13 | 武汉理工大学 | 基于位图的轨迹编码方法 |
CN107247761B (zh) * | 2017-06-01 | 2021-10-15 | 武汉理工大学 | 基于位图的轨迹编码方法 |
CN111936820A (zh) * | 2018-03-30 | 2020-11-13 | 丰田自动车欧洲公司 | 用于调整车辆外部位置信息的系统和方法 |
CN108885110A (zh) * | 2018-07-10 | 2018-11-23 | 深圳前海达闼云端智能科技有限公司 | 一种定位方法、定位装置、定位系统及可读存储介质 |
CN108885110B (zh) * | 2018-07-10 | 2022-04-08 | 达闼机器人有限公司 | 一种定位方法、定位装置、定位系统及可读存储介质 |
CN109269483B (zh) * | 2018-09-20 | 2020-12-15 | 国家体育总局体育科学研究所 | 一种动作捕捉节点的标定方法、标定系统及标定基站 |
CN109269483A (zh) * | 2018-09-20 | 2019-01-25 | 国家体育总局体育科学研究所 | 一种动作捕捉节点的标定方法、标定系统及标定基站 |
CN110954922A (zh) * | 2018-09-27 | 2020-04-03 | 千寻位置网络有限公司 | Gnss动态路测的场景自动识别方法及装置 |
CN110954922B (zh) * | 2018-09-27 | 2021-08-24 | 千寻位置网络有限公司 | Gnss动态路测的场景自动识别方法及装置 |
CN109612455A (zh) * | 2018-12-04 | 2019-04-12 | 天津职业技术师范大学 | 一种室内定位方法及系统 |
CN109726684A (zh) * | 2018-12-29 | 2019-05-07 | 百度在线网络技术(北京)有限公司 | 一种地标元素获取方法和地标元素获取系统 |
CN109726684B (zh) * | 2018-12-29 | 2021-02-19 | 百度在线网络技术(北京)有限公司 | 一种地标元素获取方法和地标元素获取系统 |
CN110146910A (zh) * | 2019-05-15 | 2019-08-20 | 重庆大学 | 一种基于gps与激光雷达数据融合的定位方法及装置 |
CN110146910B (zh) * | 2019-05-15 | 2023-02-28 | 重庆大学 | 一种基于gps与激光雷达数据融合的定位方法及装置 |
Also Published As
Publication number | Publication date |
---|---|
BR112014019731A2 (zh) | 2017-06-20 |
WO2013117940A3 (en) | 2013-12-05 |
HK1209488A1 (zh) | 2016-04-01 |
CN104520732B (zh) | 2018-04-17 |
US9576206B2 (en) | 2017-02-21 |
WO2013117940A2 (en) | 2013-08-15 |
JP2018009999A (ja) | 2018-01-18 |
KR102053802B1 (ko) | 2019-12-09 |
EP2812727B1 (en) | 2019-05-22 |
BR112014019731B1 (pt) | 2022-06-14 |
JP2015508163A (ja) | 2015-03-16 |
IN2014MN01485A (zh) | 2015-04-24 |
KR20140130467A (ko) | 2014-11-10 |
EP2812727A2 (en) | 2014-12-17 |
BR112014019731A8 (pt) | 2017-07-11 |
JP6738777B2 (ja) | 2020-08-12 |
US20140376777A1 (en) | 2014-12-25 |
GB201202344D0 (en) | 2012-03-28 |
US20170098128A1 (en) | 2017-04-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN104520732A (zh) | 定位传感器的方法以及相关设备 | |
Bresson et al. | Simultaneous localization and mapping: A survey of current trends in autonomous driving | |
Mühlfellner et al. | Summary maps for lifelong visual localization | |
Maddern et al. | 1 year, 1000 km: The oxford robotcar dataset | |
US10496104B1 (en) | Positional awareness with quadocular sensor in autonomous platforms | |
Krajník et al. | Simple yet stable bearing‐only navigation | |
Li et al. | Springrobot: A prototype autonomous vehicle and its algorithms for lane detection | |
CN111862672A (zh) | 基于顶视图的停车场车辆自定位及地图构建方法 | |
CN110874100A (zh) | 用于使用视觉稀疏地图进行自主导航的系统和方法 | |
US11830253B2 (en) | Semantically aware keypoint matching | |
CN111366153B (zh) | 一种激光雷达与imu紧耦合的定位方法 | |
US11430199B2 (en) | Feature recognition assisted super-resolution method | |
Yin et al. | General place recognition survey: Towards the real-world autonomy age | |
Li et al. | Integration of vision and topological self-localization for intelligent vehicles | |
Yin et al. | Stabilize an unsupervised feature learning for LiDAR-based place recognition | |
CN113406659A (zh) | 一种基于激光雷达信息的移动机器人位置重识别方法 | |
Martinez et al. | Pit30m: A benchmark for global localization in the age of self-driving cars | |
Gao et al. | Autonomous driving of vehicles based on artificial intelligence | |
CN112733971B (zh) | 扫描设备的位姿确定方法、装置、设备及存储介质 | |
CN113985465A (zh) | 传感器融合定位方法、系统、可读存储介质及计算机设备 | |
Chiu et al. | Sub-meter vehicle navigation using efficient pre-mapped visual landmarks | |
Morra et al. | MIXO: Mixture of Experts-based Visual Odometry for Multicamera Autonomous Systems | |
Yang et al. | An optimization-based selection approach of landing sites for swarm unmanned aerial vehicles in unknown environments | |
Bouaziz et al. | Map management for robust long-term visual localization of an autonomous shuttle in changing conditions | |
Pang et al. | FLAME: Feature-likelihood based mapping and localization for autonomous vehicles |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
REG | Reference to a national code |
Ref country code: HK Ref legal event code: DE Ref document number: 1209488 Country of ref document: HK |
|
CB02 | Change of applicant information |
Address after: oxford Applicant after: University of Oxford science and Technology Innovation Co., Ltd. Address before: oxford Applicant before: ISIS Innovaton Ltd. |
|
COR | Change of bibliographic data | ||
GR01 | Patent grant | ||
GR01 | Patent grant |