CN111630346A - 基于图像和无线电词语的移动设备的改进定位 - Google Patents
基于图像和无线电词语的移动设备的改进定位 Download PDFInfo
- Publication number
- CN111630346A CN111630346A CN201880060739.8A CN201880060739A CN111630346A CN 111630346 A CN111630346 A CN 111630346A CN 201880060739 A CN201880060739 A CN 201880060739A CN 111630346 A CN111630346 A CN 111630346A
- Authority
- CN
- China
- Prior art keywords
- radio
- mobile device
- vector
- words
- location
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 239000013598 vector Substances 0.000 claims abstract description 169
- 230000000007 visual effect Effects 0.000 claims abstract description 105
- 230000006978 adaptation Effects 0.000 claims description 57
- 238000000034 method Methods 0.000 claims description 33
- 238000012545 processing Methods 0.000 claims description 22
- 230000015654 memory Effects 0.000 claims description 17
- 230000001419 dependent effect Effects 0.000 claims description 8
- 238000004891 communication Methods 0.000 claims description 7
- 238000001514 detection method Methods 0.000 claims description 7
- 238000004364 calculation method Methods 0.000 claims description 5
- 238000012549 training Methods 0.000 claims description 5
- 238000004590 computer program Methods 0.000 claims description 2
- 230000004807 localization Effects 0.000 description 11
- 238000004422 calculation algorithm Methods 0.000 description 8
- 238000010606 normalization Methods 0.000 description 4
- 210000003414 extremity Anatomy 0.000 description 3
- 210000003128 head Anatomy 0.000 description 3
- 230000033001 locomotion Effects 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 239000004065 semiconductor Substances 0.000 description 3
- 241000282412 Homo Species 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 210000005069 ears Anatomy 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000007613 environmental effect Effects 0.000 description 2
- 230000004927 fusion Effects 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 229910044991 metal oxide Inorganic materials 0.000 description 2
- 150000004706 metal oxides Chemical class 0.000 description 2
- 239000002245 particle Substances 0.000 description 2
- 230000035945 sensitivity Effects 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 102100024406 60S ribosomal protein L15 Human genes 0.000 description 1
- 101100001675 Emericella variicolor andJ gene Proteins 0.000 description 1
- 230000005355 Hall effect Effects 0.000 description 1
- 101001117935 Homo sapiens 60S ribosomal protein L15 Proteins 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000004069 differentiation Effects 0.000 description 1
- 239000012636 effector Substances 0.000 description 1
- 230000008451 emotion Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 210000001061 forehead Anatomy 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000001802 infusion Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 229910052744 lithium Inorganic materials 0.000 description 1
- GELKBWJHTRAYNV-UHFFFAOYSA-K lithium iron phosphate Chemical compound [Li+].[Fe+2].[O-]P([O-])([O-])=O GELKBWJHTRAYNV-UHFFFAOYSA-K 0.000 description 1
- 210000003141 lower extremity Anatomy 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
- 238000012552 review Methods 0.000 description 1
- 238000005096 rolling process Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
- H04W4/02—Services making use of location information
- H04W4/029—Location-based management or tracking services
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/20—Instruments for performing navigational calculations
- G01C21/206—Instruments for performing navigational calculations specially adapted for indoor navigation
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S5/00—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations
- G01S5/02—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations using radio waves
- G01S5/0252—Radio frequency fingerprinting
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
- H04W4/02—Services making use of location information
- H04W4/024—Guidance services
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
- H04W4/30—Services specially adapted for particular environments, situations or purposes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
- H04W4/30—Services specially adapted for particular environments, situations or purposes
- H04W4/33—Services specially adapted for particular environments, situations or purposes for indoor environments, e.g. buildings
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W64/00—Locating users or terminals or network equipment for network management purposes, e.g. mobility management
- H04W64/003—Locating users or terminals or network equipment for network management purposes, e.g. mobility management locating network equipment
Abstract
本发明涉及一种能够使用视觉和无线电信息的组合在拓扑地图中对自己定位的移动设备(200)。该移动设备(200)捕获其环境的图像(310)，检测可接收无线电发射机(320)并且建立观察矢量(330)，所述观察矢量定义存在于该移动设备(200)的当前位置处的视觉词语(331)和无线电词语(332)。其接着将该观察矢量与对应于参考位置的参考矢量进行比较，并且基于视觉词语和无线电词语之间的关联性来识别该移动设备(200)在参考位置间的位置。
Description
技术领域
本发明涉及移动设备定位的领域。更加具体地，其涉及对移动设备在可能的参考位置集合之间的定位的确定。
背景技术
随着与人类进行交互的可负担的移动机器人的大规模部署，例如机器人的移动设备的室内定位的正在成为一种增长的需求。这催生了对于使得机器人能够对其环境绘制地图并且当它们在其中移动时持续获知它们身在何处的低成本解决方案的需求。然而，大多数的现有解决方案都依赖于使用诸如激光测距仪之类的昂贵传感器，并且是针对具体平台设计的。
The International Journal of Robotics Research,27(6),647-665(Cummins,M.和Newman,P.(2008))中的文章FAB-MAP:Probabilistic localization and mapping inthe space of appearance(FAB-MAP：外观空间中的概率性定位和地图绘制).，以及TheInternational Journal of Robotics Research,30(9),1100-1123(Cummins,M.和Newman,P.(2011))中的文章Appearance-only SLAM at large scale with FAB-MAP 2.0(利用FAB-MAP 2.0在大尺度下的仅外观SLAM).公开了FABMAP算法(基于外观的快速地图绘制算法)，该算法提供了一种基于对图像传感器的使用的低成本定位解决方案。
FABMAP算法将环境分割成一连串拓扑节点，每个节点构成与一个或多个视觉观察相关联的Li。例如，如Sivic,J.和Zisserman,A在Computer Vision,2003.Proceedings.Ninth IEEE International Conference on(p.1470).IEEE(2003年10月)中发表的Video Google:Atext retrieval approach to object matching in videos(用于视频中的对象匹配的文本获取方法).所公开的，对与每个位置相关的图像进行分析以便确定出现在该图像中的视觉词语。因此，针对每个位置定义了包含指示每个视觉词语是否存在于该位置中的二进制数的参考矢量。
当机器人使用相机来捕获图像时，FABMAP算法分析该图像以便确定该图像中包含哪些视觉词语。其接着建立包括二进制数值的观察矢量，每个二进制数值定义视觉词语是否存在于图像中，并且通过将该观察矢量与关联于每个位置的参考矢量进行比较来计算该机器人处于每个位置中的概率。FABMAP确定机器人处于具有最高存在概率的位置。
诸如FABMAP之类的基于视觉特征的定位算法以可承受的成本提供了精确的定位解决方案，原因在于它们使用了存在于大多数机器人上的可负担的传感器。然而，它们面临着感知混叠(aliasing)的问题。该问题在两个位置共享有相似的外观和视觉特征时会出现。该问题在重复性环境中经常遇到，诸如办公室、停车场，或者更一般地任何以规律性视觉模式为特征的室内环境。该问题产生了大量的错误定位，并且因此大幅降低了基于视觉特征的定位算法的鲁棒性。
近年来的工作着眼于将Wi-Fi和视觉数据相融合以便对定位加以改进。例如，Schwiegelshohn,F.、Nick,T.和
J.在Positioning Navigation and Communication(WPNC),2013 10th Workshop on(pp.1-6).IEEE(2013年3月)中发表的Localizationbased on fusion of rfid and stereo image data(基于rfid和立体图像数据的融合的定位)和Quigley,M.、Stavens,D.、Coates,A.和Thrun,S.在Intelligent Robots andSystems(IROS),2010IEEE/RSJ International Conference on(pp.2039-2046)IEEE(2010年10月)中发表的的Sub-meter indoor localization in unmodified environmentswith inexpensive sensors(利用不昂贵的传感器在未经修改的环境中的小于米的室内定位).使用粒子滤波来融合Wi-Fi和视觉定位。然而，在这些解决方案中，粒子滤波仅随着运动而收敛。
Nowicki,M.的在Journal of Automation Mobile Robotics and IntelligentSystems,8(3),10-18(2014年)中发表的WiFi-guided visual loop closure for indoornavigation using mobile devices(针对使用移动设备的室内导航的Wifi引导视觉环路闭合).从Wi-Fi数据定义了可能的位置集合并且在其上执行视觉定位。Biswas,J.和Veloso,M.在Robot Soccer World Cup(pp.468-479).Springer,Berlin,Heidelberg(2013年6月)中发表的Multi-sensor mobile robot localization for diverse environments(针对多种环境的多传感器移动机器人定位).基于视觉或Wi-Fi数据来执行定位，并且选择哪一种传感器对于当前估计而言最为可靠。然而，这两种解决方案都会由于一个误导的传感器而大受影响。
因此，尚没有一种解决方案以可负担成本来提供一种鲁棒的定位解决方案，并且存在对这样的移动设备的需求：该移动设备能够使用广泛可用且可负担的传感器来在室内环境中精确地对自己定位，同时在任何情况下都提供鲁棒且可靠的定位。
发明内容
为此目的，本发明公开了一种移动设备，其包括：一个或多个数字图像传感器；无线电接收机；去往一个或多个存储器的通信链路，所述存储器存储：视觉词语的集合；无线电词语的集合，无线电词语至少是由无线电发射机的标识符所定义的；参考位置的集合，每个参考位置具有与其相关联的参考位置矢量，所述参考位置矢量包括分别定义视觉词语和无线电词语在对应的参考位置处的存在或缺失的二进制数值；去往处理逻辑单元的通信链路，所述处理逻辑单元包括：用于从所述一个或多个数字图像传感器获得所述移动设备的环境的图像的调适模块(adaptation)；用于使用所述无线电接收机检测可接收无线电发射机的调适模块；用于创建观察矢量的调适模块，所述观察矢量包括定义视觉词语在该图像中的存在或缺失的二进制数值以及定义无线电词语的存在或缺失的二进制数值；以及用于基于所述观察矢量和可接收无线电发射机中的所述参考位置矢量来确定至少处于该参考位置集合间的该移动设备的当前位置的调适模块。
在该申请中，术语“视觉词语”要被理解为其通常意义在定位和图像分析领域中。因此，视觉词语是词汇中可以与图像的关键点相对应的词语。
在该申请中，从术语“视觉词语”类推，术语“无线电词语”定义了允许对移动设备所接收的无线电信号的特征进行表征的元素。例如，无线电词语可以由无线电发射机的标识符所表征。无线电词语也可以由无线电发射机的标识符以及对应的信号强度的范围的组合所表征。在使用Wi-Fi信号的实施例中，无线电词语可以使用Wi-Fi签名来检测。例如，Wi-Fi词语可以由接入点的MAC地址所定义，或者由接入点的MAC地址与从该接入点所接收的信号的强度的组合所定义。
无线电发射机在其发射的无线电波被移动设备的无线电接收机所接收时并且在该无线电发射机可以使用所述无线电波被识别的情况下被认为是“可接收的”。
在该申请中，处理逻辑单元可以是根据软件指令、处理器的硬件配置或者它们的组合进行操作的处理器。应当理解的是，本文所讨论的任意或全部功能可以以单纯的硬件实现来实施和/或由根据软件指令进行操作的处理器来实施和/或由根据软件指令进行操作的处理器以及机器学习引擎或神经网络的配置来实施。处理逻辑单元也可以是并行执行操作的多核处理器、一系列处理器，或者它们的组合。还应当理解的是，任何或全部软件指令可以存储在非暂时计算机可读介质中。术语“处理逻辑单元的调适模块”是指调适处理逻辑单元以执行操作的任何模块(例如，硬件配置、软件指令、机器学习、训练或神经网络，或者调适处理单元以执行操作的任何其他调适模块)。
使用视觉词语来定位移动设备通过识别来自相机的图像中属于精确位置的精确特征来允许精确定位。然而，可以在非常远离的图像中检测到相同的视觉词语。
在与具有固定位置的无线电发射机一起被使用时，使用无线电词语来定位移动设备是非常鲁棒的。
因此，无论移动设备的操作条件如何，基于观察矢量和参考位置矢量的定位都同时包括了视觉词语和无线电词语二者的好处，即无线电定位的鲁棒性和视觉词语的检测精确度。与此同时，该解决方案可以可负担地实现，这是因为视觉接收机和无线电接收机都是可负担的且大多数移动设备普遍使用的设备。
有利地，用于确定移动设备的当前位置的调适模块包括这样的调适模块，其用于针对参考位置矢量来执行对在移动设备处于对应的参考位置中时观察到所述观察矢量的可能性的计算。
对在机器人处于相对应的参考位置时观察到观察矢量的可能性的计算允许对移动设备处于每个参考位置时观察到观察矢量的可能性进行有效比较。这因此提供一种针对机器人的当前位置确定最佳候选的高效方式。
有利地，针对所述参考位置矢量，对在机器人处于相对应的参考位置时观察到观察矢量的可能性的所述计算是基于观察矢量、参考位置矢量、以及观察矢量与参考位置矢量的元素的关联树(correlation tree)的。
在每个参考位置观察到观察矢量的可能性可以通过简单比较来执行，例如通过对观察矢量与参考位置矢量中的二进制数值之间共享的正值数量进行计数。然而，这不一定表示视觉和无线电词语之间存在关联性。相反，使用观察矢量与参考位置矢量的元素的关联树允许将词语之间的关联性考虑在内的同时来计算观察到观察矢量的可能性，所述词语例如是在学习阶段期间相同矢量中出现的视觉和/或无线电词语。
有利地，当用于确定移动设备的当前位置是否处于所述参考位置之一的所述调适模块已经确定该移动设备不处于所述参考位置中的任何一个时，该处理逻辑单元还包括用于在所述参考位置的集合中添加具有观察矢量作为参考位置向量的另外的参考位置的调适模块。
这添加了先前没有被移动设备所访问的位置中的新的位置矢量。
在较长的时间段中，这允许位置的集合包括已经由移动设备访问过的与相关参考矢量相关联的所有位置。
有利地，无线电词语的集合在单个训练阶段期间被建立，所述单个训练阶段包括在对所述环境的探索期间对无线电发射机的检测。
这允许对能够被检测并集成在无线电词语的集合中的无线电词语进行更精细的控制。例如，在仅能够接收到环境中的固定无线电发射机时，该移动设备的环境可以在夜间被探索。因此，仅固定无线电发射机被用于定位。这使得定位更加精确和鲁棒。
有利地，在所述用于使用所述无线电接收机检测可接收无线电发射机的调适模块已经检测到与任何无线电词语都不相关联的可接收无线电发射机时，该处理逻辑单元还包括用于在所述无线电词语集合中添加与所述可接收无线电发射机相关联的无线电词语。
这允许该移动设备在不需要训练阶段的情况下开始定位。此外，所述无线电词语可以在检测到对应的无线电发射机时被添加。
有利地，用于添加与所述可接收无线电发射机相关联的无线电词语的所述调适模块包括用于修改参考位置矢量的调适模块，其用于添加：指示所述无线电词语存在于与当前位置相对应的参考矢量中的二进制数值；指示所述无线电词语在每个其他参考位置中都缺失的二进制数值。
在识别出新的无线电词语时，可以假设由于其先前没有被检测到，其在所有先前添加的参考位置中缺失但存在于当前位置中。因此，指示该新添加的无线电词语存在于当前位置并且在先前添加的参考位置中缺失增加了假定为精确的另外的位置信息，并且因此使得未来的定位更加鲁棒。
有利地，用于确定该移动设备的当前位置的所述调适模块包括用于进行以下操作的调适模块：针对每个参考位置基于所述参考位置量以及观察矢量与参考矢量的元素之间的关联性来计算当所述移动设备处于所述参考位置时观察到该观察矢量的可能性。
观察矢量与参考位置矢量的元素的关联性指示在位置或观察中同时存在的视觉词语和/或无线电词语。它们提供了对移动设备可能所在位置的更加鲁棒和精确的指示。因此，比较这样的关联性改进了对移动设备定位的可靠性和效率。
有利地，用于针对每个参考位置计算当所述移动设备处于所述参考位置时观察到该观察矢量的可能性的所述调适模块包括用于单独计算与视觉词语相关联的元素以及与无线电词语相关联的元素的关联性的调适模块。
所述视觉词语和无线电词语可以具有特定的关联性。单独比较表示视觉词语的存在或缺失的二进制数值与无线电词语的存在或缺失的二进制数值的关联性因此允许分析更精确的关联性，并且改进移动设备定位的可靠性。
有利地，用于确定该移动设备的当前位置的所述调适模块包括用于基于人为参考位置矢量的集合来计算当所述移动设备处于未知位置时计算观察到观察矢量的概率的调适模块，所述人为参考位置矢量的集合是使用至少从无线电词语的集合随机生成的可接收无线电发射机的人为列表所建立的。
使用随机生成的无线发射机的列表——包括存在于该移动设备的环境中的无线电发射机——提供了一种人为生成包括无线电词语的观察的有效方式，所述观察虽然是人为的，但是包含了来自无线电词语集合的无线电词语，并且因此与在移动设备将处于人为位置时的人为情况下观察到观察矢量的非空概率相关联。
有利地，该无线电词语还由从对应的无线电发射机所接收的信号强度的范围所定义，用于创建观察矢量的所述调适模块包括用于在该无线电接收机从对应的无线电发射机接收到具有对应的信号强度的信号的情况下指示无线电词语存在于该观察矢量中的调适模块。
从无线电发射机所接收的信号的强度提供了与该移动设备的定位相关的洞察，这由于其至少部分取决于从移动设备到无线电发射机的距离。因此，使用从无线电发射机所接收的信号的强度来建立无线电词语提高了对移动设备定位的精确度。
在使用无线电词语的存在或缺失之间的关联性时更是这样的情况。实际上，表示无线电发射机和从其所接收的信号的强度两者的无线电词语之间的关联性提供了对移动设备距无线电发射机的相对距离的可靠洞察，并且因此提供了对移动设备的定位的可靠洞察。
有利地，用于确定移动设备的当前位置的所述调适模块还包括用于进行以下操作的调适模块：基于所述观察矢量和所述参考位置矢量来计算该移动设备在每个参考位置中的概率；确定该移动设备的当前位置是具有最高概率的参考位置。
在其中没有参考位置矢量与该观察矢量精确匹配的情况下，基于该观察矢量和对应的参考位置矢量之间的比较来计算该移动设备的当前位置与参考位置相匹配的概率，并且选择具有最高概率的位置，以允许最可能作为移动设备的实际位置的参考位置的有效比较。
有利地，用于计算该移动设备处于每个参考位置的概率的所述调适模块还包括用于计算该移动设备处于未知位置的概率的调适模块；该移动位置处于参考位置的概率与该移动设备处于未知位置的概率之和等于1。
在该移动设备先前没有探索其整个环境的情况下，该移动设备可能位于未知位置。因此，计算该移动设备处于未知位置的概率允许确定该移动设备是否具有更高机会处于参考位置之一或者新的未知位置，并且相应地在参考位置的集合中添加新的位置。
本发明还公开了一种方法，其包括：从移动设备板载的一个或多个数字图像传感器获取该移动设备的环境的图像；使用所述移动设备的板载无线电接收机检测可接收的无线电发射机；访问存储器，所述存储器存储：视觉词语的集合；无线电词语的集合，无线电词语是至少由无线电发射机的标识符所定义的；参考位置的集合，每个参考位置具有与其相关联的参考位置矢量，所述参考位置矢量包括定义视觉词语和无线电词语在对应的参考位置处的存在或缺失的二进制数值；创建观察矢量，该观察矢量包括定义视觉词语在该图像中的存在或缺失的二进制数值和定义无线电词语在可接收无线电发射机中的存在或缺失的二进制数值；基于所述观察矢量和所述参考位置矢量来确定该移动设备的当前位置是否处于所述参考位置之一处。
本发明还公开了一种包括计算机代码指令的计算机程序产品，所述计算机代码指令被配置为：从移动设备板载的一个或多个数字图像传感器获取该移动设备的环境的图像；使用所述移动设备的板载无线电接收机检测可接收无线电发射机；访问存储器，所述存储器存储：视觉词语的集合；无线电词语的集合，所述线电词语是至少由无线电发射机的标识符地址所定义的；参考位置的集合，每个参考位置具有与其相关联的参考位置矢量，所述参考位置矢量包括定义视觉词语和无线电词语在对应的参考位置处的存在或缺失的二进制数值；创建观察矢量，所述观察矢量包括定义视觉词语在该图像中的存在或缺失的二进制数值以及使用可接收无线电发射机的无线电词语的存在或缺失的二进制数值；基于所述观察矢量和所述参考位置矢量来确定该移动设备的当前位置是否处于所述参考位置之一处。
附图说明
本发明将通过以下对多个示例性实施例及其附图的描述而更好地被理解并且其各种特征和优势将从中得以显现，所述示例性实施例仅是出于说明的目的被提供的，并且在附图中：
-图1显示了本发明的多个实施例中的机器人的物理架构；
-图2显示了本发明的多个实施例中的移动设备的功能架构；
-图3显示了表示本发明的多个实施例中对数据结构的操作的流程图；
-图4显示了根据本发明的移动设备的环境的地图和两个图像；
-图5a和5b显示了根据本发明和现有技术的使用视觉和/或Wi-Fi信息的组合的移动设备定位方法的定位误差率的两个示例；
-图6显示了根据本发明的方法的示例。
具体实施方式
图1显示了本发明的多个实施例中的机器人的物理架构。
应当注意的是，机器人100仅是作为可以在其中实现本发明的移动设备的示例而被提供的。尽管机器人100是人型机器人，但是本发明可以针对其他类型的移动机器人来实现，例如宠物机器人、带轮机器人，已知该机器人能够在其环境中将自己位移、捕获图像、并且装备有Wi-Fi模块。本发明还能够应用于包括成像能力、无线电接收能力以及至计算能力的链接的其他类型的移动设备。例如，本发明能够应用于无人机、智能电话和自动驾驶汽车。
图中机器人的下肢并非用于行走，而是能够在其基座140上以任意方向移动，所述基座140在其所处的表面上滚动。本发明能够轻易地在适于行走的机器人中实现。作为示例，该机器人具有可大约为120cm的高度110、大约为65cm的深度120以及大约为40cm的宽度130。在具体实施例中，本发明的机器人具有平板计算机150，其能够利用所述平板计算机150向其环境传输消息(音频、视频、网页)或者通过该平板计算机的触控界面接收来自用户的输入。除了该平板计算机的处理器之外，本发明的机器人还使用其自己主板的处理器，例如可以是来自IntelTM的ATOMTMZ530。在本发明的具体实施例中，本发明的机器人还有利地包括专用于处理主板和尤其承载磁旋转编码器(MRE)和传感器的板面之间的数据流的处理器，所述MRE和传感器控制肢体中的关节的电机以及机器人用作轮子的球体。所述电机可以取决于确切关节所需的最大扭矩的量级而是不同的类型。例如，可以使用来自minebeaTM的有刷DC无核电机(例如，SE24P2CTCA)，或者来自MaxonTM的无刷DC电机(例如，EC45_70W)。该MRE优选地是具有12或14位精度的使用霍尔效应的类型。
在本发明的实施例中，图1所显示的机器人还包括各种传感器。它们中的一些被用来控制该机器人的位置和移动。例如，位于机器人躯干中的惯性单元就是如此，其包括3轴陀螺仪和3轴加速器。该机器人还可以包括位于机器人前额上的片上系统(SOC)类型的两个2D彩色RGB相机160(顶部和底部)，例如来自Shenzen V-Vision Technology LtdTM的相机(OV5640)，其在每秒钟5帧下具有500万像素的分辨率以及大约水平57°且竖直44°的视场(FOV)。在机器人的眼睛后方还可以包括一个3D传感器170，例如ASUS XTIONTMSOC传感器，其在每秒钟20帧下具有30万像素的分辨率，具有与2D相机大致相同的FOV。本发明的机器人还可以装备有激光线生成器，例如头180a中的三个以及基座180b中的三个，以便能够感应它与其环境中的物体/生命体的相对位置。在本发明的其他实施例中，该机器人仅在基座中具有激光线生成器。本发明的机器人还可以包括能够感测其环境中的声音的麦克风。在实施例中，可以在机器人的头部植入在1kHz下具有300mV/Pa+/-3dB敏感度以及具有300Hz至12kHz(相对于1kHz是-10dB)的频率范围的四个麦克风。本发明的机器人还可以包括可能处于其基座前方和后方的两个传感器190，其用于测量到其环境中的物体/人类的距离。
该机器人还可以包括处于其头部和手上的触觉传感器以允许与人类进行交互。其还可以包括处于其基座上的防撞器1B0以感应它在其路线中遇到的障碍物。
该机器人还可以通过计算经规划的轨迹与实际轨迹之间的差异来感应其上方部件与其所触碰到的物体的接触。一种针对该效果的方法被相同申请人于相同日期所提交的欧洲专利申请EP14305848.5所公开。
为了传达其感情并且与其环境中的人类通信，本发明的机器人还可以包括：
-LED，例如处于其眼中、耳中，或者在其肩膀上；
-扬声器，例如两个，位于其耳中。
本发明的机器人可以通过以太网RJ45或WiFi 802.11连接与基站或其他机器人进行通信。
本发明的机器人可以由具有大约400Wh能量的磷酸铁锂电池供电。该机器人可以访问适用于其所包括的电池类型的充电站。
机器人的位置/移动由其电机使用算法来控制的，所述电机根据传感器的测量来激活每个肢体所限定的链条以及被限定在每个肢体末端的效应器。
从传感器160、170、180、190、1A0或1B0或者根据对其上方部件与物体的接触的评估结果，该机器人的计算模块可以计算其环境中的障碍物的局部地图，如以EP14305849.3所提交的欧洲专利申请所公开的。
图2显示了本发明的多个实施例中的移动设备的功能架构。
移动设备200包括一个或多个数字图像传感器210。本发明不限于任何类型的数字图像传感器。该一个或多个数字图像传感器210可以是任何类型的已知图像传感器，例如单独使用或组合使用的半导体电荷耦合器件(CCD)、互补金属氧化物半导体(CMOS)、或N型金属氧化物半导体(NMOS)传感器。如上文所讨论的，尽管图2表示了机器人，但是根据本发明的各种实施例，移动设备200可以是任何类型的移动设备，例如机器人。图1显示了本发明的机器人的示例。
一个或多个图像传感器210捕获移动设备的环境的图像。它们或者以固定速率捕获图像，或者在来自处理逻辑单元240的请求下进行捕获。
移动设备200还包括无线电接收机220。本发明不限于允许检测和识别无线电发射机的任何类型的无线电接收机。例如，无线电接收机220可以是Wi-Fi模块、蓝牙模块、Zigbee模块，或者它们的组合。
移动设备200还包括去往一个或多个传感器230的通信链路。根据本发明的各个实施例，一个或多个存储器230可以在移动设备200上板载嵌入，位于无线访问的远程设备上，或者它们的组合。
一个或多个存储器230存储视觉词语的集合。如上文所讨论的，视觉词语提供了描述一个或多个传感器210所捕获图像的内容的词汇。本发明不限于允许表述图像内容的任何词汇或视觉词语集合。例如，Sivic,J.和Zisserman,A的Video Google:A textretrieval approach to object matching in videos(p.1470)IEEE(2003年10月)公开了一种用于定义视觉词语的合适方法。
一个或多个存储器230还存储无线电词语的集合。根据本发明的各个实施例，无线电词语可以由有关无线电发射机的任何数据所定义。例如，无线电词语可以由无线电发射机的标识符所定义。无线电发射机的标识符可以是允许已经发射了无线电信号的无线电发射机被识别的任何信息。例如，无线电词语可以由Wi-Fi接入点的MAC地址、蓝牙设备的地址或者Zigbee设备的地址所定义。
在本发明的多个实施例中，该移动设备检测使用单一协议的无线电发射机，例如仅Wi-Fi接入点、蓝牙设备、或Zigbee设备。在本发明的其他实施例中，该移动设备检测使用不同协议的无线电发射机，例如Wi-Fi接入点、蓝牙设备、以及Zigbee设备。这允许该移动设备使用大量的源来对自己定位。在这样的实施例中，除了设备的地址之外，无线电还可以定义所使用的协议。在本发明的多个实施例中，无线电词语由无线电发射机的标识符与该移动设备从无线电发射机所接收的无线电信号的信号强度范围的组合所定义。这允许针对单个无线电发射机、针对信号接收的不同范围来定义多个无线电词语。根据本发明的各个实施例，可以使用信号强度的任何标度。例如，无线词语可以针对Wi-Fi接入点而被定义为Wi-Fi接入点的MAC地址与以mW(毫瓦)、dBm(相对于毫瓦的分贝数)或RSSI(接收信号强度指示)标度(其范围例如可以是从0至255)表达的Wi-Fi信号的强度的组合。根据本发明的各个实施例，可以使用无线电发射机的标识符与信号强度范围的任何合适的组合。
例如，针对强度范围是[0dBm；-10dBm]的信号，与Wi-Fi接入点相对应的无线电词语可以由MAC地址M1所定义，同一Wi-Fi接入点的第二无线电词语由利用范围是[-10dBm；-20dBm]的信号所接收的同一MAC地址M1所定义，等等。在本发明的多个实施例中，信号强度对应于接收信号强度指示(RSSI)。
根据本发明的各个实施例，无线电词语的集合可以以多种不同方式来管理。
例如，无线词语的集合可以在单个训练阶段期间被建立，所述训练阶段包括移动设备的环境探索期间对无线电发射机的检测。该实施例例如可以被用于在店铺或更一般地商业室内环境中移动的移动设备。在日间，有很多人也可以在该环境内移动，同时携带有无线电发射机(这例如是使用流行的Wi-Fi热点功能的智能电话或者蓝牙已经被激活的智能电话的情况)。这些无线电发射机会在无线电词语集合中生成另外的无线电词语，其对应于将是移动的或者消失的无线电发射机。这样的集合会降低定位方法的效率。为了克服该问题，该移动设备可以在夜间探索其环境，此时仅有固定的无线电发射机是活动的，并且仅将与这些固定无线电发射机相对应的无线电词语添加至无线电词语的集合。
在本发明的多个实施例中，无线电词语可以在每次检测到新的无线电发射机时被添加。
然而，应当注意的是，本发明不限于这些示例，并且可以使用管理无线电词语集合的任何合适的方法。
一个或多个存储器230还存储参考位置的集合。在该应用中，每个参考位置将被标注为Li，i是位置的指标。然而，本发明不限于该约定，并且可以使用允许标识拓扑地图中的位置的任何参考。
一个或多个存储器230还针对每个位置Li存储参考位置矢量。参考位置矢量针对每个位置定义哪些视觉词语和无线电词语在该参考位置处存在或缺失。例如，参考位置矢量可以由二进制数值形成，每个二进制数值定义了视觉词语或无线电词语的存在或缺失。参考位置矢量可以基于位置Li处的视觉观察和无线电接收，并且通过由此确定哪些视觉词语和无线电词语存在于该位置中而被建立。
每个位置因此形成拓扑节点，该拓扑节点与从在参考位置所执行的一次或多次观察而生成的参考位置矢量相关联。所述观察包括视觉观察和无线电观察。这两种类型的观察使用不同的传感器来执行，视觉观察通常以比无线电观察更高的速率被收集。根据本发明的各个实施例，视觉观察和无线电观察可以以多种不同方式被融合到单个参考位置矢量中。例如，在探索阶段期间，视觉观察可以与最接近的无线电观察相关联。视觉观察和无线电观察之间的距离例如可以通过测距法来计算，或者通过比较观察的时间戳并且将时间上最为接近的视觉观察矢量相加至无线电观察矢量来计算。
移动设备200还包括去往处理逻辑单元240的通信链路。根据本发明的各个实施例，处理逻辑单元240可以在移动设备上板载，或者处于远处机器中并且被远程访问。后一种情形例如可以在从控制设备对该移动设备进行控制的情况下被执行，所述控制设备例如可以是智能电话、服务器或个人计算机。
处理逻辑单元240包括用于从所述一个或多个数字图像传感器获取环境的图像的调适模块241。在本发明的多个实施例中，调适模块241定期从一个或多个数字图像传感器210接收图像。例如，调适模块241可以每秒接收25张图像。在本发明的其他实施例中，调适模块241在任何必要的时间向一个或多个图像传感器210发送用于捕获图像的命令。在其中移动设备包括多于一个的数字图像传感器的实施例中，调适模块241可以被配置为将从多个数字图像传感器所接收的图像组合成单个图像。
处理逻辑单元240还包括用于使用无线电接收机220检测可接收无线电发射机的调适模块242。在本发明的多个实施例中，无线电接收机220是定期收集Wi-Fi签名的Wi-Fi模块，所述Wi-Fi签名包括具有对应MAC地址的可接收无线接入点的列表以及该信号被接收的强度(RSSI)。
该处理逻辑单元还包括用于创建观察矢量的调适模块，所述观察矢量定义视觉词语在该图像中的存在或缺失以及使用可接收无线电发射机的无线电词语的存在或缺失。观察矢量在当前描述中将被一般化地表示为Z。
该观察矢量因此指示哪些视觉词语和无线电词语被处于其当前位置的移动设备所检测。对于参考位置矢量类似地，本发明不限于任何形式的观察矢量，并且所述观察矢量可以明显地由指示每个视觉词语在图像中的存在或缺失以及根据可接收无线电发射机的每个无线电词语的存在或缺失的二进制数值所形成。
为了视觉观察和无线电观察是一致的，视觉观察和无线电观察需要在相同的时帧内执行。在本发明的多个实施例中，如果视觉观察和无线电观察的捕获时间低于预定义的阈值，则由它们来形成观察矢量。通常而言，视觉观察以比无线电观察更高的速率被执行。在本发明的多个实施例中，指示可接收无线电发射机的无线电观察由调适模块242定期执行，并且观察矢量则在每个时间步骤根据该无线电观察以及已经由一个或多个图像传感器210在最接近的时间所捕获的视觉观察所创建。已经在最接近时间被捕获的视觉观察的确定例如可以通过比较视觉观察和无线电观察的时间戳来执行。
视觉词语的检测可以以多种不同方式来执行。例如，Sivic,J.和Zisserman,A在InComputer Vision,2003.Proceedings.Ninth IEEE International Conference on IEEE(pp.1470-1477)(2003年10月)中发表的Video Google:A text retrieval approach toobject matching in videos.中所描述的词语袋(bag-of-words)方法。该方法在于提取图像的关键点的描述符，并且将这些描述符与词汇表中的词语相关联。因此，如果词汇表包含N个视觉词语，则观察矢量Z(以及参考位置矢量)将包含指示对应的视觉词语在图像中的存在或缺失的N个二进制数值。
在本发明的多个实施例中，该词汇表来自于离线学习阶段，并且例如可以通过使用诸如k-means之类的聚类方法对从大型图像数据库所提取的关键点描述符所建立。该数据库可以从随机选择的图像或者与移动设备的环境相类似的那些图像所形成。例如，如果移动设备预期要在办公环境中操作，则可以使用室内办公室图像的数据库来建立视觉词语的集合。然而，本发明不限于建立视觉描述符的词汇表的任何特定方式，并且可以使用任何合适的词汇表。离线学习阶段可以由多个不同设备来执行，例如该移动设备自身、计算机、或服务器。
处理逻辑单元240还包括这样的调适模块，其用于基于所述观察矢量和所述参考位置矢量来确定至少在该参考位置集合中的该移动设备的当前位置。
在本发明的多个实施例中，最为相关的参考位置被选择作为移动设备的当前位置。
移动设备的当前位置的确定可以以多种不同方式来执行。例如，可以针对每个参考位置计算观察到观察矢量的可能性。这可以以多种不同方式来执行。一般而言，观察矢量和参考位置矢量之间的相似性越高，移动设备处于对应的参考位置的机会就越大。例如，可以计算在相同时间存在于观察矢量和参考位置矢量中的词语的数量，并且移动设备的当前位置被确定为其参考位置矢量与观察矢量具有最高数量的共有词语的参考位置。
在本发明的多个实施例中，调适模块244使用存在于观察中的词语之间的关联性。例如，某些视觉词语经常被同时检测到，并且这些视觉词语在相同时间的检测是机器人可能处于某些参考位置的强有力的指示。类似地，在无线电词语对应于位于接近地方的无线电发射机并且因此经常在相同时间被检测到时，可以在无线电词语之间确定某些关联性。
在本发明的多个实施例中，针对每个参考位置，调适模块244基于观察矢量、对应的参考位置矢量、以及指示视觉和/或无线电词语之间的关联性的关联树来计算在移动设备处于参考位置时观察到该观察矢量的可能性。在本发明的多个实施例中，该树是Chow-Liu树。参考图3以更多细节提供了这样的检测的示例。
在本发明的其他实施例中，在没有当前参考位置与观察矢量相匹配时，调适模块244被配置为检测移动设备处于未知位置。在这种情况下，该处理逻辑单元还包括用于添加参考位置的调适模块，其中该参考位置的参考位置矢量是当前的观察矢量。
图3显示了表示本发明的多个实施例中对数据结构的操作的流程图。
参考图3所讨论的操作仅是作为示例被提供的，而并不以任何方式限制本发明的范围。图3中提供的示例依赖于使用Chow-Liu树来定义词语之间的关联性，并且基于观察矢量来计算移动设备处于每个参考位置的概率。在图3的示例中，机器人使用图像和Wi-Fi的组合来对自己定位。因此，在图3的示例中，无线电词语仅关于Wi-Fi接入点被定义。如上文所强调的，本发明还能够应用于其他类型的无线电发射机，并且不同类型的无线电发射机可以被相同的移动设备所检测。
在图3所显示的对数据结构的操作可以以连续的时间步骤来执行，时间步骤被标注为k，其中k＝1,2,3,…
如上文所讨论的，图像310是由调适模块241获取的，并且可接收的无线接入点例如以Wi-Fi签名320的形式被调适模块242所检测。
调适模块243从视觉词语的集合333中识别存在于图像310中的视觉词语331。其另外识别存在于该Wi-Fi签名334中的无线电词语332。最后，调适模块243在步骤k处形成包括指示每个视觉词语和无线电词语的存在或缺失的二进制数值的观察矢量Zk330。
如上文所讨论的，在本发明的多个实施例中，无线电词语仅由Wi-Fi接入点的MAC地址所定义。在这种情况下，如果具有对应的MAC地址的接入点存在于Wi-Fi签名320中，则无线电词语存在。在本发明的其他实施例中，无线电词语由MAC地址和信号强度范围二者所表征。在这种情况下，如果Wi-Fi签名包括具有对应的MAC地址的Wi-Fi接入点和例如由RSSI所定义的信号强度，则无线电词语存在。
在图3的示例中，观察矢量Zk从视觉观察矢量Zvision和Wi-Fi观察矢量ZWi-Fi的串联所形成。矢量Zvision的大小等于视觉词语的集合333的大小，并且矢量ZWi-Fi的大小则等于无线电词语的集合334中的Wi-Fi词语的数量。
一旦获得了观察矢量，则调适模块244就针对每个参考位置Li计算在移动设备处于位置Li时观察到矢量Zk的概率p(Zk|Li)。该概率是使用捕获词汇表的不同词语之间的关联性的Chow-Liu树来计算的。在本发明的多个实施例中，使用两个单独的Chow-Liu输：一个用于捕获视觉词语之间的关联性，而一个则用于捕获无线电词语之间的关联性。
在本发明的多个实施例中，调适模块244还计算在移动设备处于未知位置时获得观察矢量的概率。也被称之为“规范化”的这一操作确保还没有从未知位置所获得观察矢量。这在移动设备没有完全探索其环境时是特别有帮助的。
针对视觉词语，这可以通过使用来自形成任意未知世界的真实位置的图像的数据库，并且检测存在于这些图像中的视觉词语以便获得未知世界参考位置矢量的集合来完成。接着，要从未知位置获得观察矢量的概率可以被计算为从每个未知世界参考位置矢量获得观察矢量的概率之和。
该解决方案对于视觉词语是令人满意的。实际上，视觉词语代表从多个不同源和位置在图像中发现的物体或形状。因此，来自视觉词语集合的这样的视觉词语可以在来自任何源的图像中被识别，由此提供了合适的未知世界参考位置矢量。然而，对无线电词语使用相同方法将不是高效的。实际上，无线电信号(例如，随机收集的Wi-Fi签名)在实践中没有机会包含与移动设备的环境相关的任何无线电词语，这是由于所述无线电发射机的标识符(例如，在随机地点收集的Wi-Fi MAC地址)按照定义将不同于在移动设备的环境中所收集的无线电发射机的标识符。
为了克服该问题，可以通过至少基于无线电词语的集合334生成无线电词语的随机分布来建立与无线电词语相关的未知世界参考位置矢量的集合。例如，可以计算移动设备在探索其环境时所收集的Wi-Fi签名中感知到的接入点的数量的均值μ和标准偏差σ，以获得在Wi-Fi签名中感知到的接入点数量的正态分布N(μ,σ)。因此，可以通过以下操作来定义视觉位置的数量ns：生成其大小遵循该正态分布N(μ,σ)的Wi-Fi签名并且验证存在于该Wi-Fi签名中的无线电词语以便建立相对于未知世界的人为参考位置矢量。根据本发明的各个实施例，Wi-Fi签名可以仅使用与无线电词语的集合334相对应的无线接入点来建立，或者使用与无线电词语的集合334相对应的无线接入点与来自未知位置的无线节点的组合被建立。
在规范化的输出处，调适模块244例如可以使用以下公式来计算处于每个位置Li中的概率：
其中：
-Zk是步骤k处的观察矢量；
-Zk是截止到步骤k的观察矢量的集合(并且相反地，Zk-1是截止到步骤k-1的观察矢量的集合)；
-p(Zk|Li,Zk-1)，其可以更简单地被标注为p(Zk|Li)——是在步骤k从位置Li观察到观察矢量的概率；
-p(Li|Zk-1)是基于先前时间步骤的观察的集合Zk-1的处于位置Li的概率。该项因此使用了先前位置的知识以及拓扑节点间的关系来提供有关当前位置的洞察；
-p(Zk|Zk-1)——也被称作规范化项——基于先前的观察矢量的集合Zk-1提供了观察到观察矢量Zk的全局概率。
该规范化步骤中的项p(Li|Zk-1)和p(Zk|Zk-1)例如可以以类似于FABMAP算法中所使用的规范化的方式来计算，所述FABMAP由Cummins,M.和Newman,P.在The InternationalJournal of Robotics Research,27(6),647-665(2008)中发表的FAB-MAP:Probabilisticlocalization and mapping in the space of appearance.和Cummins,M.和Newman,P.在The International Journal of Robotics Research,30(9),1100-1123(2011)中发表的Appearance-only SLAM at large scale with FAB-MAP 2.0.所公开。
在该规范化的输出处，调适模块344基于观察矢量Zk以及先前步骤的观察矢量来计算移动设备处于每个参考位置L1,L2…的概率p(L1,Zk),p(L2,Zk)…的集合350。具有最高概率的位置因此可以被选择作为当前位置。使用以上公式中的规范化项，所有概率之和等于1。
在其中未知位置被选择作为具有最高概率的位置的情况下，可以理解移动设备正处于先前尚未探索的位置。因此，可以添加新的参考位置，其具有作为参考位置矢量的当前观察矢量Zk。
在一些情况下，当移动设备探索其环境的新位置时，并不存在于无线电词语的集合334中的无线接入点会变为可接收的。在这种情况下，除了存在于集合334中的无线电词语之外，Wi-Fi签名320可以包含新的无线接入点。在这种情况下，对应的无线电词语可以被定义并且被添加至无线电词语的集合334。所有参考位置矢量因此都将利用新的二进制数值进行扩展，该新的二进制数值定义新定义的无线电词语在每个参考位置的存在或缺失。可以假设无线电词语存在于其已经在那里被检测到的当前位置，而在所有其他参考位置处是缺失的，这是由于该移动设备已经访问了其他参考位置而没有检测到该新的无线接入点。因此，定义该新的无线电词语的存在的二进制数值可以被添加至当前位置的参考位置矢量，并且定义该新的无线电词语的缺失的二进制数值被添加至所有其他参考位置矢量中。
该示例仅是作为FABMAP算法框架内的本发明实施例的示例而提供。然而，本发明不限于该示例，而是可以在必要情况下使用视觉和/或Wi-Fi词语的定义的调适模块而例如在任何拓扑位置框架内被实现。
图4显示了根据本发明的移动设备的环境的地图和两个图像。
环境400是办公楼的楼道。拓扑节点可以定义该办公楼中的多个位置，例如第一位置410和第二位置420。图像411提供了第一位置410的视图，而图像421则提供了第二位置420的视图。如在图4中所显示的，图像421和422非常相似并且共享很多视觉特征。这种情形在办公环境中非常普遍。
然而，这使得仅基于视觉特征的定位非常难以执行，因为难以基于视觉特征对诸如第一位置410和第二位置420之类的位置进行区分。
从无线电发射机所接收的信号可以提供正确识别移动设备在这样的环境中的位置的精确洞察。
例如，Wi-Fi接入点在范围430内是可接收的，并且固定蓝牙设备所发射的蓝牙信号在范围440中能够接收。因此，当移动设备处于位置410时，其仅检测到Wi-Fi无线接入点，而当该移动设备处于第二位置420时，其检测到Wi-Fi接入点和固定蓝牙设备两者。该信息是鲁棒的并且不受办公室中墙壁遮挡的影响。如上文所公开的，本发明的移动设备因此能够使用该信息对第一位置和第二位置进行区分。
在本发明的多个实施例中，使用无线电信号的信号强度(例如，通过从Wi-Fi接入点所接收的信号的Wi-Fi签名的RSSI字段)允许无线电信息的进一步细化。例如，来自Wi-Fi接入点的信号在范围431内可以以高于-30dBm的强度被接收，而信号强度在范围431和430之间则低于-30dBm。因此，可以定义两个单独的无线电词语以用于在低于或高于-30dBm的强度从Wi-Fi接入点接收信号。在该示例中，信号在第一位置410以高于-30dBm的强度被接收，并且信号强度在第二位置420则低于-30dBm。因此，该信息允许在第一位置410和第二位置420之间对移动设备的位置的进一步区分。
图5a和5b显示了根据本发明和现有技术的使用视觉和/或Wi-Fi信息的组合的移动设备定位方法的定位误差率的两个示例。
图5a和5b根据(对应于相关联的拓扑节点的)移动设备估计姿态和(对应于其确切位置的)移动设备真实姿态之间的距离d更具体地显示了使用视觉和Wi-Fi信息的组合的不同定位方法的误差率(即，错误位置的相对数量)。图5a和5b中所显示的示例更具体地相对于机器人定位。
竖直轴线501a和501b表示误差率，其是在实验测试期间的错误定位的数量除以该测试期间的定位总数。轴线501b的方向与轴线501a的方向相比是逆向的，并且插图570表示对低距离和低误差率的缩放。
在图5a和5b中，曲线分别表示：
-曲线510a、510b和511b：根据本发明的定位方法的取决于距离的误差率变化；
-曲线520a、520b和521b：顺序执行视觉定位，随后基于Wi-Fi信息检查定位的定位方法的取决于距离的误差率变化；
-曲线530a、530b和531b：仅基于视觉信息的定位方法的取决于距离的误差率变化；
-曲线540a、540b和541b：基于Wi-Fi的定位随后使用视觉信息细化该定位的定位方法的取决于距离的误差率变化；
-曲线550a、550b和551b：单独执行基于Wi-Fi的定位和基于视觉的定位，随后使用粒子滤波器融合信息的定位方法的取决于距离的误差率变化；
-曲线560a、560b和561b：仅基于Wi-Fi的定位方法的取决于距离的误差率变化；
图5a和5b清楚地示出本发明的定位方法在所有距离都提供了明显好于所有其他视觉、Wi-Fi或混合方法的定位结果。
图6显示了根据本发明的方法的示例。
方法600是一种在其环境中定位移动设备的方法。
方法600包括第一步骤610，从移动设备板载的一个或多个数字图像传感器获取该移动设备的环境的图像。
方法600还包括第二步骤620，使用所述移动设备板载的无线电接收机检测可接收无线电发射机。
方法600还包括第三步骤630，访问存储器，所述存储器存储：视觉词语的集合，无线电词语的集合，无线电词语是至少由无线电发射机的标识符所定义的，以及参考位置的集合，每个参考位置具有与其相关联的参考位置矢量，所述参考位置矢量包括定义视觉词语和无线电词语在对应的参考位置处的存在或缺失的二进制数值。
方法600还包括第四步骤640，创建观察矢量，其包括定义视觉词语在该图像中的存在或缺失的二进制数值和定义使用可接收的无线无线电发射机的无线电词语的存在或缺失的二进制数值。
方法600还包括第五步骤650，基于所述观察矢量和所述参考位置矢量来确定该移动设备的当前位置是否处于所述参考位置之一处。
参考图1至4所讨论的所有实施例都分别能够应用于方法600。
上文所描述的示例是作为本发明实施例的非限制性说明被给出。它们并不以任何方式对以下权利要求所限定的本发明的范围加以限制。
Claims (15)
1.一种移动设备，包括：
一个或多个数字图像传感器(210)；
无线电接收机(220)；
去往一个或多个存储器(230)的通信链路，所述存储器存储：
视觉词语的集合(333)；
无线电词语的集合(334)，无线电词语是至少由无线电发射机的标识符所定义的；
参考位置的集合，每个参考位置具有与其相关联的参考位置矢量，所述参考位置矢量包括分别定义视觉词语和无线电词语在对应的参考位置处的存在或缺失的二进制数值；
去往处理逻辑单元(240)的通信链路，所述处理逻辑单元包括：
用于从所述一个或多个数字图像传感器获得所述移动设备的环境的图像(310)的调适模块(241)；
用于使用所述无线电接收机来检测可接收无线电发射机(320)的调适模块(242)；
用于创建观察矢量(330)的调适模块(243)，所述观察矢量包括定义视觉词语(331)在所述图像中的存在或缺失的二进制数值(335)以及定义无线电词语(332)在可接收无线电发射机中的存在或缺失的二进制数值(336)；
用于基于所述观察矢量和所述参考位置矢量来确定至少处于所述参考位置的集合间的所述移动设备的当前位置的调适模块(244，344)。
2.根据权利要求1所述的移动设备，其中，用于确定所述移动设备的所述当前位置的所述调适模块包括这样的调适模块，其用于针对参考位置矢量而执行对在所述移动设备处于所述对应的参考位置时观察到所述观察矢量的可能性的计算。
3.根据权利要求2所述的移动设备，其中，针对所述参考位置矢量对在所述移动设备处于所述对应的参考位置时观察到所述观察矢量的所述可能性的所述计算是基于所述观察矢量、所述参考位置矢量、以及所述观察矢量与所述参考位置矢量的元素的关联树的。
4.根据权利要求1至3中任一项所述的移动设备，其中，当用于确定所述移动设备的当前位置是否处于所述参考位置中的一个处的所述调适模块已经确定所述移动设备不处于所述参考位置中的任何参考位置中时，所述处理逻辑单元还包括用于将具有所述观察矢量作为参考位置矢量的另外的参考位置添加在所述参考位置的集合中的调适模块。
5.根据权利要求1至4中任一项所述的移动设备，其中，所述无线电词语的集合是在单个训练阶段期间建立的，所述单个训练阶段包括在对所述环境的探索期间对无线电发射机的检测。
6.根据权利要求1至5中任一项所述的移动设备，其中，当用于使用所述无线电接收机来检测可接收无线电发射机的所述调适模块已经检测到与所述无线电词语中的任何一个都不相关联的可接收无线电发射机时，所述处理逻辑单元还包括用于在所述无线电词语集合中添加与所述可接收无线电发射机相关联的无线电词语的调适模块。
7.根据从属于权利要求4的权利要求6所述的移动设备，其中，用于添加与所述可接收无线电发射机相关联的无线电词语的所述调适模块包括用于修改所述参考位置矢量以添加以下项的调适模块：
指示所述无线电词语在与当前位置相对应的参考矢量中的存在的二进制数值；
指示所述无线电词语在每个其他参考位置中的缺失的二进制数值。
8.根据从属于权利要求2的权利要求2至7中任一项所述的移动设备，其中，用于确定所述移动设备的所述当前位置的所述调适模块包括这样的调适模块，其用于针对每个参考位置、基于所述参考位置矢量以及观察矢量与参考矢量的元素之间的关联性来计算当所述移动设备处于所述参考位置时观察到所述观察矢量的可能性。
9.根据权利要求8所述的移动设备，其中，用于针对每个参考位置计算当所述移动设备处于所述参考位置时观察到所述观察矢量的可能性的所述调适模块包括用于单独计算与视觉词语相关联的元素和与无线电词语相关联的元素的关联性的调适模块。
10.根据权利要求9所述的移动设备，其中，用于确定所述移动设备的所述当前位置的所述调适模块包括这样的调适模块，其用于基于人为参考位置矢量的集合来计算当所述移动设备处于未知位置时观察到观察矢量的概率的调适模块，所述人为参考位置矢量是使用至少从所述无线电词语的集合随机生成的可接收无线电发射机的人为列表来建立的。
11.根据权利要求1至10中任一项所述的移动设备，其中：
所述无线电词语还是由从所述对应的无线电发射机所接收的信号强度的范围所定义的；
用于创建观察矢量的所述调适模块包括这样的调适模块，其用于在所述无线电接收机从对应的无线电发射机接收到具有对应的信号强度的信号的情况下指示无线电词语存在于所述观察矢量中。
12.根据权利要求1至11中任一项所述的移动设备，其中，用于确定所述移动设备的所述当前位置的所述调适模块还包括用于进行以下操作的调适模块：
基于所述观察矢量和所述参考位置矢量来计算所述移动设备处于每个参考位置中的概率；
确定所述移动设备的所述当前位置是具有最高概率的参考位置。
13.根据权利要求12所述的移动设备，其中：
用于计算所述移动设备处于每个参考位置中的概率的所述调适模块还包括用于计算所述移动设备处于未知位置中的概率的调适模块；
所述移动设备处于所述参考位置中的概率与所述移动设备处于未知位置中的概率之和等于1。
14.一种方法(600)，包括：
从移动设备板载的一个或多个数字图像传感器获取(610)所述移动设备的环境的图像；
使用所述移动设备板载的无线电接收机来检测(620)可接收无线电发射机；
访问(630)存储器，所述存储器存储：
视觉词语的集合(333)；
无线电词语的集合(334)，无线电词语是至少由无线电发射机的标识符所定义的；
参考位置的集合，每个参考位置具有与其相关联的参考位置矢量，所述参考位置矢量包括分别定义视觉词语和无线电词语在对应的参考位置处的存在或缺失的二进制数值；
创建(640)观察矢量，所述观察矢量包括定义视觉词语在所述图像中的存在或缺失的二进制数值(335)以及定义无线电词语在可接收无线电发射机中的存在或缺失的二进制数值(336)；
基于所述观察矢量和所述参考位置矢量来确定(650)所述移动设备的当前位置是否处于所述参考位置中的一个处。
15.一种包括计算机代码指令的计算机程序产品，所述计算机代码指令被配置为：
从移动设备板载的一个或多个数字图像传感器获取所述移动设备的环境的图像；
使用所述移动设备板载的无线电接收机来检测可接收无线电发射机；
访问存储器，所述存储器存储：
视觉词语的集合；
无线电词语的集合，无线电词语是至少由无线电发射机的标识符地址所定义的；
参考位置的集合，每个参考位置具有与其相关联的参考位置矢量，所述参考位置矢量包括分别定义视觉词语和无线电词语在对应的参考位置处的存在或缺失的二进制数值；
创建观察矢量，所述观察矢量包括定义视觉词语在所述图像中的存在或缺失的二进制数值以及定义无线电词语在可接收无线电发射机中的存在或缺失的二进制数值；
基于所述观察矢量和所述参考位置矢量来确定所述移动设备的当前位置是否处于所述参考位置中的一个处。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| EP17306252.2A EP3460400B1 (en) | 2017-09-22 | 2017-09-22 | Improved localization of a mobile device based on image and radio words |
| EP17306252.2 | 2017-09-22 | ||
| PCT/EP2018/075739 WO2019057954A1 (en) | 2017-09-22 | 2018-09-24 | ENHANCED LOCATION OF A MOBILE DEVICE BASED ON IMAGE AND RADIO WORDS |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111630346A true CN111630346A (zh) | 2020-09-04 |
| CN111630346B CN111630346B (zh) | 2024-02-09 |
Family
ID=60083902
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201880060739.8A Active CN111630346B (zh) | 2017-09-22 | 2018-09-24 | 基于图像和无线电词语的移动设备的改进定位 |
Country Status (8)
| Country | Link |
|---|---|
| US (1) | US11076264B2 (zh) |
| EP (1) | EP3460400B1 (zh) |
| JP (1) | JP6991317B2 (zh) |
| KR (1) | KR102406084B1 (zh) |
| CN (1) | CN111630346B (zh) |
| AU (1) | AU2018335369A1 (zh) |
| CA (1) | CA3076372A1 (zh) |
| WO (1) | WO2019057954A1 (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112325883A (zh) * | 2020-10-19 | 2021-02-05 | 湖南大学 | 一种WiFi和视觉多源融合的移动机器人室内定位方法 |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20230004797A1 (en) * | 2020-03-10 | 2023-01-05 | Sri International | Physics-guided deep multimodal embeddings for task-specific data exploitation |
| US20230232183A1 (en) * | 2022-01-19 | 2023-07-20 | Qualcomm Incorporated | Determining communication nodes for radio frequency (rf) sensing |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1957359A (zh) * | 2004-07-02 | 2007-05-02 | 诺基亚公司 | 用压缩动作语言表示启动动作 |
| CN102960037A (zh) * | 2010-05-19 | 2013-03-06 | 诺基亚公司 | 物理上约束的无线电地图 |
| CN103712617A (zh) * | 2013-12-18 | 2014-04-09 | 北京工业大学 | 一种基于视觉内容的多层语义地图的创建方法 |
| CN104428790A (zh) * | 2012-07-19 | 2015-03-18 | 高通股份有限公司 | 经由用于梵文光学字符辨识的基于前缀树的解码来处置字的复杂变体的方法 |
| US20160025846A1 (en) * | 2013-03-15 | 2016-01-28 | Kirill Mostov | Multi-sensor surveillance system for monitoring a space and detection of objects |
| US20160255139A1 (en) * | 2016-03-12 | 2016-09-01 | Yogesh Chunilal Rathod | Structured updated status, requests, user data & programming based presenting & accessing of connections or connectable users or entities and/or link(s) |
Family Cites Families (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8938355B2 (en) * | 2009-03-13 | 2015-01-20 | Qualcomm Incorporated | Human assisted techniques for providing local maps and location-specific annotated data |
| JP2011094992A (ja) | 2009-10-27 | 2011-05-12 | Jvc Kenwood Holdings Inc | ナビゲーション装置、ナビゲーション方法、およびナビゲーションプログラム |
| US8615254B2 (en) * | 2010-08-18 | 2013-12-24 | Nearbuy Systems, Inc. | Target localization utilizing wireless and camera sensor fusion |
| EP2952300A1 (en) | 2014-06-05 | 2015-12-09 | Aldebaran Robotics | Collision detection |
| ES2675363T3 (es) | 2014-06-05 | 2018-07-10 | Softbank Robotics Europe | Procedimiento de construcción de un mapa de probabilidad entre la ausencia y la presencia de obstáculos para un robot autónomo |
| US10217120B1 (en) * | 2015-04-21 | 2019-02-26 | Videomining Corporation | Method and system for in-store shopper behavior analysis with multi-modal sensor fusion |
| GB2541884A (en) | 2015-08-28 | 2017-03-08 | Imp College Of Science Tech And Medicine | Mapping a space using a multi-directional camera |
| US9772395B2 (en) * | 2015-09-25 | 2017-09-26 | Intel Corporation | Vision and radio fusion based precise indoor localization |
-
2017
- 2017-09-22 EP EP17306252.2A patent/EP3460400B1/en active Active
-
2018
- 2018-09-24 US US16/648,642 patent/US11076264B2/en active Active
- 2018-09-24 CN CN201880060739.8A patent/CN111630346B/zh active Active
- 2018-09-24 CA CA3076372A patent/CA3076372A1/en not_active Abandoned
- 2018-09-24 KR KR1020207008383A patent/KR102406084B1/ko active IP Right Grant
- 2018-09-24 JP JP2020516684A patent/JP6991317B2/ja active Active
- 2018-09-24 WO PCT/EP2018/075739 patent/WO2019057954A1/en active Application Filing
- 2018-09-24 AU AU2018335369A patent/AU2018335369A1/en not_active Abandoned
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1957359A (zh) * | 2004-07-02 | 2007-05-02 | 诺基亚公司 | 用压缩动作语言表示启动动作 |
| CN102960037A (zh) * | 2010-05-19 | 2013-03-06 | 诺基亚公司 | 物理上约束的无线电地图 |
| CN104428790A (zh) * | 2012-07-19 | 2015-03-18 | 高通股份有限公司 | 经由用于梵文光学字符辨识的基于前缀树的解码来处置字的复杂变体的方法 |
| US20160025846A1 (en) * | 2013-03-15 | 2016-01-28 | Kirill Mostov | Multi-sensor surveillance system for monitoring a space and detection of objects |
| CN103712617A (zh) * | 2013-12-18 | 2014-04-09 | 北京工业大学 | 一种基于视觉内容的多层语义地图的创建方法 |
| US20160255139A1 (en) * | 2016-03-12 | 2016-09-01 | Yogesh Chunilal Rathod | Structured updated status, requests, user data & programming based presenting & accessing of connections or connectable users or entities and/or link(s) |
Non-Patent Citations (1)
| Title |
|---|
| MORGAN QUIGLEY 等: "Sub-meter indoor localization in unmodified environments with inexpensive sensors", 《2010 IEEE/RSJ INTERNATIONAL CONFERENCE ON INTELLIGENT ROBOTS AND SYSTEMS》 * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112325883A (zh) * | 2020-10-19 | 2021-02-05 | 湖南大学 | 一种WiFi和视觉多源融合的移动机器人室内定位方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CA3076372A1 (en) | 2019-03-28 |
| EP3460400A1 (en) | 2019-03-27 |
| JP6991317B2 (ja) | 2022-01-12 |
| CN111630346B (zh) | 2024-02-09 |
| US20200236504A1 (en) | 2020-07-23 |
| WO2019057954A1 (en) | 2019-03-28 |
| US11076264B2 (en) | 2021-07-27 |
| KR20200094729A (ko) | 2020-08-07 |
| JP2020537119A (ja) | 2020-12-17 |
| KR102406084B1 (ko) | 2022-06-07 |
| AU2018335369A1 (en) | 2020-04-16 |
| EP3460400B1 (en) | 2021-12-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP7150773B2 (ja) | 移動ロボット及びその制御方法 | |
| KR101999033B1 (ko) | 자동 로봇을 위한 장애물의 존재 및 부재 중 하나의 확률 맵 구축 방법 | |
| Liu et al. | Robotic room-level localization using multiple sets of sonar measurements | |
| Quigley et al. | Sub-meter indoor localization in unmodified environments with inexpensive sensors | |
| CN111630346B (zh) | 基于图像和无线电词语的移动设备的改进定位 | |
| EP3450117A1 (en) | Mobile robot and control method therefor | |
| CN109551476A (zh) | 结合云服务系统的机器人系统 | |
| JP2009190164A (ja) | 物体認識及び認識された物体を含む周辺環境情報に基づいたロボットの自己位置推定方法 | |
| US10197399B2 (en) | Method for localizing a robot in a localization plane | |
| KR20210004674A (ko) | 이동 로봇 및 그 제어방법 | |
| TW202115366A (zh) | 機率性多機器人slam的系統及方法 | |
| Hashemifar et al. | Augmenting visual SLAM with Wi-Fi sensing for indoor applications | |
| Li et al. | Robot semantic mapping through wearable sensor-based human activity recognition | |
| Avola et al. | A multipurpose autonomous robot for target recognition in unknown environments | |
| KR102147210B1 (ko) | 인공지능 이동 로봇의 제어 방법 | |
| JP7166446B2 (ja) | ロボットの姿勢を推定するシステムおよび方法、ロボット、並びに記憶媒体 | |
| KR102147211B1 (ko) | 인공지능 이동 로봇의 제어 방법 | |
| Wang et al. | Finding misplaced items using a mobile robot in a smart home environment | |
| Kim et al. | InFo: indoor localization using fusion of visual information from static and dynamic cameras | |
| US20220413512A1 (en) | Information processing device, information processing method, and information processing program | |
| Szendy et al. | Simultaneous localization and mapping with TurtleBotII | |
| Petrou et al. | RoboCup Rescue 2015-Robot League Team PANDORA (Greece) | |
| Meißner et al. | Active scene recognition for programming by demonstration using next-best-view estimates from hierarchical implicit shape models | |
| Henken | Indoor-localization using a mobile phone | |
| Kamal | Anonymous Multi-User Tracking in Indoor Environment Using Computer Vision and Bluetooth |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |