CN111989631A - 自身位置推定方法 - Google Patents

自身位置推定方法 Download PDF

Info

Publication number
CN111989631A
CN111989631A CN201980026245.2A CN201980026245A CN111989631A CN 111989631 A CN111989631 A CN 111989631A CN 201980026245 A CN201980026245 A CN 201980026245A CN 111989631 A CN111989631 A CN 111989631A
Authority
CN
China
Prior art keywords
self
algorithm
algorithms
estimating
estimated
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201980026245.2A
Other languages
English (en)
Inventor
长谷川雄二
松崎灿心
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Honda Motor Co Ltd
Original Assignee
Honda Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Honda Motor Co Ltd filed Critical Honda Motor Co Ltd
Publication of CN111989631A publication Critical patent/CN111989631A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0221—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory involving a learning process
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C15/00—Surveying instruments or accessories not provided for in groups G01C1/00 - G01C13/00
    • G01C15/002—Active optical surveying means
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/04—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by terrestrial means
    • G01C21/08—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by terrestrial means involving use of the magnetic field of the earth
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/20—Instruments for performing navigational calculations
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G05D1/0251—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means extracting 3D information from a plurality of images taken from different locations, e.g. stereo vision
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0259—Control of position or course in two dimensions specially adapted to land vehicles using magnetic or electromagnetic means
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0268—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means
    • G05D1/0272—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means comprising means for registering the travel distance, e.g. revolutions of wheels
    • G05D1/24—
    • G05D1/2435—
    • G05D1/247—
    • G05D1/644—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C22/00—Measuring distance traversed on the ground by vehicles, persons, animals or other moving solid bodies, e.g. using odometers, using pedometers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Abstract

本发明提供一种自身位置推定方法。该自身位置推定方法具备：第一步骤，根据多个传感器(5～8)的检测信息并利用多个算法(11～13)推定移动体(1)自身位置；第二步骤，针对多个算法的每一算法，根据通过各算法的推定处理得到的一个以上的状态量A、B、C并利用学习完成的神经网格(14)决定各算法的每一算法的权重系数；第三步骤，将利用权重系数合成由各算法推定的自身位置而得的位置确定为移动体(1)的自身位置。

Description

自身位置推定方法
技术领域
本发明涉及推定移动体的自身位置的方法。
背景技术
以往，提出了使用多个传感器的检测信息来推定移动机器人等移动体的自身位置的各种的技术。例如，在专利文献1中提出了使用编码器或陀螺仪等内界传感器的检测信息、测距传感器、IR传感器、超声波传感器、相机等外界传感器的检测信息来推定移动体的自身位置的技术。
另外，以往还提出了各种使用一个以上的传感器的检测信息来推定移动体的自身位置的算法(algorithm)。
现有技术文献
专利文献
专利文献1：日本特开2007-149088号公报
发明内容
发明要解决的课题
然而，在各种环境下，为了能够高可靠性地推定自身位置，可以考虑根据多个传感器的检测信息通过多个算法分别推定自身位置，使用适当的权重系数合成这些多个自身位置的推定值，从而确定自身位置。并且，在该情况下，考虑预先学习上述权重系数。
在这种情况下，作为上述权重系数的学习的手法，考虑使用基于各算法的自身位置推定值的与实际位置的偏差(自身位置推定值的误差)作为输入信息来进行上述权重系数的学习。然而，在该情况下，进行该学习的场所不得不限定于特定的场所，因此，对能够适用于该特定的场所以外的各种场所的权重系数进行学习容易变得困难。
本发明鉴于上述背景而完成，其目的在于提供一种能够以不易受移动体的移动环境影响的方式推定移动体的自身位置的自身位置推定方法。
为了实现上述目的，本发明的自身位置推定方法的特征在于，具备：
第一步骤，根据多个传感器的检测信息，通过分别使用该多个传感器中的一个以上的传感器的检测信息的多个算法分别推定移动体的自身位置；
第二步骤，针对所述多个算法中的每一算法，将状态量输入到学习完成的神经网络中，并且该神经网络根据该输入的状态量决定所述多个算法中的每一算法的权重系数，其中，上述状态量是通过各算法的推定处理得到的一个以上的状态量且是与通过各算法推定出的所述自身位置的准确性相关联的状态量；以及
第三步骤，将利用上述决定的权重系数对由所述多个算法分别推定出的所述自身位置进行合成而得的位置确定为所述移动体的自身位置(发明的第一方面)。
需要说明的是，在本发明中，所述多个算法的各算法的种类和在各算法中使用的传感器的检测信息的种类中的至少一方互不相同。
另外，本发明中的自身位置不限于通常意义上的移动体的位置(坐标位置)，也可以包含该移动体的姿势(朝向)。
根据上述发明的第一方面，在所述第二步骤中，决定所述多个算法的每一算法的权重系数的神经网络针对各算法的每一算法输入通过各算法的推定处理(推定移动体的自身位置的处理)得到的一个以上的状态量，并根据这些状态量来决定各算法的每一算法的权重系数。
该情况下，各算法的每一算法的状态量是与通过各算法推定出的移动体的自身位置的准确性相关联的状态量。因此，各算法的每一算法的该状态量反映了该算法的推定处理在求出移动体的自身位置的可靠性高的推定值的方面是多大程度适当的一种程度。
因此，通过上述神经网络的事先学习，该神经网络能够根据输入的各算法的每一算法的状态量的整体来决定各算法的每一算法的权重系数，使得与各算法对应的权重系数在能够比其他算法更适当地进行基于该算法的自身位置的推定处理的状况下相对变高、且在难以比其他算法更适当地进行基于该算法的自身位置的推定处理的状况下相对变低。
另外，由所述神经网络决定的各算法的每一算法的权重系数不是由各算法推定出的移动体的自身位置的精度，而是依赖于各算法的每一算法的上述状态量而决定的系数。因此，该权重系数不易受到移动体的移动环境的场所的影响。
并且，在第三步骤中，将利用通过如上所述的方式决定的权重系数对由上述多个算法分别推定出的上述自身位置进行合成而得的位置确定为上述移动体的自身位置。
由此，根据本发明的第一方面，能够以不易受到移动体的移动环境的影响的方式进行移动体的自身位置的推定。
在上述发明的第一方面中，可以采用如下方式：所述多个传感器包括对所述移动体的外界进行拍摄的相机，作为所述多个算法中的一个算法即算法A是通过下述方式构成的算法，即，为了推定所述移动体的自身位置，从所述相机的拍摄图像中检测出特征点，依次执行对该检测出的特征点与从比该拍摄图像早的拍摄图像中检测出的特征点进行匹配的处理。在该情况下，优选的是，所述算法A的所述状态量包含下述状态量：表示从所述拍摄图像检测出的特征点的总数中、通过所述匹配而被建立了对应的特征点的个数的比例的状态量(发明的第二方面)。
由此，与算法A对应的所述状态量包含表示从所述拍摄图像检测出的特征点的总数中通过所述匹配而建立了对应的特征点的个数的比例的状态量。因此，该状态量作为与通过算法A推定的移动体的自身位置的准确性相关联的状态量是适当的。
需要说明的是，表示所述比例的状态量不限于该比例本身，例如，也可以是根据所述拍摄图像检测出的特征点的总数与通过所述匹配而建立了对应的特征点的个数的组。
另外，在上述发明的第一方面或第二方面中，可以采用如下方式：所述多个传感器包括测定到所述移动体的外界物体的距离的测距传感器，作为所述多个算法中的一个算法即算法B是使用所述测距传感器的测距数据和粒子滤波来推定所述移动体的自身位置的算法。在该情况下，优选的是，所述算法B的所述状态量包含在该算法B推定所述移动体的自身位置的过程中生成的协方差(发明的第三方面)。
由此，与算法B对应的所述状态量包含上述协方差。因此，该状态量作为与通过算法B推定的移动体的自身位置的准确性相关联的状态量是适当的。
另外，在上述发明的第一～第三方面中，可以采用如下方式：所述多个传感器包括检测作用于所述移动体的磁力的磁力传感器，作为所述多个算法中的一个算法即算法C是使用所述磁力传感器的磁力检测数据和粒子滤波来推定所述移动体的自身位置的算法。在该情况下，优选的是，所述算法C的所述状态量包含在该算法C推定所述移动体的自身位置的过程中生成的协方差(发明的第四方面)。
由此，与算法C对应的上述状态量包含上述协、方差，因此该状态量作为与通过算法C推定的移动体的自身位置的准确性相关联的状态量是适当的。
附图的简单说明
图1是表示本发明的实施方式中的移动体的概略构成的图。
图2是由图1中所示的自身位置推定部进行的处理的框图。
具体实施方式
以下，参照图1及图2对本发明的一实施方式进行说明。参照图1，本实施方式中的移动体1例如是车轮型的移动体，具有经由多个车轮2被支承在移动体的移动环境的地板面上的机体3。而且，移动体1通过省略图示的电动马达等促动器旋转驱动一个以上的车轮2、或者通过进行一个以上的车轮2的旋转驱动和转向(方向转换)而在地板面上移动。
在该移动体1上搭载有用于推定自身位置的多个传感器。例如，在移动体1上搭载有检测一个以上的车轮2的旋转角的角度传感器等的里程计传感器5、作为对到存在于移动体1的周围的外界物体的距离进行测定的测距传感器的激光测距仪6(以下，称为LRF6)、对存在于移动体1的上方的天花板进行拍摄的相机7、对作用于移动体1的磁力进行检测的磁力传感器8。需要说明的是，里程计传感器5除了检测车轮2的旋转角的角度传感器之外，还可以包括检测车轮2中的转向轮的转向角的传感器。另外，在本实施方式中，相机7是立体相机。
在移动体1上搭载有使用这些传感器的检测信息进行自身位置推定的自身位置推定处理装置10。该自身位置推定处理装置10例如由包含微型计算机、存储器、接口电路等一个以上的电子电路单元构成。
并且，如图2的框图所示，自身位置推定处理装置10作为由所安装的硬件结构以及程序(软件结构)的双方或者一方实现的功能，包括第1自身位置推定处理部11、第2自身位置推定处理部12、第3自身位置推定处理部13、权重系数学习处理部14以及自身位置确定处理部15。需要说明的是，自身位置推定处理装置10不限于上述功能，例如还可以包括进行移动体1的移动控制等的功能。
第1自身位置推定处理部11是执行使用LRF6的检测信息和里程计传感器5的检测信息来推定移动体1的自身位置的处理的功能部，第2自身位置推定处理部11是依次执行使用相机7的检测信息推定移动体1的自身位置的处理的功能部，第3自身位置推定处理部13是依次执行使用磁力传感器8的检测信息推定移动体1的自身位置的处理的功能部。
需要说明的是，在本实施方式中，更详细而言，移动体1的自身位置是在任意设定于移动体1的移动环境的全局坐标系中观察到的移动体1的位置与姿势(朝向)的组。在以下的说明中，有时将由第1～第3自身位置推定处理部11～13推定的自身位置称为推定位置姿势。
另外，权重系数学习处理部14是根据从第1～第3自身位置推定处理部11～13分别输入的后述的状态量A、B、C而输出与第1～第3自身位置推定处理部11～13分别对应的权重系数(详细而言，分别从第1～第3自身位置推定处理部11～13输出的相对移动体1的推定位置姿势的权重系数)的功能部；自身位置确定处理部15是通过根据从权重系数学习处理部14输出的权重系数合成从第1～第3自身位置推定处理部11～13分别输出的移动体1的推定位置姿势来确定移动体1的自身位置(确定移动体1的推定位置姿势)的功能部。
以下，结合上述各功能部的详细内容，对自身位置推定处理装置10的整体处理进行说明。
第1～第3自身位置推定处理部11～13的处理如下述说明那样来被执行。向第1自身位置推定处理部11输入LRF6以及里程计传感器5各自的检测信息，并输入移动体1的移动环境的映射数据(例如，二维占据栅格地图等)。在该情况下，映射数据被预先存储保持在自身位置推定处理装置10的存储器中、或者随时从外部的服务器等对其进行下载。
然后，第1自身位置推定处理部11根据LRF6的检测信息(移动体1的周围的外界物体的测距数据)、里程计传感器5的检测信息和映射数据，并通过自身位置推定用的规定的算法，依次推定移动体1的自身位置(依次决定推定位置姿态)。
在本实施方式中，第1自身位置推定处理部11作为自身位置推定用的算法，使用通过粒子滤波进行自身位置推定的算法，例如AMCL(Adaptive Monte Carlo Localization)这种公知方法的算法。该算法相当于本发明中的算法B。
在该AMCL的算法中，通过如下处理依次推定移动体1的自身位置。即，首先，根据移动体1的初始位置及初始姿势(朝向)，在移动体1的附近生成粒子滤波中的多个粒子(particle)。并且，根据移动体1的移动速度(平移速度以及角速度)来推定各粒子的新的移动位置，其中，上述移动体1的移动速度根据里程计传感器5的检测信息来被推定。
接着，取得基于LRF6的移动体1的周围的外界物体的测距数据，基于该测距数据和映射数据，计算各粒子的新的移动位置的似然度。然后，通过重采样处理，消除似然度低的粒子，进而，在似然度高的粒子的附近生成新的粒子。
在AMCL的算法中，基于通过依次执行如上所述的处理而得到的似然度高的粒子的位置的时间序列，依次推定移动体1的自身位置(依次决定移动体1的推定位置姿势)。另外，在该算法中，在该推定处理的执行过程中，生成作为与推定位置姿势的准确性相关联的状态量的协方差(详细而言是分散协方差)。
然后，第1自身位置推定处理部11依次输出如上所述通过AMCL的算法推定出的移动体1的自身位置(推定位置姿势)和作为该推定时的时刻的推定时刻，并且输出上述协方差(分散协方差)作为与该推定位置姿势的准确性相关联的状态量A。
向第2自身位置推定处理部12输入作为相机7的检测信息的拍摄图像(移动体1上方的天花板的拍摄图像)。需要说明的是，在本实施方式中，相机7是立体相机，因此输入到第2自身位置推定处理部12的相机7的检测信息(拍摄图像)为立体图像(一对拍摄图像)。但是，相机7也不限于立体相机，也可以是单眼相机。
然后，第2自身位置推定处理部12根据被输入的拍摄图像，通过自身位置推定用的规定的算法依次推定移动体1的自身位置(依次决定推定位置姿势)。
在本实施方式中，第2自身位置推定处理部12使用进行来自被输入的拍摄图像的特征点的检测、该特征点与从过去被输入的拍摄图像中检测出的特征点的匹配的算法作为自身位置推定用的算法。更具体而言，第2自身位置推定处理部12例如使用ORB_SLAM这种公知方法的算法作为上述算法。该算法相当于本发明中的算法A。
在该ORB_SLAM的算法中，通过如下的处理，依次推定移动体1的自身位置。即，在设定了移动体1的初始位置之后，相机7的拍摄图像(立体图像)被依次输入到第2自身位置推定处理部12。然后，针对所被输入的每个拍摄图像，依次执行从该拍摄图像检测出ORB特征点的处理。需要说明的是，移动体1的初始位置例如能够基于LRF6的检测信息来进行设定。
然后，将从新被输入的拍摄图像(时刻t的拍摄图像)检测出的ORB特征点与从上一次被输入的过去的拍摄图像(时刻t-Δt的拍摄图像)检测出的ORB特征点进行比较，进行ORB特征点彼此进行匹配。在该匹配中，特征量的差的大小(绝对值)为规定阈值以下的ORB特征点被判定是彼此相同的ORB特征点(相互对应的ORB特征点)。
然后，基于该匹配，推定移动体1在上述两个时刻t、t-Δt之间的期间中的移动量以及移动方向。进而，根据该移动量及移动方向的推定值和移动体1在时刻t-Δt的推定位置姿势，决定移动体1在时刻t的推定位置姿势。需要说明的是，通过ORB_SLAM的算法求出的移动体1的推定位置姿势例如可以在每当被输入到第1自身位置推定处理部12的拍摄图像的帧数达到规定数时，被重置为基于LRF6的检测信息被识别的移动体1的位置姿势。
在ORB_SLAM的算法中，通过依次执行如上所述的处理，依次推定移动体1的自身位置(依次决定移动体1的推定位置姿势)。另外，在该算法中，在该推定处理的执行过程中，作为与推定位置姿势的准确性相关联的状态量，生成移动体1的推定速度/角速度(平移速度以及角速度的推定值)、被检测出的ORB特征点的个数(总数)以及匹配个数(通过上述匹配而被判定为彼此相同的ORB特征点的个数)、误差函数的误差值(上述匹配中的特征量的差)、以及推定状态(移动体1的推定速度/角速度的推定精度的高低程度)。
然后，第2自身位置推定处理部12依次输出如上所述通过ORB_SLAM的算法推定出的移动体1的自身位置(推定位置姿势)和作为该推定时的时刻的推定时刻。进而，第2自身位置推定处理部12输出移动体1的推定速度/角速度(平移速度以及角速度的推定值)、检测出的ORB特征点的个数以及匹配个数、误差函数的误差值(在上述匹配中的特征量的差)以及推定状态作为与该推定位置姿势的确定性关联的状态量B。需要说明的是，也可以代替ORB特征点的个数及匹配个数而输出匹配个数相对于ORB特征点的个数(总数)的比例。
向第3自身位置推定处理部13输入作为磁力传感器8的检测信息的磁力的检测数据以及里程计传感器5的检测信息，并且输入移动体1的移动环境的磁性映射数据。在该情况下，磁性映射数据被预先存储保持在自身位置推定处理装置10的存储器中或者随时从外部的服务器等对其进行下载。然后，第3自身位置推定处理部13根据被输入的磁力的检测数据、里程计传感器5的检测信息、磁性映射数据，并通过自身位置推定用的规定算法，依次推定移动体1的自身位置(依次决定推定位置姿势)。
在本实施方式中，第3自身位置推定处理部13使用下述算法作为自身位置推定用的算法，该算法是：使用粒子滤波进行自身位置推定的算法、例如与第1自身位置推定处理部11相同地使用AMCL。该算法相当于本发明中的算法C。
在该算法中，首先，根据移动体1的初始位置和初始姿势(朝向)，在移动体1的附近生成粒子滤波中的多个粒子(particle)。并且，根据通过里程计传感器5的检测信息推定的移动体1的移动速度(平移速度以及角速度)，推定各粒子的新的移动位置。接着，获取磁力传感器8的磁力的检测数据(作用于移动体1的磁力的检测数据)，基于该检测数据和磁性映射数据，计算各粒子的新的移动位置的似然度。然后，通过重采样处理，消除似然度低的粒子，进而，在似然度高的粒子的附近生成新的粒子。
在第3自身位置推定处理部13的AMCL的算法中，通过依次执行如上所述的处理，依次推定移动体1的自身位置(依次决定移动体1的推定位置姿势)。另外，在该算法中，在该推定处理的执行过程中生成作为与推定位置姿势的准确性相关联的状态量的协方差(详细而言是分散协方差)。
然后，第3自身位置推定处理部13依次输出如上所述通过AMCL的算法推定出的移动体1的自身位置(推定位置姿势)和作为该推定时的时刻的推定时刻，并且输出上述协方差(分散协方差)作为与该推定位置姿势的准确性相关联的状态量C。
从第1～第3自身位置推定处理部13分别输出的上述状态量A、B、C被输入到权重系数学习处理部14中。在本实施方式中，该权重系数学习处理部14由神经网络(neuralnetwork)构成。并且，该神经网络预先实施多模式学习，在该多模式学习中，将由所述状态量A、B、C构成的特征向量用作多模式信息。
更详细而言，该多模式学习是：由第1～第3自身位置推定处理部11～13各自的算法进行的移动体1的自身位置的推定处理根据由各种状态量A、B、C构成的特征向量，生成与相比其他算法是多大程度适当的一种程度相当的权重系数(与从第1～第3自身位置推定处理部13输出的推定位置姿势分别对应的权重系数)的学习。
权重系数学习处理部14的神经网络预先实施这种多模式学习。因此，从第1～第3自身位置推定处理部11～13分别输入了状态量A、B、C的权重系数学习处理部14根据由该状态量A、B、C构成的特征向量，由神经网络生成并输出与第1～第3自身位置推定处理部11～13分别对应的权重系数。
在该情况下，该神经网络生成并输出与第1～第3自身位置推定处理部11～13分别对应的权重系数，使得基本上第1～第3自身位置推定处理部11～13各自输出的移动体1的推定位置姿势各自的准确性越高，权重系数越大。
例如，在由第1自身位置推定处理部11进行的移动体1的自身位置的推定处理与第2自身位置推定处理部12以及第3自身位置推定处理部13所进行的推定处理相比更为适当的状况下，以与第1自身位置推定处理部13对应的权重系数的值成为比与第2自身位置推定处理部14以及第3自身位置确定处理部15分别对应的权重系数的值大的方式生成各自的权重系数。
另外，例如，在由第2自身位置推定处理部12进行的移动体1的自身位置的推定处理与第1自身位置推定处理部11和第3自身位置推定处理部13进行的推定处理相比更为适当的状况下，以与第2自身位置推定处理部12对应的权重系数的值成为比与第1自身位置推定处理部11和第3自身位置推定处理部13分别对应的权重系数的值大的方式生成各自的权重系数。
另外，例如，在由第3自身位置推定处理部13进行的移动体1的自身位置的推定处理比第2自身位置推定处理部12以及第2自身位置推定处理部12的推定处理更为适当的状况下，以与第3自身位置推定处理部13对应的权重系数的值成为比与第1自身位置推定处理部11以及第2自身位置推定处理部12分别对应的权重系数的值大的方式生成各自的权重系数。
分别与从权重系数学习处理部14被输出的第1～第3自身位置推定处理部11～13对应的权重系数被输入到自身位置确定处理部15。另外，从第1～第3自身位置推定处理部11～13分别向该自身位置确定处理部15输入移动体1的推定位置姿态及推定时刻。
然后，自身位置确定处理部15将位置姿势确定为移动体1的自身位置，其中，上述位置姿势是将第1～第3自身位置推定处理部11～13各自的彼此是相同时刻的推定位置姿势对应于被输入的权重系数而进行合成而得。也即，将在第1～第3自身位置推定处理部11～13各自的推定位置姿势上乘以分别对应的权重系数而得的值的总和确定为移动体1的自身位置。需要说明的是，此时各权重系数之和为1。
在本实施方式中，自身位置推定处理装置10以如上述说明的方式依次确定移动体1的自身位置。在该情况下，利用权重系数对由第1～第3自身位置推定处理部11～13分别推定出的自身位置进行合成，由此来确定移动体1的自身位置，其中，上述权重系数由权重系数学习处理部14根据第1～第3自身位置推定处理部11～13的每一处理部各自的状态量A、B、C而被决定。
并且，在该情况下，权重系数学习处理部14将第1～第3自身位置推定处理部11～13的每一处理部各自的状态量A、B、C作为输入信息，因此能够在移动体1的各种移动环境中，预先学习根据状态量A、B、C而应该输出的权重系数。
因此，自身位置推定处理装置10能够在移动体1的各种移动环境下，高可靠性地推定(确定)移动体1的自身位置。
需要说明的是，本发明并不限定于以上说明的实施方式，也能够采用其他实施方式。以下，例示几个其他实施方式。
在上述实施方式中，例示了具备第1～第3自身位置推定处理部11～13这三种自身位置推定处理部的自身位置推定处理装置10。但是，自身位置推定处理装置10例如也可以不具备第1～第3自身位置推定处理部11～13中的任意一个。或者，自身位置推定处理装置10也可以具备更多自身位置推定处理部。
另外，在上述实施方式中，例示了进行多模式学习的神经网络作为权重系数学习处理部14。但是，例如也可以使用LSTM(Long short-term memory)等递归神经网络(RNN)等作为权重系数学习处理部14。
另外，在上述实施方式中，作为第2自身位置推定处理部12所涉及的状态量B，使用了移动体1的推定速度/角速度(平移速度以及角速度的推定值)、所检测出的ORB特征点的个数以及匹配个数、误差函数的误差值(上述匹配中的特征量的差)以及推定状态。但是，也可以省略这些状态量中的一部分状态量，例如可以省略移动体1的推定速度/角速度、误差函数的误差值、推定状态等。
另外，在上述实施方式中，使用LRF6作为测距传感器。但是，也可以使用例如超声波式的测距传感器等来代替LRF6。
另外，在上述实施方式中，例示了车轮型的移动体1作为移动体。但是，本发明的应用对象的移动体并不限定于车轮型的移动体，例如也可以是脚式的移动体等。

Claims (4)

1.一种移动体的自身位置推定方法，其特征在于，具备：
第一步骤，根据多个传感器的检测信息，通过分别使用该多个传感器中的一个以上的传感器的检测信息的多个算法分别推定移动体的自身位置；
第二步骤，针对所述多个算法中的每一算法，将状态量输入到学习完成的神经网络中，并且该神经网络根据该输入的状态量决定所述多个算法中的每一算法的权重系数，其中，上述状态量是通过各算法的推定处理得到的一个以上的状态量且是与通过各算法推定出的所述自身位置的准确性相关联的状态量；以及
第三步骤，将利用上述决定的权重系数对由所述多个算法分别推定出的所述自身位置进行合成而得的位置确定为所述移动体的自身位置。
2.根据权利要求1所述的移动体的自身位置推定方法，其特征在于，
所述多个传感器包括对所述移动体的外界进行拍摄的相机，
作为所述多个算法中的一个算法的算法A是通过下述方式构成的算法：为了推定所述移动体的自身位置，从所述相机的拍摄图像中检测出特征点，依次执行对该检测出的特征点与从比该拍摄图像早的拍摄图像中检测出的特征点进行匹配的处理，
所述算法A所涉及的所述状态量包含下述状态量：表示从所述拍摄图像检测出的特征点的总数中、通过所述匹配而被建立了对应的特征点的个数的比例的状态量。
3.根据权利要求1所述的移动体的自身位置推定方法，其特征在于，
所述多个传感器包括测定所述移动体的到外界物体的距离的测距传感器，
作为所述多个算法中的一个算法的算法B是使用由所述测距传感器得到的测距数据和粒子滤波来推定所述移动体的自身位置的算法，
所述算法B所涉及的所述状态量包含在该算法B推定所述移动体的自身位置的过程中生成的协方差。
4.根据权利要求1所述的移动体的自身位置推定方法，其特征在于，
所述多个传感器包括检测作用于所述移动体的磁力的磁力传感器，
作为所述多个算法中的一个算法的算法C是使用由所述磁力传感器得到的磁力的检测数据和粒子滤波来推定所述移动体的自身位置的算法，
所述算法C所涉及的所述状态量包含在该算法C推定所述移动体的自身位置的过程中生成的协方差。
CN201980026245.2A 2018-04-20 2019-01-28 自身位置推定方法 Pending CN111989631A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2018081742 2018-04-20
JP2018-081742 2018-04-20
PCT/JP2019/002705 WO2019202806A1 (ja) 2018-04-20 2019-01-28 自己位置推定方法

Publications (1)

Publication Number Publication Date
CN111989631A true CN111989631A (zh) 2020-11-24

Family

ID=68240372

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980026245.2A Pending CN111989631A (zh) 2018-04-20 2019-01-28 自身位置推定方法

Country Status (4)

Country Link
US (1) US11874666B2 (zh)
JP (1) JP7034264B2 (zh)
CN (1) CN111989631A (zh)
WO (1) WO2019202806A1 (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7162584B2 (ja) * 2019-12-19 2022-10-28 東芝情報システム株式会社 自律走行型自動搬送車両の制御装置及び搬送システム
JP7365958B2 (ja) * 2020-04-17 2023-10-20 Kddi株式会社 測位システム、方法及びプログラム
CN111735446B (zh) * 2020-07-09 2020-11-13 上海思岚科技有限公司 一种激光、视觉定位融合的方法及设备
JP2022042630A (ja) * 2020-09-03 2022-03-15 本田技研工業株式会社 自己位置推定方法

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1389710A (zh) * 2002-07-18 2003-01-08 上海交通大学 多传感器多目标信息融合方法
CN1651864A (zh) * 2004-02-04 2005-08-10 三星电子株式会社 生成磁场图和使用磁场图检查移动体的姿态的方法和装置
US20070222674A1 (en) * 2006-03-24 2007-09-27 Containertrac, Inc. Automated asset positioning for location and inventory tracking using multiple positioning techniques
CN104897158A (zh) * 2015-06-26 2015-09-09 中国科学院上海高等研究院 一种步行者室内双层定位方法及系统
CN105045263A (zh) * 2015-07-06 2015-11-11 杭州南江机器人股份有限公司 一种基于Kinect的机器人自定位方法
JP2016024598A (ja) * 2014-07-18 2016-02-08 パナソニックＩｐマネジメント株式会社 自律移動装置の制御方法
CN105607106A (zh) * 2015-12-18 2016-05-25 重庆邮电大学 一种低成本高精度bd/mems融合姿态测量方法
US20170364090A1 (en) * 2014-12-17 2017-12-21 Husqvarna Ab Multi-sensor, autonomous robotic vehicle with mapping capability

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6678640B2 (en) * 1998-06-10 2004-01-13 Matsushita Electric Industrial Co., Ltd. Method and apparatus for parameter estimation, parameter estimation control and learning control
US7451059B2 (en) * 2003-03-02 2008-11-11 Tomer Malchi True azimuth and north finding method and system
EP2149324B1 (en) * 2005-02-18 2011-09-07 iRobot Corporation Autonomous surface cleaning robot for wet and dry cleaning
KR100834761B1 (ko) 2005-11-23 2008-06-05 삼성전자주식회사 이동 로봇의 자기 위치 인식 방법 및 장치
JP4984650B2 (ja) * 2006-05-30 2012-07-25 トヨタ自動車株式会社 移動装置及び移動装置の自己位置推定方法
US8417383B2 (en) * 2006-05-31 2013-04-09 Irobot Corporation Detecting robot stasis
EP1970005B1 (en) * 2007-03-15 2012-10-03 Xsens Holding B.V. A system and a method for motion tracking using a calibration unit
US8195358B2 (en) * 2008-09-11 2012-06-05 Deere & Company Multi-vehicle high integrity perception
US8140286B2 (en) * 2009-08-14 2012-03-20 Continental Automotive Systems, Inc. Position sensing system and method
JP5909486B2 (ja) 2011-06-29 2016-04-26 株式会社日立産機システム 自己位置姿勢推定システム
WO2014190208A2 (en) * 2013-05-22 2014-11-27 Neurala, Inc. Methods and apparatus for early sensory integration and robust acquisition of real world knowledge
US10624612B2 (en) * 2014-06-05 2020-04-21 Chikayoshi Sumi Beamforming method, measurement and imaging instruments, and communication instruments
CN111351494A (zh) * 2015-02-10 2020-06-30 御眼视觉技术有限公司 导航系统及计算机可读介质
US10901431B1 (en) * 2017-01-19 2021-01-26 AI Incorporated System and method for guiding heading of a mobile robotic device
JP6773471B2 (ja) * 2016-07-26 2020-10-21 株式会社豊田中央研究所 自律移動体と環境地図更新装置
IL288191B2 (en) * 2016-12-23 2023-10-01 Mobileye Vision Technologies Ltd A navigation system with forced commitment constraints
CN108230240B (zh) * 2017-12-31 2020-07-31 厦门大学 一种基于深度学习获取图像城市范围内位置及姿态的方法
US11501105B2 (en) * 2018-03-02 2022-11-15 Zoox, Inc. Automatic creation and updating of maps

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1389710A (zh) * 2002-07-18 2003-01-08 上海交通大学 多传感器多目标信息融合方法
CN1651864A (zh) * 2004-02-04 2005-08-10 三星电子株式会社 生成磁场图和使用磁场图检查移动体的姿态的方法和装置
US20070222674A1 (en) * 2006-03-24 2007-09-27 Containertrac, Inc. Automated asset positioning for location and inventory tracking using multiple positioning techniques
JP2016024598A (ja) * 2014-07-18 2016-02-08 パナソニックＩｐマネジメント株式会社 自律移動装置の制御方法
US20170364090A1 (en) * 2014-12-17 2017-12-21 Husqvarna Ab Multi-sensor, autonomous robotic vehicle with mapping capability
CN104897158A (zh) * 2015-06-26 2015-09-09 中国科学院上海高等研究院 一种步行者室内双层定位方法及系统
CN105045263A (zh) * 2015-07-06 2015-11-11 杭州南江机器人股份有限公司 一种基于Kinect的机器人自定位方法
CN105607106A (zh) * 2015-12-18 2016-05-25 重庆邮电大学 一种低成本高精度bd/mems融合姿态测量方法

Also Published As

Publication number Publication date
US20200401152A1 (en) 2020-12-24
JPWO2019202806A1 (ja) 2021-02-12
US11874666B2 (en) 2024-01-16
WO2019202806A1 (ja) 2019-10-24
JP7034264B2 (ja) 2022-03-11

Similar Documents

Publication Publication Date Title
US9386209B2 (en) Method and apparatus for estimating position
JP7034264B2 (ja) 自己位置推定方法
US8855819B2 (en) Method and apparatus for simultaneous localization and mapping of robot
KR102440358B1 (ko) 관성 기반 항법 장치 및 상대사전적분에 따른 관성 기반 항법 방법
CN111052183A (zh) 利用事件相机的视觉惯性里程计
CN102914293B (zh) 信息处理设备和信息处理方法
US9377310B2 (en) Mapping and positioning system
US20130116823A1 (en) Mobile apparatus and walking robot
Choi et al. Enhanced SLAM for a mobile robot using extended Kalman filter and neural networks
EP1548534A2 (en) Method and apparatus for using rotational movement amount of mobile device and computer-readable recording medium for storing computer program
EP3227634B1 (en) Method and system for estimating relative angle between headings
Hachemi et al. Fault diagnosis and reconfiguration for mobile robot localization based on multi-sensors data fusion
KR101619365B1 (ko) 로봇의 ｓｌａｍ 장치 및 방법
US20200310435A1 (en) Self-position estimation method
Ishikura et al. Shape estimation of flexible cable
Shaya et al. A self-localization system with global error reduction and online map-building capabilities
KR20150079098A (ko) 강인한 시각 주행거리 측정을 위한 시공간적 3차원 벡터 필터링 기법
Kotov et al. Recurrent neural network and extended Kalman filter in SLAM problem
US20220066466A1 (en) Self-position estimation method
KR100949116B1 (ko) 이동 로봇의 위치 인식 및 지도 작성 방법
Aufderheide et al. A mems-based smart sensor system for estimation of camera pose for computer vision applications
Tsai et al. Global localization using dead-reckoning and kinect sensors for robots with omnidirectional mecanum wheels
Murcott et al. A critique on previous work in vision aided navigation
WO2023162017A1 (ja) 位置姿勢推定装置、位置姿勢推定システム、およびセンサ設置方法
CN117470262A (zh) 支持车辆导航的基础设施

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination