CN102656532B - 用于移动机器人位置识别的地图的生成及更新方法 - Google Patents
用于移动机器人位置识别的地图的生成及更新方法 Download PDFInfo
- Publication number
- CN102656532B CN102656532B CN200980162271.4A CN200980162271A CN102656532B CN 102656532 B CN102656532 B CN 102656532B CN 200980162271 A CN200980162271 A CN 200980162271A CN 102656532 B CN102656532 B CN 102656532B
- Authority
- CN
- China
- Prior art keywords
- terrestrial reference
- registration
- image
- mobile robot
- probability
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims abstract description 65
- 230000008859 change Effects 0.000 claims description 32
- 230000004807 localization Effects 0.000 claims description 14
- 239000000284 extract Substances 0.000 claims description 9
- 238000001514 detection method Methods 0.000 claims description 8
- 230000008878 coupling Effects 0.000 claims description 5
- 238000010168 coupling process Methods 0.000 claims description 5
- 238000005859 coupling reaction Methods 0.000 claims description 5
- 230000008569 process Effects 0.000 abstract description 16
- 238000010586 diagram Methods 0.000 description 13
- 230000004888 barrier function Effects 0.000 description 5
- 230000006698 induction Effects 0.000 description 5
- 230000007246 mechanism Effects 0.000 description 5
- 238000000605 extraction Methods 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 238000012937 correction Methods 0.000 description 3
- 238000006073 displacement reaction Methods 0.000 description 3
- 238000007689 inspection Methods 0.000 description 3
- 241000251468 Actinopterygii Species 0.000 description 2
- 238000013459 approach Methods 0.000 description 2
- 230000000052 comparative effect Effects 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 238000004513 sizing Methods 0.000 description 2
- 230000004913 activation Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000004140 cleaning Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000001186 cumulative effect Effects 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 239000006185 dispersion Substances 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 238000005316 response function Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 238000010407 vacuum cleaning Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J5/00—Manipulators mounted on wheels or on carriages
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0268—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means
- G05D1/0274—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means using mapping information stored in a memory device
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
- G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/277—Analysis of motion involving stochastic approaches, e.g. using Kalman filters
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/77—Determining position or orientation of objects or cameras using statistical methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B29/00—Maps; Plans; Charts; Diagrams, e.g. route diagram
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0268—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means
- G05D1/027—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means comprising intertial navigation means, e.g. azimuth detector
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0268—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means
- G05D1/0272—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means comprising means for registering the travel distance, e.g. revolutions of wheels
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y10—TECHNICAL SUBJECTS COVERED BY FORMER USPC
- Y10S—TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y10S901/00—Robots
- Y10S901/01—Mobile robot
Abstract
本发明涉及用于移动机器人位置识别的地图生成及更新方法,更具体地,涉及用于移动机器人位置识别的地图生成及更新方法,其中,通过登记地图生成过程中提取的地标和基于推断地标中的概率误差而提取的地标、计算地图生成过程中预登记地标的精确度、以及调整低精确度地标的等级或移除错误登记的地标,能够减少识别误差。
Description
技术领域
本发明涉及一种用于移动机器人定位的构建和更新地图的方法,更具体地,涉及能够随机检查、然后登记在构建地图时提取的地标并且在更新地图时分析预登记地标的精确度以控制或删除级别的移动机器人定位用地图的构建和更新方法。
背景技术
近年来,随着机器人技术的发展,设定其自身的路径并沿着设定路径移动的移动机器人的使用越来越多。典型的移动机器人可包括清洁室内和建筑物的清洁机器人、导引定位的导引机器人等。具体地,清洁机器人在移动时使用其中设置的真空清洁单元清洁室内地板,其包括各种传感器和航向单元。当前,各种类型的清洁机器人已经商业化。
为了使移动机器人有效判定其在空间中的位置并向预定位置移动,有必要为移动机器人在其中移动的空间构建地图,以允许移动机器人识别自身在该空间中的位置。允许移动机器人识别其自身相对于周围空间的位置并构建地图称为同步定位与地图构建(SLAM)。
在SLAM机制中,基于图像的SLAM使用从图像中提取的视觉特征为周围环境构建地图,并估计机器人的姿势。通常,通过使用驱动电机内设置的陀螺仪和编码器,移动机器人基于航位推测法前行,并使用安装在其顶部的摄像头分析图像,构建地图。在这种情况下,当陀螺仪和编码器的量距(odometry)出现误差时,使用摄像头获取的图像信息校正累积误差。
已经提出了多种用于控制移动机器人航向的方法和使用这些方法的移动机器人的相关技术,但是并未解决以下问题。
作为从图像提取的特征的描述符,已使用了多种类型的描述符。然而,有一个问题,即当亮度发生极大变化或图像发生极大变化时,这些类型未显示出鲁棒性。此外,尚未提出这样的适应性航向控制机制:该机制能应对输入图像无法使用或控制移动机器人航向中发生移动机器人航向控制误差的情况。此外,即便特征彼此不同,但在特征匹配中将不同特征错误地识别为相同特征的问题还是经常发生。
发明内容
技术问题
本发明提供了一种用于构建移动机器人地图的方法,该方法能够仅登记具有高度可靠性的地标,在该方法中,在构建地图而登记地标时,通过将从图像中提取的地标和预测地标进行比较而获得的比较误差在容许范围。
本发明提供了一种更新移动机器人地图的方法,该方法能在更新地图时检测与预登记地标对应的地标以进行概率匹配,根据匹配程度控制预登记地标的质量,并且消除错误登记的地标。
技术方案
本发明的一个示意性实施方式,提供一种用于移动机器人定位的地图的构建方法,包括:从移动机器人在第一位置获取的第一图像检测和临时登记地标;从移动机器人在第二位置获取的第二图像提取相应的地标;基于移动信息和临时登记的地标信息从第二图像估计临时登记的地标;以及如果通过计算临时登记的地标和估计的地标之间的匹配误差判定匹配误差处于预定的基准误差范围内,则主要登记临时登记的地标。
在主要登记临时登记的地标时,当匹配误差超过预定基准误差范围时,可以确定第一图像不是天花板图像,并舍弃临时登记的地标。
第一和第二图像可包括移动机器人的航向目标区的天花板图像,并且天花板图像可包括多个特征。
地标的临时登记可包括:将第一图像分为多个子图像并通过计算多个子图像中亮度变化的大小和亮度变化的相位检测特征;以及搜索亮度变化和亮度变化的相位的大小为从各个子图像检测出的多个特征中最大的特征,将这些特征设为临时登记的地标。
亮度变化的大小可通过求各个子图像的水平亮度变化和垂直亮度变化之和的平方根获得。
亮度变化的相位可通过求各个子图像的垂直亮度变化与水平亮度变化之比的反正切函数获得。
第一和第二图像可包括多个相同地标。
本发明的另一个示意性实施方式提供一种更新用于移动机器人定位的地图的方法,包括:a)通过在第一位置获取第一图像来提取和登记地标;b)通过在第二位置获取第二图像并使用位置信息(locationinformation,定位信息)预测登记的地标来检测与登记的地标对应的地标;c)检测与检测出的地标对应的登记的地标的质量;以及d)使用概率函数计算检测出的地标和预测出的地标之间的匹配概率,根据匹配概率和登记的地标的质量而不同地更新登记的地标。
在步骤d)中,当匹配概率小于第一基准概率时,可以舍弃检测出的地标。
在步骤c)中,当登记的地标的质量低于基准质量时,可以通过判定登记的地标是由假正值匹配(false-positivematch,假阳性匹配)登记而删除登记的地标。
在步骤d)中,当登记的地标的质量高于基准质量,可舍弃检测出的地标,并且可以不将检测出的地标反映到登记的地标的更新。
在步骤d)中,当匹配概率高于第一基准概率并且低于第二基准概率时,如果判定登记的地标的质量低于基准质量,则可舍弃检测出的地标。
在步骤d)中,当匹配概率高于第一基准概率并且低于第二基准概率时,如果判定登记的地标的质量高于基准质量,则可接受(accommodate)检测出的地标。
在步骤d)中,登记的地标的质量等级可以比当前等级低一个等级。
在步骤d)中,当匹配概率高于第三基准概率时,检测出的地标可被接受。
在步骤d)中,登记的地标的质量等级可以比当前等级高一个等级。
在步骤d)中,可以基于检测出的地标和预测出的地标,更新登记的地标,移动机器人的定位可校正。
登记的地标的质量可通过检测频率、检测误差历史以及地标检测精度中的任何一个进行确定。
定位信息可包括移动机器人的航向距离、航向方向、航向时间、转动角度以及转动频率。
登记的地标可以是通过构建移动机器人定位用地图的方法登记的地标。
有益效果
本发明的示意性实施方式在将检测出的地标登记之前确认检测出的地标的可靠性,然后在登记地标用于构建地图时将检测出的地标登记为地标,由此仅登记具有高度可靠性的地标。
此外,本发明的示意性实施方式能够控制预登记地标的质量,提高其可靠性,并且通过在更新地图时检测与预登记地标对应的地标并对其执行概率匹配来消除错误登记的地标。
附图说明
图1是示出应用本发明示意性实施方式的移动机器人的配置的示图。
图2是根据本发明示意性实施方式的构建和更新移动机器人定位用地图的方法的流程图。
图3是根据本发明示意性实施方式的构建移动机器人定位用地图的方法的详细流程图。
图4是根据本发明示意性实施方式的更新移动机器人定位用地图的方法的详细流程图。
图5是示出根据本发明示意性实施方式的生成局部定向描述符的过程的示图。
图6是示出计算图像梯度的窗口的示图。
图7A是示出图像块(imagepatch)实例的示图,图7B是示出图像块子区域上局部定向信息的实例的示图。
图8是示出根据本发明示意性实施方式提取特征并生成标识符的过程的流程图。
图9是示出根据本发明示意性实施方式的航向控制方法的流程图。
具体实施方式
以下参考附图详细说明本发明的示意性实施方式。首先,应该注意的是,在对附图的各个元件给出的参考标号中,即使相同元件在不同附图中示出,相同的元件也用相同的参考标号表示。描述本发明时,将不会详述公知的功能或结构,因为它们可能会不恰当地影响对本发明的理解。
图1是示出应用本发明示意性实施方式的移动机器人的配置的示图。
一种根据本发明示意性实施方式的移动机器人100可配置为包括获取图像的图像获取单元110;处理图像获取单元110获取的图像、从图像提取特征并生成特征的描述符的图像处理单元120;传感器单元140,感应移动机器人100的移动定向信息、移动距离等;主控单元130,基于获取的图像构建移动机器人移动空间的地图,并且基于与从获取图像提取的特征以及从传感器单元140获取的量距有关的信息控制移动机器人的操作;以及机器人驱动器140,根据主控单元130的控制来驱动机器人。
图像获取单元110是获取移动机器人所在的周围环境的图像的装置,可配置为包括图像传感器,例如电荷耦合器件(CCD)、互补金属氧化物半导体(CMOS)等。在本发明的示意性实施方式中,图像获取单元110优选为向上布置,以获取天花板图像。更优选地,图像获取单元110可包括广角镜头诸如鱼眼镜头等,以获取宽幅天花板图像。
图像处理单元120可配置为包括图像失真校正器121、图像质量检测器122、特征提取器123以及描述符生成器124。
图像失真校正器121用于校正由图像获取单元110获取的图像的失真。当图像获取单元110包括鱼眼镜头或广角镜头时,图像获取单元110获取的图像包括径向畸变。
因此,图像获取单元110使用预先获取的摄像机参数去除图像的失真。
图像质量检测器122用于确定所获取的图像的可用性。当直接光线照射到图像获取单元110或图像获取单元110被诸如桌子的障碍物遮住时,通过图像获取单元110获取的图像可能不适于移动机器人定位。因此,图像质量检测器122检查获取的图像,当获取的图像不适当时,用于排除不适当的图像。例如,当所获取的图像的亮度太高或太低,图像质量检测器122可以基于所获取的图像的亮度把所获取的图像处理为不适当图像。当获取的图像被排除时,主控单元130可基于陀螺仪141或编码器142获取的航向记录信息控制移动机器人100的移动。
在比较两个图像之间的立体匹配时,图像之间的差别用d表示,焦距用F表示,从眼睛到图像的距离用z表示,移动机器人实际的移动距离用r表示,它们之间的关系由以下等式1表示。
[等式1]
图像质量检测器122检测图像获取单元110获取的图像亮度的变化作为附加函数,由此检测到移动机器人100在障碍物如桌子下移动。例如,图像质量检测器通过使用所获取的图像的平均亮度和离散(dispersion)来检测移动机器人100的图像获取单元110被障碍物遮挡。
当移动机器人100进入桌子底部,图像帧的平均亮度逐渐降低,由此亮度离散值增加或减少。一种减少计算的方法可通过使用各个区的亮度平均值获得的整个图像的平均和离散来确定移动机器人100是否被遮挡,所述区可基于移动机器人100的航向方向四等分由图像获取单元110获取的图像而分割获得。
当图像获取单元110被障碍物遮挡时,不能基于图像控制移动机器人110的定位。因此,主控单元130基于诸如陀螺仪的惯性传感器44和编码器142的信息控制移动机器人100的移动。
特征提取器123从由图像获取单元110获取的空间的图像提取特征。特征的实例可包括天花板的角点、安装在天花板上的灯或者空间的门等。然而,为了使用灯或门提取特征,可能增加计算,因此天花板的角点部分优选用作特征。然而,在本发明的示意性实施方式中,从特征提取器123提取的特征不限于角点,但上述几个特征和空间中存在的不同目标均可用作特征。
用于提取角点作为特征的机制将在下文中进行描述。
角点提取机制的实例可包括哈里斯角点检测法。ChrisHarris和MikeStephens已经在“ACombinedCornerandEdgeDetector(ProceedingsofTheFourthAlveyVisionConference,Manchester,pp147-151.1988)”中提出了一种从图像提取角点的方法。哈里斯提出的方法或类似方法基于以下事实:图像中沿边缘的偏移(shift)具有微小的差别,但在垂直于该边缘的方向上的偏移产生很大的差别,并且所有方向的偏移使得在角点有很大的差别。
当图像强度由I表示而图像中因为偏移x和y导致的变化由E表示时,E可通过以下等式2表示。
[等式2]
在以上等式1中,w表示图像窗口。
等式2可通过等式3表示。在等式3中,矩阵M表示图像强度的梯度,其通过以下等式4获得。
[等式3]
[等式4]
获得矩阵M的特征值。当每个特征值均为预定大小以上且其相对比为预定大小以下时,可以判定图像在所有方向的强度变化都非常大。这通过角点的响应函数限定,通过以下等式4表示。
[等式5]
R=detM-k(traceM)2
在以上等式5中,R值大于0且R值为局部最大值的点可被确定为角点。
描述符生成器124用于生成从特征提取器123提取的特征的描述符。作为特征的描述符,可使用尺度不变特征变换(SIFT)、快速鲁棒特征(SURF)等。SIFT描述符是使用特征周围的图像的亮度变化分布等表示特征的方案,HerbertBay等已经在2006年提出了SURF描述符。与SIFT描述符相比,SURF描述符减少了描述符的维数(dimension)以提高速度,并且比使用哈尔小波的简单梯度更具鲁棒性。
主控单元130包括特征管理器131、地图管理器132和航向控制器133。
特征管理器131用于通过匹配从所获取的图像提取的特征与特征数据库中预登记的特征来检测与特征数据库中预登记特征一致的特征,同时用于将关于新获取的特征的信息登记到特征数据库(未示出)中。特征管理器131执行的特征匹配可通过计算由描述符表示的特征之间的欧氏距离来确定。
地图管理器132用于构建和更新空间地图,在该空间中,移动机器人100基于移动机器人100的图像获取单元110获取的图像、移动机器人100的诸如移动方向和距离的量距、特征位置等进行定位。在一些情况下,空间地图可以预先提供给移动机器人100。在这种情况下,地图管理器132可基于诸如位于空间中的障碍物的信息和特征信息连续更新地图。
航向控制器133用于基于当前位置和移动机器人100的量距控制移动机器人100的航向。作为移动机器人100航向的一个示意性实施方式,移动机器人100包括左轮(未示出)和右轮(未示出),可包括左轮驱动电机(未示出)和右轮驱动电机(未示出)作为驱动左轮和右轮的机器人驱动器140。航向控制器133可通过控制左轮驱动电机和右轮驱动电机的转动执行移动机器人100的航向,例如向前、向后、左转、右转等。在这种情况下,左轮驱动电机和右轮驱动电机均设置有编码器142,以获取左轮驱动电机和右轮驱动电机的驱动信息。
同时,航向控制器133可设计为,通过基于当前特征的位置和移动机器人的位置利用扩展卡尔曼滤波器(EKF)预测随后的特征和移动机器人的位置来控制移动机器人100的航向。
在上述配置中,惯性传感器44感应惯性以确认移动机器人100的航向方向,惯性传感器44的感应信息和编码器142的感应信息配置移动机器人100的量距。当惯性传感器44的感应信息和编码器140的感应信息精确时,移动机器人100可以完全仅由从这些信息获取的量距进行控制。然而,由于实际环境中驱动轮的滑动或传感器信息的误差,移动机器人100的实际位置可能与基于量距计算的位置不同。误差可通过使用由图像获取单元110获取的图像进行校正。
如上所述,依据本发明示意性实施方式的移动机器人100的描述符生成器124生成图像特征的描述符。
局部定向描述符从特征周围的梯度获取局部定向,并且基于局部定向之间的关系生成。
下文中,将参照图2至图4详细说明根据本发明示意性实施方式的移动机器人用地图的构建和更新方法。
图2是根据本发明示意性实施方式的构建和更新移动机器人定位用地图的方法的流程图,图3是根据本发明示意性实施方式的构建移动机器人定位用地图的方法的详细流程图,而图4是根据本发明示意性实施方式的更新移动机器人定位用地图的方法的详细流程图。
参照图2至图4,根据本发明示意性实施方式的构建和更新移动机器人的地图的方法包括:通过图像获取单元110获取至少两帧周围图像,包括将前往或清洁的区域的天花板(S100);从各个获取的图像提取特征(S200);通过使用提取的特征来提取地标并通过概率检查来登记所提取的地标,从而构建地图(S300);以及,通过将从航向或清洁过程中获取的图像提取的地标与针对登记的地标的预测地标随机匹配,删除登记为错误识别的地标或者改变地标的可靠性,从而更新地图(S400)。
根据本发明示意性实施方式的构建移动机器人用地图的方法,包括:从通过移动机器人100在第一位置获取的第一图像检测和临时登记地标(S310和S320);通过从移动机器人移动至第二位置获取的第二图像提取相应的地标(S330);基于移动信息和临时登记的地标信息从第二图像估计临时登记的地标(S340);以及如果通过计算临时登记的地标和估计的地标之间的匹配误差判定匹配误差处于预定的基准误差的范围内,则主要登记临时登记的地标(S360)。
在临时登记时(S320):将第一图像分为多个子图像,并通过计算多个子图像中亮度变化的大小和亮度变化的相位来检测特征;以及从各个子图像检测出的多个特征中搜索亮度变化的大小和亮度变化的相位的大小为最大的特征,由此将这些特征设为临时登记的地标。提取特征和提取地标作为局部最大点的过程会在本发明后半部分详细说明。
在主登记时(S360),当匹配误差偏离预定基准误差范围时,可以判定第一图像不是天花板图像,由此舍弃临时登记的地标(S370)。
第一和第二图像,作为移动机器人航向目标区的天花板图像,优选包括多个特征。此外,第一和第二图像优选包括多个相同地标。
在本发明示意性实施方式中,亮度变化的大小通过各个子图像的水平亮度变化与垂直亮度变化之和的平方根获得,而亮度变化的相位通过求各个子图像的垂直亮度变化和水平亮度变化之比的反正切函数获得。
一种根据本发明示意性实施方式的更新移动机器人用地图的方法,包括:a)通过在第一位置获取第一图像提取地标,并且登记地标;b)通过在第二位置获取第二图像来检测与登记的地标对应的地标(S410),并使用定位信息预测登记的地标(S420);c)检测与检测出的地标对应的登记的地标的质量;以及d)使用概率函数计算检测出的地标和预测的地标的匹配概率(S430),根据匹配概率和登记的地标的质量而不同地更新登记地标(S440至S463)。
将参照图4说明根据本发明示意性实施方式的更新移动机器人用地图的方法。
移动机器人100通过在第一位置获取第一图像来提取地标并登记地标,并且从第一位置移动,然后在第二位置获取第二图像。移动机器人100从第二图像检测与登记的地标对应的地标(S410),使用移动信息预测登记的地标(S420)。移动机器人100使用概率函数计算登记的地标和预测的地标之间的匹配概率(S430)。
在本发明的示意性实施方式中,高斯滤波器或先前或下文说明的EKF概率函数用作概率函数,但也可使用其他概率函数诸如卡尔曼滤波器、隐马尔可夫模型(HMM)等。
移动机器人100依据匹配概率的结果将检测出的地标的处理区域分为匹配概率最低的第一区域、匹配概率居中第二区域和匹配概率最高的第三区域(S440和S450)。
第一区域对应于这样的情况:匹配概率小于第一基准概率。在这种情况下,将对应于检测出的地标的登记的地标的质量与基准质量进行比较(S441)。
根据比较结果,当登记的地标的质量低于基准地标时,舍弃检测出的地标而不用于更新登记的地标(S443),并通过确定登记的地标由假正值匹配登记而予以删除(S444)。然而,当登记的地标的质量高于基准质量,舍弃检测出的地标(S446),不反映到登记的地标的更新中,并且保留登记的地标。然而,登记的地标的质量等级比当前等级低一个等级(S445)。
第二区域对应于这样的情况:匹配概率高于第一基准概率但低于第二基准概率(S450)。即使在这种情况下,也将对应于检测出的地标的登记的地标的质量与基准质量进行比较(S451)。
根据比较结果,当登记的地标的质量低于基准质量时,舍弃检测出的地标(S446),不反映到登记的地标的更新中,并且保留登记的地标。然而,即使在这种情况下,登记的地标的质量等级也比当前等级低一个等级(S445)。
然而,当登记的地标的质量高于基准质量时,接受检测出的地标(S462),基于检测出的地标更新登记的地标(S463)。然而,即使在这种情况下,登记的地标的质量等级比当前等级低一个等级(S453)。
第三区域对应于这样的情况:匹配概率高于第三基准概率,接受检测出的地标。在这种情况下,不管登记的地标的质量如何,与检测出的地标对应的登记的地标为优秀地标,这样登记的地标的质量等级比当前等级高一个等级。
此处,第一基准概率的值小于第二基准概率。
移动机器人100基于检测出的地标和预测的地标来更新登记的地标,并校正自身的位置。
登记的地标的质量通过检测频率、检测误差的历史以及地标检测精度中的至少一个进行判定。位置信息包括移动机器人的航向距离、航向方向、航向时间、转动角度以及转动频率。
图5是示出应用本发明示意性实施方式的移动机器人中局部定向描述符生成过程的示图。
接收由图像获取单元110获取的图像(S510),计算图像各个像素的梯度(S520)。通过将图6所示的窗口应用于图像内各个像素来计算水平梯度dx和垂直梯度dy,从而进行梯度计算。水平梯度dx可通过水平窗口的各个值与像素的强度值乘积的和而获取,而垂直梯度dy可通过垂直窗口的各个值与像素的强度值乘积的和而获得。
接收特征提取器123提取的特征(优选角点)的坐标,并设定基于特征的图像块(S540)。在设定图像块时,作为一个实施方式可规定9×9像素。然而,在实际应用中,图像块的大小并不限于上述说明,而可以根据输入图像和应用环境进行变化。
各个像素中梯度的相位和大小通过图像块中各个像素的梯度进行计算(S550)。相位(phase)可通过等式5进行计算,大小(magnitude)可通过等式6进行计算。在等式6和7中,dx表示具体像素的水平梯度,而dy表示具体像素的垂直梯度。
[等式6]
[等式7]
接下来,将图像块重分为更小的区域以产生多个子区域(S560)。在本发明的示意性实施方式中,在9×9图像块的情况下,图像块可分为3×3子区域,由此可以分成9个子区域。
对于各个子区域,制作构成子区域的各个像素的相位直方图,峰值的相位被指定为相应子区域的局部定向(S570)。图7A示出了图像块的实例,7B示出了关于图像块的子区域的局部定向信息。在图7B的情况下,可以确认的是提取了总共9个局部定向信息。
当9个局部定向信息应用于移动机器人100的航向控制时,移动机器人100如下地操作。
移动机器人100基于惯性传感器44和编码器142的量距估计自己的位置,并且构建实时地图。航向控制器133使用EKF从移动机器人100的移动方向和移动距离估计匹配范围,由此进行由图像获取单元110顺序获取的图像之间的特征匹配。
移动机器人的位置和航向被控制在由航向控制器133的EKF预测的范围内。在这种情况下,通过处理由图像获取单元110获取的图像来提取特征,生成特征的描述符,并且使用生成的描述符进行特征匹配,由此估计移动机器人100的精确位置,以便根据量距校正移动机器人100的位置。
下文将说明依据以上描述的移动机器人100的航向的控制方法。
图8是示出根据本发明示意性实施方式的用于控制移动机器人的位置和航向的方法中提取特征和生成标识符的过程的流程图。
图像获取单元110获取移动机器人100周围环境的图像(S70)。图像失真校正器121校正所获取的图像的失真(S72)。图像质量检测器122检查图像质量(S74),仅在图像质量适合特征提取时进行以下的过程。
特征提取器123从输入图像提取特征(S76),描述符生成器生成特征的描述符(S78),然后当生成的特征为新特征时,特征管理器131登记和管理新生成的特征(S80)。
同时,当判定从特征提取器123提取的特征对应于核心区特征时(S82),生成核心区的特征描述符(S84),当核心区特征为新特征时,特征管理器131登记并管理该核心区特征(S86)。
图9是示出在根据本发明示意性实施方式的用于控制移动机器人的定位和航向的方法中的航向控制方法的流程图。
提取由图像获取单元110获取的输入图像的特征,由此生成描述符(S710)。接下来,通过使用为输入图像生成的描述符进行输入图像的特征和登记的特征之间的匹配(S720)。
同时,主控单元130从惯性传感器44和编码器142接收移动机器人100的量距(S730)。
航向控制器133基于移动机器人100的量距预测移动机器人的位置,并基于输入图像校正移动机器人的位置以控制移动机器人的航向(S7400)。
特征管理器131将由图像获取单元110新获取的图像提取的特征与预登记的特征进行匹配,以判定提取的特征是否与预登记的特征一致,这样经常发生特征的错误识别。为了防止特征的错误识别,本发明的示意性实施方式提出了一种方法,其使用已被描述的局部定位信息和采用惯性传感器44的移动机器人100的航向信息。
如上所述,已经在附图和说明书中对示意性实施方式进行了说明和图示。选择和描述这些示意性实施方式是为了解释发明的一些原理及它们的实际应用,由此能让本领域的其他技术人员制造和利用本发明的各种示意性实施方式及其各种替代方案和修改方案。由以上说明显而易见的是,本发明的各个方面并不限于此处阐释的实例的具体细节,因此认为本领域技术可以进行其他修改和应用或等效方案。在考虑本说明书和附图后,本发明的许多变化、修改、变形以及其他用途和应用对于本领域的技术人员显而易见的。只要不背离本发明的精神和范围,所有这些变化、修改、变形以及其他用途和应用均应属于本发明权利要求书要求的保护范围。
Claims (12)
1.一种构建用于移动机器人定位的地图的方法,包括:
从移动机器人在第一位置获取的第一图像检测并临时登记地标;
提取移动机器人在第二位置获取的第二图像的相应地标;
基于移动信息和临时登记的地标信息从第二图像估计所述临时登记的地标;以及
如果通过计算所述临时登记的地标和估计的地标之间的匹配误差而判定匹配误差处于预定的基准误差范围内,则登记所述临时登记的地标,
其中,地标的临时登记包括:
将所述第一图像分为多个子图像,并通过计算所述多个子图像中亮度变化的大小和亮度变化的相位来检测特征;以及
搜索所述亮度变化和所述亮度变化的相位的大小在从各个子图像检测出的多个特征中最大的特征,将这些特征设为所述临时登记的地标,
其中,所述亮度变化的大小能够通过求各个子图像的水平亮度变化和垂直亮度变化之和的平方根获得,
其中,所述亮度变化的相位可通过求各个子图像的垂直亮度变化和水平亮度变化之比的反正切函数获得。
2.根据权利要求1所述的方法,其中,在登记所述临时登记的地标时,当所述匹配误差超过所述预定基准误差范围时,确定所述第一图像不是天花板图像,并舍弃所述临时登记的地标。
3.根据权利要求1或2所述的方法,其中,所述第一图像和所述第二图像包括所述移动机器人的航向目标区的天花板图像,并且所述天花板图像包括多个特征。
4.根据权利要求3所述的方法,其中,所述第一图像和所述第二图像包括多个相同的地标。
5.一种更新用于移动机器人定位的地图的方法,包括:
a)通过在第一位置获取第一图像来提取和登记地标;
b)通过在第二位置获取第二图像并使用位置信息预测登记的地标来检测与登记的地标相应的地标;
c)检测与检测出的地标相应的所述登记的地标的质量;以及
d)使用概率函数计算所述检测出的地标和预测出的地标之间的匹配概率,并且根据所述匹配概率和所述登记的地标的质量而不同地更新所述登记地标,
其中,在步骤d)中:
当所述匹配概率小于第一基准概率时,舍弃所述检测出的地标,
当所述匹配概率高于第一基准概率并且低于第二基准概率时,如果判定所述登记的地标的质量低于基准质量,则舍弃所述检测出的地标,
当所述匹配概率高于第一基准概率并且低于第二基准概率时,如果判定所述登记的地标的质量高于所述基准质量,则接受所述检测出的地标,
当所述匹配概率高于第三基准概率时,接受所述检测出的地标,
所述登记的地标的质量等级比当前等级高一个等级。
6.根据权利要求5所述的方法,其中,在步骤c)中,当所述登记的地标的质量低于基准质量时,通过判定所述登记的地标由假正值匹配登记来删除所述登记的地标。
7.根据权利要求5所述的方法,其中,在步骤d)中,当所述登记的地标的质量高于基准质量时,舍弃所述检测出的地标,所述检测出的地标不反映到所述登记的地标。
8.根据权利要求5和7中任一项所述的方法,其中,在步骤d)中,所述登记的地标的质量等级比当前等级低一个等级。
9.根据权利要求5所述的方法,其中,在步骤d)中,基于所述检测出的地标和所述预测出的地标,更新所述登记的地标并校正移动机器人的位置。
10.根据权利要求5所述的方法,其中,所述登记的地标的质量通过检测频率、检测误差的历史以及地标检测精度中的至少一个进行判定。
11.根据权利要求5所述的方法,其中,所述位置信息包括所述移动机器人的航向距离、航向方向、航向时间、转动角度以及转动频率。
12.根据权利要求5所述的方法,其中,所述登记的地标为通过权利要求1到4中任一项所述的构建地图的方法登记的地标。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR10-2009-0104566 | 2009-10-30 | ||
PCT/KR2009/006366 WO2011052826A1 (ko) | 2009-10-30 | 2009-10-30 | 이동 로봇의 위치 인식을 위한 지도 생성 및 갱신 방법 |
KR1020090104566A KR101083394B1 (ko) | 2009-10-30 | 2009-10-30 | 이동 로봇의 위치 인식을 위한 지도 생성 및 갱신 방법 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN102656532A CN102656532A (zh) | 2012-09-05 |
CN102656532B true CN102656532B (zh) | 2015-11-25 |
Family
ID=43922244
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN200980162271.4A Expired - Fee Related CN102656532B (zh) | 2009-10-30 | 2009-10-30 | 用于移动机器人位置识别的地图的生成及更新方法 |
Country Status (6)
Country | Link |
---|---|
US (1) | US8849036B2 (zh) |
EP (1) | EP2495632B1 (zh) |
JP (1) | JP5490911B2 (zh) |
KR (1) | KR101083394B1 (zh) |
CN (1) | CN102656532B (zh) |
WO (1) | WO2011052826A1 (zh) |
Families Citing this family (94)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8930023B2 (en) | 2009-11-06 | 2015-01-06 | Irobot Corporation | Localization by learning of wave-signal distributions |
KR101524020B1 (ko) * | 2009-03-06 | 2015-05-29 | 엘지전자 주식회사 | 로봇 청소기의 점진적 지도 작성 및 위치 보정 방법 |
US9122955B2 (en) * | 2010-06-28 | 2015-09-01 | Ramot At Tel-Aviv University Ltd. | Method and system of classifying medical images |
US9286810B2 (en) * | 2010-09-24 | 2016-03-15 | Irobot Corporation | Systems and methods for VSLAM optimization |
KR101311100B1 (ko) * | 2011-08-27 | 2013-09-25 | 고려대학교 산학협력단 | 천장 임의 형상 특성 활용 이동 로봇 위치 인식 방법 |
KR101280392B1 (ko) * | 2011-08-29 | 2013-07-01 | 연세대학교 산학협력단 | Slam 기술 기반 이동 로봇의 지도를 관리하기 위한 장치 및 그 방법 |
CA2752370C (en) * | 2011-09-16 | 2022-07-12 | Mcgill University | Segmentation of structures for state determination |
KR101366860B1 (ko) * | 2011-09-20 | 2014-02-21 | 엘지전자 주식회사 | 이동 로봇 및 이의 제어 방법 |
US8798840B2 (en) * | 2011-09-30 | 2014-08-05 | Irobot Corporation | Adaptive mapping with spatial summaries of sensor data |
CN105717924B (zh) | 2012-06-08 | 2018-12-28 | 艾罗伯特公司 | 使用差动传感器或视觉测量的地毯偏移估计 |
KR101893152B1 (ko) * | 2012-10-26 | 2018-08-31 | 엘지전자 주식회사 | 로봇 청소기 시스템 및 그 제어방법 |
US9675226B2 (en) | 2012-10-26 | 2017-06-13 | Lg Electronics Inc. | Robot cleaner system and control method of the same |
US9164844B2 (en) | 2013-03-12 | 2015-10-20 | Qualcomm Incorporated | Method and apparatus for detecting anomalies within indoor information |
ITTO20130202A1 (it) * | 2013-03-15 | 2014-09-16 | Torino Politecnico | Dispositivo e sistema di scansione tridimensionale, e relativo metodo. |
DE102013212605A1 (de) * | 2013-06-28 | 2014-12-31 | Robert Bosch Gmbh | Verfahren zu einer Arbeitsbereichserfassung zumindest eines Arbeitsbereichs eines autonomen Serviceroboters |
KR101511992B1 (ko) * | 2013-09-06 | 2015-04-14 | 현대모비스(주) | 조향 휠 제어 방법 및 이를 위한 위한 시스템 |
US9427867B2 (en) * | 2014-04-02 | 2016-08-30 | The Boeing Company | Localization within an environment using sensor fusion |
EP3159126A4 (en) | 2014-06-17 | 2018-05-30 | Yujin Robot Co., Ltd. | Device and method for recognizing location of mobile robot by means of edge-based readjustment |
KR101708659B1 (ko) * | 2014-06-17 | 2017-02-22 | 주식회사 유진로봇 | 이동 로봇의 맵을 업데이트하기 위한 장치 및 그 방법 |
KR101776620B1 (ko) | 2014-06-17 | 2017-09-11 | 주식회사 유진로봇 | 검색 기반 상관 매칭을 이용하여 이동 로봇의 위치를 인식하기 위한 장치 및 그 방법 |
EP3159123A4 (en) * | 2014-06-17 | 2018-08-08 | Yujin Robot Co., Ltd. | Device for controlling driving of mobile robot having wide-angle cameras mounted thereon, and method therefor |
KR101776622B1 (ko) | 2014-06-17 | 2017-09-11 | 주식회사 유진로봇 | 다이렉트 트래킹을 이용하여 이동 로봇의 위치를 인식하기 위한 장치 및 그 방법 |
CN104062973B (zh) * | 2014-06-23 | 2016-08-24 | 西北工业大学 | 一种基于图像标志物识别的移动机器人slam方法 |
US9305353B1 (en) * | 2014-09-23 | 2016-04-05 | Qualcomm Incorporated | Landmark based positioning |
EP3234718B1 (en) | 2014-12-17 | 2018-10-24 | Husqvarna AB | Robotic vehicle learning site boundary |
US10338602B2 (en) | 2014-12-17 | 2019-07-02 | Husqvarna Ab | Multi-sensor, autonomous robotic vehicle with mapping capability |
JP6651295B2 (ja) * | 2015-03-23 | 2020-02-19 | 株式会社メガチップス | 移動体制御装置、プログラムおよび集積回路 |
CN105302132A (zh) * | 2015-08-07 | 2016-02-03 | 浙江海洋学院 | 一种基于行走机器人的分布式视觉定位系统及方法 |
US9940542B2 (en) * | 2015-08-11 | 2018-04-10 | Google Llc | Managing feature data for environment mapping on an electronic device |
JP6849330B2 (ja) * | 2015-08-28 | 2021-03-24 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America | 地図生成方法、自己位置推定方法、ロボットシステム、およびロボット |
KR102403504B1 (ko) * | 2015-11-26 | 2022-05-31 | 삼성전자주식회사 | 이동 로봇 및 그 제어 방법 |
JP7058067B2 (ja) * | 2016-02-16 | 2022-04-21 | 東芝ライフスタイル株式会社 | 自律走行体 |
JP6280147B2 (ja) * | 2016-03-18 | 2018-02-14 | 本田技研工業株式会社 | 無人走行作業車 |
CN107229274B (zh) * | 2016-03-24 | 2022-06-28 | 松下电器(美国)知识产权公司 | 位置指示方法、终端装置、自行式装置以及程序 |
JP2019520953A (ja) | 2016-04-08 | 2019-07-25 | エーアンドケー ロボティクス インコーポレイテッド | 手動運転と自律運転とを切り替え可能な自動床洗浄機 |
JP6475772B2 (ja) * | 2016-05-09 | 2019-02-27 | ツーアンツ インク.TwoAntz Inc. | 視覚的測位によるナビゲーション装置およびその方法 |
KR102372669B1 (ko) | 2016-06-08 | 2022-03-10 | 삼성전자주식회사 | 전자 장치, 외부 서버 및 그 제어 방법 |
CN106646441A (zh) * | 2016-11-16 | 2017-05-10 | 杭州国辰牵星科技有限公司 | 结合环境信息的室内移动机器人定位系统及方法 |
CN108226965B (zh) * | 2016-12-15 | 2022-01-18 | 苏州宝时得电动工具有限公司 | 自移动设备的定位故障处理方法、装置和电子设备 |
WO2018119606A1 (en) * | 2016-12-26 | 2018-07-05 | Bayerische Motoren Werke Aktiengesellschaft | Method and apparatus for representing a map element and method and apparatus for locating vehicle/robot |
US20180190014A1 (en) * | 2017-01-03 | 2018-07-05 | Honeywell International Inc. | Collaborative multi sensor system for site exploitation |
CN106708053A (zh) * | 2017-01-26 | 2017-05-24 | 湖南人工智能科技有限公司 | 一种自主导航的机器人及其自主导航方法 |
US10929462B2 (en) * | 2017-02-02 | 2021-02-23 | Futurewei Technologies, Inc. | Object recognition in autonomous vehicles |
CN107133260A (zh) * | 2017-03-22 | 2017-09-05 | 新奥特(北京)视频技术有限公司 | 一种地标图像的匹配识别方法和装置 |
CN107133261A (zh) * | 2017-03-22 | 2017-09-05 | 新奥特(北京)视频技术有限公司 | 一种地标信息的录入方法和装置 |
CN108733039A (zh) * | 2017-04-18 | 2018-11-02 | 广东工业大学 | 一种机器人室内导航定位的方法与装置 |
US10697779B2 (en) * | 2017-04-21 | 2020-06-30 | X Development Llc | Landmark placement for localization |
KR20180121244A (ko) * | 2017-04-28 | 2018-11-07 | 엘지전자 주식회사 | 이동 로봇 및 그 제어방법 |
CN107263473A (zh) * | 2017-06-19 | 2017-10-20 | 中国人民解放军国防科学技术大学 | 一种基于虚拟现实的人机交互方法 |
CN107272454A (zh) * | 2017-06-19 | 2017-10-20 | 中国人民解放军国防科学技术大学 | 一种基于虚拟现实的实时人机交互方法 |
CN109507995B (zh) * | 2017-09-14 | 2022-01-04 | 深圳乐动机器人有限公司 | 机器人地图的管理系统及机器人 |
US11579298B2 (en) | 2017-09-20 | 2023-02-14 | Yujin Robot Co., Ltd. | Hybrid sensor and compact Lidar sensor |
US10612929B2 (en) * | 2017-10-17 | 2020-04-07 | AI Incorporated | Discovering and plotting the boundary of an enclosure |
US11320828B1 (en) | 2018-03-08 | 2022-05-03 | AI Incorporated | Robotic cleaner |
US11254002B1 (en) | 2018-03-19 | 2022-02-22 | AI Incorporated | Autonomous robotic device |
WO2019194602A1 (ko) * | 2018-04-04 | 2019-10-10 | 엘지전자 주식회사 | 위치 보정 기능이 향상된 주행 제어장치 및 이를 이용한 로봇 청소기 |
US11454981B1 (en) | 2018-04-20 | 2022-09-27 | AI Incorporated | Versatile mobile robotic device |
CN108469826B (zh) * | 2018-04-23 | 2021-06-08 | 宁波Gqy视讯股份有限公司 | 一种基于机器人的地图生成方法及系统 |
US11874399B2 (en) | 2018-05-16 | 2024-01-16 | Yujin Robot Co., Ltd. | 3D scanning LIDAR sensor |
US11340079B1 (en) | 2018-05-21 | 2022-05-24 | AI Incorporated | Simultaneous collaboration, localization, and mapping |
CN108481327B (zh) * | 2018-05-31 | 2023-11-07 | 珠海一微半导体股份有限公司 | 一种增强视觉的定位装置、定位方法及机器人 |
US11548159B1 (en) | 2018-05-31 | 2023-01-10 | AI Incorporated | Modular robot |
GB2574418B (en) * | 2018-06-05 | 2022-08-31 | Dyson Technology Ltd | A mobile robot and method of controlling a mobile robot illumination system |
JP2019212227A (ja) * | 2018-06-08 | 2019-12-12 | 株式会社ミツバ | 制御装置及び制御方法 |
WO2019240208A1 (ja) * | 2018-06-13 | 2019-12-19 | Groove X株式会社 | ロボットおよびその制御方法、ならびにプログラム |
US11199853B1 (en) | 2018-07-11 | 2021-12-14 | AI Incorporated | Versatile mobile platform |
WO2020019221A1 (zh) * | 2018-07-26 | 2020-01-30 | 深圳前海达闼云端智能科技有限公司 | 一种自主定位和地图建立方法、装置和机器人 |
DE102018214694A1 (de) * | 2018-08-30 | 2020-03-05 | Continental Automotive Gmbh | Lokalisierungsvorrichtung zur visuellen Lokalisierung eines Fahrzeugs |
CN109084776B (zh) * | 2018-09-03 | 2021-06-15 | 广东嘉腾机器人自动化有限公司 | 一种地标检测方法及装置 |
CN114999308A (zh) * | 2018-11-19 | 2022-09-02 | 深圳市海柔创新科技有限公司 | 地图生成方法、装置、计算机可读存储介质和计算机设备 |
US11398309B2 (en) * | 2018-11-27 | 2022-07-26 | Alarm.Com Incorporated | Automated surface sterilization techniques |
US20200182623A1 (en) * | 2018-12-10 | 2020-06-11 | Zebra Technologies Corporation | Method, system and apparatus for dynamic target feature mapping |
JP7183085B2 (ja) * | 2019-03-14 | 2022-12-05 | 株式会社東芝 | 移動体行動登録装置、移動体行動登録システム、移動体行動登録方法、移動体行動登録プログラム、及び移動体行動決定装置 |
KR102296908B1 (ko) | 2019-03-19 | 2021-09-02 | 한국전자통신연구원 | 특징점 지도 관리방법 및 장치 |
CN109984691A (zh) * | 2019-04-04 | 2019-07-09 | 尚科宁家(中国)科技有限公司 | 一种扫地机器人控制方法 |
US11817194B2 (en) * | 2019-04-30 | 2023-11-14 | Pixart Imaging Inc. | Smart control system |
US11137770B2 (en) * | 2019-04-30 | 2021-10-05 | Pixart Imaging Inc. | Sensor registering method and event identifying method of smart detection system |
JP7036783B2 (ja) * | 2019-10-09 | 2022-03-15 | 株式会社 ミックウェア | 位置推定システム、位置推定方法、及び位置推定プログラム |
CN112650207A (zh) * | 2019-10-11 | 2021-04-13 | 杭州萤石软件有限公司 | 机器人的定位校正方法、设备和存储介质 |
US20240127576A1 (en) * | 2019-10-16 | 2024-04-18 | Verity Ag | System and method for matching of image features with indistinguishable landmarks |
JP7283665B2 (ja) * | 2019-12-19 | 2023-05-30 | 株式会社豊田自動織機 | 自己位置推定装置、移動体、自己位置推定方法、及び自己位置推定プログラム |
US20210200237A1 (en) * | 2019-12-31 | 2021-07-01 | Lyft, Inc. | Feature coverage analysis |
US11288522B2 (en) | 2019-12-31 | 2022-03-29 | Woven Planet North America, Inc. | Generating training data from overhead view images |
US11244500B2 (en) | 2019-12-31 | 2022-02-08 | Woven Planet North America, Inc. | Map feature extraction using overhead view images |
US20210199446A1 (en) * | 2019-12-31 | 2021-07-01 | Lyft, Inc. | Overhead view image generation |
US11037328B1 (en) | 2019-12-31 | 2021-06-15 | Lyft, Inc. | Overhead view image generation |
KR102252888B1 (ko) * | 2020-01-03 | 2021-05-17 | 포테닛 주식회사 | 공간 내에서 이송로봇의 위치 검출장치 및 방법 |
JP2022041757A (ja) * | 2020-09-01 | 2022-03-11 | ソニーグループ株式会社 | 情報処理装置、ロボット及び情報処理方法 |
US11797020B1 (en) * | 2020-10-16 | 2023-10-24 | Amazon Technologies, Inc. | System for autonomous mobile device motion control using image data |
CN115701810A (zh) * | 2020-12-25 | 2023-02-14 | 深圳怪虫机器人有限公司 | 一种光伏清洁机器人辅助定位的方法 |
KR20230017060A (ko) * | 2021-07-27 | 2023-02-03 | 삼성전자주식회사 | 로봇 및 그 제어 방법 |
US11511165B1 (en) * | 2022-05-30 | 2022-11-29 | Tennibot, Inc. | Autonomous tennis assistant systems |
CN114982460B (zh) * | 2022-06-13 | 2024-04-30 | 深圳拓邦股份有限公司 | 一种割草机位置修正方法和装置 |
GB2620909A (en) * | 2022-07-04 | 2024-01-31 | Opteran Tech Limited | Method and system for determining the structure, connectivity and identity of a physical or logical space or attribute thereof |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1569558A (zh) * | 2003-07-22 | 2005-01-26 | 中国科学院自动化研究所 | 基于图像表现特征的移动机器人视觉导航方法 |
KR100669250B1 (ko) * | 2005-10-31 | 2007-01-16 | 한국전자통신연구원 | 인공표식 기반의 실시간 위치산출 시스템 및 방법 |
KR100702663B1 (ko) * | 2005-08-27 | 2007-04-02 | 한국과학기술원 | 입자 필터 프레임 워크에서 전방향 시각센서 기반 위치추정 및 매핑을 위한 방법 |
KR100757937B1 (ko) * | 2006-06-30 | 2007-09-12 | 삼성전자주식회사 | 로봇의 위치 추적 및 지도 작성 방법 |
KR100785784B1 (ko) * | 2006-07-27 | 2007-12-13 | 한국전자통신연구원 | 인공표식과 오도메트리를 결합한 실시간 위치산출 시스템및 방법 |
CN101152718A (zh) * | 2006-09-26 | 2008-04-02 | 三星电子株式会社 | 使用全向图像确定机器人位置的方法和设备 |
CN101566471A (zh) * | 2007-01-18 | 2009-10-28 | 上海交通大学 | 基于地面纹理的智能车视觉全局定位方法 |
Family Cites Families (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5144685A (en) * | 1989-03-31 | 1992-09-01 | Honeywell Inc. | Landmark recognition for autonomous mobile robots |
US5610815A (en) * | 1989-12-11 | 1997-03-11 | Caterpillar Inc. | Integrated vehicle positioning and navigation system, apparatus and method |
JPH04227507A (ja) * | 1990-07-02 | 1992-08-17 | Nec Corp | 移動ロボット用のマップを作成し保持する方法 |
US5961571A (en) * | 1994-12-27 | 1999-10-05 | Siemens Corporated Research, Inc | Method and apparatus for automatically tracking the location of vehicles |
JP4264380B2 (ja) * | 2004-04-28 | 2009-05-13 | 三菱重工業株式会社 | 自己位置同定方法及び該装置 |
US7590589B2 (en) * | 2004-09-10 | 2009-09-15 | Hoffberg Steven M | Game theoretic prioritization scheme for mobile ad hoc networks permitting hierarchal deference |
KR100776215B1 (ko) * | 2005-01-25 | 2007-11-16 | 삼성전자주식회사 | 상향 영상을 이용한 이동체의 위치 추정 및 지도 생성장치 및 방법과 그 장치를 제어하는 컴퓨터 프로그램을저장하는 컴퓨터로 읽을 수 있는 기록 매체 |
US8625854B2 (en) * | 2005-09-09 | 2014-01-07 | Industrial Research Limited | 3D scene scanner and a position and orientation system |
US8583282B2 (en) * | 2005-09-30 | 2013-11-12 | Irobot Corporation | Companion robot for personal interaction |
US8467904B2 (en) * | 2005-12-22 | 2013-06-18 | Honda Motor Co., Ltd. | Reconstruction, retargetting, tracking, and estimation of pose of articulated systems |
JP4148276B2 (ja) | 2006-05-09 | 2008-09-10 | ソニー株式会社 | 位置推定装置、位置推定方法及びプログラム記録媒体 |
KR100877071B1 (ko) * | 2007-07-18 | 2009-01-07 | 삼성전자주식회사 | 파티클 필터 기반의 이동 로봇의 자세 추정 방법 및 장치 |
JP2010238008A (ja) * | 2009-03-31 | 2010-10-21 | Fujitsu Ltd | 映像特徴抽出装置、及びプログラム |
-
2009
- 2009-10-30 EP EP09850897.1A patent/EP2495632B1/en not_active Not-in-force
- 2009-10-30 US US13/504,534 patent/US8849036B2/en active Active
- 2009-10-30 JP JP2012536620A patent/JP5490911B2/ja not_active Expired - Fee Related
- 2009-10-30 CN CN200980162271.4A patent/CN102656532B/zh not_active Expired - Fee Related
- 2009-10-30 WO PCT/KR2009/006366 patent/WO2011052826A1/ko active Application Filing
- 2009-10-30 KR KR1020090104566A patent/KR101083394B1/ko active IP Right Grant
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1569558A (zh) * | 2003-07-22 | 2005-01-26 | 中国科学院自动化研究所 | 基于图像表现特征的移动机器人视觉导航方法 |
KR100702663B1 (ko) * | 2005-08-27 | 2007-04-02 | 한국과학기술원 | 입자 필터 프레임 워크에서 전방향 시각센서 기반 위치추정 및 매핑을 위한 방법 |
KR100669250B1 (ko) * | 2005-10-31 | 2007-01-16 | 한국전자통신연구원 | 인공표식 기반의 실시간 위치산출 시스템 및 방법 |
KR100757937B1 (ko) * | 2006-06-30 | 2007-09-12 | 삼성전자주식회사 | 로봇의 위치 추적 및 지도 작성 방법 |
KR100785784B1 (ko) * | 2006-07-27 | 2007-12-13 | 한국전자통신연구원 | 인공표식과 오도메트리를 결합한 실시간 위치산출 시스템및 방법 |
CN101152718A (zh) * | 2006-09-26 | 2008-04-02 | 三星电子株式会社 | 使用全向图像确定机器人位置的方法和设备 |
CN101566471A (zh) * | 2007-01-18 | 2009-10-28 | 上海交通大学 | 基于地面纹理的智能车视觉全局定位方法 |
Also Published As
Publication number | Publication date |
---|---|
KR20110047797A (ko) | 2011-05-09 |
EP2495632A1 (en) | 2012-09-05 |
KR101083394B1 (ko) | 2011-11-14 |
JP2013508874A (ja) | 2013-03-07 |
US8849036B2 (en) | 2014-09-30 |
CN102656532A (zh) | 2012-09-05 |
US20120213443A1 (en) | 2012-08-23 |
EP2495632B1 (en) | 2018-09-12 |
JP5490911B2 (ja) | 2014-05-14 |
WO2011052826A1 (ko) | 2011-05-05 |
EP2495632A4 (en) | 2013-08-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN102656532B (zh) | 用于移动机器人位置识别的地图的生成及更新方法 | |
CN102596517B (zh) | 移动机器人定位和导航控制方法及使用该方法的移动机器人 | |
KR101618030B1 (ko) | 이동 로봇의 위치 인식 및 주행 제어 방법과 이를 이용한 이동 로봇 | |
CN101281644B (zh) | 基于视觉的导航和制导系统 | |
US8649557B2 (en) | Method of mobile platform detecting and tracking dynamic objects and computer-readable medium thereof | |
CN1598610B (zh) | 用于估计移动式机器人的位置和方位的装置和方法 | |
US8588471B2 (en) | Method and device of mapping and localization method using the same | |
US20140235267A1 (en) | Method for recognizing position of mobile robot by using features of arbitrary shapes on ceiling | |
CN105069799A (zh) | 一种角点定位方法及装置 | |
US20070140528A1 (en) | Image processing device and method | |
CN105405154A (zh) | 基于颜色-结构特征的目标对象跟踪方法 | |
US20110169923A1 (en) | Flow Separation for Stereo Visual Odometry | |
US20220156973A1 (en) | Information processing apparatus, information processing method, and program | |
CN108122412B (zh) | 用于监控机器人检测车辆乱停的方法 | |
CN103903282A (zh) | 一种基于LabVIEW的目标跟踪方法 | |
KR101456172B1 (ko) | 이동로봇의 위치인식 장치, 방법 및 이동로봇 | |
WO2019113860A1 (zh) | 基于色块标签的虚拟墙构建方法及装置、地图构建方法、可移动电子设备 | |
WO2019113859A1 (zh) | 基于机器视觉的虚拟墙构建方法及装置、地图构建方法、可移动电子设备 | |
KR101822429B1 (ko) | 객체 정보 획득 장치 및 그 방법 | |
Ekinci et al. | Knowledge-based navigation for autonomous road vehicles | |
KR101248308B1 (ko) | 천장 조명 방향 특성 활용 이동 로봇 위치 인식 방법 및 이를 활용한 천장 조명 방향 특성 활용 위치 인식 이동 로봇 장치 | |
KR101769790B1 (ko) | 불법 주정차 단속 장치 및 그 방법 | |
WO2023068034A1 (ja) | 画像処理装置 | |
KR102631313B1 (ko) | Slam 기술 구현을 위한 비전 데이터 및 라이다 데이터 간의 실시간 분석 및 대조를 통해 위치 오차 보정이 가능한 장치 | |
KR20230100307A (ko) | 로봇의 회전각도 검출방법,이를 이용하는 로봇 및 건물 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20151125 Termination date: 20201030 |
|
CF01 | Termination of patent right due to non-payment of annual fee |