CN108072370A - 基于全局地图的机器人导航方法及用该方法导航的机器人 - Google Patents
基于全局地图的机器人导航方法及用该方法导航的机器人 Download PDFInfo
- Publication number
- CN108072370A CN108072370A CN201611027397.9A CN201611027397A CN108072370A CN 108072370 A CN108072370 A CN 108072370A CN 201611027397 A CN201611027397 A CN 201611027397A CN 108072370 A CN108072370 A CN 108072370A
- Authority
- CN
- China
- Prior art keywords
- mrow
- mtd
- msub
- mtr
- frame
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/20—Instruments for performing navigational calculations
- G01C21/206—Instruments for performing navigational calculations specially adapted for indoor navigation
Landscapes
- Engineering & Computer Science (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Automation & Control Theory (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
Abstract
本发明公开了一种基于全局地图的导航方法和应用该方法进行导航的机器人，所述方法包括步骤：S1、使机器人拍摄室内天花板和墙壁区域的视频，提取所述视频中各帧图像的图像畸变特征；S2、基于内容的图像匹配方法，利用所述图像畸变特征对拍摄的视频各帧图像进行匹配，并根据匹配结果提取关键帧序列，并将相邻位置的关键帧重叠相连，构建全局地图；S3、根据所述基于内容的图像匹配方法，将机器人实时视觉图像与所述全局地图中的关键帧匹配，找出和机器人当前视觉图像最相似的关键帧，实时求取机器人的全局位置，实现机器人导航。本发明能够实现机器人的自主导航定位，有效的消除机器人导航中易出现的“绑架问题”和“相似物体干扰”等问题。
Description
技术领域
本发明涉及机器人导航与定位等领域，更具体地，涉及一种基于全局地图的导航方法以及使用该方法导航的机器人。
背景技术
理想的室内服务机器人应能在整栋建筑内自主规划行走路线、自主导航定位，准确穿梭于多个屋子和走廊之间，为人类提供各种服务。实现这一目标的前提是机器人要存储一张完整的室内地图，而且最好是由机器人自主建立的。
对于这一领域，主要有局部地图定位和全局地图定位两种。局部地图定位主要是基于室内特征信息构建地图，如同时定位与建图技术(Simultaneous Localization AndMapping，SLAM)。其中视觉的V-SLAM应用最为广泛，最新的研究包括ORB SLAM、dense SLAM、semi-dense SLAM、LSD SLAM和CV-SLAM等，采用新型orb特征、3D建模等技术大幅提升算法的性能。室内天花板等高的特性也被充分利用，CV-SLAM通过摄像头正对天花板提取特征，比一般的SLAM更加有效、便利。已广泛应用在Dyson、三星、LG等知名的自主导航扫地机器人产品中。
建立全局地图的主要目标是从机器人自主拍摄的室内环境视频中提取数量尽可能少、但又能建立相互位置联系的关键帧序列。通过与该关键帧序列匹配、挑选出与当前视觉图像最相似的关键帧，可实现对机器人的室内全局位置进行定位。常用方法包括三种：基于时间域、空间域、和帧内容变化的关键帧探测。其中基于帧内容变化的关键帧探测方法更加有效，可采用像素法、全局直方图法、局部直方图法、特征匹配法、BoW等多种方法实现。
局部地图定位易出现“绑架问题”和“相似物体干扰”等问题。机器人位置突然被移动时，如滑动或误碰撞，造成先前的定位信息都失效，无法继续自主定位，其表征就像机器人“被绑架”。当机器人在多个屋子和走廊之间穿梭时，不同屋子中相似物体上的特征点极易被混淆，机器人极易被误匹配导致定位错误，而且相似物体在室内通常十分显眼、也非常多。
使用全局地图定位时，若使用基于时间域或空间域的关键帧探测方法，机器人停车或非匀速运动时，按照时间提取的关键帧冗余或不连续性的可能性然很大。机器人打转、发生侧移或打滑时，也无法准确地度量自己的空间运动，提取的关键帧误差也很大。而目前基于帧内容变化的关键帧探测方法，大多仍只利用了物体的颜色统计特征、特征点信息，对物体的布局和形状信息没有充分应用，同时机器人视觉还会因拍摄角度和位置造成图像畸变、对内容信息形成干扰。
发明内容
(一)要解决的技术问题
本发明提出一种基于全局地图的机器人导航方法以及应用该方法导航的机器人，充分利用室内各种物体的布局和形状信息，从机器人拍摄到的视频中自动提取出空间间距很大、但又保持一定重合的关键帧序列，利用提取的关键帧序列建立建筑物内的全局地图，然后机器人通过该地图可实时解算自己的位置坐标，从而实现机器人的定位和导航。
(二)技术方案
本发明技术方案如下：
本发明提供了一种基于全局地图的机器人导航方法，包括：
S1、使机器人拍摄室内天花板和墙壁区域的视频，提取所述视频中各帧图像的图像畸变特征；
S2、采用基于内容的图像匹配方法，根据所述图像畸变特征对拍摄的视频各帧图像进行匹配，并根据匹配结果提取关键帧序列，然后将相邻位置的关键帧重叠相连，构建全局地图；
S3、采用所述基于内容的图像匹配方法，将机器人实时视觉图像与所述全局地图中的关键帧匹配，找出和机器人当前视觉图像最相似的关键帧，实时求取机器人的全局位置，实现机器人导航。
所述基于内容的图像匹配方法包括根据所述图像特征对待匹配的两帧图像提取重叠区，判断两帧图像的相似性。所述重叠区是将两帧图像通过平移和旋转，调整到相同的拍摄位置和拍摄角度后，提取所述两帧画面的重叠区。所述基于内容的图像匹配方法还包括：对所述待匹配的两帧图像中的第一帧图像的重叠区，基于子块分解匹配进行重叠区重建，形成重建重叠区；将所述重建重叠区与第二帧图像的所述重叠区对比，分析相似度。所述子块分解匹配是将所述第一帧图像的所述重叠区分解为数个子块，将与所述第二帧图像具有相同特征的子块，按照所述第二帧图像中的位置进行平移，形成所述重建重叠区。所述基于内容的图像匹配方法还包括在提取重叠区前进行检测和剔除误匹配特征点，所述检测和剔除误匹配特征点是根据机器人正视区域的特征点连线在不同图像中的距离长度不变，剔除掉其他区域的特征点。
在所述步骤S2中，在提取关键帧时，判断各帧图像与前一关键帧的相似度达到预先设定值后自动提取；或者，经判断后续各帧图像与前一关键帧的相似度都大于预先设定值，且后续各帧中的最后一帧与前一关键帧之间间隔的帧数量达到预先设定值，则自动提取所述后续各帧中的最后一帧作为关键帧。优选的，在所述步骤S2中在提取关键帧时：将第一帧视频直接作为第一幅关键帧；将第n个关键帧与后续20秒内视频逐帧采用基于图像内容的匹配方法进行匹配，解算它们与该关键帧的内容相似度；找出相似度最大值对应的视频帧，并向后找到相似度降到50％的视频帧作为第n+1个关键帧；或者，若第n个关键帧与后续20秒内视频的帧相似度都大于50％，则取所述后续20秒内视频的最后一帧作为第n+1个关键帧。
在所述步骤S2中构建全局地图时，将第一帧视频直接作为第一幅关键帧；对于第n和第n+1个关键帧，求取出两个关键帧中的多对特征点，并分别确定所述特征点在第n帧和第n+1帧的中的坐标(x′n，y′n)、(x′n+1，y′n+1)，然后根据公式：
解算出第n+1个关键帧相对第n个特征帧之间的位置差xn+1，n，yn+1，n和航相差Hn+1，n；将第n个关键帧在全局的位置坐标(xn，yn)，代入公式：
解算出第得到第n+1个关键帧的全局位置(xn+1，yn+1)；逐帧迭代，得到关键帧序列中各帧在室内的全局位置。
在所述步骤S3中将机器人实时视觉图像与所述全局地图中的关键帧匹配时，采用所述基于内容的图像匹配方法找出取该视频帧最相似的关键帧；然后用SURF算法求取该视频帧与最相似关键帧之间的特征点；确定所述特征点在最相似关键帧与该视频帧中的坐标(x′n，y′n)、(x′n+1，y′n+1)，然后根据公式：
解算出所述视频帧相对所述最相似关键帧之间的位置差xn+1，n，yn+1，n和航相差Hn+1，n；将所述最相似关键帧在全局的位置坐标(xn，yn)，代入公式：
解算出所述视频帧的全局位置(xn+1，yn+1)，实时求取机器人在全局地图中的位置。
本发明还提供了一种基于全局地图导航的机器人，包括图像获取模块、主控模块和移动模块；所述图像获取模块获取周围环境的视频图像，将所述图像传输到主控模块，所述主控模块进行机器人的定位和导航，所述移动模块实现机器人的移动；所述主控模块包括图像畸变特征提取单元、关键帧提取和全局地图构建单元和导航单元；所述图像畸变特征提取单元用于提取所述图像获取模块获取的视频图像中的畸变特征；所述关键帧提取和全局地图构建单元，按照基于内容的图像匹配方法，根据所述图像的畸变特征对机器人拍摄的视频各帧图像进行匹配，并根据匹配结果提取关键帧序列，然后将相邻位置的关键帧重叠相连，构建全局地图；所述导航单元，按照所述基于内容的图像匹配方法，将机器人实时视觉图像与所述全局地图中的关键帧匹配，找出和机器人当前视觉图像最相似的关键帧，实时求取机器人的全局位置，对机器人进行定位和导航，并向所述移动模块输出移动指令。
所述基于内容的图像匹配方法包括：根据所述图像畸变特征对待匹配的两帧图像提取重叠区，判断两帧图像的相似性。所述重叠区是将两帧图像通过平移和旋转，调整到相同的拍摄位置和拍摄角度后，提取所述两帧画面的重叠区。所述基于内容的图像匹配包括在提取重叠区前进行检测和剔除误匹配特征点，所述检测和剔除误匹配特征点是根据机器人正视区域的特征点连线在不同图像中的距离长度不变，剔除掉其他区域的特征点。所述基于内容的图像匹配方法还包括：对所述待匹配的两帧图像中的第一帧图像的重叠区，基于子块分解匹配进行重叠区重建，形成重建重叠区；将所述重建重叠区与第二帧图像的所述重叠区对比，分析相似度。所述子块分解匹配是将所述第一帧图像的所述重叠区分解为数个子块，将与所述第二帧图像具有相同特征的子块，按照所述第二帧图像中的位置进行平移，形成所述重建重叠区。
所述关键帧提取和全局地图构建单元在提取关键帧时，判断各帧图像与前一关键帧的相似度达到预先设定值后自动提取；或者，经判断后续各帧图像与前一关键帧的相似度都大于预先设定值，且后续各帧中的最后一帧与前一关键帧之间间隔的帧数量达到预先设定值，则自动提取所述后续各帧中的最后一帧作为关键帧。优选的，所述全局地图构建单元在提取关键帧时，将第一帧视频直接作为第一幅关键帧；将第n个关键帧与后续20秒内视频逐帧采用基于图像内容的匹配方法进行匹配，解算它们与该关键帧的内容相似度；找出相似度最大值对应的视频帧，并向后找到相似度降到50％的视频帧作为第n+1个关键帧；或者，若第n个关键帧与后续20秒内视频的帧相似度都大于50％，则取所述后续20秒内视频的最后一帧作为第n+1个关键帧。
所述关键帧提取和全局地图构建单元构建全局地图时，将第一帧视频直接作为第一幅关键帧；对于第n和第n+1个关键帧，求取出两个关键帧中的多对特征点，并分别确定所述特征点在第n帧和第n+1帧的中的坐标(x′n，yn)、(x′n+1，y′n+1)，然后根据公式：
解算出第n+1个关键帧相对第n个特征帧之间的位置差xn+1，n，yn+1，n和航相差Hn+1，n；将第n个关键帧在全局的位置坐标(xn，yn)，代入公式：
解算出第得到第n+1个关键帧的全局位置(xn+1，yn+1)；逐帧迭代，得到关键帧序列中各帧在室内的全局位置。
所述导航单元将机器人实时视觉图像与所述全局地图中的关键帧匹配时，采用所述基于内容的图像匹配方法找出取该视频帧最相似的关键帧；然后用SURF算法求取该视频帧与最相似关键帧之间的特征点；确定所述特征点在最相似关键帧与该视频帧中的坐标(x′n，y′n)、(x′n+1，y′n+1)，然后根据公式：
解算出所述视频帧相对所述最相似关键帧之间的位置差xn+1，n，yn+1，n和航相差Hn+1，n；将所述最相似关键帧在全局的位置坐标(xn，yn)，代入公式：
解算出所述视频帧的全局位置(xn+1，yn+1)，实时求取机器人在全局地图中的位置。
(三)有益效果
(1)本发明提供的导航方法和应用该方法导航的机器人，针对多个房间和走廊这种复杂但很常见的建筑物内部环境，基于内容对图像进行匹配和相似度分析，使机器人能够从学习室内环境时拍摄到的视频中提取关键帧，并以关键帧为基础构建立筑物内部的全局地图，实现机器人的自主导航定位。
(2)本发明在构建全局地图和利用全局地图导航过程中采用基于内容的图像匹配方法，能够提高机器人导航的准确度。基于内容的图像匹配方法以相机模型为基础，分析图像在拍摄过程中的内容畸变，针对这些畸变的特征建立了一种图像内容分析和匹配的方法，包括图像之间的重叠区提取、基于子块分解匹配的重叠区重建、重建后的重叠区相似度分析三个环节，可准确计算机器人拍摄到的任意两帧图像的内容相似度。
(3)本发明提供了一种基于图像的关键帧全局地图构建算法、一种基于内容的图像匹配自主定位算法。通过基于内容的图像匹配，可以确保所提取的关键帧与帧之间尽可能的拉大空间距离、同时确保关键帧之间依次有一定重叠，以便通过特征分析建立它们的拓扑关系，形成全局地图。机器人实时视觉的图像内容与地图的关键帧序列进行匹配定位，可有效消除相似物体的干扰、以及SLAM算法中常见的绑架问题。
附图说明
图1是本发明的一种基于全局地图的机器人导航方法的流程图；
图2是本发明一实施例的基于全局地图导航的机器人示意图；
图3是本发明一实施例的墙体和机器人相机的关系示意图；
图4是本发明一实施例的基于内容的图像匹配方法的图像处理过程图；
图5是本发明一实施例中旋转、平移和重叠区提取的图像处理过程示意图；
图6是本发明一实施例中天花板线段等长示意图；
图7是本发明一实施例中根据天花板等高的特征来检测和剔除墙壁特征点示意图；
图8是本发明一实施例中基于子块分解匹配的重叠区重建过程示意图；
图9是本发明一实施例的一种消除误匹配的重叠区重建效果示意图；
图10是本发明一实施例中无重叠区时的图像重建效果示意图；
图11是本发明一实施例的基于图像内容的关键帧提取与全局地图建立的图像处理过程示意图；
图12是本发明一实施例的机器人实时视觉与关键帧全局地图的匹配定位的处理过程示意图；
图13是本发明一实施例的机器人处理关键帧序列的全局位置关系实验结果图；
图14是本发明一实施例的机器人视觉与关键帧全局地图基于图像内容匹配定位、解算机器人的运动轨迹实验结果图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明作进一步的详细说明。
本发明提供了一种基于全局地图的机器人导航方法，可以充分利用室内各种物体的布局和形状信息，从机器人拍摄到的视频中自动提取出空间间距很大、但又保持一定重合的关键帧序列，能够为“多个房间+走廊”这种复杂的室内环境构建全局地图、机器人可实现准确的自主定位。本发明方法以垂直朝上拍摄的机器人视觉相机为基础，通过相机模型建立天花板和墙体的畸变模型、提取出它们的特征，建立了一种图像内容匹配方法。该方法通过重叠区提取、子块分解匹配的重叠区重建、重建后的重叠区相似度分析三个环节实现了任意两帧图像内容相似度的比较。并设计了天花板特征点检测和重建子块检测方法，有效提高了相似度的计算精度。通过该方法对机器人学习室内环境时采集到的室内环境视频进行处理，可有效提取出图像内容差异大、但相互又有一定重叠的关键帧序列，通过这些关键帧构建室内环境全局地图，可实施准确的机器人自主定位。
本发明同时提供一种基于全局地图导航的机器人，包括图像获取模块、主控模块和移动模块。其中图像获取模块用于获取周围环境的视频图像数据，将图像数据传输主控模块，主控模块基于本发明的全局地图导航方法，提取图像数据中的畸变特征，从视频图像中提取关键帧序列并构建全局地图，然后将机器人实时拍摄的图像与构建的全局地图进行匹配，实现机器人定位和导航，并向移动模块发出具体的机器人移动指令。移动模块用于实现机器人的移动。
(一)本发明的基于全局地图的机器人导航方法的结构：
如图1所示，基于全局地图的机器人导航方法包括以下三个环节：
(1)图像畸变建模与特征提取：对图像畸变建立数学模型，提取机器人视角正视区域(比如机器人视角垂直向上时的天花板)和机器人视角前后左右等四周的侧视区域(比如机器人视角垂直向上时的墙体区域，包括墙、门、窗、家具)的图像畸变特征。
(2)基于图像内容的关键帧序列提取和全局地图建立：采用基于内容的图像匹配方法，处理机器人在学习过程中采集到的室内环境视频，分析机器人拍摄的视频中两帧画面的相似度，根据匹配结果从视频中提取关键帧序列；并确定各个关键帧在室内全局位置，将相邻位置的关键帧重叠相连，构建室内全局地图。其中，基于内容的图像匹配方法以提取的图像畸变特征为基础，建立基于内容的图像匹配方法，包括：提取图像之间的重叠区、基于子块分解匹配的重叠区重建、比较重建区和重叠区的相似度。
(3)利用全局地图的机器人导航：采用基于内容的图像匹配方法，将后续的机器人实时视觉图像与地图中的关键帧序列匹配，找出和机器人当前实时视觉图像最相似的关键帧。然后提取该视频帧和最相似关键帧之间的特征点、求取二者的相对位置。最后将二者的相对位置与该关键帧全局位置相加，实现求取机器人在拍摄当前视觉帧时的全局位置。
(二)本发明的基于全局地图导航的机器人：
基于全局地图导航的机器人包括以下三个模块：
(1)图像获取模块：可以采用单摄像头或者双摄像头获取周围环境的视频图像数据，将图像数据传输给主控模块。根据机器人摄像头的正对视角，可以将周围环境分为两大部分：正对摄像头视角的机器人正视区域，需要将摄像头进行俯仰转动的机器人侧视区域。
(2)基于全局地图导航方法的主控模块：主控模块包括图像畸变特征提取单元、关键帧提取和全局地图构建单元和导航单元共三个单元；
图像畸变特征提取单元：对图像畸变建立数学模型，提取机器人正视区域和机器人侧视区域的图像畸变特征；
关键帧提取和全局地图构建单元：采用基于内容的图像匹配方法，对机器人在学习过程中采集到的室内环境视频进行处理，分析机器人拍摄的视频中两帧画面的相似度，根据匹配结果从视频中提取关键帧序列；并确定各个关键帧在室内全局位置，将相邻位置的关键帧重叠相连，构建室内全局地图。
导航单元：将机器人实时视觉图像，按照基于内容的图像匹配方法，与全局地图中的关键帧序列进行匹配，找出和机器人当前实时视觉图像最相似的关键帧，并提取该视频帧和最相似关键帧之间的特征点、求取二者的相对位置。最后将二者的相对位置与该关键帧全局位置相加，从而求取机器人在拍摄当前视觉帧时的全局位置。并依据当前位置对机器人发出导航行动指令，传输至机器人的移动模块。
(3)移动模块：负责实现机器人的移动，它的实现方式包括但不限于轮式、足式或者履带式等移动部件。
以下结合具体的实现方案来详细说明本发明的基于全局地图的机器人导航方法的实现，以及应用本发明方法导航的机器人。应理解的是，以下的实施例是以垂直朝上拍摄的机器人视觉为基础，是为了清晰地表述机器人视角的正视区域和侧视区域，本发明的应用情况包括但并不限于此种情形。同时本发明的具体实现方法包括但不限于以下实施例的各个步骤的具体实现方法。凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
图2是本发明一实施例的基于全局地图导航的机器人示意图。如图2所述，该实施例的机器人图像获取模块是垂直朝上拍摄的单摄像头。正对摄像头视角的、机器人的正视区域主要是天花板，平行于摄像头轴线的、位于机器人四周的机器人侧视区域主要是墙壁、家具、门窗等。机器人的主控模块在一台MINI计算机中运行，按照基于全局地图的机器人导航方法运行，实现摄像头拍摄的图像处理、全局地图构建和机器人定位和导航，并发出运动控制命令。机器人的移动模块为机器人运动执行机构，接收由MINI计算机发出的运动控制命令，执行相应的运动。
(一)本发明一实施例的机器人的主控模块在MINI计算机中的工作过程，即基于全局地图的机器人导航方法的实现过程，包括：
(1)图像畸变建模与特征提取
对于待匹配的图像(帧A、帧B)，它们中的景物会因为机器人视角和位移的不同出现不同的图像畸变，本发明将为这些畸变建立数学模型、提取它们的特征，并以此为基础将两帧图像的畸变调整为一致，实现图像相似度的准确匹配。
①室内常见物体拍摄时的机器人视角和位移特征
真实世界三维景物变为二维平面照片的过程可通过相机的内外参数模型描述：
式中，由相机视角(横滚R、俯仰P、航向H)和机器人的位移构成，(X，Y，Z)是物体上的点在空间中的位置，(x，y)是其对应于视觉图像中的点坐标，f是相机的焦距，dx和dy是相机的尺度，它们都是相机的常数。
图3是本发明一实施例的墙体和机器人相机的关系示意图。如图所示。以图3中的机器人视角为参考，室内物体可以分为两类：正对机器人的天花板、机器人侧视的墙体区域(包括墙、家具、门、窗等)。
对于天花板，它平行于机器人运动的地面，机器人的相机只有平移Tx，Ty和航向角H可变，俯仰和横滚都是0。
对于墙体区域，因为它与机器人运动平面(地板)垂直且位置固定，机器人拍摄墙体的自由度受到了许多限制。以墙体为参考，垂直墙体方向为X轴、平行地面和墙体交线的方向为轴Y、垂直地面方向为Z轴。墙体和机器人之间只有绕Z轴可以自由转动，即航向变化，设为H度；因为地面与墙体是垂直固定的，对于垂直拍摄天花板的相机，位于侧视区域的墙体相当于绕y轴从天花板的位置俯仰90度(或横滚90度)、绕x轴无变化即横滚0度(或俯仰为0度)，具体定义需要考虑墙体位于机器人前后还是两侧，前后墙为俯仰90度、横滚0度，两侧墙为横滚90度、俯仰0度。
上述的不同拍摄视角、结合机器人的位移变换，将会对机器人视觉中的天花板和墙体造成不同的图像内容畸变，而且从公式(1)中可以看出，机器人位移也会对拍摄结果造成畸变影响。因此本发明将通过相机模型对天花板和墙壁图像畸变进行建模、分析它们的特征。
②天花板图像畸变建模和特征分析
对于室内环境，天花板是机器人的正视区域，俯仰角和横滚角都为0，天花板上所有点的高度都相同，机器人在地板上运动、相机的高度变化为0。这些变化对照片拍摄的影响可以通过相机模型表示，公式(1)可以变换为：
可简化为：
这是仿射变换的形式，只存在的旋转和平移畸变。令待匹配的图像为帧A、帧B，通过SURF算法求取它们的特征点，通过以下公式即可解算出两帧的航向差和平移差，两帧进行旋转和平移即可将它们调整到相同拍摄位置和拍摄角度。经过此过程，若它们包含相同的景物，则也都会被调整到相同的位置，实现相似度分析。
③墙壁图像畸变建模和特征分析
对于机器人前方俯仰为90度的墙体和侧面横滚为90度的墙体，只是相当于机器人拍摄前墙时旋转了90度、在侧视方向再次拍摄墙体，即两种情况下航向角相差90度(或-90度)，景物在照片中的形状畸变是一致的。
位于机器人前方的墙体、在航向变为H时，变为二维照片的数学模型是：
化简为：
位于机器人侧面的墙体、在航向变为H时，变为二维照片的数学模型是：
化简为：
由公式(7)(8)(10)(11)可知，若将X、Y轴进行交换，侧方墙体和前方墙体的畸变相同，因此只需分析一类墙体畸变即可。本发明将以前方墙体为主分析墙体图像的畸变特征。
令帧A的拍摄航向为H、机器人位移tx、ty，帧B的参数为H+ΔH、tx+Δtx、ty+Δty，则帧B表达式为：
采用公式(5)对帧A处理，帧A、B中相同的天花板即可调至相同位置，但帧A中的墙体图像被处理后会发生如下变化：
式中，(xAB，yAB)为帧A中变换后的点坐标。公式(14)可变形为：
若对二者采用如下的平移量(Sx，Sy)进行第二次平移：
则平移结果为：
相比于原始的帧A，第二次平移后的帧A与帧B非常接近。为了减小分母差异造成的影响，同时考虑到二次平移中有许多参数未知(如(X，Y，Z))，本发明采用子块匹配重建的方法将图像分为数个小区域分别求取它们各自的(Sx，Sy)，并设计一种检测方法消除相似物体造成的误匹配。若待匹配的图像包含相同的内容，则能够正确匹配的子块数量会非常多。
对于待匹配的图像，如果拍摄到了室内同一区域，则图像画面中该区域的景物和景物布局都相同，因此经过公式(5)的旋转和平移、公式(19)和(20)的第二次平移，待匹配的图像将会很相似、十分利于图像匹配。对于天花板区域，平移和旋转后用相关系数分析相似度会非常有效。而分块匹配重建方法输出的正确匹配子块数量对墙体区域的相似度分析十分有效。本发明将综合应用相关系数和匹配子块数量实现图像匹配和相似度分析。
(2)基于图像内容的关键帧序列提取和全局地图建立
采用基于内容的图像匹配方法，对机器人视觉拍摄的视频逐帧进行匹配，判断两帧图像的相似度，并根据匹配结果提取关键帧序列。然后求取关键帧序列中各帧在室内的全局位置，将相邻关键帧重叠相连构建室内全局地图。
基于内容的图像匹配方法包括提取图像之间的重叠区、基于子块分解匹配的重叠区重建、比较重建区和重叠区的相似度三个步骤。
基于内容的图像匹配方法的图像处理过程如图4所示。对于帧A、B，基于内容的图像匹配包括：第一次旋转和平移，提取图像之间的重叠区；第二次平移，将帧A重叠区划分为子块与帧B进行匹配重建。比较帧A重建重叠区和帧B重叠区即可评估两帧的相似度。
①提取图像之间的重叠区
该步骤将帧A、B调整到相同的拍摄位置和航向角，如果二者拍到一些相同的图像内容，这些相同物体将包含在两帧的重叠区内。
旋转、平移和重叠区提取的图像处理过程如图5所示。图5中：(a)帧A，(b)帧B，(c)平移，(d)旋转(e)两帧的重叠区域，(f)重叠区的掩膜。选用SURF方法提取帧A、B的特征点、带入公式(5)求取航向和平移量。然后调整帧A、B，如图5中(c)、(d)所示。两帧的重叠效果在图5(e)中十分明显。将同时包含两幅图像点的区域提取出来做成掩膜(图5(f))，即可提取两幅图像的重叠区。
若特征点在低于天花板的墙壁上，会影响航向和位移的解算结果，进而影响重叠区域提取的结果。因此设计了一种根据天花板等高的特征来检测和剔除墙壁特征点的方法，如图6、图7所示。图6示出了天花板线段在不同视角的图像中均显示为等长，图7示出了根据天花板等高的特征来检测和剔除墙壁特征点的处理效果。对于天花板上的特征点a、b，在帧A、B中的距离dA，ab，dB，ab关系如下：
式中，(Xa，Ya，Za)和(Xb，Yb，Zb)是室内空间中的点a、b的坐标，(xA，a，yA，a)、(xA，b，yA，b)和(xB，a，yB，a)、(xB，b，yB，b)分别是a、b点在帧A、B中的坐标，(Tx，A，Ty，A)和(Tx，B，Ty，B)是机器人拍摄帧A、B时的位移。由公式(11)、(12)可知，天花板上的特征点线段在帧A、B中长度不变、dA，ab＝dB，ab，如图6中的天花板线段。
若特征点bW在墙上(高度Tw，低于天花板)，则上述关系不再存在。令点a、bW的在帧A、B中的连线长度为dA，abw，dB，abw：
式中，(xA，bw，yA，bw)和(xB，bw，yB，bw)是bW在帧A、B的坐标。公式(24)分母中的ΔH项导致dA，abw≠dB，abw，两条线段不等长。因此若特征点连线在帧A、B中不等长，则判定为墙壁点、可剔除，而天花板上的特征点可以被保留，处理效果如图7所示。
对于图像的天花板区域，若包含相同的景物，它们在帧A、B重叠区的相同位置，求取两帧重叠区的相关系数即可评估图像内容相似度。但对于墙体图像，由于形状发生畸变，需要第二次平移修正畸变。
②基于子块分解匹配的重叠区重建
图8是本发明一实施例的一种基于子块分解匹配的重叠区重建过程示意图。子块分解匹配方法可代替含有未知量的公式(17)和(18)求取平移量Sx，Sy。算法的处理过程如图8所示，帧A的重叠区被分解为多个子块，与帧B的重叠区匹配。如果帧A、B的重叠区域包含了相同的内容，每个帧A子块都可以在帧B中找到它最适合的位置、得到每个子块的平移量Sx，Sy，重建后的帧A重叠区与帧B重叠区非常相似。若帧A、B没有相同的内容，能够匹配的子块数量会很少。
采用SAD方法解算帧A的各个子块在帧B中的匹配位置：
式中，AT是帧A重叠区中的子块(尺寸M×N)，BL是帧B的重叠区(尺寸L×D)。遍历BL，使公式(25)的值最小的(i，j)就是子块AT的平移量Sx，Sy。
图9是本发明一实施例的一种消除误匹配的重叠区重建效果示意图。为了消除相似物体造成的误匹配，设计了一种识别误匹配子块的方法。按照公式(17)、(18)，子块平移量可以写作矩阵形式：
对于机器人在不同位置和角度拍摄到的两帧图像，同一景物会位于不同位置、表征为相对移动，包括两种情况：1)机器人平移时，造成物体在图像中相对移动，并且还与被拍摄物体距离地面的相对高度有关，越低、移动越大；2)机器人旋转时，拍摄角度改变，室内物体因距离旋转中心的远近不同，被移动到图像中不同位置。公式(26)中，前两项是机器人旋转造成的移动，其中第一项的核心是表征了由旋转ΔH而产生投影sinΔH造成的位移。第二项与公式(5)的旋转矩阵一致，是重叠区提取时墙壁图像的旋转量，与第一项呈相减的关系，因此前两项相当于经过重叠区域提取之后，通过第二次平移(Sx，Sy)修正帧A、B之间由ΔH造成的墙体剩余移旋转动量。第三项、第四项由机器人平移量构成。第三项表征了机器人平移及不同高度的墙壁产生的图像畸变，第四项是重叠区域提取时的平移量，二者呈相减的关系，是经过重叠区域提取后，通过第二次平移(Sx，Sy)修正帧A、B因墙体高度引起的图像畸变。
因此，针对(Sx，Sy)的这种特征(即由平移和旋转两部分构成)，根据帧A、B的位移差和航相差、及各子块的位置，可以通过仿射变换模型判断公式(25)为每个子块解算的位移(Sx，Sy)是否准确。而且因为公式(26)中是物体投影到照片上的比例因子，式(25)中的(X，Y，Z)可直接用照片中的子块位置(x，y)代替。对于帧A中位置为(x，y)的子块，(Sx，Sy)的判别阈值ΔPx，ΔPy可根据仿射变换的求解：
式中，ΔxT，ΔyT，ΔHT为设定的平移和旋转阈值，为确保删除所有错误匹配的子块，它们略小于经过重叠区提取后帧A、B位移差和航向差的最大值。若位于(x，y)的子块平移量Sx，Sy与(x，y)差值的绝对值大于阈值ΔPx，ΔPy，则判定为是误匹配、予以删除。删除误匹配子块之后，帧A重叠区的重建结果与帧B重叠区十分相似，如图9所示。
若两帧图像基本无相同的图像内容，则帧A重建重叠区与帧B会相差甚远，如图10所示。因此基于子块分解匹配的重叠区重建的方法可以很容易评估两幅图像是否包含相同的内容。
③比较重建区和重叠区的相似度
评估帧A、B的相似度可以通过比较帧A重建重叠区和帧B重叠区的相似度SAB实现。SAB由对天花板图像敏感的相关系数、及对墙壁图像都敏感的正确匹配子块数量Nk组成，是二者的乘积：
式中，CA(x，y)是帧A重建重合区中的像素值，CB(x，y)是帧B重合区中的像素值，和是两帧的像素均值。
根据上述基于内容的图像匹配方法的关键帧提取与全局地图建立的图像处理过程如图11所示。将第一帧视频直接作为第一幅关键帧，序列中后续的关键帧提取过程如下：
Step1，对第n个关键帧，与后续20秒内视频(60帧)逐帧按照上述基于图像内容的匹配方法进行匹配，解算它们与该关键帧的内容相似度。
Step2，找出相似度最大值，最大值对应的视频帧与第n个关键帧的距离最近。取相似度降到50％的视频帧作为第n+1个关键帧。若这60帧的相似度都大于50％，则取最后一帧作为第n+1个关键帧。50％的相似度可以确保第n和n+1个关键帧重叠相连。
重复Step1、2，提取关键帧序列。
提取关键帧序列之后，进行全局地图的建立。建立的关键帧全局地图包括两部分：关键帧序列、各个关键帧在室内的全局位置。
全局位置的解算过程为：对于第n+1个关键帧，它与第n个关键帧重叠相连，用SURF算法求取两帧中的多对特征点，带入公式(5)解算它与第n个特征帧之间的相对位置(位置差xn+1，n，yn+1，n、航相差Hn+1，n)，然后按照公式(29)进行累加即可得到第n+1个关键帧的全局位置：
式中，(xn，yn)、(xn+1，yn+1)是第n、n+1帧的全局位置。按公式(29)逐帧迭代，即可求取关键帧序列中各帧在室内的全局位置。
该方法提取的关键帧数量少、间距大、内容独立性大，为机器人的快速匹配和实时定位奠定了基础。在实验中，机器人学习的室内环境视频为11分钟，共1752帧，共提取出了72幅特征帧构序列建关键帧全局地图。
(3)利用全局地图的机器人导航
图12是一实施例的机器人实时视觉与关键帧全局地图的匹配定位的处理过程示意图。采用基于内容的图像匹配方法，将随后的机器人实时视觉图像与地图中的关键帧序列匹配，找出和机器人当前视觉图像最相似的关键帧。采用与解算关键帧全局位置一样的方法：首先，提取该视频帧和最相似关键帧之间的特征点，带入公式(5)，求取它们的相对位置。然后带入公式(29)，按照求取第n+1关键帧全局位置的方法，实时求取机器人的全局位置。
(二)实验结果
本发明一实施例中的基于全局地图的机器人导航方法以及使用该方法导航的机器人已经在大型复杂的室内环境中进行了测试。实验区域由一条走廊和两个房间组成。走廊26米长、3米宽，每间屋子平均20平米。
图13是一实施例的机器人处理关键帧序列的全局位置关系实验结果图。机器人在室内环境学习时，共采集了11分钟的视频信息，共1752帧。经过本发明的方法处理后，最终提取了72幅关键帧构建全局地图。这些关键帧按照它们的全局位置拼接，如图13所示，可比较清晰的描述室内环境(天花板、门、窗、墙壁、家具)，地图精度≤0.7米。
图14是一实施例的机器人视觉与关键帧全局地图基于图像内容匹配定位、解算机器人的运动轨迹实验结果图。地图使用时关键帧序列逐帧与机器人视觉匹配、定位，即可实时解算出机器人的行驶轨迹。
以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (20)
1.一种基于全局地图的机器人导航方法，其特征在于，包括：
S1、使机器人拍摄室内天花板和墙壁区域的视频，提取所述视频中各帧图像的畸变特征；
S2、采用基于内容的图像匹配方法，根据所述图像畸变特征对拍摄的视频各帧图像进行匹配，并根据匹配结果提取关键帧序列，然后将相邻位置的关键帧重叠相连，构建全局地图；
S3、采用所述基于内容的图像匹配方法，将机器人实时视觉图像与所述全局地图中的关键帧匹配，找出和机器人当前视觉图像最相似的关键帧，实时求取机器人的全局位置，实现机器人导航。
2.根据权利要求1所述的基于全局地图的机器人导航方法，其特征在于，所述基于内容的图像匹配方法包括：
根据所述图像畸变特征对待匹配的两帧图像提取重叠区，判断两帧图像的相似性。
3.根据权利要求2所述的基于全局地图的机器人导航方法，其特征在于，所述重叠区是将两帧图像通过平移和旋转，调整到相同的拍摄位置和拍摄角度后，提取所述两帧画面的重叠区。
4.根据权利要求2所述的基于全局地图的机器人导航方法，其特征在于，所述基于内容的图像匹配包括在提取重叠区前进行检测和剔除误匹配特征点，所述检测和剔除误匹配特征点是根据机器人正视区域的特征点连线在不同图像中的距离长度不变，剔除掉其他区域的特征点。
5.根据权利要求2所述的基于全局地图的机器人导航方法，其特征在于，所述基于内容的图像匹配方法还包括：
对所述待匹配的两帧图像中的第一帧图像的重叠区，基于子块分解匹配进行重叠区重建，形成重建重叠区；
将所述重建重叠区与第二帧图像的所述重叠区对比，分析相似度。
6.根据权利要求5所述的基于全局地图的机器人导航方法，其特征在于，所述子块分解匹配是将所述第一帧图像的所述重叠区分解为数个子块，将与所述第二帧图像具有相同特征的子块，按照所述第二帧图像中的位置进行平移，形成所述重建重叠区。
7.根据权利要求1至6任意一项所述的基于全局地图的机器人导航方法，其特征在于，在所述步骤S2中，在提取关键帧时，
判断各帧图像与前一关键帧的相似度达到预先设定值后自动提取；
或者，经判断后续各帧图像与前一关键帧的相似度都大于预先设定值，且后续各帧中的最后一帧与前一关键帧之间间隔的帧数量达到预先设定值，则自动提取所述后续各帧中的最后一帧作为关键帧。
8.根据权利要求7所述的基于全局地图的机器人导航方法，其特征在于，在所述步骤S2中在提取关键帧时：
将第一帧视频直接作为第一幅关键帧；
将第n个关键帧与后续20秒内视频逐帧采用基于图像内容的匹配方法进行匹配，解算它们与该关键帧的内容相似度；找出相似度最大值对应的视频帧，并向后找到相似度降到50％的视频帧作为第n+1个关键帧；
或者，若第n个关键帧与后续20秒内视频的帧相似度都大于50％，则取所述后续20秒内视频的最后一帧作为第n+1个关键帧。
9.根据权利要求7所述的基于全局地图的机器人导航方法，其特征在于，在所述步骤S2中构建全局地图时，
将第一帧视频直接作为第一幅关键帧；
对于第n和第n+1个关键帧，求取出两个关键帧中的多对特征点，并分别确定所述特征点在第n帧和第n+1帧的中的坐标(x′n，y′n)、(x′n+1，y′n+1)，然后根据公式：
<mrow>
<mfenced open = "(" close = ")">
<mtable>
<mtr>
<mtd>
<msubsup>
<mi>x</mi>
<mrow>
<mi>n</mi>
<mo>+</mo>
<mn>1</mn>
</mrow>
<mo>&prime;</mo>
</msubsup>
</mtd>
</mtr>
<mtr>
<mtd>
<msubsup>
<mi>y</mi>
<mrow>
<mi>n</mi>
<mo>+</mo>
<mn>1</mn>
</mrow>
<mo>&prime;</mo>
</msubsup>
</mtd>
</mtr>
</mtable>
</mfenced>
<mo>=</mo>
<mfenced open = "(" close = ")">
<mtable>
<mtr>
<mtd>
<mrow>
<mi>cos</mi>
<mi> </mi>
<msub>
<mi>H</mi>
<mrow>
<mi>n</mi>
<mo>+</mo>
<mn>1</mn>
<mo>,</mo>
<mi>n</mi>
</mrow>
</msub>
</mrow>
</mtd>
<mtd>
<mrow>
<mi>s</mi>
<mi>i</mi>
<mi>n</mi>
<mi> </mi>
<msub>
<mi>H</mi>
<mrow>
<mi>n</mi>
<mo>+</mo>
<mn>1</mn>
<mo>,</mo>
<mi>n</mi>
</mrow>
</msub>
</mrow>
</mtd>
</mtr>
<mtr>
<mtd>
<mrow>
<mo>-</mo>
<mi>sin</mi>
<mi> </mi>
<msub>
<mi>H</mi>
<mrow>
<mi>n</mi>
<mo>+</mo>
<mn>1</mn>
<mo>,</mo>
<mi>n</mi>
</mrow>
</msub>
</mrow>
</mtd>
<mtd>
<mrow>
<mi>c</mi>
<mi>o</mi>
<mi>s</mi>
<mi> </mi>
<msub>
<mi>H</mi>
<mrow>
<mi>n</mi>
<mo>+</mo>
<mn>1</mn>
<mo>,</mo>
<mi>n</mi>
</mrow>
</msub>
</mrow>
</mtd>
</mtr>
</mtable>
</mfenced>
<mfenced open = "(" close = ")">
<mtable>
<mtr>
<mtd>
<msub>
<mi>x</mi>
<mrow>
<mi>n</mi>
<mo>+</mo>
<mn>1</mn>
<mo>,</mo>
<mi>n</mi>
</mrow>
</msub>
</mtd>
</mtr>
<mtr>
<mtd>
<msub>
<mi>y</mi>
<mrow>
<mi>n</mi>
<mo>+</mo>
<mn>1</mn>
<mo>,</mo>
<mi>n</mi>
</mrow>
</msub>
</mtd>
</mtr>
</mtable>
</mfenced>
<mo>+</mo>
<mfenced open = "(" close = ")">
<mtable>
<mtr>
<mtd>
<msubsup>
<mi>x</mi>
<mi>n</mi>
<mo>&prime;</mo>
</msubsup>
</mtd>
</mtr>
<mtr>
<mtd>
<msubsup>
<mi>y</mi>
<mi>n</mi>
<mo>&prime;</mo>
</msubsup>
</mtd>
</mtr>
</mtable>
</mfenced>
</mrow>
解算出第n+1个关键帧相对第n个特征帧之间的位置差xn+1，n，yn+1，n和航相差Hn+1，n；
将第n个关键帧在全局的位置坐标(xn，yn)，代入公式：
<mrow>
<mfenced open = "(" close = ")">
<mtable>
<mtr>
<mtd>
<msub>
<mi>x</mi>
<mrow>
<mi>n</mi>
<mo>+</mo>
<mn>1</mn>
</mrow>
</msub>
</mtd>
</mtr>
<mtr>
<mtd>
<msub>
<mi>y</mi>
<mrow>
<mi>n</mi>
<mo>+</mo>
<mn>1</mn>
</mrow>
</msub>
</mtd>
</mtr>
</mtable>
</mfenced>
<mo>=</mo>
<mfenced open = "(" close = ")">
<mtable>
<mtr>
<mtd>
<mrow>
<mi>cos</mi>
<mi> </mi>
<msub>
<mi>H</mi>
<mrow>
<mi>n</mi>
<mo>+</mo>
<mn>1</mn>
<mo>,</mo>
<mi>n</mi>
</mrow>
</msub>
</mrow>
</mtd>
<mtd>
<mrow>
<mi>s</mi>
<mi>i</mi>
<mi>n</mi>
<mi> </mi>
<msub>
<mi>H</mi>
<mrow>
<mi>n</mi>
<mo>+</mo>
<mn>1</mn>
<mo>,</mo>
<mi>n</mi>
</mrow>
</msub>
</mrow>
</mtd>
</mtr>
<mtr>
<mtd>
<mrow>
<mo>-</mo>
<mi>sin</mi>
<mi> </mi>
<msub>
<mi>H</mi>
<mrow>
<mi>n</mi>
<mo>+</mo>
<mn>1</mn>
<mo>,</mo>
<mi>n</mi>
</mrow>
</msub>
</mrow>
</mtd>
<mtd>
<mrow>
<mi>c</mi>
<mi>o</mi>
<mi>s</mi>
<mi> </mi>
<msub>
<mi>H</mi>
<mrow>
<mi>n</mi>
<mo>+</mo>
<mn>1</mn>
<mo>,</mo>
<mi>n</mi>
</mrow>
</msub>
</mrow>
</mtd>
</mtr>
</mtable>
</mfenced>
<mfenced open = "(" close = ")">
<mtable>
<mtr>
<mtd>
<msub>
<mi>x</mi>
<mrow>
<mi>n</mi>
<mo>+</mo>
<mn>1</mn>
<mo>,</mo>
<mi>n</mi>
</mrow>
</msub>
</mtd>
</mtr>
<mtr>
<mtd>
<msub>
<mi>y</mi>
<mrow>
<mi>n</mi>
<mo>+</mo>
<mn>1</mn>
<mo>,</mo>
<mi>n</mi>
</mrow>
</msub>
</mtd>
</mtr>
</mtable>
</mfenced>
<mo>+</mo>
<mfenced open = "(" close = ")">
<mtable>
<mtr>
<mtd>
<msub>
<mi>x</mi>
<mi>n</mi>
</msub>
</mtd>
</mtr>
<mtr>
<mtd>
<msub>
<mi>y</mi>
<mi>n</mi>
</msub>
</mtd>
</mtr>
</mtable>
</mfenced>
</mrow>
解算出第得到第n+1个关键帧的全局位置(xn+1，yn+1)；
逐帧迭代，得到关键帧序列中各帧在室内的全局位置。
10.根据权利要求1至6中任意一项所述的基于全局地图的机器人导航方法，其特征在于，在所述步骤S3中将机器人实时视觉图像与所述全局地图中的关键帧匹配时，采用所述基于内容的图像匹配方法找出取该视频帧最相似的关键帧；然后用SURF算法求取该视频帧与最相似关键帧之间的特征点；
确定所述特征点在最相似关键帧与该视频帧中的坐标(x′n，y′n)、(x′n+1，y′n+1)，然后根据公式：
<mrow>
<mfenced open = "(" close = ")">
<mtable>
<mtr>
<mtd>
<msubsup>
<mi>x</mi>
<mrow>
<mi>n</mi>
<mo>+</mo>
<mn>1</mn>
</mrow>
<mo>&prime;</mo>
</msubsup>
</mtd>
</mtr>
<mtr>
<mtd>
<msubsup>
<mi>y</mi>
<mrow>
<mi>n</mi>
<mo>+</mo>
<mn>1</mn>
</mrow>
<mo>&prime;</mo>
</msubsup>
</mtd>
</mtr>
</mtable>
</mfenced>
<mo>=</mo>
<mfenced open = "(" close = ")">
<mtable>
<mtr>
<mtd>
<mrow>
<mi>cos</mi>
<mi> </mi>
<msub>
<mi>H</mi>
<mrow>
<mi>n</mi>
<mo>+</mo>
<mn>1</mn>
<mo>,</mo>
<mi>n</mi>
</mrow>
</msub>
</mrow>
</mtd>
<mtd>
<mrow>
<mi>s</mi>
<mi>i</mi>
<mi>n</mi>
<mi> </mi>
<msub>
<mi>H</mi>
<mrow>
<mi>n</mi>
<mo>+</mo>
<mn>1</mn>
<mo>,</mo>
<mi>n</mi>
</mrow>
</msub>
</mrow>
</mtd>
</mtr>
<mtr>
<mtd>
<mrow>
<mo>-</mo>
<mi>sin</mi>
<mi> </mi>
<msub>
<mi>H</mi>
<mrow>
<mi>n</mi>
<mo>+</mo>
<mn>1</mn>
<mo>,</mo>
<mi>n</mi>
</mrow>
</msub>
</mrow>
</mtd>
<mtd>
<mrow>
<mi>c</mi>
<mi>o</mi>
<mi>s</mi>
<mi> </mi>
<msub>
<mi>H</mi>
<mrow>
<mi>n</mi>
<mo>+</mo>
<mn>1</mn>
<mo>,</mo>
<mi>n</mi>
</mrow>
</msub>
</mrow>
</mtd>
</mtr>
</mtable>
</mfenced>
<mfenced open = "(" close = ")">
<mtable>
<mtr>
<mtd>
<msub>
<mi>x</mi>
<mrow>
<mi>n</mi>
<mo>+</mo>
<mn>1</mn>
<mo>,</mo>
<mi>n</mi>
</mrow>
</msub>
</mtd>
</mtr>
<mtr>
<mtd>
<msub>
<mi>y</mi>
<mrow>
<mi>n</mi>
<mo>+</mo>
<mn>1</mn>
<mo>,</mo>
<mi>n</mi>
</mrow>
</msub>
</mtd>
</mtr>
</mtable>
</mfenced>
<mo>+</mo>
<mfenced open = "(" close = ")">
<mtable>
<mtr>
<mtd>
<msubsup>
<mi>x</mi>
<mi>n</mi>
<mo>&prime;</mo>
</msubsup>
</mtd>
</mtr>
<mtr>
<mtd>
<msubsup>
<mi>y</mi>
<mi>n</mi>
<mo>&prime;</mo>
</msubsup>
</mtd>
</mtr>
</mtable>
</mfenced>
</mrow>
解算出所述视频帧相对所述最相似关键帧之间的位置差xn+1，n，yn+1，n和航相差Hn+1，n；
将所述最相似关键帧在全局的位置坐标(xn，yn)，代入公式：
<mrow>
<mfenced open = "(" close = ")">
<mtable>
<mtr>
<mtd>
<msub>
<mi>x</mi>
<mrow>
<mi>n</mi>
<mo>+</mo>
<mn>1</mn>
</mrow>
</msub>
</mtd>
</mtr>
<mtr>
<mtd>
<msub>
<mi>y</mi>
<mrow>
<mi>n</mi>
<mo>+</mo>
<mn>1</mn>
</mrow>
</msub>
</mtd>
</mtr>
</mtable>
</mfenced>
<mo>=</mo>
<mfenced open = "(" close = ")">
<mtable>
<mtr>
<mtd>
<mrow>
<mi>cos</mi>
<mi> </mi>
<msub>
<mi>H</mi>
<mrow>
<mi>n</mi>
<mo>+</mo>
<mn>1</mn>
<mo>,</mo>
<mi>n</mi>
</mrow>
</msub>
</mrow>
</mtd>
<mtd>
<mrow>
<mi>s</mi>
<mi>i</mi>
<mi>n</mi>
<mi> </mi>
<msub>
<mi>H</mi>
<mrow>
<mi>n</mi>
<mo>+</mo>
<mn>1</mn>
<mo>,</mo>
<mi>n</mi>
</mrow>
</msub>
</mrow>
</mtd>
</mtr>
<mtr>
<mtd>
<mrow>
<mo>-</mo>
<mi>sin</mi>
<mi> </mi>
<msub>
<mi>H</mi>
<mrow>
<mi>n</mi>
<mo>+</mo>
<mn>1</mn>
<mo>,</mo>
<mi>n</mi>
</mrow>
</msub>
</mrow>
</mtd>
<mtd>
<mrow>
<mi>c</mi>
<mi>o</mi>
<mi>s</mi>
<mi> </mi>
<msub>
<mi>H</mi>
<mrow>
<mi>n</mi>
<mo>+</mo>
<mn>1</mn>
<mo>,</mo>
<mi>n</mi>
</mrow>
</msub>
</mrow>
</mtd>
</mtr>
</mtable>
</mfenced>
<mfenced open = "(" close = ")">
<mtable>
<mtr>
<mtd>
<msub>
<mi>x</mi>
<mrow>
<mi>n</mi>
<mo>+</mo>
<mn>1</mn>
<mo>,</mo>
<mi>n</mi>
</mrow>
</msub>
</mtd>
</mtr>
<mtr>
<mtd>
<msub>
<mi>y</mi>
<mrow>
<mi>n</mi>
<mo>+</mo>
<mn>1</mn>
<mo>,</mo>
<mi>n</mi>
</mrow>
</msub>
</mtd>
</mtr>
</mtable>
</mfenced>
<mo>+</mo>
<mfenced open = "(" close = ")">
<mtable>
<mtr>
<mtd>
<msub>
<mi>x</mi>
<mi>n</mi>
</msub>
</mtd>
</mtr>
<mtr>
<mtd>
<msub>
<mi>y</mi>
<mi>n</mi>
</msub>
</mtd>
</mtr>
</mtable>
</mfenced>
</mrow>
解算出所述视频帧的全局位置(xn+1，yn+1)，实时求取机器人在全局地图中的位置。
11.一种基于全局地图导航的机器人，包括图像获取模块、主控模块和移动模块；所述图像获取模块获取周围环境的视频图像，将所述图像传输到主控模块，所述主控模块进行机器人的定位和导航，所述移动模块实现机器人的移动；其特征在于：
所述主控模块包括图像畸变特征提取单元、关键帧提取和全局地图构建单元和导航单元；
所述图像畸变特征提取单元用于提取所述图像获取模块获取的视频图像中的畸变特征；
所述关键帧提取和全局地图构建单元，按照基于内容的图像匹配方法，根据所述图像的畸变特征对机器人拍摄的视频各帧图像进行匹配，然后根据匹配结果提取关键帧序列，并将相邻位置的关键帧重叠相连，构建全局地图；
所述导航单元，按照所述基于内容的图像匹配方法，将机器人实时视觉图像与所述全局地图中的关键帧匹配，找出和机器人当前视觉图像最相似的关键帧，实时求取机器人的全局位置，对机器人进行定位和导航，并向所述移动模块输出移动指令。
12.根据权利要求11所述的基于全局地图导航的机器人，其特征在于，所述基于内容的图像匹配方法包括：
根据所述图像畸变特征对待匹配的两帧图像提取重叠区，判断两帧图像的相似性。
13.根据权利要求12所述的基于全局地图导航的机器人，其特征在于，所述重叠区是将两帧图像通过平移和旋转，调整到相同的拍摄位置和拍摄角度后，提取所述两帧画面的重叠区。
14.根据权利要求12所述的基于全局地图导航的机器人，其特征在于，所述基于内容的图像匹配包括在提取重叠区前进行检测和剔除误匹配特征点，所述检测和剔除误匹配特征点是根据机器人正视区域的特征点连线在不同图像中的距离长度不变，剔除掉其他区域的特征点。
15.根据权利要求12所述的基于全局地图导航的机器人，其特征在于，所述基于内容的图像匹配方法还包括：
对所述待匹配的两帧图像中的第一帧图像的重叠区，基于子块分解匹配进行重叠区重建，形成重建重叠区；
将所述重建重叠区与第二帧图像的所述重叠区对比，分析相似度。
16.根据权利要求15所述的基于全局地图导航的机器人，其特征在于，所述子块分解匹配是将所述第一帧图像的所述重叠区分解为数个子块，将与所述第二帧图像具有相同特征的子块，按照所述第二帧图像中的位置进行平移，形成所述重建重叠区。
17.根据权利要求11至16中任意一项所述的基于全局地图导航的机器人，其特征在于，所述关键帧提取和全局地图构建单元在提取关键帧时，
判断各帧图像与前一关键帧的相似度达到预先设定值后自动提取；
或者，经判断后续各帧图像与前一关键帧的相似度都大于预先设定值，且后续各帧中的最后一帧与前一关键帧之间间隔的帧数量达到预先设定值，则自动提取所述后续各帧中的最后一帧作为关键帧。
18.根据权利要求17所述的基于全局地图导航的机器人，其特征在于，所述全局地图构建单元在提取关键帧时，
将第一帧视频直接作为第一幅关键帧；
将第n个关键帧与后续20秒内视频逐帧采用基于图像内容的匹配方法进行匹配，解算它们与该关键帧的内容相似度；找出相似度最大值对应的视频帧，并向后找到相似度降到50％的视频帧作为第n+1个关键帧；
或者，若第n个关键帧与后续20秒内视频的帧相似度都大于50％，则取所述后续20秒内视频的最后一帧作为第n+1个关键帧。
19.根据权利要求17所述的基于全局地图导航的机器人，其特征在于，在所述关键帧提取和全局地图构建单元构建全局地图时，
将第一帧视频直接作为第一幅关键帧；
对于第n和第n+1个关键帧，求取出两个关键帧中的多对特征点，并分别确定所述特征点在第n帧和第n+1帧的中的坐标(x′n，y′n)、(x′n+1，y′n+1)，然后根据公式：
<mrow>
<mfenced open = "(" close = ")">
<mtable>
<mtr>
<mtd>
<msubsup>
<mi>x</mi>
<mrow>
<mi>n</mi>
<mo>+</mo>
<mn>1</mn>
</mrow>
<mo>&prime;</mo>
</msubsup>
</mtd>
</mtr>
<mtr>
<mtd>
<msubsup>
<mi>y</mi>
<mrow>
<mi>n</mi>
<mo>+</mo>
<mn>1</mn>
</mrow>
<mo>&prime;</mo>
</msubsup>
</mtd>
</mtr>
</mtable>
</mfenced>
<mo>=</mo>
<mfenced open = "(" close = ")">
<mtable>
<mtr>
<mtd>
<mrow>
<mi>cos</mi>
<mi> </mi>
<msub>
<mi>H</mi>
<mrow>
<mi>n</mi>
<mo>+</mo>
<mn>1</mn>
<mo>,</mo>
<mi>n</mi>
</mrow>
</msub>
</mrow>
</mtd>
<mtd>
<mrow>
<mi>s</mi>
<mi>i</mi>
<mi>n</mi>
<mi> </mi>
<msub>
<mi>H</mi>
<mrow>
<mi>n</mi>
<mo>+</mo>
<mn>1</mn>
<mo>,</mo>
<mi>n</mi>
</mrow>
</msub>
</mrow>
</mtd>
</mtr>
<mtr>
<mtd>
<mrow>
<mo>-</mo>
<mi>sin</mi>
<mi> </mi>
<msub>
<mi>H</mi>
<mrow>
<mi>n</mi>
<mo>+</mo>
<mn>1</mn>
<mo>,</mo>
<mi>n</mi>
</mrow>
</msub>
</mrow>
</mtd>
<mtd>
<mrow>
<mi>c</mi>
<mi>o</mi>
<mi>s</mi>
<mi> </mi>
<msub>
<mi>H</mi>
<mrow>
<mi>n</mi>
<mo>+</mo>
<mn>1</mn>
<mo>,</mo>
<mi>n</mi>
</mrow>
</msub>
</mrow>
</mtd>
</mtr>
</mtable>
</mfenced>
<mfenced open = "(" close = ")">
<mtable>
<mtr>
<mtd>
<msub>
<mi>x</mi>
<mrow>
<mi>n</mi>
<mo>+</mo>
<mn>1</mn>
<mo>,</mo>
<mi>n</mi>
</mrow>
</msub>
</mtd>
</mtr>
<mtr>
<mtd>
<msub>
<mi>y</mi>
<mrow>
<mi>n</mi>
<mo>+</mo>
<mn>1</mn>
<mo>,</mo>
<mi>n</mi>
</mrow>
</msub>
</mtd>
</mtr>
</mtable>
</mfenced>
<mo>+</mo>
<mfenced open = "(" close = ")">
<mtable>
<mtr>
<mtd>
<msubsup>
<mi>x</mi>
<mi>n</mi>
<mo>&prime;</mo>
</msubsup>
</mtd>
</mtr>
<mtr>
<mtd>
<msubsup>
<mi>y</mi>
<mi>n</mi>
<mo>&prime;</mo>
</msubsup>
</mtd>
</mtr>
</mtable>
</mfenced>
</mrow>
解算出第n+1个关键帧相对第n个特征帧之间的位置差xn+1，n，yn+1，n和航相差Hn+1，n；
将第n个关键帧在全局的位置坐标(xn，yn)，代入公式：
<mrow>
<mfenced open = "(" close = ")">
<mtable>
<mtr>
<mtd>
<msub>
<mi>x</mi>
<mrow>
<mi>n</mi>
<mo>+</mo>
<mn>1</mn>
</mrow>
</msub>
</mtd>
</mtr>
<mtr>
<mtd>
<msub>
<mi>y</mi>
<mrow>
<mi>n</mi>
<mo>+</mo>
<mn>1</mn>
</mrow>
</msub>
</mtd>
</mtr>
</mtable>
</mfenced>
<mo>=</mo>
<mfenced open = "(" close = ")">
<mtable>
<mtr>
<mtd>
<mrow>
<mi>cos</mi>
<mi> </mi>
<msub>
<mi>H</mi>
<mrow>
<mi>n</mi>
<mo>+</mo>
<mn>1</mn>
<mo>,</mo>
<mi>n</mi>
</mrow>
</msub>
</mrow>
</mtd>
<mtd>
<mrow>
<mi>s</mi>
<mi>i</mi>
<mi>n</mi>
<mi> </mi>
<msub>
<mi>H</mi>
<mrow>
<mi>n</mi>
<mo>+</mo>
<mn>1</mn>
<mo>,</mo>
<mi>n</mi>
</mrow>
</msub>
</mrow>
</mtd>
</mtr>
<mtr>
<mtd>
<mrow>
<mo>-</mo>
<mi>sin</mi>
<mi> </mi>
<msub>
<mi>H</mi>
<mrow>
<mi>n</mi>
<mo>+</mo>
<mn>1</mn>
<mo>,</mo>
<mi>n</mi>
</mrow>
</msub>
</mrow>
</mtd>
<mtd>
<mrow>
<mi>c</mi>
<mi>o</mi>
<mi>s</mi>
<mi> </mi>
<msub>
<mi>H</mi>
<mrow>
<mi>n</mi>
<mo>+</mo>
<mn>1</mn>
<mo>,</mo>
<mi>n</mi>
</mrow>
</msub>
</mrow>
</mtd>
</mtr>
</mtable>
</mfenced>
<mfenced open = "(" close = ")">
<mtable>
<mtr>
<mtd>
<msub>
<mi>x</mi>
<mrow>
<mi>n</mi>
<mo>+</mo>
<mn>1</mn>
<mo>,</mo>
<mi>n</mi>
</mrow>
</msub>
</mtd>
</mtr>
<mtr>
<mtd>
<msub>
<mi>y</mi>
<mrow>
<mi>n</mi>
<mo>+</mo>
<mn>1</mn>
<mo>,</mo>
<mi>n</mi>
</mrow>
</msub>
</mtd>
</mtr>
</mtable>
</mfenced>
<mo>+</mo>
<mfenced open = "(" close = ")">
<mtable>
<mtr>
<mtd>
<msub>
<mi>x</mi>
<mi>n</mi>
</msub>
</mtd>
</mtr>
<mtr>
<mtd>
<msub>
<mi>y</mi>
<mi>n</mi>
</msub>
</mtd>
</mtr>
</mtable>
</mfenced>
</mrow>
解算出第得到第n+1个关键帧的全局位置(xn+1，yn+1)；
逐帧迭代，得到关键帧序列中各帧在室内的全局位置。
20.根据权利要求11至16中任意一项所述的基于全局地图导航的机器人，其特征在于，所述导航单元将机器人实时视觉图像与所述全局地图中的关键帧匹配时，按照所述基于内容的图像匹配方法找出取该视频帧最相似的关键帧；然后用SURF算法求取该视频帧与最相似关键帧之间的特征点；
确定所述特征点在最相似关键帧与该视频帧中的坐标(x′n，y′n)、(x′n+1，y′n+1)，然后根据公式：
<mrow>
<mfenced open = "(" close = ")">
<mtable>
<mtr>
<mtd>
<msubsup>
<mi>x</mi>
<mrow>
<mi>n</mi>
<mo>+</mo>
<mn>1</mn>
</mrow>
<mo>&prime;</mo>
</msubsup>
</mtd>
</mtr>
<mtr>
<mtd>
<msubsup>
<mi>y</mi>
<mrow>
<mi>n</mi>
<mo>+</mo>
<mn>1</mn>
</mrow>
<mo>&prime;</mo>
</msubsup>
</mtd>
</mtr>
</mtable>
</mfenced>
<mo>=</mo>
<mfenced open = "(" close = ")">
<mtable>
<mtr>
<mtd>
<mrow>
<mi>cos</mi>
<mi> </mi>
<msub>
<mi>H</mi>
<mrow>
<mi>n</mi>
<mo>+</mo>
<mn>1</mn>
<mo>,</mo>
<mi>n</mi>
</mrow>
</msub>
</mrow>
</mtd>
<mtd>
<mrow>
<mi>s</mi>
<mi>i</mi>
<mi>n</mi>
<mi> </mi>
<msub>
<mi>H</mi>
<mrow>
<mi>n</mi>
<mo>+</mo>
<mn>1</mn>
<mo>,</mo>
<mi>n</mi>
</mrow>
</msub>
</mrow>
</mtd>
</mtr>
<mtr>
<mtd>
<mrow>
<mo>-</mo>
<mi>sin</mi>
<mi> </mi>
<msub>
<mi>H</mi>
<mrow>
<mi>n</mi>
<mo>+</mo>
<mn>1</mn>
<mo>,</mo>
<mi>n</mi>
</mrow>
</msub>
</mrow>
</mtd>
<mtd>
<mrow>
<mi>c</mi>
<mi>o</mi>
<mi>s</mi>
<mi> </mi>
<msub>
<mi>H</mi>
<mrow>
<mi>n</mi>
<mo>+</mo>
<mn>1</mn>
<mo>,</mo>
<mi>n</mi>
</mrow>
</msub>
</mrow>
</mtd>
</mtr>
</mtable>
</mfenced>
<mfenced open = "(" close = ")">
<mtable>
<mtr>
<mtd>
<msub>
<mi>x</mi>
<mrow>
<mi>n</mi>
<mo>+</mo>
<mn>1</mn>
<mo>,</mo>
<mi>n</mi>
</mrow>
</msub>
</mtd>
</mtr>
<mtr>
<mtd>
<msub>
<mi>y</mi>
<mrow>
<mi>n</mi>
<mo>+</mo>
<mn>1</mn>
<mo>,</mo>
<mi>n</mi>
</mrow>
</msub>
</mtd>
</mtr>
</mtable>
</mfenced>
<mo>+</mo>
<mfenced open = "(" close = ")">
<mtable>
<mtr>
<mtd>
<msubsup>
<mi>x</mi>
<mi>n</mi>
<mo>&prime;</mo>
</msubsup>
</mtd>
</mtr>
<mtr>
<mtd>
<msubsup>
<mi>y</mi>
<mi>n</mi>
<mo>&prime;</mo>
</msubsup>
</mtd>
</mtr>
</mtable>
</mfenced>
</mrow>
解算出所述视频帧相对所述最相似关键帧之间的位置差xn+1，n，yn+1，n和航相差Hn+1，n；
将所述最相似关键帧在全局的位置坐标(xn，yn)，代入公式：
<mrow>
<mfenced open = "(" close = ")">
<mtable>
<mtr>
<mtd>
<msub>
<mi>x</mi>
<mrow>
<mi>n</mi>
<mo>+</mo>
<mn>1</mn>
</mrow>
</msub>
</mtd>
</mtr>
<mtr>
<mtd>
<msub>
<mi>y</mi>
<mrow>
<mi>n</mi>
<mo>+</mo>
<mn>1</mn>
</mrow>
</msub>
</mtd>
</mtr>
</mtable>
</mfenced>
<mo>=</mo>
<mfenced open = "(" close = ")">
<mtable>
<mtr>
<mtd>
<mrow>
<mi>cos</mi>
<mi> </mi>
<msub>
<mi>H</mi>
<mrow>
<mi>n</mi>
<mo>+</mo>
<mn>1</mn>
<mo>,</mo>
<mi>n</mi>
</mrow>
</msub>
</mrow>
</mtd>
<mtd>
<mrow>
<mi>s</mi>
<mi>i</mi>
<mi>n</mi>
<mi> </mi>
<msub>
<mi>H</mi>
<mrow>
<mi>n</mi>
<mo>+</mo>
<mn>1</mn>
<mo>,</mo>
<mi>n</mi>
</mrow>
</msub>
</mrow>
</mtd>
</mtr>
<mtr>
<mtd>
<mrow>
<mo>-</mo>
<mi>sin</mi>
<mi> </mi>
<msub>
<mi>H</mi>
<mrow>
<mi>n</mi>
<mo>+</mo>
<mn>1</mn>
<mo>,</mo>
<mi>n</mi>
</mrow>
</msub>
</mrow>
</mtd>
<mtd>
<mrow>
<mi>c</mi>
<mi>o</mi>
<mi>s</mi>
<mi> </mi>
<msub>
<mi>H</mi>
<mrow>
<mi>n</mi>
<mo>+</mo>
<mn>1</mn>
<mo>,</mo>
<mi>n</mi>
</mrow>
</msub>
</mrow>
</mtd>
</mtr>
</mtable>
</mfenced>
<mfenced open = "(" close = ")">
<mtable>
<mtr>
<mtd>
<msub>
<mi>x</mi>
<mrow>
<mi>n</mi>
<mo>+</mo>
<mn>1</mn>
<mo>,</mo>
<mi>n</mi>
</mrow>
</msub>
</mtd>
</mtr>
<mtr>
<mtd>
<msub>
<mi>y</mi>
<mrow>
<mi>n</mi>
<mo>+</mo>
<mn>1</mn>
<mo>,</mo>
<mi>n</mi>
</mrow>
</msub>
</mtd>
</mtr>
</mtable>
</mfenced>
<mo>+</mo>
<mfenced open = "(" close = ")">
<mtable>
<mtr>
<mtd>
<msub>
<mi>x</mi>
<mi>n</mi>
</msub>
</mtd>
</mtr>
<mtr>
<mtd>
<msub>
<mi>y</mi>
<mi>n</mi>
</msub>
</mtd>
</mtr>
</mtable>
</mfenced>
</mrow>
解算出所述视频帧的全局位置(xn+1，yn+1)，实时求取机器人在全局地图中的位置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201611027397.9A CN108072370A (zh) | 2016-11-18 | 2016-11-18 | 基于全局地图的机器人导航方法及用该方法导航的机器人 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201611027397.9A CN108072370A (zh) | 2016-11-18 | 2016-11-18 | 基于全局地图的机器人导航方法及用该方法导航的机器人 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN108072370A true CN108072370A (zh) | 2018-05-25 |
Family
ID=62161083
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201611027397.9A Pending CN108072370A (zh) | 2016-11-18 | 2016-11-18 | 基于全局地图的机器人导航方法及用该方法导航的机器人 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108072370A (zh) |
Cited By (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108748184A (zh) * | 2018-06-13 | 2018-11-06 | 四川长虹电器股份有限公司 | 一种基于区域地图标识的机器人巡逻方法及机器人设备 |
| CN109035291A (zh) * | 2018-08-03 | 2018-12-18 | 重庆电子工程职业学院 | 机器人定位方法及装置 |
| CN109269493A (zh) * | 2018-08-31 | 2019-01-25 | 北京三快在线科技有限公司 | 一种定位方法及装置、移动设备和计算机可读存储介质 |
| CN109506658A (zh) * | 2018-12-26 | 2019-03-22 | 广州市申迪计算机系统有限公司 | 机器人自主定位方法和系统 |
| CN109540122A (zh) * | 2018-11-14 | 2019-03-29 | 中国银联股份有限公司 | 一种构建地图模型的方法及装置 |
| CN110553648A (zh) * | 2018-06-01 | 2019-12-10 | 北京嘀嘀无限科技发展有限公司 | 一种用于室内导航的方法和系统 |
| CN110561416A (zh) * | 2019-08-01 | 2019-12-13 | 深圳市银星智能科技股份有限公司 | 一种激光雷达重定位方法及机器人 |
| CN110561423A (zh) * | 2019-08-16 | 2019-12-13 | 深圳优地科技有限公司 | 位姿变换的方法、机器人及存储介质 |
| CN110595480A (zh) * | 2019-10-08 | 2019-12-20 | 瓴道(上海)机器人科技有限公司 | 一种导航方法、装置、设备和存储介质 |
| CN110647609A (zh) * | 2019-09-17 | 2020-01-03 | 上海图趣信息科技有限公司 | 视觉地图定位方法及系统 |
| WO2020015548A1 (zh) * | 2018-07-19 | 2020-01-23 | 科沃斯机器人股份有限公司 | 机器人控制方法、机器人及存储介质 |
| CN110855601A (zh) * | 2018-08-21 | 2020-02-28 | 华为技术有限公司 | Ar/vr场景地图获取方法 |
| CN111267079A (zh) * | 2018-12-05 | 2020-06-12 | 中国移动通信集团山东有限公司 | 一种智能巡检机器人巡检方法及装置 |
| US20210041886A1 (en) * | 2018-01-24 | 2021-02-11 | Zhuineng Robotics (Shanghai) Co., Ltd. | Multi-device visual navigation method and system in variable scene |
| CN112598743A (zh) * | 2021-02-08 | 2021-04-02 | 智道网联科技(北京)有限公司 | 一种单目视觉图像的位姿估算方法及相关装置 |
| WO2022134057A1 (en) * | 2020-12-25 | 2022-06-30 | Intel Corporation | Re-localization of robot |
| US11965744B2 (en) | 2018-06-01 | 2024-04-23 | Beijing Didi Infinity Technology And Development Co., Ltd. | Systems and methods for indoor positioning |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101281644A (zh) * | 2007-03-08 | 2008-10-08 | 霍尼韦尔国际公司 | 基于视觉的导航和制导系统 |
| CN101650178A (zh) * | 2009-09-09 | 2010-02-17 | 中国人民解放军国防科学技术大学 | 序列图像三维重建中控制特征点与最优局部单应引导的图像匹配方法 |
| KR20100037376A (ko) * | 2008-10-01 | 2010-04-09 | (주)엠앤소프트 | 시설물 상세 데이터를 입체 이미지로 디스플레이하는 방법 및 장치 |
| CN105204505A (zh) * | 2015-09-22 | 2015-12-30 | 深圳先进技术研究院 | 一种基于扫地机器人定位视频采集和制图的系统及方法 |
-
2016
- 2016-11-18 CN CN201611027397.9A patent/CN108072370A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101281644A (zh) * | 2007-03-08 | 2008-10-08 | 霍尼韦尔国际公司 | 基于视觉的导航和制导系统 |
| KR20100037376A (ko) * | 2008-10-01 | 2010-04-09 | (주)엠앤소프트 | 시설물 상세 데이터를 입체 이미지로 디스플레이하는 방법 및 장치 |
| CN101650178A (zh) * | 2009-09-09 | 2010-02-17 | 中国人民解放军国防科学技术大学 | 序列图像三维重建中控制特征点与最优局部单应引导的图像匹配方法 |
| CN105204505A (zh) * | 2015-09-22 | 2015-12-30 | 深圳先进技术研究院 | 一种基于扫地机器人定位视频采集和制图的系统及方法 |
Non-Patent Citations (5)
| Title |
|---|
| PENGJIN CHEN等: "Ceiling Vision Localization with Feature Pairs for Home Service Robots", 《PROCEEDINGS OF THE 2014 IEEE INTERNATIONAL CONFERENCE ON ROBOTICS AND BIOMIMETICS》 * |
| RUI LIN等: "Image Features-Based Mobile Robot Visual SLAM", 《PROCEEDING OF THE IEEE INTERNATIONAL CONFERENCE ON ROBOTICS AND BIOMIMETICS (ROBIO)》 * |
| 吴俊君等: "室内环境仿人机器人快速视觉定位算法", 《中山大学学报(自然科学版)》 * |
| 方辉等: "基于地面特征点匹配的无人驾驶车全局定位", 《机器人》 * |
| 贾松敏等: "基于RGB-D相机的移动机器人三维SLAM", 《华中科技大学学报(自然科学版)》 * |
Cited By (25)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20210041886A1 (en) * | 2018-01-24 | 2021-02-11 | Zhuineng Robotics (Shanghai) Co., Ltd. | Multi-device visual navigation method and system in variable scene |
| US11965744B2 (en) | 2018-06-01 | 2024-04-23 | Beijing Didi Infinity Technology And Development Co., Ltd. | Systems and methods for indoor positioning |
| CN110553648A (zh) * | 2018-06-01 | 2019-12-10 | 北京嘀嘀无限科技发展有限公司 | 一种用于室内导航的方法和系统 |
| CN108748184A (zh) * | 2018-06-13 | 2018-11-06 | 四川长虹电器股份有限公司 | 一种基于区域地图标识的机器人巡逻方法及机器人设备 |
| US11850753B2 (en) | 2018-07-19 | 2023-12-26 | Ecovacs Robotics Co., Ltd. | Robot control method, robot and storage medium |
| US11534916B2 (en) | 2018-07-19 | 2022-12-27 | Ecovacs Robotics Co., Ltd. | Robot control method, robot and storage medium |
| WO2020015548A1 (zh) * | 2018-07-19 | 2020-01-23 | 科沃斯机器人股份有限公司 | 机器人控制方法、机器人及存储介质 |
| CN109035291B (zh) * | 2018-08-03 | 2020-11-20 | 重庆电子工程职业学院 | 机器人定位方法及装置 |
| CN109035291A (zh) * | 2018-08-03 | 2018-12-18 | 重庆电子工程职业学院 | 机器人定位方法及装置 |
| CN110855601B (zh) * | 2018-08-21 | 2021-11-19 | 华为技术有限公司 | Ar/vr场景地图获取方法 |
| CN110855601A (zh) * | 2018-08-21 | 2020-02-28 | 华为技术有限公司 | Ar/vr场景地图获取方法 |
| CN109269493A (zh) * | 2018-08-31 | 2019-01-25 | 北京三快在线科技有限公司 | 一种定位方法及装置、移动设备和计算机可读存储介质 |
| CN109540122A (zh) * | 2018-11-14 | 2019-03-29 | 中国银联股份有限公司 | 一种构建地图模型的方法及装置 |
| CN111267079A (zh) * | 2018-12-05 | 2020-06-12 | 中国移动通信集团山东有限公司 | 一种智能巡检机器人巡检方法及装置 |
| CN109506658B (zh) * | 2018-12-26 | 2021-06-08 | 广州市申迪计算机系统有限公司 | 机器人自主定位方法和系统 |
| CN109506658A (zh) * | 2018-12-26 | 2019-03-22 | 广州市申迪计算机系统有限公司 | 机器人自主定位方法和系统 |
| CN110561416A (zh) * | 2019-08-01 | 2019-12-13 | 深圳市银星智能科技股份有限公司 | 一种激光雷达重定位方法及机器人 |
| CN110561423B (zh) * | 2019-08-16 | 2021-05-07 | 深圳优地科技有限公司 | 位姿变换的方法、机器人及存储介质 |
| CN110561423A (zh) * | 2019-08-16 | 2019-12-13 | 深圳优地科技有限公司 | 位姿变换的方法、机器人及存储介质 |
| CN110647609A (zh) * | 2019-09-17 | 2020-01-03 | 上海图趣信息科技有限公司 | 视觉地图定位方法及系统 |
| CN110647609B (zh) * | 2019-09-17 | 2023-07-18 | 上海图趣信息科技有限公司 | 视觉地图定位方法及系统 |
| CN110595480A (zh) * | 2019-10-08 | 2019-12-20 | 瓴道(上海)机器人科技有限公司 | 一种导航方法、装置、设备和存储介质 |
| WO2022134057A1 (en) * | 2020-12-25 | 2022-06-30 | Intel Corporation | Re-localization of robot |
| CN112598743A (zh) * | 2021-02-08 | 2021-04-02 | 智道网联科技(北京)有限公司 | 一种单目视觉图像的位姿估算方法及相关装置 |
| CN112598743B (zh) * | 2021-02-08 | 2023-10-13 | 智道网联科技(北京)有限公司 | 一种单目视觉图像的位姿估算方法及相关装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108072370A (zh) | 基于全局地图的机器人导航方法及用该方法导航的机器人 | |
| CN111414798B (zh) | 基于rgb-d图像的头部姿态检测方法及系统 | |
| Rogez et al. | Mocap-guided data augmentation for 3d pose estimation in the wild | |
| CN109684925B (zh) | 一种基于深度图像的人脸活体检测方法及设备 | |
| CN107392964B (zh) | 基于室内特征点和结构线结合的室内slam方法 | |
| CN111126304A (zh) | 一种基于室内自然场景图像深度学习的增强现实导航方法 | |
| CN101894366B (zh) | 一种获取标定参数的方法、装置及一种视频监控系统 | |
| CN102834845B (zh) | 用于多摄像装置校准的方法与装置 | |
| CN103988226B (zh) | 用于估计摄像机运动以及用于确定实境三维模型的方法 | |
| CN106997605B (zh) | 一种通过智能手机采集脚型视频和传感器数据获取三维脚型的方法 | |
| CN104794737B (zh) | 一种深度信息辅助粒子滤波跟踪方法 | |
| JP6483832B2 (ja) | Ｒｇｂ−ｄセンサを使用して物体を走査する方法とシステム | |
| Wang et al. | Outdoor markerless motion capture with sparse handheld video cameras | |
| CN110334701A (zh) | 数字孪生环境下基于深度学习和多目视觉的数据采集方法 | |
| CN109613974A (zh) | 一种大场景下的ar家居体验方法 | |
| CN117036612A (zh) | 一种基于神经辐射场的三维重建方法 | |
| Rodríguez et al. | Obstacle avoidance system for assisting visually impaired people | |
| CN105488541A (zh) | 增强现实系统中基于机器学习的自然特征点识别方法 | |
| US20200184656A1 (en) | Camera motion estimation | |
| JP2009121824A (ja) | カメラパラメータ推定装置およびカメラパラメータ推定プログラム | |
| Ugrinovic et al. | Body size and depth disambiguation in multi-person reconstruction from single images | |
| Darujati et al. | Facial motion capture with 3D active appearance models | |
| CN118071873A (zh) | 一种在动态环境下稠密高斯地图重建方法及系统 | |
| Krispel et al. | Automatic texture and orthophoto generation from registered panoramic views | |
| Kwolek et al. | Swarm intelligence based searching schemes for articulated 3D body motion tracking |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WD01 | Invention patent application deemed withdrawn after publication | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20180525 |