CN109389677B - 房屋三维实景地图的实时构建方法、系统、装置及存储介质 - Google Patents

房屋三维实景地图的实时构建方法、系统、装置及存储介质 Download PDF

Info

Publication number
CN109389677B
CN109389677B CN201710652794.3A CN201710652794A CN109389677B CN 109389677 B CN109389677 B CN 109389677B CN 201710652794 A CN201710652794 A CN 201710652794A CN 109389677 B CN109389677 B CN 109389677B
Authority
CN
China
Prior art keywords
house
mobile robot
real
information
dimensional
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710652794.3A
Other languages
English (en)
Other versions
CN109389677A (zh
Inventor
曹开齐
刘晓峰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ankobot Shanghai Smart Technologies Co ltd
Original Assignee
Ankobot Shanghai Smart Technologies Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ankobot Shanghai Smart Technologies Co ltd filed Critical Ankobot Shanghai Smart Technologies Co ltd
Priority to CN201710652794.3A priority Critical patent/CN109389677B/zh
Publication of CN109389677A publication Critical patent/CN109389677A/zh
Application granted granted Critical
Publication of CN109389677B publication Critical patent/CN109389677B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/05—Geographic models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/08—Indexing scheme for image data processing or generation, in general involving all processing steps from image acquisition to 3D model generation

Abstract

本发明提供一种房屋三维实景地图的实时构建方法、系统、装置及存储介质，包括以下步骤：接收移动机器人所发送来的房屋的视频图像和移动机器人的里程信息；基于所述移动机器人的里程信息获取所述视频图像中图像帧与图像帧之间的尺度信息；基于vSLAM技术获取所述视频图像的关键帧，并通过所述尺度信息和所述移动机器人的位姿获取所述关键帧的三维图像信息；基于所述关键帧的三维图像信息构建房屋的三维实景地图。本发明的房屋三维实景地图的实时构建方法、系统、装置及存储介质能够基于vSLAM技术实时构建房屋三维实景地图，从而为扫地机器人规划最优路线等应用提供所需的房屋三维实景地图。

Description

房屋三维实景地图的实时构建方法、系统、装置及存储介质
技术领域
本发明涉及图像处理的技术领域，特别是涉及一种房屋三维实景地图的实时构建方法、系统、装置及存储介质。
背景技术
随着生活质量的提高，扫地机器人被广泛使用。现有技术中，扫地机器人通常通过超声波与碰撞感应自动走遍室内位置，并在房间之间穿行，按照行为规则设定，其运动轨迹可勾勒出房间轮廓及结构等，然后利用勾勒出的房间轮廓及结构记忆绘制房间的地图，以便按照绘制的房间地图进行规划式的打扫。
但是现有的室内地图绘制是超声波和碰撞感应自动侦测障碍物后自行闪避碰撞和转弯移动，然后再结合定位系统根据扫地机器人的清扫路线绘制房间地图，往往由于房间内摆放的家具电器位置复杂或者临时存在的一些障碍物而造成绘制的房间地图不准确。当室内的物体位置发生变化时，原来绘制的地图就会产生很大误差，即使针对绘制的房间地图规划再好的清扫路线，也无法满足以最优化的路线将整个房间清扫干净的需求，大大降低了扫地机器人的工作效率。
发明内容
鉴于以上所述现有技术的缺点，本发明的目的在于提供一种房屋三维实景地图的实时构建方法、系统、装置及存储介质，能够基于vSLAM技术实时构建房屋三维实景地图，从而为扫地机器人规划最优路线等应用提供所需的房屋三维实景地图。
为实现上述目的及其他相关目的，本发明提供一种房屋三维实景地图的实时构建方法，包括以下步骤：接收移动机器人所发送来的房屋的视频图像和移动机器人的里程信息；基于所述移动机器人的里程信息获取所述视频图像中图像帧与图像帧之间的尺度信息；基于vSLAM技术获取所述视频图像的关键帧，并通过所述尺度信息和所述移动机器人的位姿获取所述关键帧的三维图像信息；基于所述关键帧的三维图像信息构建房屋的三维实景地图。
于本发明一实施例中，基于vSLAM技术获取所述视频图像的关键帧包括以下步骤；
基于运动分析法，获取当前帧与上一关键帧之间的相似度；
若当前帧和上一关键帧相似度小于预设阈值，则判定当前帧为关键帧。
于本发明一实施例中，基于关键帧的三维图像信息中的vSLAM特征点对关键帧进行匹配拼接以构建房屋的三维实景地图。
对应地，本发明还提供一种房屋三维实景地图的实时构建系统，包括接收模块、第一获取模块、第二获取模块和构建模块；
所述接收模块用于接收移动机器人所发送来的房屋的视频图像和移动机器人的里程信息；
所述第一获取模块用于基于所述移动机器人的里程信息获取所述视频图像中图像帧与图像帧之间的尺度信息；
所述第二获取模块用于基于vSLAM技术获取所述视频图像的关键帧 ，并通过所述尺度信息和所述移动机器人的位姿获取所述关键帧的三维图像信息；
所述构建模块用于基于所述关键帧的三维图像信息构建房屋的三维实景地图。
于本发明一实施例中，所述第二获取模块基于vSLAM技术获取所述视频图像的关键帧时执行以下操作；
基于运动分析法，获取当前帧与上一关键帧之间的相似度；
若当前帧和上一关键帧相似度小于预设阈值，则判定当前帧为关键帧。
于本发明一实施例中，所述构建模块基于关键帧的三维图像信息中的vSLAM特征点对关键帧进行匹配拼接以构建房屋的三维实景地图。
同时，本发明还提供一种存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述的房屋三维实景地图的实时构建方法。
于本发明一实施例中，所述存储介质采用ROM、RAM、磁碟和光盘中的一种或多种组合。
另外，本发明还提供一种房屋三维实景地图的实时构建装置，包括通信模块、处理器和存储器；
所述通信模块用于接收移动机器人所发送来的房屋的视频图像和移动机器人的里程信息；
所述存储器用于存储计算机程序；
所述处理器用于基于所述通信模块接收到的房屋的视频图像和移动机器人的里程信息，执行所述存储器存储的计算机程序，以实现如上述的房屋三维实景地图的实时构建方法。
另外，本发明还提供一种房屋三维实景地图的实时构建装置，包括通信模块、处理器和存储器；
所述通信模块用于接收移动机器人所发送来的房屋的视频图像和移动机器人的里程信息；
所述存储器用于存储计算机程序；
所述处理器用于基于所述通信模块接收到的房屋的视频图像和移动机器人的里程信息，执行所述存储器存储的计算机程序，以实现如权利要求1所述的房屋三维实景地图的实时构建方法。
最后，本发明还提供一种房屋三维实景地图的实时构建系统，包括移动机器人以及与所述移动机器人通信连接的上述的房屋三维实景地图的实时构建装置；
所述移动机器人用于获取房屋的视频图像，并将所述视频图像和对应的移动机器人的里程信息发送至所述房屋三维实景地图的实时构建装置。
如上所述，本发明的房屋三维实景地图的实时构建方法、系统、装置及存储介质，具有以下有益效果：
（1）能够基于vSLAM技术实时构建房屋三维实景地图；
（2）所构建地图清楚准确，实时性强；
（3）能够供扫地机器人根据得到的房屋三维实景地图来规划最优路线，以提升扫地机器人的工作效率。
附图说明
图1显示为本发明的房屋三维实景地图的实时构建方法于一实施例中的流程图；
图2显示为本发明的房屋三维实景地图的实时构建系统于一实施例中的结构示意图；
图3显示为本发明的房屋三维实景地图的实时构建装置于一实施例中的结构示意图；
图4显示为本发明的房屋三维实景地图的实时构建系统于另一实施例中的结构示意图。
元件标号说明
1 房屋三维实景地图的实时构建系统
11 接收模块
12 第一获取模块
13 第二获取模块
13 构建模块
2 房屋三维实景地图的实时构建装置
21 通信模块
22 处理器
23 存储器
3 房屋三维实景地图的实时构建系统
31 移动机器人
32 房屋三维实景地图的实时构建装置
具体实施方式
以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。
需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，遂图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。
同步定位与建图（Simultaneous Localization and Mapping，SLAM）问题可以描述为机器人在未知环境中从一个未知位置开始移动,在移动过程中根据位置估计和地图进行自身定位，同时在自身定位的基础上建造增量式地图，实现机器人的自主定位和导航。vSLAM即为基于视觉的同时定位与建图，其通过摄像头来获取图像，进而进行同步定位与建图，从而具有更高的建模精度。
本发明的房屋三维实景地图的实时构建方法、系统、装置及存储介质正是基于vSLAM技术实时构建房屋三维实景地图，从而能够为扫地机器人规划最优路线等应用提供所需的房屋三维实景地图。
如图1所示，于一实施例中，本发明的房屋三维实景地图的实时构建方法包括以下步骤：
步骤S1、接收移动机器人所发送来的房屋的视频图像和移动机器人的里程信息。
具体地，移动机器人发送来的房屋的视频图像为2D视频图像。
步骤S2、基于所述移动机器人的里程信息获取所述视频图像中图像帧与图像帧之间的尺度信息。
步骤S3、基于vSLAM技术获取所述视频图像的关键帧，并通过所述尺度信息和所述移动机器人的位姿获取所述关键帧的三维图像信息。
具体地，基于运动分析法，获取当前帧与上一关键帧之间的相似度，若当前帧和上一关键帧相似度小于预设阈值，则判定当前帧为关键帧。因此，通过对视频图像进行分析，可以获取该视频图像中所有的关键帧。
所述位姿由移动机器人提供，包含位置和姿态。其中位置是通过移动机器人驱动轮上的编码器计算得到两个驱动轮的里程计信息，并通过两个里程计进行航位推算，从而获取移动机器人的位置和航向角；姿态是指前述的航向角以及移动机器人的陀螺仪信息。
步骤S4、基于所述关键帧的三维图像信息构建房屋的三维实景地图。
具体地，通过关键帧的三维图像信息中的vSLAM特征点对关键帧进行匹配拼接从而构建房屋的三维实景地图。
如图2所示，于一实施例中，本发明的房屋三维实景地图的实时构建系统1包括接收模块11、第一获取模块12、第二获取模块13和构建模块14。
所述接收模块11用于接收移动机器人所发送来的房屋的视频图像和移动机器人的里程信息。
具体地，移动机器人发送来的房屋的视频图像为2D视频图像。
所述第一获取模块12与所述接收模块11相连，用于基于所述移动机器人的里程信息获取所述视频图像中图像帧与图像帧之间的尺度信息。
所述第二获取模块13与所述接收模块11和所述第一获取模块12相连，用于基于vSLAM技术获取所述视频图像的关键帧，并通过所述尺度信息和所述移动机器人的位姿获取所述关键帧的三维图像信息。
具体地，基于运动分析法，获取当前帧与上一关键帧之间的相似度，若当前帧和上一关键帧相似度小于预设阈值，则判定当前帧为关键帧。因此，通过对视频图像进行分析，可以获取该视频图像中所有的关键帧。
所述位姿由移动机器人提供，包含位置和姿态。其中位置是通过移动机器人驱动轮上的编码器计算得到两个驱动轮的里程计信息，并通过两个里程计进行航位推算，从而获取移动机器人的位置和航向角；姿态是指前述的航向角以及移动机器人的陀螺仪信息。
所述构建模块14与所述第二获取模块13相连，用于基于所述关键帧的三维图像信息构建房屋的三维实景地图。
具体地，通过关键帧的三维图像信息中的vSLAM特征点对关键帧进行匹配拼接从而构建房屋的三维实景地图。
本发明的存储介质上存储有计算机程序，该程序被处理器执行时实现上述任一项所述的房屋三维实景地图的实时构建方法。优选地，所述存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
如图3所示，于一实施例中，本发明的房屋三维实景地图的实时构建装置2包括通信模块21、处理器22和存储器23。
所述通信模块21用于接收移动机器人所发送来的房屋的视频图像和移动机器人的里程信息。
所述存储器23用于存储计算机程序。
所述处理器22与所述通信模块21和所述存储器23相连，用于基于所述通信模块21接收到的房屋的视频图像和移动机器人的里程信息，执行所述存储器23存储的计算机程序，以实现上述的房屋三维实景地图的实时构建方法。
如图4所示，于另一实施例中，本发明的房屋三维实景地图的实时构建系统3包括移动机器人31以及与所述移动机器人31通信连接的上述的房屋三维实景地图的实时构建装置32。
所述移动机器人31用于获取房屋的视频图像，并将所述视频图像和对应的移动机器人的里程信息发送至所述房屋三维实景地图的实时构建装置32。
综上所述，本发明的房屋三维实景地图的实时构建方法、系统、装置及存储介质能够基于vSLAM技术实时构建房屋三维实景地图；所构建地图清楚准确，实时性强；能够供扫地机器人根据得到的房屋三维实景地图来规划最优路线，以提升扫地机器人的工作效率。所以，本发明有效克服了现有技术中的种种缺点而具高度产业利用价值。
上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。

Claims (6)

1.一种房屋三维实景地图的实时构建方法，其特征在于，包括以下步骤：
接收移动机器人所发送来的房屋的视频图像和移动机器人的里程信息；
基于所述移动机器人的里程信息获取所述视频图像中图像帧与图像帧之间的尺度信息；
基于vSLAM技术获取所述视频图像的关键帧，包括：
基于运动分析法，获取当前帧与上一关键帧之间的相似度；
若当前帧和上一关键帧相似度小于预设阈值，则判定当前帧为关键帧；
通过所述尺度信息和所述移动机器人的位姿获取所述关键帧的三维图像信息；其中，所述位姿包括位置和姿态，所述位置是通过移动机器人驱动轮上的编码器计算得到两个驱动轮的里程计信息，并通过两个里程计进行航位推算，从而获取移动机器人的位置和航向角，所述姿态是指所述航向角及所述移动机器人的陀螺仪信息；
基于所述关键帧的三维图像信息中的vSLAM特征点对关键帧进行匹配拼接以构建房屋的三维实景地图。
2.一种房屋三维实景地图的实时构建系统，其特征在于：包括接收模块、第一获取模块、第二获取模块和构建模块；
所述接收模块用于接收移动机器人所发送来的房屋的视频图像和移动机器人的里程信息；
所述第一获取模块用于基于所述移动机器人的里程信息获取所述视频图像中图像帧与图像帧之间的尺度信息；
所述第二获取模块用于基于vSLAM技术获取所述视频图像的关键帧，并通过所述尺度信息和所述移动机器人的位姿获取所述关键帧的三维图像信息；其中，所述位姿包括位置和姿态，所述位置是通过移动机器人驱动轮上的编码器计算得到两个驱动轮的里程信息，并通过两个里程计进行航位推算，从而获取移动机器人的位置和航向角，所述姿态是指所述航向角及所述移动机器人的陀螺仪信息；所述第二获取模块基于vSLAM技术获取所述视频图像的关键帧时执行以下操作：
基于运动分析法，获取当前帧与上一关键帧之间的相似度；
若当前帧和上一关键帧相似度小于预设阈值，则判定当前帧为关键帧；
所述构建模块用于基于所述关键帧的三维图像信息中的vSLAM特征点对关键帧进行匹配拼接以构建房屋的三维实景地图。
3.一种存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现权利要求1所述的房屋三维实景地图的实时构建方法。
4.根据权利要求3所述的存储介质，其特征在于：所述存储介质采用ROM、RAM、磁碟和光盘中的一种或多种组合。
5.一种房屋三维实景地图的实时构建装置，其特征在于：包括通信模块、处理器和存储器；
所述通信模块用于接收移动机器人所发送来的房屋的视频图像和移动机器人的里程信息；
所述存储器用于存储计算机程序；
所述处理器用于基于所述通信模块接收到的房屋的视频图像和移动机器人的里程信息，执行所述存储器存储的计算机程序，以实现如权利要求1所述的房屋三维实景地图的实时构建方法。
6.一种房屋三维实景地图的实时构建系统，其特征在于：包括移动机器人以及与所述移动机器人通信连接的权利要求5所述的房屋三维实景地图的实时构建装置；
所述移动机器人用于获取房屋的视频图像，并将所述视频图像和对应的移动机器人的里程信息发送至所述房屋三维实景地图的实时构建装置。
CN201710652794.3A 2017-08-02 2017-08-02 房屋三维实景地图的实时构建方法、系统、装置及存储介质 Active CN109389677B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710652794.3A CN109389677B (zh) 2017-08-02 2017-08-02 房屋三维实景地图的实时构建方法、系统、装置及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710652794.3A CN109389677B (zh) 2017-08-02 2017-08-02 房屋三维实景地图的实时构建方法、系统、装置及存储介质

Publications (2)

Publication Number Publication Date
CN109389677A CN109389677A (zh) 2019-02-26
CN109389677B true CN109389677B (zh) 2022-10-18

Family

ID=65412106

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710652794.3A Active CN109389677B (zh) 2017-08-02 2017-08-02 房屋三维实景地图的实时构建方法、系统、装置及存储介质

Country Status (1)

Country Link
CN (1) CN109389677B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111248815B (zh) * 2020-01-16 2021-07-16 珠海格力电器股份有限公司 一种工作地图的生成方法、装置、设备及存储介质
CN114935341B (zh) * 2022-07-25 2022-11-29 深圳市景创科技电子股份有限公司 一种新型slam导航计算视频识别方法及装置

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2730888A1 (en) * 2012-11-07 2014-05-14 Ecole Polytechnique Federale de Lausanne EPFL-SRI Method to determine a direction and amplitude of a current velocity estimate of a moving device
CN105188516B (zh) * 2013-03-11 2017-12-22 奇跃公司 用于增强和虚拟现实的系统与方法
US20150371440A1 (en) * 2014-06-19 2015-12-24 Qualcomm Incorporated Zero-baseline 3d map initialization
EP3182157B1 (en) * 2015-12-14 2020-04-15 Leica Geosystems AG Method for creating a spatial model with a hand-held distance measuring device
CN105976402A (zh) * 2016-05-26 2016-09-28 同济大学 一种单目视觉里程计的真实尺度获取方法
CN106251399B (zh) * 2016-08-30 2019-04-16 广州市绯影信息科技有限公司 一种基于lsd-slam的实景三维重建方法及实施装置
CN106803270A (zh) * 2017-01-13 2017-06-06 西北工业大学深圳研究院 无人机平台基于单目slam的多关键帧协同地面目标定位方法
CN106887037B (zh) * 2017-01-23 2019-12-17 杭州蓝芯科技有限公司 一种基于gpu和深度相机的室内三维重建方法
CN106920279B (zh) * 2017-03-07 2018-06-19 百度在线网络技术（北京）有限公司 三维地图构建方法和装置

Also Published As

Publication number Publication date
CN109389677A (zh) 2019-02-26

Similar Documents

Publication Publication Date Title
US20210109537A1 (en) Autonomous exploration framework for indoor mobile robotics using reduced approximated generalized voronoi graph
US11215461B1 (en) Method for constructing a map while performing work
CN109682368B (zh) 机器人及地图构建方法、定位方法、电子设备、存储介质
CN109186606B (zh) 一种基于slam和图像信息的机器人构图及导航方法
Davison et al. MonoSLAM: Real-time single camera SLAM
CN110675307A (zh) 基于vslam的3d稀疏点云到2d栅格图的实现方法
CN110874100A (zh) 用于使用视觉稀疏地图进行自主导航的系统和方法
CN109470233B (zh) 一种定位方法及设备
JP2014222551A (ja) Ｖｓｌａｍ最適化のための方法
CN111664843A (zh) 一种基于slam的智能仓储盘点方法
CN111260751B (zh) 基于多传感器移动机器人的建图方法
CN111679664A (zh) 基于深度相机的三维地图构建方法及扫地机器人
CN110260866A (zh) 一种基于视觉传感器的机器人定位与避障方法
CN113888691A (zh) 构建建筑场景语义地图的方法、装置及储存介质
CN109389677B (zh) 房屋三维实景地图的实时构建方法、系统、装置及存储介质
CN111380515A (zh) 定位方法及装置、存储介质、电子装置
CN111768489B (zh) 一种室内导航地图构建方法和系统
CN109636897B (zh) 一种基于改进RGB-D SLAM的Octomap优化方法
CN111609854A (zh) 基于多个深度相机的三维地图构建方法及扫地机器人
CA2894863A1 (en) Indoor localization using crowdsourced data
CN112162561A (zh) 一种地图构建优化方法、装置、介质及设备
Tiozzo Fasiolo et al. Combining LiDAR SLAM and deep learning-based people detection for autonomous indoor mapping in a crowded environment
CN110853098A (zh) 机器人定位方法、装置、设备及存储介质
CN113009908A (zh) 一种无人设备的运动控制方法、装置、设备及存储介质
CN116380039A (zh) 一种基于固态激光雷达和点云地图的移动机器人导航系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant