CN112053415B - 一种地图构建方法和自行走设备 - Google Patents

一种地图构建方法和自行走设备 Download PDF

Info

Publication number
CN112053415B
CN112053415B CN202010689724.7A CN202010689724A CN112053415B CN 112053415 B CN112053415 B CN 112053415B CN 202010689724 A CN202010689724 A CN 202010689724A CN 112053415 B CN112053415 B CN 112053415B
Authority
CN
China
Prior art keywords
analyzed
area
structural features
map
region
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010689724.7A
Other languages
English (en)
Other versions
CN112053415A (zh
Inventor
刘达
张亮
于坤
顾陈洁
付雷
齐勇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ecovacs Robotics Suzhou Co Ltd
Original Assignee
Ecovacs Robotics Suzhou Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ecovacs Robotics Suzhou Co Ltd filed Critical Ecovacs Robotics Suzhou Co Ltd
Priority to CN202010689724.7A priority Critical patent/CN112053415B/zh
Publication of CN112053415A publication Critical patent/CN112053415A/zh
Application granted granted Critical
Publication of CN112053415B publication Critical patent/CN112053415B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/20—Drawing from basic elements, e.g. lines or circles
    • G06T11/206—Drawing of charts or graphs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/29—Geographical information databases
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Databases & Information Systems (AREA)
  • Remote Sensing (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本申请提供一种地图构建方法，包括：获得待分析区域的测绘数据和待分析区域的待分析区域图像；从待分析区域图像中提取关键结构特征；确定关键结构特征对应的三维坐标；根据关键结构特征的三维坐标和待分析区域的测绘数据，构建待分析区域对应的区域地图。本申请的待分析区域图像是在自行走设备移动的过程中拍摄获得的，并通过从待分析区域图像中直接提取关键结构特征，实现了对于提取关键结构特征实时性；而该关键结构特征是构成区域地图的直接因素，提升构成区域地图的实时性；而后获得关键结构特征对应的三维坐标，并根据关键结构特征的三维坐标和测绘数据，以准确构建待分析区域地图。

Description

一种地图构建方法和自行走设备
技术领域
本申请涉及电子地图领域，具体涉及一种地图构建方法和自行走设备。
背景技术
近年来，随着科技发展，人们对于环境感知与定位建图的性能提出了更高的要求。例如在自行走设备与用户交互方面，多数自行走设备都会将SLAM(simultaneouslocalization and mapping，同步定位与建图)过程中构建的室内的区域地图展现给用户，这样不仅方便用户对自行走设备构建的地图进行确认，还可以为后续用户与自行走设备之间的互动提供基础。
目前，在房屋室内场景下，搭载激光传感器的自行走设备由于其测距的实时性以及广域性等优势，在区域地图构建上能做到实时构建地图，然而由于激光传感器扫描位置侧重地面范围内，所以构建的地图偏向于导航使用的地面障碍物地图，而非该房屋室内对应的房屋户型地图，即地面障碍物地图与需要的房屋户型地图相比直观性较差。而搭载视觉传感器的自行走设备，其一般普遍需要通过多次遍历区域或大范围延边才能为用户提供行驶轨迹范围内的轨迹轮廓地图，这样就无法及时为用户展示相应的房屋户型地图。
因此，如何在提升构建房屋户型地图的准确性的同时，提升构建房屋户型地图的实时性，成为本领域技术人员亟待解决的问题。
发明内容
本申请实施例提供一种地图构建方法，以解决在提升构建房屋户型地图的准确性的同时，提升构建房屋户型地图的实时性的问题。
本申请实施例提供一种地图构建方法，包括：
获得待分析区域的测绘数据和所述待分析区域的待分析区域图像；
从所述待分析区域图像中提取关键结构特征；
确定所述关键结构特征对应的三维坐标；
根据所述关键结构特征的三维坐标和所述待分析区域的测绘数据，构建所述待分析区域对应的区域地图。
可选的，还包括：确定是否有新增待分析区域；
若是，则构建所述新增待分析区域对应的新增区域地图；
将所述新增区域地图与所述区域地图融合，得到所述待分析区域和所述新增待分析区域对应的融合区域地图。
可选的，所述从所述待分析区域图像中提取关键结构特征，包括：
提取所述待分析区域图像中的特征点和/或特征线段；
提取所述待分析区域图像中由所述特征点和/或所述特征线段构成的组合结构特征；
将获得的所述特征点、所述特征线段以及所述组合结构特征作为所述关键结构特征。
可选的，所述组合结构特征至少包括以下结构特征中的一种：内三角锥结构特征、外三角锥结构特征以及转角结构特征。
可选的，所述确定所述关键结构特征对应的三维坐标，包括：
从获得所述待分析区域图像的过程中，获取拍摄关键帧图片时至少两个拍摄点所在位置的拍摄点位置信息；
获得对应于至少两个所述拍摄点位置信息的所述关键结构特征在至少两个所述关键帧图片中的坐标位置；
根据预设参数，至少两个所述拍摄点位置信息，以及对应于至少两个所述拍摄点位置信息的所述关键结构特征在至少两个所述关键帧图片中的坐标位置，确定所述关键结构特征对应的三维坐标。
可选的，所述获取拍摄关键帧图片时至少两个拍摄点所在位置的拍摄点位置信息，包括：
获取拍摄第一关键帧图片时对应的第一拍摄点位置信息，以及获取拍摄第二关键帧图片时对应的第二拍摄点位置信息；
则获得对应于至少两个所述拍摄点位置信息的所述关键结构特征在至少两个所述关键帧图片中的坐标位置，包括：
获得对应于所述第一拍摄点位置信息的所述关键结构特征在所述第一关键帧图片中的第一坐标位置；以及
获得对应于所述第二拍摄点位置信息的所述关键结构特征在所述第二关键帧图片中的第二坐标位置。
可选的，所述根据预设参数，至少两个所述拍摄点位置信息，以及对应于至少两个所述拍摄点位置信息的所述关键结构特征在至少两个所述关键帧图片中的坐标位置，确定所述关键结构特征对应的三维坐标，包括：
获得所述第一拍摄点位置信息和所述第一坐标位置所在的第一投射线；
获得所述第二拍摄点位置信息和所述第二坐标位置所在的第二投射线；
结合所述预设参数，确定所述第一投射线和所述第二投射线的交点位置信息，将所述交点位置信息作为所述关键结构特征对应的三维坐标。
可选的，所述根据所述关键结构特征的三维坐标和所述待分析区域的测绘数据，构建所述待分析区域对应的区域地图，包括：
获得所述待分析区域的测绘数据中的结构高程属性值；
根据所述关键结构特征获得所述待分析区域的对应的拓扑面结构；
结合所述拓扑面结构，确定满足预设阈值的用于构建所述区域地图的子结构特征；
根据所述子结构特征和所述结构高程属性值，构建所述待分析区域对应的区域地图。
可选的，所述结合所述拓扑面结构，确定满足预设阈值的用于构建所述区域地图的子结构特征，包括：
获得拍摄所述待分析区域图像时的拍摄点所在位置的拍摄点位置信息；
获得所述关键结构特征的置信度值；
结合所述拓扑面结构，将满足所述拍摄点位置信息和所述置信度值的所述关键结构特征作为用于构建所述区域地图的子结构特征。
可选的，所述根据所述子结构特征和所述结构高程属性值，构建所述待分析区域对应的区域地图，包括：
获得对应于所述结构高程属性值的所述子结构特征的数量值；
若所述子结构特征的数量值大于预设数量值，则获得所述子结构特征构成的墙体二维轮廓线，依据所述墙体二维轮廓线构建所述待分析区域对应的区域地图。
可选的，所述确定是否有新增待分析区域，包括：
设置坐标体系；
获得待分析区域在所述坐标体系中的第一坐标区域位置；
若在所述坐标体系中获得超出所述第一坐标区域位置的区域，则将超出的所述区域确定为新增待分析区域。
可选的，所述将所述新增区域地图与所述区域地图融合，得到所述待分析区域和所述新增待分析区域对应的融合区域地图，包括：
在所述坐标体系下，获得所述区域地图对应的墙体二维轮廓线和所述新增区域地图对应的新增墙体二维轮廓线；
将所述新增墙体二维轮廓线融合于所述墙体二维轮廓线中，得到所述待分析区域和所述新增待分析区域对应的融合区域地图。
本申请实施例还提供一种自行走设备，包括：深度传感器与处理器；
所述深度传感器用于获得待分析区域的测绘数据和所述待分析区域的待分析区域图像；
所述处理器用于从所述待分析区域图像中提取关键结构特征；确定所述关键结构特征对应的三维坐标；根据所述关键结构特征的三维坐标和所述待分析区域的测绘数据，构建所述待分析区域对应的区域地图。
与现有技术相比，本申请实施例具有以下优点：
本申请实施例提供一种地图构建方法，包括：获得待分析区域的测绘数据和所述待分析区域的待分析区域图像；从所述待分析区域图像中提取关键结构特征；确定所述关键结构特征对应的三维坐标；根据所述关键结构特征的三维坐标和所述待分析区域的测绘数据，构建所述待分析区域对应的区域地图。本申请第一实施例的待分析区域图像是在自行走设备移动的过程中拍摄获得的，并通过从待分析区域图像中直接提取关键结构特征，实现了对于提取关键结构特征实时性；而该关键结构特征是构成区域地图的直接因素，从而提升了获得构成区域地图的实时性；而后获得关键结构特征对应的三维坐标，并根据关键结构特征的三维坐标和待分析区域的测绘数据，准确地构建待分析区域对应的区域地图。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请中记载的一些实施例，对于本领域普通技术人员来讲，还可以根据这些附图获得其它的附图。
图1为本申请第一实施例提供的地图构建方法流程图。
图2-1为本申请第一实施例提供的内三角锥结构特征的示意图。
图2-2为本申请第一实施例提供的外三角锥结构特征的示意图。
图2-3为本申请第一实施例提供的中转角结构特征的示意图。
图3为本申请第一实施例提供的确定关键结构特征对应的三维坐标的示意图。
图4为本申请第一实施例提供的关键结构特征对应的三维坐标的示意图。
图5为本申请第一实施例提供的关键结构特征对应的墙体二维轮廓线的示意图。
图6-1为本申请应用场景中提供的区域地图A的示意图。
图6-2为本申请应用场景中提供的融合区域地图B的示意图。
图6-3为本申请应用场景中提供的融合区域地图C的示意图。
具体实施方式
在下面的描述中阐述了很多具体细节以便于充分理解本申请。但是本申请能够以很多不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本申请内涵的情况下做类似推广，因此，本申请不受下面公开的具体实施的限制。
本申请提供一种地图构建方法与自行走设备，以下采用具体的实施例对本申请的一种地图构建方法与自行走设备进行描述。需要说明的是，所描述的实施例仅仅是本申请一部分的实施例，而不是全部的实施例。基于本申请中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本申请保护的范围。
本申请第一实例提供一种地图构建方法，该地图构建方法应用于自行走设备在行走过程中，以在提升构建房屋户型地图的准确性的同时，提升构建房屋户型地图的实时性。自行走设备可以是清洁设备领域中的行走扫地机器人，也可以是服务领域中的行走机器人，还可以是用于在商场或超市服务的商超机器人。本申请第一实施例中以扫地机器人为例进行说明。当然可以理解的是，自行走设备也可以是应用在其它领域的能够自主移动的设备，其均属于本申请保护的范围。
如图1所示，其为本申请第一实施例提供的地图构建方法流程图。所述方法包括如下步骤。
步骤S101：获得待分析区域的测绘数据和所述待分析区域的待分析区域图像。
本申请第一实施例的地图构建方法，主要介绍的是扫地机器人在居住房间的清扫场景中，针对不同的清扫房间，构建对应房间的轮廓地图。以清扫一个三室一厅的房子为例，在扫地机器人清扫该房子时，会进入不同的房间进行清扫，显然每个房间的构造是不一样的，扫地机器人需要获得不同房间对应的轮廓地图并组合以得到该房子的轮廓地图，而获得轮廓地图需要依据房子的关键结构特征确定。为获得房子的关键结构特征，首先需要获得待分析区域对应的待分析区域图像，而后从待分析区域图像中提取关键结构特征。
具体的，获得待分析区域的待分析区域图像，在本申请第一实施例中，待分析区域具体指房间的内部区域，即室内；也可以是例如四合院中的“小院”等。可以通过安装在扫地机器人内部的深度传感器实现，在本实施例中，深度传感器为安装在扫地机器人内部的视觉传感器或者是相机，通过视觉传感器对待分析区域进行实时拍摄，从而获得待分析区域对应的待分析区域图像。其中，需要说明的是，基于扫地机器人在清扫房间时是不断移动的，视觉传感器可以对待分析区域进行实时拍摄，以使得所获得的待分析区域图像是由扫地机器人在对应时刻所在的拍摄点对应拍摄的关键帧图片构成的。例如，在第一时刻9时15分13秒，扫地机器人位于第一拍摄点，视觉传感器可在第一拍摄点拍摄到第一关键帧图片；再如，在第二时刻9时19分13秒，扫地机器人位于第二拍摄点，视觉传感器可在第二拍摄点拍摄到第二关键帧图片。以此类推，扫地机器人通过视觉传感器可在不同时刻所在的拍摄点获得不同的关键帧图片，并将这些关键帧图片组合为待分析区域图像。当然，还可以理解的是，若扫地机器人通过视觉传感器只获得有一张关键帧图片，则可将该关键帧图片作为待分析区域图像。
在本申请第一实施例中，还需要获得待分析区域的测绘数据。测绘数据可以通过定位传感器获得，也可以通过房产中心的数据库获得等等。待分析区域的测绘数据主要是用于表征构造房屋的房屋构造数据，即在实际的构造房屋的过程中，房屋是依据房屋构造数据构造出来的，例如，房屋构造数据包括房屋建造的地理位置数据、楼层高度数据、房屋面积数据，分户布局的属性信息(即客厅、主卧、次卧等分户属性信息)等等。
在本申请第一实施例中，待分析区域的测绘数据具体可以包括面状几何数据、分户房间属性数据以及分户房间的真实地理坐标数据。其中，面状几何数据可以直观的反映分户房间在各个楼层中的分布位置，以及各个分户房间之间的相对位置关系。其中，分户房间是指一个房子具有客厅、主卧、次卧等房间，每个房间称为分户房间。分户房间属性数据可以通过面状几何数据和分户布局的属性信息匹配得到，例如，面状几何数据为30m2，分户布局的属性信息为主卧，则分户房间属性数据为主卧30m2。分户房间属性数据还包括有结构高程属性值，该结构高程属性值具体是指分户房间的墙体的高度值，例如，主卧的墙体高度值是3m。从而，通过待分析区域的测绘数据可以清楚地获知构造分户房间所使用的房屋构造数据，例如，将主卧构建在整个房子的A位置，主卧面积为30m2，主卧的墙体高度为3m等。待分析区域的测绘数据还有很多，只要是能够表征构造房屋的房屋构造数据，均是本申请第一实施例所要保护的范围。
步骤S102：从所述待分析区域图像中提取关键结构特征。
在步骤S101获得待分析区域的待分析区域图像后，从待分析区域图像中提取关键结构特征。在本申请第一实施例中，待分析区域图像中的关键结构特征是指可表征房屋结构的特征，且主要是表征房屋的墙体结构的特征。当然，若待分析区域的构造结构不是墙体，而是支撑架等结构，则可获得待分析区域图像中的可表征待分析区域的构造结构的支撑架结构。本申请第一实施例所阐述的关键结构特征是指可表征房屋结构的特征，并不限制本申请的保护范围。
从待分析区域图像中提取关键结构特征，具体包括：首先，提取待分析区域图像中的特征点和/或特征线段，其中，特征点和特征线段均是与待分析区域图像中的房屋墙体图片相匹配的特征点和特征线段。之所以该特征点和特征线段需要与房屋墙体图片相匹配，是因为扫地机器人的视觉传感器在获得待分析区域图像时，待分析区域图像中不单只有包含墙体的图片，其还涉及到分户房间内陈设物品的图片，例如分户房间中的茶几的图片、沙发的图片等等，而这些图片也对应有相关的特征点和/或特征线段。但是这些反映茶几、沙发的特征点和/或特征线段并不可以为构建分户房间对应的地图所使用的，因此，需要剔除这些无关的特征点和/或特征线段，从而获得与待分析区域图像中的房屋墙体图片相匹配的特征点和特征线段。
具体的，获得待分析区域图像中不同高度位置的特征点和特征线段，并获得不同高度位置的特征点和特征线段的特征权重值，将得到的不同高度位置的特征点和特征线段的特征权重值与预设特征权重值比较，若其中一些特征点和特征线段的特征权重值大于预设特征权重值，则将该特征权重值对应的特征点和特征线段与待分析区域图像中的房屋墙体图片相匹配，从而得到与待分析区域图像中的房屋墙体图片相匹配的特征点和特征线段。反之，将小于预设特征权重值对应的特征点和特征线段与待分析区域图像中的茶几、沙发的图片相匹配，从而得到与待分析区域图像中的茶几、沙发的图片相匹配的特征点和特征线段。
其中，需要说明的是，在本步骤中，待分析区域图像中的点特征可以通过sift(Scale-invariant feature transform，尺度不变特征变换)特征算法、或surf(SpeededUp Robust Feature，加速稳健特征)特征算法等在图像中进行提取并描述。特征线段的提取可以使用LSD(Line Segment Detector，直线段检测)算法，特征线段的描述则可以采取LBD(Line Band Discriptor，直线段描述)算法等。且基于上述算法不是本申请第一实施例所要阐述的重点，故在此不作详细说明。
然后，提取待分析区域图像中由特征点和/或特征线段构成的组合结构特征，该组合结构特征即为具有房屋结构意义的特征，组合结构特征具体可以是以下结构特征中的一种：内三角锥结构特征、外三角锥结构特征以及转角结构特征。其中，组合结构特征可以是由特征点和/或特征线段的集合区域构成，如图2-1至图2-3所示，三线交汇的集合锥型区域，其所对应的是房间中的内三角锥结构特征或外三角锥结构特征；再如，过竖直方向灭点的线及散布在其周围的点的集合区域，其所对应的则是房间中转角结构特征。最后，将获得的特征点、特征线段以及组合结构特征作为关键结构特征。
步骤S103：确定所述关键结构特征对应的三维坐标。
在从待分析区域图像中提取到关键结构特征后，确定关键结构特征对应的三维坐标。
具体的，结合上述内容，待分析区域图像是由扫地机器人在各个时刻所在的拍摄点对应拍摄的关键帧图片构成的，因此，在从待分析区域图像中提取到关键结构特征后，确定关键结构特征对应的三维坐标，首先需要从获得待分析区域图像的过程中，获取拍摄关键帧图片时至少两个拍摄点所在位置的拍摄点位置信息。具体为，获取拍摄第一关键帧图片时对应的第一拍摄点位置信息，以及获取第二关键帧图片对应的第二拍摄点位置信息。
在获取拍摄关键帧图片时对应的至少两个拍摄点位置信息后，获得对应于至少两个所述拍摄点位置信息的关键结构特征在至少两个关键帧图片中的坐标位置，具体的，获得对应于第一拍摄点位置信息的关键结构特征在第一关键帧图片中的第一坐标位置，以及获得对应于第二拍摄点位置信息的关键结构特征在第二关键帧图片中的第二坐标位置。其中，在本步骤中，对应于第一拍摄点位置信息和对应于第二拍摄点位置信息的关键结构特征为同一关键结构特征。也就是说，当在第一拍摄点位置信息所拍摄的第一关键帧图片中的关键结构特征，可在第二拍摄点位置信息所拍摄的第二关键帧图片中通过匹配的方式得到。具体为，获得第一关键帧图片中的关键结构特征的特征信息，获得第二关键帧图片中所有的结构特征的特征信息，将所述关键结构特征的特征信息与结构特征的特征信息相匹配，从而在结构特征的特征信息中匹配到与关键结构特征的特征信息相匹配的特征信息，该匹配的特征信息所对应的结构特征即为在第二关键帧图片中的关键结构特征。
最后，根据预设参数，至少两个所述拍摄点位置信息，以及对应于至少两个拍摄点位置信息的关键结构特征在至少两个关键帧图片中的坐标位置，确定关键结构特征对应的三维坐标。具体的，基于第一拍摄点位置信息是一个坐标点，第一坐标位置也是一个坐标点，则可以第一拍摄点位置信息的坐标点为起始点，作过经第一坐标位置的坐标点的第一投射线，即获得第一拍摄点位置信息和第一坐标位置所在的第一投射线。同样的，基于第二拍摄点位置信息是一个坐标点，第二坐标位置也是一个坐标点，则可以第二拍摄点位置信息的坐标点为起始点，作过经第二坐标位置的坐标点的第二投射线，即获得第二拍摄点位置信息和第二坐标位置所在的第二投射线。而后，结合预设参数，确定第一投射线和第二投射线的交点位置信息，将交点位置信息作为关键结构特征对应的三维坐标。其中，预设参数为扫地机器人的视觉传感器的内参。确定的关键结构特征对应的三维坐标示意图可参见图3所示。
在本申请第一实施例中，可结合图4举例说明，在k-1时刻，扫地机器人的视觉传感器识别到关键结构特征X，该关键结构特征X具体可以是特征点和/或特征线段和/或组合结构特征，此时视觉传感器位姿(拍摄点位置)为Pk-1位置，第一关键帧图片中对应该关键结构特征X的图像的位置为uk-1位置。在k时刻，扫地机器人的视觉传感器通过描述、匹配的方式再次识别到该关键结构特征X在第二关键帧图片中对应该关键结构特征X的图像的位置为uk处，此时视觉传感器位姿为Pk位置，在已知视觉传感器的内参的前提下，即可通过两条投射线的交点得到关键结构特征X的三维坐标。
需要说明的是，由于关键结构特征对应的三维坐标是世界坐标系下的坐标，而第一坐标位置的坐标是二维像素坐标，第一拍摄点位置信息是相机坐标系下的坐标，为了得到相应的坐标参数，则可通过如下方式获取，具体的，根据投影原理，如果两张不同位置的图像看到同一个点，则有如下约束关系：
uk-1＝KTk-1X，uk＝KTkX；
其中，uk-1和uk分别是k-1时刻和k时刻的图像中被观测点的二维像素坐标，Tk-1和Tk是视觉传感器在世界坐标系下位姿P相关的矩阵T(P)；K是视觉传感器的内参；X是关键结构特征的世界坐标。在已知uk-1、uk、Tk-1、Tk以及K的前提下，可以求得X。其中，X为世界坐标系下的坐标，TX为点在相机坐标系下的坐标，KTX为点在图像坐标系下的二维像素坐标。
还需要说明的是，获得关键结构特征的三维坐标的方式、方法还有很多，只要是能够得到关键结构特征的三维坐标的方式、方法，均是本申请第一实施例所要保护的范围。
步骤S104：根据所述关键结构特征的三维坐标和所述待分析区域的测绘数据，构建所述待分析区域对应的区域地图。
结合上述内容，待分析区域的测绘数据主要是用于表征构造房屋的房屋构造数据，测绘数据具体可以有分户房间属性数据，且分户房间属性数据包括有结构高程属性值，该结构高程属性值具体是指分户房间的墙体的高度值。在得到关键结构特征的三维坐标后，可根据关键结构特征的三维坐标和待分析区域的测绘数据，构建待分析区域对应的区域地图。具体可参见如下描述的方式。
首先，根据关键结构特征获得待分析区域的对应的拓扑面结构，拓扑面结构可以直观的反映分户房间在各个楼层中的分布位置，以及各个分户房间之间的相对位置关系。
然后，结合所述拓扑面结构，确定满足预设阈值的用于构建区域地图的子结构特征。其中，用于构建区域地图的子结构特征可以理解为上述关键结构特征中的结构特征，且是与分析区域图像中的房屋墙体图片相匹配的关键结构特征。确定满足预设阈值的用于构建区域地图的子结构特征可通过如下方式确定，获得拍摄待分析区域图像时的拍摄点所在位置的拍摄点位置信息，以及获得关键结构特征的置信度值(在统计学中，一个概率样本的置信区间(是对这个样本的某个总体参数的区间估计。置信区间展现的是这个参数的真实值有一定概率落在测量结果的周围的程度)，而后，结合拓扑面结构，将满足拍摄点位置信息和置信度值的关键结构特征作为用于构建区域地图的子结构特征。
具体解释如下，由于扫地机器人的拍摄是在待分析区域(例如主卧这个房间)的内部，所以该待分析区域的拓扑面结构必然包含扫地机器人所有的拍摄点位置信息。而且该待分析区域的拓扑面结构也必然会覆盖置信度值较高的关键结构特征，所以可结合拓扑面结构，将满足拍摄点位置信息和置信度值的关键结构特征作为用于构建区域地图的子结构特征。
当然，需要补充说明的是，结合实际的房屋构造，房屋墙体的内三角锥结构特征、外三角锥结构特征以及转角结构特征，相对于房间的低处而言，其更高概率会出现在房间的高处位置。因此，可获得待分析区域图像中不同高度位置的关键结构特征的特征权重值，并将特征权重值较高的关键结构特征确定为用于构建区域地图的子结构特征。当然，确定用于构建区域地图的子结构特征的方式还有很多，只要是用于确定构建区域地图的子结构特征的方式、方法，均是本申请第一实施例所要保护的范围。
最后，根据子结构特征和结构高程属性值，构建待分析区域对应的区域地图。其中，基于区域地图的轮廓线主要是基于房屋墙体的二维轮廓线描绘成的，所以当通过子结构特征确定了对应的房屋墙体结构时，也可确定房屋墙体的二维轮廓线(如图5所示)，从而可得到待分析区域对应的区域地图。具体的，获得对应于结构高程属性值的子结构特征的数量值，结构高程属性值是指房屋墙体的高度值，房屋墙体在高度方向上的每个高度值所对应的子结构特征的数量是不一样的，房屋墙体的高度值越大，其所对应的子结构特征的数量越多。也可反推出当子结构特征的数量较多时，子结构特征所对应的建筑结构即为墙体。继而，在本步骤中，可预先设置子结构特征的预设数量值，若子结构特征的数量值大于预设数量值，则可确定该子结构特征所构成的房屋墙体，从而获得子结构特征构成的墙体二维轮廓线，进而依据墙体二维轮廓线构建待分析区域对应的区域地图。
进一步的，在本申请第一实施例中，基于一个房子设置有不同的房间，例如主卧、客厅、厨房，其可统称为分户房间。当扫地机器人进入到主卧房间时，其可得到主卧房间对应的区域地图，当其进入到厨房时，其可得到厨房对应的区域地图，但是这些不同房间对应的区域地图都是相对独立的，为了直观的呈现整个房子的地图，则需要将这些不同的区域地图融合为对应于整个房子的地图。
具体的，在扫地机器人获得到当前的待分析区域对应的区域地图后，还包括：确定是否有新增待分析区域，该步骤具体包括，首先，设置坐标体系，该坐标体系为世界坐标体系。且在该坐标体系下，整个房子的每个分户房间可对应有各自的坐标区域。当扫地机器人进入到其中一个分户房间时，可获得对应该分户房间的坐标区域。在本步骤中，将其中一个分户房间确定为待分析区域，该待分析区域对应的坐标区域为第一坐标区域位置，从而可获得待分析区域在该坐标体系中的第一坐标区域位置。而后，扫地机器人继续行驶，当其在该坐标体系中获得超出第一坐标区域位置的区域，则将超出的区域确定为新增待分析区域，新增待分析区域的即为另外一个分户房间。
在确定有新增待分析区域后，构建新增待分析区域对应的新增区域地图，基于构建新增待分析区域对应的新增区域地图，与上述构建待分析区域对应的区域地图方法相同，此处则不作重复说明。在获得新增区域地图后，将新增区域地图与当前的区域地图融合，得到待分析区域和新增待分析区域对应的融合区域地图。具体的，对应于前述，待分析区域的区域地图是基于墙体二维轮廓线构成的，所以，在该坐标体系下，获得区域地图对应的墙体二维轮廓线和新增区域地图对应的新增墙体二维轮廓线，基于获得新增区域地图对应的新增墙体二维轮廓线，与上述获得区域地图对应的墙体二维轮廓线的方法步骤相同，此处则不作重复说明。最后，将新增墙体二维轮廓线融合于墙体二维轮廓线中，得到待分析区域和新增待分析区域对应的融合区域地图。可见，本申请第一实施例可以构建出具有户型属性的地图。
本申请第一实施例提供了一种地图构建方法，包括：获得待分析区域的测绘数据和所述待分析区域的待分析区域图像；从所述待分析区域图像中提取关键结构特征；确定所述关键结构特征对应的三维坐标；根据所述关键结构特征的三维坐标和所述待分析区域的测绘数据，构建所述待分析区域对应的区域地图。本申请第一实施例的待分析区域图像是在自行走设备移动的过程中拍摄获得的，并通过从待分析区域图像中直接提取关键结构特征，实现了对于提取关键结构特征实时性；而该关键结构特征是构成区域地图的直接因素，从而提升了获得构成区域地图的实时性；而后获得关键结构特征对应的三维坐标，并根据关键结构特征的三维坐标和待分析区域的测绘数据，准确地构建待分析区域对应的区域地图。
在上述的第一实施例中，提供了一种地图构建方法，与之相对应的，本申请第二实施例提供一种自行走设备。由于自行走设备的工作方法的实施例基本相似于方法实施例，所以描述得比较简单，关于自行走设备的相关描述请参见第一实施例的介绍，以下对自行走设备的阐述仅仅是示意性的。
本实施例提供一种自行走设备，包括：深度传感器与处理器；
所述深度传感器用于获得待分析区域的测绘数据和所述待分析区域的待分析区域图像；
所述处理器用于从所述待分析区域图像中提取关键结构特征；确定所述关键结构特征对应的三维坐标；根据所述关键结构特征的三维坐标和所述待分析区域的测绘数据，构建所述待分析区域对应的区域地图。
可选的，所述自行走设备为清洁机器人。
可选的，所述深度传感器为视觉传感器。
应用场景1
结合图6-1至图6-3所示，扫地机器人应用在用于居住的三室一厅的房子中，图6-1为客厅的区域地图A，并将客厅记为分户房间1，分户房间1对应的区域地图记为区域地图(1)。图6-2为主卧和客厅的融合区域地图B，并将主卧记为分户房间2，分户房间2对应的区域地图记为区域地图(2)，图6-3为主卧、客厅、次卧、厨房以及阳台的融合区域地图C，并将次卧、厨房以及阳台记为分户房间3、分户房间4以及分户房间5，分户房间3、分户房间4以及分户房间5分别对应的区域地图分别记为区域地图(3)、区域地图(4)、区域地图(5)。当扫地机器人处于工作状态时，其先驶入分户房间1中，通过扫描分户房间1的墙体，获得包含有分户房间1的墙体的图像，并从该图像中提取关键结构特征，以及确定关键结构特征对应的三维坐标，再根据关键结构特征的三维坐标和分户房间1的测绘数据，从而获得分户房间1对应的区域地图(1)，也是融合区域地图A。当扫地机器人驶入分户房间2时，通过扫描分户房间2的墙体，获得包含有分户房间2的墙体的图像，并从该图像中提取关键结构特征，以及确定关键结构特征对应的三维坐标，再根据关键结构特征的三维坐标和分户房间2的测绘数据，其可获得分户房间2对应的区域地图(2)，并将区域地图(1)和区域地图(2)融合，以得到融合区域地图B。当扫地机器人分别驶入分户房间3、分户房间4以及分户房间5后，其可获得分户房间3、分户房间4以及分户房间5分别对应的区域地图(3)、区域地图(4)以及区域地图(5)，并将区域地图(1)、区域地图(2)、区域地图(3)、区域地图(4)和区域地图(5)融合，以得到融合区域地图C。其中，融合区域地图C即为用于居住的三室一厅的房子户型地图。
应用场景2
服务机器人应用在商场或超市中，且商场或超市的分货区域通过隔离架分隔，也就是说，商场或超市中的隔离架可以作为类似墙体的结构，将用于不同售货的区域分隔。可设定有售货区域1，售货区域2和售货区域3，这三个售货区域之间通过隔离架隔离。当服务机器人处于工作状态时，其先驶入售货区域1中，通过扫描售货区域1的隔离架，获得包含有售货区域1的隔离架的图像，并从该图像中提取关键结构特征，以及确定关键结构特征对应的三维坐标，再根据关键结构特征的三维坐标和售货区域1的测绘数据，从而获得售货区域1对应的区域地图(1)，也是融合区域地图A。当服务机器人驶入售货区域2时，通过扫描售货区域2的隔离架，获得包含有售货区域2的隔离架的图像，并从该图像中提取关键结构特征，以及确定关键结构特征对应的三维坐标，再根据关键结构特征的三维坐标和售货区域2的测绘数据，其可获得售货区域2对应的区域地图(2)，并将区域地图(1)和区域地图(2)融合，以得到融合区域地图B。当服务机器人驶入售货区域3后，通过扫描售货区域3的隔离架，获得包含有售货区域3的隔离架的图像，并从该图像中提取关键结构特征，以及确定关键结构特征对应的三维坐标，再根据关键结构特征的三维坐标和售货区域3的测绘数据，其可获得售货区域3对应的区域地图(3)，并将区域地图(1)、区域地图(2)以及区域地图(3)融合，以得到融合区域地图C。其中，融合区域地图C即为商场或超市的户型地图。
本申请虽然以较佳实施例公开如上，但其并不是用来限定本申请，任何本领域技术人员在不脱离本申请的精神和范围内，都可以做出可能的变动和修改，因此本申请的保护范围应当以本申请权利要求所界定的范围为准。
在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。
1、计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括非暂存电脑可读存储媒体(non-transitorycomputer readable storage media)，如调制的数据信号和载波。
2、本领域技术人员应明白，本申请的实施例可提供为方法、系统或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

Claims (13)

1.一种地图构建方法，其特征在于，包括：
获得待分析区域的测绘数据和所述待分析区域的待分析区域图像；
从所述待分析区域图像中提取关键结构特征；
确定所述关键结构特征对应的三维坐标；
根据所述关键结构特征的三维坐标和所述待分析区域的测绘数据，构建所述待分析区域对应的区域地图；所述关键结构特征是指可表征房屋结构的特征。
2.根据权利要求1所述的地图构建方法，其特征在于，还包括：确定是否有新增待分析区域；
若是，则构建所述新增待分析区域对应的新增区域地图；
将所述新增区域地图与所述区域地图融合，得到所述待分析区域和所述新增待分析区域对应的融合区域地图。
3.根据权利要求1所述的地图构建方法，其特征在于，所述从所述待分析区域图像中提取关键结构特征，包括：
提取所述待分析区域图像中的特征点和/或特征线段；
提取所述待分析区域图像中由所述特征点和/或所述特征线段构成的组合结构特征；
将获得的所述特征点、所述特征线段以及所述组合结构特征作为所述关键结构特征。
4.根据权利要求3所述的地图构建方法，其特征在于，所述组合结构特征至少包括以下结构特征中的一种：内三角锥结构特征、外三角锥结构特征以及转角结构特征。
5.根据权利要求1所述的地图构建方法，其特征在于，所述确定所述关键结构特征对应的三维坐标，包括：
从获得所述待分析区域图像的过程中，获取拍摄关键帧图片时至少两个拍摄点所在位置的拍摄点位置信息；
获得对应于至少两个所述拍摄点位置信息的所述关键结构特征在至少两个所述关键帧图片中的坐标位置；
根据预设参数，至少两个所述拍摄点位置信息，以及对应于至少两个所述拍摄点位置信息的所述关键结构特征在至少两个所述关键帧图片中的坐标位置，确定所述关键结构特征对应的三维坐标。
6.根据权利要求5所述的地图构建方法，其特征在于，所述获取拍摄关键帧图片时至少两个拍摄点所在位置的拍摄点位置信息，包括：
获取拍摄第一关键帧图片时对应的第一拍摄点位置信息，以及获取拍摄第二关键帧图片时对应的第二拍摄点位置信息；
则获得对应于至少两个所述拍摄点位置信息的所述关键结构特征在至少两个所述关键帧图片中的坐标位置，包括：
获得对应于所述第一拍摄点位置信息的所述关键结构特征在所述第一关键帧图片中的第一坐标位置；以及
获得对应于所述第二拍摄点位置信息的所述关键结构特征在所述第二关键帧图片中的第二坐标位置。
7.根据权利要求6所述的地图构建方法，其特征在于，所述根据预设参数，至少两个所述拍摄点位置信息，以及对应于至少两个所述拍摄点位置信息的所述关键结构特征在至少两个所述关键帧图片中的坐标位置，确定所述关键结构特征对应的三维坐标，包括：
获得所述第一拍摄点位置信息和所述第一坐标位置所在的第一投射线；
获得所述第二拍摄点位置信息和所述第二坐标位置所在的第二投射线；
结合所述预设参数，确定所述第一投射线和所述第二投射线的交点位置信息，将所述交点位置信息作为所述关键结构特征对应的三维坐标。
8.根据权利要求1所述的地图构建方法，其特征在于，所述根据所述关键结构特征的三维坐标和所述待分析区域的测绘数据，构建所述待分析区域对应的区域地图，包括：
获得所述待分析区域的测绘数据中的结构高程属性值；
根据所述关键结构特征获得所述待分析区域的对应的拓扑面结构；
结合所述拓扑面结构，确定满足预设阈值的用于构建所述区域地图的子结构特征；
根据所述子结构特征和所述结构高程属性值，构建所述待分析区域对应的区域地图。
9.根据权利要求8所述的地图构建方法，其特征在于，所述结合所述拓扑面结构，确定满足预设阈值的用于构建所述区域地图的子结构特征，包括：
获得拍摄所述待分析区域图像时的拍摄点所在位置的拍摄点位置信息；
获得所述关键结构特征的置信度值；
结合所述拓扑面结构，将满足所述拍摄点位置信息和所述置信度值的所述关键结构特征作为用于构建所述区域地图的子结构特征。
10.根据权利要求9所述的地图构建方法，其特征在于，所述根据所述子结构特征和所述结构高程属性值，构建所述待分析区域对应的区域地图，包括：
获得对应于所述结构高程属性值的所述子结构特征的数量值；
若所述子结构特征的数量值大于预设数量值，则获得所述子结构特征构成的墙体二维轮廓线，依据所述墙体二维轮廓线构建所述待分析区域对应的区域地图。
11.根据权利要求2所述的地图构建方法，其特征在于，所述确定是否有新增待分析区域，包括：
设置坐标体系；
获得待分析区域在所述坐标体系中的第一坐标区域位置；
若在所述坐标体系中获得超出所述第一坐标区域位置的区域，则将超出的所述区域确定为新增待分析区域。
12.根据权利要求11所述的地图构建方法，其特征在于，所述将所述新增区域地图与所述区域地图融合，得到所述待分析区域和所述新增待分析区域对应的融合区域地图，包括：
在所述坐标体系下，获得所述区域地图对应的墙体二维轮廓线和所述新增区域地图对应的新增墙体二维轮廓线；
将所述新增墙体二维轮廓线融合于所述墙体二维轮廓线中，得到所述待分析区域和所述新增待分析区域对应的融合区域地图。
13.一种自行走设备，其特征在于，包括：深度传感器与处理器；
所述深度传感器用于获得待分析区域的测绘数据和所述待分析区域的待分析区域图像；
所述处理器用于从所述待分析区域图像中提取关键结构特征；确定所述关键结构特征对应的三维坐标；根据所述关键结构特征的三维坐标和所述待分析区域的测绘数据，构建所述待分析区域对应的区域地图；所述关键结构特征是指可表征房屋结构的特征。
CN202010689724.7A 2020-07-17 2020-07-17 一种地图构建方法和自行走设备 Active CN112053415B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010689724.7A CN112053415B (zh) 2020-07-17 2020-07-17 一种地图构建方法和自行走设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010689724.7A CN112053415B (zh) 2020-07-17 2020-07-17 一种地图构建方法和自行走设备

Publications (2)

Publication Number Publication Date
CN112053415A CN112053415A (zh) 2020-12-08
CN112053415B true CN112053415B (zh) 2023-08-01

Family

ID=73601859

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010689724.7A Active CN112053415B (zh) 2020-07-17 2020-07-17 一种地图构建方法和自行走设备

Country Status (1)

Country Link
CN (1) CN112053415B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113693493B (zh) * 2021-02-10 2023-03-10 北京石头创新科技有限公司 区域地图绘制方法及装置、介质及电子设备
CN113506369A (zh) * 2021-07-13 2021-10-15 阿波罗智能技术(北京)有限公司 用于生成地图的方法、装置、电子设备和介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105043396A (zh) * 2015-08-14 2015-11-11 北京进化者机器人科技有限公司 一种移动机器人室内自建地图的方法和系统
CN107393003A (zh) * 2017-08-07 2017-11-24 苍穹数码技术股份有限公司 一种基于云计算的三维房屋自动建模的方法与实现
CN107798720A (zh) * 2016-08-30 2018-03-13 中兴通讯股份有限公司 一种地图绘制方法及其装置、移动终端
CN109737974A (zh) * 2018-12-14 2019-05-10 中国科学院深圳先进技术研究院 一种3d导航语义地图更新方法、装置及设备

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105043396A (zh) * 2015-08-14 2015-11-11 北京进化者机器人科技有限公司 一种移动机器人室内自建地图的方法和系统
CN107798720A (zh) * 2016-08-30 2018-03-13 中兴通讯股份有限公司 一种地图绘制方法及其装置、移动终端
CN107393003A (zh) * 2017-08-07 2017-11-24 苍穹数码技术股份有限公司 一种基于云计算的三维房屋自动建模的方法与实现
CN109737974A (zh) * 2018-12-14 2019-05-10 中国科学院深圳先进技术研究院 一种3d导航语义地图更新方法、装置及设备

Also Published As

Publication number Publication date
CN112053415A (zh) 2020-12-08

Similar Documents

Publication Publication Date Title
US11645781B2 (en) Automated determination of acquisition locations of acquired building images based on determined surrounding room data
Pintore et al. State‐of‐the‐art in automatic 3D reconstruction of structured indoor environments
Tran et al. Shape grammar approach to 3D modeling of indoor environments using point clouds
Du et al. Interactive 3D modeling of indoor environments with a consumer depth camera
Cabral et al. Piecewise planar and compact floorplan reconstruction from images
Borrmann et al. A mobile robot based system for fully automated thermal 3D mapping
WO2021057797A1 (zh) 定位方法及装置、终端、存储介质
US11632602B2 (en) Automated determination of image acquisition locations in building interiors using multiple data capture devices
Gao et al. Robust RGB-D simultaneous localization and mapping using planar point features
CN112053415B (zh) 一种地图构建方法和自行走设备
CN115393386B (zh) 三维场景图的生成方法、装置、设备及可读存储介质
Yue et al. Fast 3D modeling in complex environments using a single Kinect sensor
TWI775247B (zh) 合併來自地圖建立裝置之局部地圖
Nyaruhuma et al. Verification of 2D building outlines using oblique airborne images
Pintore et al. Effective mobile mapping of multi-room indoor structures
TW202309834A (zh) 模型重建方法及電子設備和電腦可讀儲存介質
CN113298708A (zh) 三维房型的生成方法、装置及设备
CN109064533A (zh) 一种3d漫游方法及系统
Rau A line-based 3D roof model reconstruction algorithm: Tin-merging and reshaping (TMR)
Nikoohemat et al. Change detection from point clouds to support indoor 3D cadastre
Nguyen et al. Interactive syntactic modeling with a single-point laser range finder and camera
Biber et al. 3d modeling of indoor environments for a robotic security guard
Jiang et al. Construction of indoor obstacle element map based on scene-aware priori obstacle rules
Turner 3D Modeling of Interior Building Environments and Objects from Noisy Sensor Suites
Ogura et al. Ground object recognition and segmentation from aerial image‐based 3D point cloud

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant