CN113191423A - 一种基于slam的用于土地监管的穿戴设备 - Google Patents

一种基于slam的用于土地监管的穿戴设备 Download PDF

Info

Publication number
CN113191423A
CN113191423A CN202110464207.4A CN202110464207A CN113191423A CN 113191423 A CN113191423 A CN 113191423A CN 202110464207 A CN202110464207 A CN 202110464207A CN 113191423 A CN113191423 A CN 113191423A
Authority
CN
China
Prior art keywords
slam
camera
optimization
constraint
pose
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110464207.4A
Other languages
English (en)
Inventor
何赛灵
赵启雄
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Taizhou Anqiling Intelligent Technology Co ltd
Original Assignee
Taizhou Anqiling Intelligent Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Taizhou Anqiling Intelligent Technology Co ltd filed Critical Taizhou Anqiling Intelligent Technology Co ltd
Priority to CN202110464207.4A priority Critical patent/CN113191423A/zh
Publication of CN113191423A publication Critical patent/CN113191423A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开一种基于SLAM的用于土地监管的穿戴设备，包括图像采集模块、SLAM定位建图模块和软件分析模块。其中图像采集模块由一个可穿戴设备和一个3D图像采集器件组成，这个3D图像采集器件可以是单目相机、双目相机、RGBD深度相机等各种3D扫描设备，主要用来获取地形建筑的三维信息；SLAM定位建图模块主要通过SLAM定位与建图技术来对建筑地形进行定位和建图；软件分析模块主要运用现在主流的3D重建技术来讲目标数据和参考数据进行解析。

Description

一种基于SLAM的用于土地监管的穿戴设备
技术领域
本发明涉及地形勘探与测绘领域，特别是涉及一种基于SLAM的用于土地监管的穿戴设备。
背景技术
在现代日新月异的城市建设离不开国家基础设施建设的规划，在这中间就避免不了大量征用土地的支持;因此国有土地监管局承担着大量的土地征用任务，在涉及土地赔偿的法案中明确指出了受赔偿保护的建筑类型（法定永久性建筑），因此必须有一个行之有效的监测方案识别受保护类型以防止争端;但是就目前来看，国家主要是通过卫星遥感以其无人机高空侦查等方式来进行土地信息的收集的，由于部分居民区地形复杂导致无法收集到地面建筑信息，而且当时无法辨别目标建筑是否为永久性建筑，对现场地形的描述不能满足要求，比如：由于自然环境（比如大树、云雾等）的遮挡而导致的高空视野盲区；由于俯视视角导致的建筑物高度以及层数信息的缺失；当时对非永久性建筑（如铁皮窝棚等非水泥类建筑）的误识别现象；人为性的地形变迁等等。
发明内容
1、一种基于SLAM的用于土地监管的穿戴设备，其特征在于：包括图像采集模块、SLAM定位建图模块和软件分析模块;
2、在一种可选的实施方式中：图像采集模块主要用于图像信息的采集，可以是基于单目、双目、RGBD等主流3D相机的任意一种，采集设备将会嵌入到帽子、眼镜等穿戴设备之中。以下假设第一次扫描得到的数据模型为参考模型m1，第二次扫描得到的数据模型为m2;
3、在一种可选的实施方式中：SLAM定位建图模块主要是通过SLAM来对m1，m2进行形貌恢复;
SLAM 前端也就是视觉里程计（VO），它根据相邻图像的信息粗略的估计出相机的运动，给后端提供较好的初始值;
特征点的提取主要有SIFT,SURF,ORB等算法;特征点由关键点（Key-point)和描述子（Descriper)两部分组成;SIFT(Scale Invariant Feature Transform 尺度不变特征变换）计算量大，普通 PC 的 CPU还无法实时地计算 SIFT 特征，进行定位与建图;所以适用场景并不多;ORB（Oriented FAST and Rotated BRIEF）特征改进了 FAST 检测子不具有方向性的问题，并采用速度极快的二进制描述子BRIEF，是最符合应用场景的特征点提取算法;根据匹配点对，估计相机运动。当相机为单目时，我们只知道 2D 的像素坐标，因而问题是根据两组 2D 点估计运动;该问题用对极几何来解决；当相机为双目、RGB-D 时，或者我们通过某种方法得到了距离信息，那问题就是根据两组 3D 点估计运动；该问题通常用ICP 来解决；如果有 3D 点和它们在相机的投影位置，也能估计相机的运动;该问题通过PnP求解;
4、在一种可选的实施方式中：SLAM优化后端完成工作主要是对视觉前端得到的不够准确的相机位姿和重建地图进行优化微调;在视觉前端中，不管是进行位姿估计还是建图，都是利用相邻帧之间的关系来完成的，这种依赖局部约束且不停地链式进行的算法，必将导致优化误差逐帧累积，最终产生一个较大的误差漂移;后端优化的思路就是从全局（整个相机运动过程）中选取一些关键帧，利用这些关键帧之间的关系建立起时间和空间跨度更大的、需要同时满足的全局约束，以优化之前得到的不够准确的各帧的相机位姿，实际上就是完成一个Bundle Adjustment（最小化重投影误差）。该全局优化问题可以通过建立和优化位姿图（pose graph）来求解;位姿图是以关键帧的全局位姿作为图的节点，以关键帧之间的相对位姿误差作为图的边的权重，通过令整个图的所有边的权重值总和最小，来优化得到每个图节点的值;;
在相机的运动过程中，有时候会重复地观测到以前观测过的区域（revisitedareas），而由于视觉前端带来的误差漂移，会导致再次对这些区域进行建图时，会与先前在同一区域建图的结果不重合，即出现了重影现象;因此在后端优化中，另一个重要的工作是进行闭环（loop closure）检测;所谓闭环检测，其实就是判断在相机的运动轨迹上，有没有观测到先前观测过的区域，而这些区域，就是闭环点;
用于闭环检测的常用算法主要有：词袋模型和随机蕨算法;词袋模型首先对一个图像帧上的描述子进行聚类：一个关于描述子的聚类称之为一个词，所有不同的词的集合称之为字典;对于在字典中和在单帧图像中出现频率较高的词，给予其较高的权重。当对比两个图像帧之间的相似度时，只要在这两个图像帧上，逐个词地进行权重对比即可，常用的用于衡量权重差异的尺度为L1范数;
在检测出闭环点之后，就可以利用闭环点建立起一个跨度较大的全局约束，其实就是将视觉前端中的单向链式约束的头尾相连，并根据头尾相连处的位姿必须相等作为一个自洽条件，进而将这个约束条件反馈到闭合后的整个环式结构的优化中，使得每个历史帧的位姿优化不仅依赖于其过去的图像帧的约束，也依赖于其未来的图像帧的约束;这样的优化过程鲁棒性更好，因为对不同的优化方向作出贡献的噪声将借由多约束条件在一定程度上相互抵消，误差漂移现象也因此得到改善;
5、在一种可选的实施方式中：软件分析模块主要包括对重构之后模型m1，m2的点云信息进行比对，以m1为基准，遍历m2进行离群点检测，将离群点悉数返回，分析离群模型是否为加盖、地形变迁等情况，另外通过对m1的高光谱信息进行分析，检测材料是否为水泥等受保护的持久性建筑;
当所述的软件分析模块经过比对两次的形貌数据之后，提取出大片的离群点云并存储，可以通过不同的颜色标注m2相对于m1中的离群点用以可视化，可视化之后的点云数据就是最终结果;
相比于现有技术，本发明公布了一种基于SLAM（Simultaneous Localization andMapping）的用于土地监管的穿戴设备，通过图像采集与软件分析来快速准确的扫描并处理相关的地形地貌信息;整个设备嵌入在如帽子、眼镜等可穿戴设备之上，使用方面只需要工作人员穿戴着该设备围绕着目标区域进行移动，移动过程也是采集地形信息的过程;不仅仅可以重构出三维信息，也可以通过增加高光谱信息或者RGB颜色信息来分辨建筑材料的种类来鉴别目标建筑是否为永久性建筑等;软件方面通过不同时间的地形采集与对比，就可以检测出地形地貌的变迁，适用于多种复杂地形。
附图说明
图1为本发明运行原理的示意图;
其中1-图像采集模块、2-SLAM建图与定位模块、3-软件分析模块。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例；基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围；
如图1所示，首先由图像采集模块1来对建筑形貌进行图像采集，得到参考的数据模型m1并记录m1的时间戳，之后将m1的形貌信息传递给SLAM定位与建图模块2，通过SLAM定位与建图最终得到m1的点云模型；然后以同样的方法获得第二次采集的数据m2的点云模型，软件分析模块3通过分析m2与m1的离群点模型可以判断是否为加盖建筑或者地形变迁等不合理认为活动；
本发明提出了基于帽子、眼镜等穿戴设备的土地监控方案，另外也可以其他硬件设备作为载体，只要使用到了本发明专利的核心思想的不同设备，同样在本发明专利的保护范围之内，例如：不同的特征点算法以及不同的SLAM后端优化算法均在本发明专利的保护范围之内；单目相机、双目相机或者3D形貌检测等任意一项单独实施方案同样在本发明专利的保护范围之内；也可以使用RGBY四色相机辅助高光谱检测辨别目标建筑是否为法定永久性建筑；或者单独使用RGBY四色相机同样在本专利保护范围之内。

Claims (5)

1.一种基于SLAM的用于土地监管的穿戴设备，其特征在于：包括图像采集模块、SLAM定位建图模块和软件分析模块。
2.根据权利要求1所述的一种基于SLAM的用于土地监管的穿戴设备，其特征在于：图像采集模块主要用于图像信息的采集，可以是基于单目、双目、RGBD等主流3D相机的任意一种，采集设备将会嵌入到帽子、眼镜等穿戴设备之中;
以下假设第一次扫描得到的数据模型为参考模型m1，第二次扫描得到的数据模型为m2。
3.根据权利要求1所述的一种基于SLAM的用于土地监管的穿戴设备，其特征在于SLAM定位建图模块主要是通过SLAM来对m1，m2进行形貌恢复;
SLAM 前端也就是视觉里程计（VO），它根据相邻图像的信息粗略的估计出相机的运动，给后端提供较好的初始值;
特征点的提取主要有SIFT, SURF, ORB等算法;特征点由关键点（Key-point)和描述子（Descriper)两部分组成;SIFT (Scale Invariant Feature Transform； 尺度不变特征变换）计算量大，普通 PC 的 CPU还无法实时地计算 SIFT 特征，进行定位与建图;所以适用场景并不多;ORB（Oriented FAST and Rotated BRIEF）特征改进了 FAST 检测子不具有方向性的问题，并采用速度极快的二进制描述子BRIEF，是最符合应用场景的特征点提取算法;根据匹配点对，估计相机运动;当相机为单目时，我们只知道 2D 的像素坐标，因而根据两组 2D 点估计运动;该问题用对极几何来解决；当相机为双目、RGB-D 时，或者我们通过某种方法得到了距离信息，那问题就是根据两组 3D 点估计运动；该问题通常用 ICP 来解决；如果有 3D 点和它们在相机的投影位置，也能估计相机的运动;该问题通过 PnP求解。
4.根据权利要求1所述的一种基于SLAM的用于土地监管的穿戴设备，其特征在于：SLAM优化后端完成工作主要是对视觉前端得到的不够准确的相机位姿和重建地图进行优化微调;在视觉前端中，不管是进行位姿估计还是建图，都是利用相邻帧之间的关系来完成的，这种依赖局部约束且不停地链式进行的算法，必将导致优化误差逐帧累积，最终产生一个较大的误差漂移;后端优化的思路就是从全局（整个相机运动过程）中选取一些关键帧，利用这些关键帧之间的关系建立起时间和空间跨度更大的、需要同时满足的全局约束，以优化之前得到的不够准确的各帧的相机位姿，实际上就是完成一个Bundle Adjustment（最小化重投影误差）;该全局优化问题可以通过建立和优化位姿图（pose graph）来求解;位姿图是以关键帧的全局位姿作为图的节点，以关键帧之间的相对位姿误差作为图的边的权重，通过令整个图的所有边的权重值总和最小，来优化得到每个图节点的值;
在相机的运动过程中，有时候会重复地观测到以前观测过的区域（revisited areas），而由于视觉前端带来的误差漂移，会导致再次对这些区域进行建图时，会与先前在同一区域建图的结果不重合，即出现了重影现象;因此在后端优化中，另一个重要的工作是进行闭环（loop closure）检测;所谓闭环检测，其实就是判断在相机的运动轨迹上，有没有观测到先前观测过的区域，而这些区域，就是闭环点;
用于闭环检测的常用算法主要有：词袋模型和随机蕨算法;词袋模型首先对一个图像帧上的描述子进行聚类：一个关于描述子的聚类称之为一个词，所有不同的词的集合称之为字典;对于在字典中和在单帧图像中出现频率较高的词，给予其较高的权重;当对比两个图像帧之间的相似度时，只要在这两个图像帧上，逐个词地进行权重对比即可，常用的用于衡量权重差异的尺度为L1范数;
在检测出闭环点之后，就可以利用闭环点建立起一个跨度较大的全局约束，其实就是将视觉前端中的单向链式约束的头尾相连，并根据头尾相连处的位姿必须相等作为一个自洽条件，进而将这个约束条件反馈到闭合后的整个环式结构的优化中，使得每个历史帧的位姿优化不仅依赖于其过去的图像帧的约束，也依赖于其未来的图像帧的约束;这样的优化过程鲁棒性更好，因为对不同的优化方向作出贡献的噪声将借由多约束条件在一定程度上相互抵消，误差漂移现象也因此得到改善。
5.根据权利要求1所述的一种基于SLAM的用于土地监管的穿戴设备，其特征在于：软件分析模块主要包括对重构之后模型m1，m2的点云信息进行比对，以m1为基准，遍历m2进行离群点检测，将离群点悉数返回，分析离群模型是否为加盖、地形变迁等情况，另外通过对m1的高光谱信息进行分析，检测材料是否为水泥等受保护的持久性建筑。
CN202110464207.4A 2021-04-28 2021-04-28 一种基于slam的用于土地监管的穿戴设备 Pending CN113191423A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110464207.4A CN113191423A (zh) 2021-04-28 2021-04-28 一种基于slam的用于土地监管的穿戴设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110464207.4A CN113191423A (zh) 2021-04-28 2021-04-28 一种基于slam的用于土地监管的穿戴设备

Publications (1)

Publication Number Publication Date
CN113191423A true CN113191423A (zh) 2021-07-30

Family

ID=76980219

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110464207.4A Pending CN113191423A (zh) 2021-04-28 2021-04-28 一种基于slam的用于土地监管的穿戴设备

Country Status (1)

Country Link
CN (1) CN113191423A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113885519A (zh) * 2021-10-27 2022-01-04 北京小乔机器人科技发展有限公司 一种控制机器人自动跟随的方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113885519A (zh) * 2021-10-27 2022-01-04 北京小乔机器人科技发展有限公司 一种控制机器人自动跟随的方法

Similar Documents

Publication Publication Date Title
US11816829B1 (en) Collaborative disparity decomposition
EP1606766B1 (en) Automatic processing of aerial images
CN109598794B (zh) 三维gis动态模型的构建方法
CN108648194B (zh) 基于cad模型三维目标识别分割和位姿测量方法及装置
CN111047695B (zh) 一种城市群高度空间信息及等高线的提取方法
US20080089577A1 (en) Feature extraction from stereo imagery
Barazzetti et al. True-orthophoto generation from UAV images: Implementation of a combined photogrammetric and computer vision approach
Singh et al. Automated structural discontinuity mapping in a rock face occluded by vegetation using mobile laser scanning
EP3274964B1 (en) Automatic connection of images using visual features
CN104966063A (zh) 基于gpu与cpu协同计算的矿井多摄像机视频融合方法
Kuschk Large scale urban reconstruction from remote sensing imagery
Gerke et al. Supervised and unsupervised MRF based 3D scene classification in multiple view airborne oblique images
Fei et al. Ossim: An object-based multiview stereo algorithm using ssim index matching cost
Guo et al. Extraction of dense urban buildings from photogrammetric and LiDAR point clouds
Widyaningrum et al. Comprehensive comparison of two image-based point clouds from aerial photos with airborne LiDAR for large-scale mapping
Dhiman et al. A multi-frame stereo vision-based road profiling technique for distress analysis
CN113191423A (zh) 一种基于slam的用于土地监管的穿戴设备
CN103688289A (zh) 用于估计两幅二进制图像之间相似性的方法和系统
Majdik et al. Micro air vehicle localization and position tracking from textured 3d cadastral models
Dahlke et al. Comparison Between Two Generic 3D Building Reconstruction Approaches–Point Cloud Based vs. Image Processing Based
KR20210067979A (ko) 지리적 정보의 용이 생성을 위한 시스템 및 방법
Shao A Monocular SLAM System Based on the ORB Features
CN113920254B (zh) 一种基于单目rgb的室内三维重建方法及其系统
Chen et al. Building change detection based on 3D reconstruction
Lavigne et al. Performance assessment of automated feature extraction tools on high resolution imagery

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20210730

WD01 Invention patent application deemed withdrawn after publication