CN110275179A - 一种基于激光雷达以及视觉融合的构建地图方法 - Google Patents
一种基于激光雷达以及视觉融合的构建地图方法 Download PDFInfo
- Publication number
- CN110275179A CN110275179A CN201910279067.6A CN201910279067A CN110275179A CN 110275179 A CN110275179 A CN 110275179A CN 201910279067 A CN201910279067 A CN 201910279067A CN 110275179 A CN110275179 A CN 110275179A
- Authority
- CN
- China
- Prior art keywords
- map
- laser radar
- camera
- building
- preliminary
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
- G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- General Physics & Mathematics (AREA)
- Computer Networks & Wireless Communication (AREA)
- Electromagnetism (AREA)
- Multimedia (AREA)
- Optical Radar Systems And Details Thereof (AREA)
- Radar Systems Or Details Thereof (AREA)
Abstract
本发明公开了一种基于激光雷达以及视觉融合的构建地图的方法，至少包括以下步骤：设备校准、指令接收、构建地图以及获取最终地图，本发明方法创新性的在机器人上设置了激光雷达以及摄像头，从而充分的将视觉数据和激光雷达数据融合在所构建的地图中，一方面，可以克服视觉无法得出建筑物距离的缺陷，另一方面，弥补了激光雷达在长距离检测不准确的问题，最终高效而精准的通过机器人构建所需地图。
Description
技术领域
本发明涉及一种构建地图的方法，具体是一种基于激光雷达以及视觉融合的构建地图的方法。
技术背景
随着科学技术的不断完善与发展，构建地图的方式也是多种多样，然而现有的地图构建往往通过在机器人上放置多个3D摄像头，并由用户遥控机器人按照指定路径巡航，通过这样的一次巡航就可以构建一个相对完备的3D地图。然而，这种方案的问题在于，首先，由于需要放置多个3D摄像头，硬件成本较高。另外，无法准确地地图中某一建筑物与机器人之间的详细距离以及建筑物本身的大小。
发明内容
本发明的目的在于提供一种基于激光雷达以及视觉融合的构建地图的方法，以解决上述背景技术中提出的问题。
为实现上述目的，本发明提供如下技术方案：一种基于激光雷达以及视觉融合的构建地图的方法，至少包括以下步骤：
1)设备校准：联合标定置于机器人上的激光雷达以及摄像头；
2)指令接收：接收来自用户的开始指令以及运动控制指令；
3)构建地图：控制机器人按照所述运动控制指令行进，并开启激光雷达和摄像头，通过激光雷达和摄像头将机器人周围环境进行360°扫描检测，并且采集关于所述周围环境的数据以进行初步地图构建，并记录机器人行进过程中的路径信息；
4)获取最终地图：控制机器人沿步骤3中行进路线重复移动，同时通过激光雷达以及摄像头重复采集周围环境信息，获得至少两个补充地图，将初步地图与补充地图进行对比，并获得最终地图；
作为本发明进一步的方案：所述步骤3以及步骤4中采集周围环境的数据的步骤如下所示：
1)区间划分：将所述360度划分为N个区间，并且在每个区间选取一个中心角度，其中N为自然数；
2)采集信息：将所述激光雷达以及摄像头固定至一个中心角度，并按照运动控制指令指示的路径行进，同时采集该中心角度下周围环境的数据以构建初步地图或补充地图；
3)重复处理：将所述激光雷达以及摄像头固定至下一个中心角度，并重复相同的处理，直到遍历所有中心角度为止。
作为本发明进一步的方案：所述步骤4中初步地图与补充地图对比的步骤如下所示：
判断补充地图中是否具有初步地图中未包含的未知区域；若判断结果为是，则将该未知区域的环境信息更新至初步地图中，并且将该未知区域的行进路线更新至路径信息中。
作为本发明进一步的方案：还包括以下步骤:
信息存储：将步骤3中的初步地图以及步骤4中的最终地图存储至存储单元中，并且将步骤3中的路径信息存储至存储单元中；
信息显示：调取存储单元中的初步地图、最终地图以及路径信息，并显示在相对应的显示设备上。
作为本发明进一步的方案：所述步骤1中摄像头的标定包括内参标定以及外参标定。
作为本发明进一步的方案：所述外参标定为统一摄像机的坐标系与世界坐标系；所述内参标定为实现世界坐标系到像素坐标之间的转换。
与现有技术相比，本发明的有益效果是：本发明方法创新性的在机器人上设置了激光雷达以及摄像头，从而充分的将视觉数据和激光雷达数据融合在所构建的地图中，一方面，可以克服视觉无法得出建筑物距离的缺陷，另一方面，弥补了激光雷达在长距离检测不准确的问题，最终高效而精准的通过机器人构建所需地图。
附图说明
图1为一种基于激光雷达以及视觉融合的构建地图的方法的流程示意图。
图2为本实施例中采集周围环境的数据的流程示意图。
图3为本实施例中摄像头的标定的整体结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参阅图1～3，本发明实施例中，一种基于激光雷达以及视觉融合的构建地图的方法，至少包括以下步骤：
1)设备校准：联合标定置于机器人上的激光雷达以及摄像头；
需要说明的是，摄像头的标定包括内参标定以及外参标定，其中所述外参标定为统一摄像机的坐标系与世界坐标系，即所述外参标定指通过旋转矩阵 R和平移矩阵T，使摄像机的坐标系与世界坐标系相统一，其中R和T内部一共有6个独立的参数，叫做外部参数，外部参数是描述世界坐标系和摄相头坐标系的参数，所以只要世界坐标系和摄相头坐标系的相对位姿发生了变化，R和T就会改变；
所述内参标定为实现世界坐标系到像素坐标之间的转换，即内参标定指根据摄像机的焦距f、投影平面中心在像素坐标系下的坐标x和y、像素坐标系里x和y方向每毫米的像素数量Sx和Sy这五个参数，实现世界坐标系到像素坐标的之间的转换，其具体公式如下：
其中，Sx表示Xpix方向上单位毫米的像素数，单位是pix/mm；Sy表示Ypix方向上单位毫米的像素数，单位是pix/mm；x0、y0表示投影平面中心在 {pixel}中的坐标，其中fx、fy、x0、y0叫做摄像头的内部参数，因为这些参数只和摄像机有关系，和具体的摄像场景以及世界坐标系无关。
2)指令接收：接收来自用户的开始指令以及运动控制指令；具体的，所述控制指令至少包括向前运动指令、向后运动指令、向左运动指令以及向右运动指令。
3)构建地图：控制机器人按照所述运动控制指令行进，并开启激光雷达和摄像头，通过激光雷达和摄像头将机器人周围环境进行360°扫描检测，并且采集关于所述周围环境的数据以进行初步地图构建，并记录机器人行进过程中的路径信息；具体的，所述周围环境信息包括激光雷达得到的360°三维激光点云数据信息以及摄像头得到360°视觉信息，通过将激光点云投影到二维栅格地图中，并对栅格里面的点云进行圆形建筑物聚类，接着通过摄像头得到的视觉信息对进行识别和框选建筑物，最终构建出所需要的初步地图。
4)获取最终地图：控制机器人沿步骤3中行进路线重复移动，同时通过激光雷达以及摄像头重复采集周围环境信息，获得至少两个补充地图，将初步地图与补充地图进行对比，并获得最终地图；具体的，初步地图与补充地图的对比方法为判断补充地图中是否具有初步地图中未包含的未知区域；若判断结果为是，则将该未知区域的环境信息更新至初步地图中，并且将该未知区域的行进路线更新至路径信息中，如果否，则将初步地图认定为最终地图。
5)信息存储：将步骤3中的初步地图以及步骤4中的最终地图存储至存储单元中，并且将步骤3中的路径信息存储至存储单元中；
6)信息显示：调取存储单元中的初步地图、最终地图以及路径信息，并显示在相对应的显示设备上。
需要说明的是，所述步骤3以及步骤4中采集周围环境的数据的步骤如下所示：
1)区间划分：将所述360度划分为N个区间，并且在每个区间选取一个中心角度，其中N为自然数；
2)采集信息：将所述激光雷达以及摄像头固定至一个中心角度，并按照运动控制指令指示的路径行进，同时采集该中心角度下周围环境的数据以构建初步地图或补充地图；
3)重复处理：将所述激光雷达以及摄像头固定至下一个中心角度，并重复相同的处理，直到遍历所有中心角度为止。
对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。
此外，应当理解，虽然本说明书按照实施方式加以描述，但并非每个实施方式仅包含一个独立的技术方案，说明书的这种叙述方式仅仅是为清楚起见，本领域技术人员应当将说明书作为一个整体，各实施例中的技术方案也可以经适当组合，形成本领域技术人员可以理解的其他实施方式。
Claims (6)
1.一种基于激光雷达以及视觉融合的构建地图的方法，其特征在于：至少包括以下步骤：
1)设备校准：联合标定置于机器人上的激光雷达以及摄像头；
2)指令接收：接收来自用户的开始指令以及运动控制指令；
3)构建地图：控制机器人按照所述运动控制指令行进，并开启激光雷达和摄像头，通过激光雷达和摄像头将机器人周围环境进行360°扫描检测，并且采集关于所述周围环境的数据以进行初步地图构建，并记录机器人行进过程中的路径信息；
4)获取最终地图：控制机器人沿步骤3中行进路线重复移动，同时通过激光雷达以及摄像头重复采集周围环境信息，获得至少两个补充地图，将初步地图与补充地图进行对比，并获得最终地图。
2.根据权利要求1所述的一种基于激光雷达以及视觉融合的构建地图的方法，其特征在于：所述步骤3以及步骤4中采集周围环境的数据的步骤如下所示：
1)区间划分：将所述360度划分为N个区间，并且在每个区间选取一个中心角度，其中N为自然数；
2)采集信息：将所述激光雷达以及摄像头固定至一个中心角度，并按照运动控制指令指示的路径行进，同时采集该中心角度下周围环境的数据以构建初步地图或补充地图；
3)重复处理：将所述激光雷达以及摄像头固定至下一个中心角度，并重复相同的处理，直到遍历所有中心角度为止。
3.根据权利要求1所述的一种基于激光雷达以及视觉融合的构建地图的方法，其特征在于：所述步骤4中初步地图与补充地图对比的步骤如下所示：
判断补充地图中是否具有初步地图中未包含的未知区域；若判断结果为是，则将该未知区域的环境信息更新至初步地图中，并且将该未知区域的行进路线更新至路径信息中。
4.根据权利要求3所述的一种基于激光雷达以及视觉融合的构建地图的方法，其特征在于：还包括以下步骤:
信息存储：将步骤3中的初步地图以及步骤4中的最终地图存储至存储单元中，并且将步骤3中的路径信息存储至存储单元中；
信息显示：调取存储单元中的初步地图、最终地图以及路径信息，并显示在相对应的显示设备上。
5.根据权利要求1所述的一种基于激光雷达以及视觉融合的构建地图的方法，其特征在于：所述步骤1中摄像头的标定包括内参标定以及外参标定。
6.根据权利要求5所述的一种基于激光雷达以及视觉融合的构建地图的方法，其特征在于：所述外参标定为统一摄像机的坐标系与世界坐标系；所述内参标定为实现世界坐标系到像素坐标之间的转换。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910279067.6A CN110275179A (zh) | 2019-04-09 | 2019-04-09 | 一种基于激光雷达以及视觉融合的构建地图方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910279067.6A CN110275179A (zh) | 2019-04-09 | 2019-04-09 | 一种基于激光雷达以及视觉融合的构建地图方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110275179A true CN110275179A (zh) | 2019-09-24 |
Family
ID=67959364
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910279067.6A Pending CN110275179A (zh) | 2019-04-09 | 2019-04-09 | 一种基于激光雷达以及视觉融合的构建地图方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110275179A (zh) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110942514A (zh) * | 2019-11-26 | 2020-03-31 | 三一重工股份有限公司 | 一种生成点云数据和全景图像的方法、系统及装置 |
| CN111522026A (zh) * | 2020-04-21 | 2020-08-11 | 北京三快在线科技有限公司 | 一种数据融合的方法及装置 |
| CN112612037A (zh) * | 2020-12-01 | 2021-04-06 | 珠海市一微半导体有限公司 | 一种融合定位方法及移动机器人 |
| CN112904331A (zh) * | 2019-11-19 | 2021-06-04 | 杭州海康威视数字技术股份有限公司 | 移动轨迹的确定方法、装置、设备及存储介质 |
| CN113640802A (zh) * | 2021-07-30 | 2021-11-12 | 国网上海市电力公司 | 一种基于多融合传感器的机器人空间定位方法和系统 |
| CN114019953A (zh) * | 2021-10-08 | 2022-02-08 | 中移（杭州）信息技术有限公司 | 地图构建方法、装置、设备及存储介质 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105203094A (zh) * | 2015-09-10 | 2015-12-30 | 联想(北京)有限公司 | 构建地图的方法和设备 |
| US20170307751A1 (en) * | 2016-04-22 | 2017-10-26 | Mohsen Rohani | Systems and methods for unified mapping of an environment |
| CN108337915A (zh) * | 2017-12-29 | 2018-07-27 | 深圳前海达闼云端智能科技有限公司 | 三维建图方法、装置、系统、云端平台、电子设备和计算机程序产品 |
| CN109443369A (zh) * | 2018-08-20 | 2019-03-08 | 北京主线科技有限公司 | 利用激光雷达和视觉传感器融合构建动静态栅格地图的方法 |
-
2019
- 2019-04-09 CN CN201910279067.6A patent/CN110275179A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105203094A (zh) * | 2015-09-10 | 2015-12-30 | 联想(北京)有限公司 | 构建地图的方法和设备 |
| US20170307751A1 (en) * | 2016-04-22 | 2017-10-26 | Mohsen Rohani | Systems and methods for unified mapping of an environment |
| CN108337915A (zh) * | 2017-12-29 | 2018-07-27 | 深圳前海达闼云端智能科技有限公司 | 三维建图方法、装置、系统、云端平台、电子设备和计算机程序产品 |
| CN109443369A (zh) * | 2018-08-20 | 2019-03-08 | 北京主线科技有限公司 | 利用激光雷达和视觉传感器融合构建动静态栅格地图的方法 |
Non-Patent Citations (1)
| Title |
|---|
| 张彪 等: "基于多传感器融合的移动机器人三维地图创建", 《中国科技论文》 * |
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112904331A (zh) * | 2019-11-19 | 2021-06-04 | 杭州海康威视数字技术股份有限公司 | 移动轨迹的确定方法、装置、设备及存储介质 |
| CN112904331B (zh) * | 2019-11-19 | 2024-05-07 | 杭州海康威视数字技术股份有限公司 | 移动轨迹的确定方法、装置、设备及存储介质 |
| CN110942514A (zh) * | 2019-11-26 | 2020-03-31 | 三一重工股份有限公司 | 一种生成点云数据和全景图像的方法、系统及装置 |
| CN111522026A (zh) * | 2020-04-21 | 2020-08-11 | 北京三快在线科技有限公司 | 一种数据融合的方法及装置 |
| CN111522026B (zh) * | 2020-04-21 | 2022-12-09 | 北京三快在线科技有限公司 | 一种数据融合的方法及装置 |
| CN112612037A (zh) * | 2020-12-01 | 2021-04-06 | 珠海市一微半导体有限公司 | 一种融合定位方法及移动机器人 |
| CN112612037B (zh) * | 2020-12-01 | 2023-10-24 | 珠海一微半导体股份有限公司 | 一种融合定位方法及移动机器人 |
| CN113640802A (zh) * | 2021-07-30 | 2021-11-12 | 国网上海市电力公司 | 一种基于多融合传感器的机器人空间定位方法和系统 |
| CN113640802B (zh) * | 2021-07-30 | 2024-05-17 | 国网上海市电力公司 | 一种基于多融合传感器的机器人空间定位方法和系统 |
| CN114019953A (zh) * | 2021-10-08 | 2022-02-08 | 中移（杭州）信息技术有限公司 | 地图构建方法、装置、设备及存储介质 |
| CN114019953B (zh) * | 2021-10-08 | 2024-03-19 | 中移（杭州）信息技术有限公司 | 地图构建方法、装置、设备及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110275179A (zh) | 一种基于激光雷达以及视觉融合的构建地图方法 | |
| EP3420428B1 (en) | Systems and methods for visual target tracking | |
| WO2021036353A1 (zh) | 基于拍照的3d建模系统及方法、自动3d建模装置及方法 | |
| CN109579843B (zh) | 一种空地多视角下的多机器人协同定位及融合建图方法 | |
| US11398042B2 (en) | Method for displaying a virtual image, a virtual image display system and device, a non-transient computer-readable storage medium | |
| US10848732B2 (en) | Free viewpoint movement display device | |
| US11557083B2 (en) | Photography-based 3D modeling system and method, and automatic 3D modeling apparatus and method | |
| CN112950785B (zh) | 点云标注方法、装置及系统 | |
| US20170127045A1 (en) | Image calibrating, stitching and depth rebuilding method of a panoramic fish-eye camera and a system thereof | |
| CN107660337A (zh) | 用于从鱼眼摄像机产生组合视图的系统及方法 | |
| JP4825971B2 (ja) | 距離算出装置、距離算出方法、構造解析装置及び構造解析方法。 | |
| WO2019100219A1 (zh) | 输出影像生成方法、设备及无人机 | |
| EP3899870B1 (en) | Cloud-based camera calibration | |
| CN115641401A (zh) | 一种三维实景模型的构建方法及相关装置 | |
| Oskiper et al. | Augmented reality binoculars | |
| CN106780629A (zh) | 一种三维全景数据采集、建模方法 | |
| CN106534670B (zh) | 一种基于固联鱼眼镜头摄像机组的全景视频生成方法 | |
| CN111009030A (zh) | 一种多视高分辨率纹理图像与双目三维点云映射方法 | |
| US11967038B2 (en) | Systems and methods for image display | |
| CN102831816B (zh) | 一种提供实时场景地图的装置 | |
| CN115330594A (zh) | 一种基于无人机倾斜摄影3d模型的目标快速识别与标定方法 | |
| JP2004265396A (ja) | 映像生成システム及び映像生成方法 | |
| Vunder et al. | Improved situational awareness in ros using panospheric vision and virtual reality | |
| CN108564654B (zh) | 三维大场景的画面进入方式 | |
| Zhang et al. | Virtual reality aided high-quality 3D reconstruction by remote drones |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WD01 | Invention patent application deemed withdrawn after publication | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20190924 |