CN110324585B - 基于高速移动平台的slam系统的实现方法 - Google Patents

基于高速移动平台的slam系统的实现方法 Download PDF

Info

Publication number
CN110324585B
CN110324585B CN201910637554.5A CN201910637554A CN110324585B CN 110324585 B CN110324585 B CN 110324585B CN 201910637554 A CN201910637554 A CN 201910637554A CN 110324585 B CN110324585 B CN 110324585B
Authority
CN
China
Prior art keywords
speed mobile
visible light
mobile platform
video
neural network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910637554.5A
Other languages
English (en)
Other versions
CN110324585A (zh
Inventor
戴琼海
李一鹏
韩昱城
蔡卓
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tsinghua University
Original Assignee
Tsinghua University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tsinghua University filed Critical Tsinghua University
Priority to CN201910637554.5A priority Critical patent/CN110324585B/zh
Publication of CN110324585A publication Critical patent/CN110324585A/zh
Application granted granted Critical
Publication of CN110324585B publication Critical patent/CN110324585B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0127—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level by changing the field or frame frequency of the incoming video signal, e.g. frame rate converter
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Abstract

本发明公开了一种基于高速移动平台的SLAM系统的实现方法，该方法包括以下步骤：利用高速移动平台的可见光传感器采集视频，并将视频传输至图像处理端；利用神经网络插帧方法使图像处理端对视频的图像序列进行插帧，得到新视频序列；将新视频序列输入可见光SLAM系统，以进行自主定位和全局建图计算。该方法解决了传统可见光SLAM系统中因帧率低无法适用于高速移动平台的弊端，极大扩展了无人机、无人车等典型高速移动平台的应用场景，为未来无GPS信号条件下无人系统的发展提供理论和技术基础。

Description

基于高速移动平台的SLAM系统的实现方法
技术领域
本发明涉及智能体自主定位与建图技术领域，特别涉及一种基于高速移动平台的SLAM系统的实现方法。
背景技术
SLAM指的是将机器人放入未知环境中的未知位置，通过重复观测到的地图特征定位自身位置和姿态，再根据自身位置增量式的构建地图，从而达到同时定位和地图构建的目的。高速移动平台的SLAM系统应用前景广阔，在国民经济建设和国家安全保障方面有巨大作用。
然而，在以无人机为代表的高速移动平台上，现有的SLAM系统性能无法保证。原因有二，一是曝光时间过长导致图像模糊，二是因帧数较低影响了姿态解算的速度。目前有一些高速SLAM研究的尝试，如NanoMap等，但并不能满足实际应用的需要。
如何利用计算机视觉、机器学习等理论与技术，构建适用于高速移动平台的SLAM系统，是学术界和工业界非常关注的科学问题和工程难题。核心关键技术的突破将会极大拓展高速无人机在复杂大范围自然场景下的应用模式，提高任务完成的效率。
发明内容
本发明旨在至少在一定程度上解决相关技术中的技术问题之一。
为此，本发明的目的在于提出一种基于高速移动平台的SLAM系统的实现方法，该方法解决了传统可见光SLAM系统中因帧率低无法适用于高速移动平台的弊端。
为达到上述目的，本发明提出了基于高速移动平台的SLAM系统的实现方法，包括以下步骤：利用高速移动平台的可见光传感器采集视频，并将所述视频传输至图像处理端；利用神经网络插帧方法使所述图像处理端对所述视频的图像序列进行插帧，得到新视频序列；将所述新视频序列输入可见光SLAM系统，以进行自主定位和全局建图计算。
本发明实施例的基于高速移动平台的SLAM系统的实现方法，解决了传统可见光SLAM系统中因帧率低无法适用于高速移动平台的弊端，极大扩展了无人机、无人车等典型高速移动平台的应用场景，为未来无GPS信号条件下无人系统的发展提供理论和技术基础。
另外，根据本发明上述实施例的基于高速移动平台的SLAM系统的实现方法还可以具有以下附加的技术特征：
进一步地，在本发明的一个实施例中，所述高速移动平台包括无人机、无人车和移动智能终端。
进一步地，在本发明的一个实施例中，所述可见光传感器包括单目可见光传感器、双目可见光传感器、Event-based传感器和RGB-D传感器。
进一步地，在本发明的一个实施例中，所述神经网络插帧处理方法包括Super-SloMo、sepconv以及简单的通过端到端的神经网络进行插帧的方法。
进一步地，在本发明的一个实施例中，所述新视频序列为一组大图片量且基于保持原有重要图像要素的视频序列。
进一步地，在本发明的一个实施例中，所述可见光SLAM系统包括DSO和VINS。
进一步地，在本发明的一个实施例中，所述新视频序列不仅包括所述神经网络插帧处理方法提供的合成帧图像外，还包括所述合成帧图像的曝光时间参数，以适应全局建图计算的需要。
本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
图1是本发明一个实施例的简单实验步骤流程图；
图2是本发明一个实施例的基于高速移动平台的SLAM系统的实现方法流程图；
图3是本发明一个实施例的以高速无人机为例的流程图；
图4是本发明一个实施例的图像处理端对帧率偏低的图像进行处理得到连续平滑的帧率适宜的图片序列流程图。
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。
如图1所示，本发明提供一种适用于高速移动平台的SLAM系统与方法，其步骤包括：高速移动平台上的可见光传感器采集视频传输至图像处理端；图像处理端使用神经网络对图像序列进行插帧；采用可见光SLAM系统进行自主定位和全局建图计算。
下面参照附图描述根据本发明实施例提出的基于高速移动平台的SLAM系统的实现方法。
图2是本发明一个实施例的基于高速移动平台的SLAM系统的实现方法流程图。
如图2所示，该基于高速移动平台的SLAM系统的实现方法包括以下步骤：
在步骤S1中，利用高速移动平台的可见光传感器采集视频，并将视频传输至图像处理端。
也就是说，如图3所示，高速无人机的镜头采集一定帧率的视频传输给图像处理端。
进一步地，在本发明的一个实施例中，高速移动平台包括但不限于无人机、无人车、手机等智能终端。
进一步地，在本发明的一个实施例中，可见光传感器包括但不限于单目可见光传感器、双目可见光传感器、Event-based传感器和RGB-D传感器等。
例如，在本发明的一个实例中，以Stereo-labs ZED(以下简称ZED)为例，使用其官方支持的应用程序对摄像头进行一定程度的设置和获取相应的图片序列，随后使用官方支持的SDK一定程度的获取每张图片的信息。
在步骤S2中，利用神经网络插帧方法使图像处理端对视频的图像序列进行插帧，得到新视频序列。
也就是说，如图3所示，图像处理端对帧率偏低的图像进行处理得到连续平滑的帧率适宜的图片序列。
进一步地，在本发明的一个实施例中，神经网络插帧处理方法包括但不限于Super-SloMo、sepconv以及简单的通过端到端的神经网络进行插帧的方法。
进一步地，在本发明的一个实施例中，新视频序列为一组大图片量且基于保持原有重要图像要素的视频序列。
进一步地，在本发明的一个实施例中，新视频序列不仅包括神经网络插帧处理方法提供的合成帧图像外，还包括合成帧图像的曝光时间参数，以适应全局建图计算的需要。
举例而言，本发明实施例借鉴英伟达团队在CVPR2018发表的论文Super SloMo，其为基于改进的光流技术和神经网络为基础的结构对帧率偏低的图片序列进行插帧处理得到帧率合适的图片序列。
在本发明的一个实施例中，如图3所示，该插帧方法的神经网络的损失函数进行了一定的修改。首先介绍其中需要用到的符号：
在本发明的一个实施例中，首先假设已知从t分别到0和1的光流Ft→0,Ft→1，那么可以分析得知中间的图像应该可以写成下面的形式：
Figure GDA0002915137860000041
where Z＝(1-t)Vt→0+tVt→1 is a normalization factor and t∈(0,1)
式中，It表示t时刻的图像；Vt←0表示的是从0时刻到t时刻某个像素是否一直可见；g(I0,Ft→0)表示的是利用双线性插值的backward warping通过I0得到的It。
其次，解释本发明实施例中使用的损失函数给定两张输入图片I0,I1，一系列中间帧为
Figure GDA0002915137860000042
其中ti∈(0,1)，中间帧的预测值为
Figure GDA0002915137860000043
则神经网络插帧处理方法损失函数定义方法为，损失函数l＝λrlr+λplp+λωlω+λsls+λglg，其中
Figure GDA0002915137860000044
为Reconstruction loss，模拟中间帧重建的质量，定义在RGB空间中，像素值在[0,255]之间；
Figure GDA0002915137860000045
为Perceptual loss，其中φ表示一个经过VGG16预训练的ImageNet conv4_3的特征，保存预测细节；
Figure GDA0002915137860000046
Figure GDA0002915137860000047
为Warping loss，模拟计算光流的品质；
Figure GDA0002915137860000049
为Smoothness loss；
Figure GDA0002915137860000048
为gentle loss，模拟每张图片的柔和程度。
权重设定为经验值λr＝0.8,λp＝0.005,λω＝0.4,λs＝1,λg＝0.5。
与原神经网络的损失函数相比较本发明实施例增添了一个关于单张图片的柔和程度的损失函数项。因为步骤S3中使用的DSO这种SLAM系统采用的方法为直接法，对于单张图片希望能够尽量避免突兀的变化，否则DSO容易出现问题。
在步骤S3中，将新视频序列输入可见光SLAM系统，以进行自主定位和全局建图计算。
也就是说，如图3所示，SLAM系统接收到帧率合适的图片序列进行处理得到全局地图。
进一步地，在本发明的一个实施例中，可见光SLAM系统包括但不限于DSO(直接稀疏视觉里程计，Direct Sparse Odometry)和VINS等方法。
具体而言，在本发明的一个实施例中，采用DSO方法，为基于最小化光度误差的直接法的视觉里程计，效果优于一般的单目视觉SLAM系统。
DSO选取像素梯度比较大的点作为关键点，新帧中捕捉到的关键点对应的光度误差定义为其周围若干点在新帧中和参考帧中的光度差异，这个光度经过必不可少的校正。原公式如下：
Figure GDA0002915137860000051
在本发明的一个实施例中，对于所有关键点在所有关键帧中光度误差进行求和，得到完整的光度误差。
Figure GDA0002915137860000052
视觉SLAM对于图像数据的要求包括相机的几何校正和光度校正，前者包括去畸变等，后者包括曝光时间(Exposure Time)、响应(Response Function)等。本发明实施例涉及未经过几何校正的插帧、利用另外获得的相机内参及畸变参数进行几何校正的插帧。插帧中使用的光流(Optical Flow)方法基于光度不变性的假设，而曝光时间对于光度有直接的影响。对于曝光时间有变化的图像序列，本发明实施例采用了以下的方式：
如果原始视频序列中的曝光时间已知，可以通过按已知曝光时间进行折算再插帧或者通过线性插值得到插入帧的曝光时间的估计值；如果原始视频序列中的曝光时间未知，可以根据已有的光度自动校正方案，例如德国慕尼黑工业大学提出的OnlinePhotometric Calibration，对于视频序列进行光度校正。该方案可以在只知道相机内参的情况下对于任意一个视频给出其每帧曝光时间、相机光度反应函数(Response Function)和相机晕映校正(Vignette Calibration)。
根据本发明实施例提出的基于高速移动平台的SLAM系统的实现方法，解决了传统可见光SLAM系统中因帧率低无法适用于高速移动平台的弊端，极大扩展了无人机、无人车等典型高速移动平台的应用场景，为未来无GPS信号条件下无人系统的发展提供理论和技术基础。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
在本发明中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”、“固定”等术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或成一体；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系，除非另有明确的限定。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。
在本发明中，除非另有明确的规定和限定，第一特征在第二特征“上”或“下”可以是第一和第二特征直接接触，或第一和第二特征通过中间媒介间接接触。而且，第一特征在第二特征“之上”、“上方”和“上面”可是第一特征在第二特征正上方或斜上方，或仅仅表示第一特征水平高度高于第二特征。第一特征在第二特征“之下”、“下方”和“下面”可以是第一特征在第二特征正下方或斜下方，或仅仅表示第一特征水平高度小于第二特征。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (7)

1.一种基于高速移动平台的SLAM系统的实现方法，其特征在于，包括以下步骤：
利用高速移动平台的可见光传感器采集视频，并将所述视频传输至图像处理端；
利用神经网络插帧方法使所述图像处理端对所述视频的图像序列进行插帧，得到新视频序列，具体地，
利用损失函数在所述视频中获取两张输入图像和一系列中间帧，将所述两张输入图像输入神经网络中，以获得所述神经网络插帧方法的损失函数l＝λrlr+λplp+λωlω+λsls+λglg，其中，lr为模拟中间帧重建的质量，lp为感知损失程度，lω为模拟计算光流的品质，ls为光滑损失程度；lg为
Figure FDA0002743732000000011
模拟每张图片的柔和程度，
Figure FDA0002743732000000012
为中间帧的预测值，λr、λp、λω、λs、λg为权重；利用所述神经网络插帧方法的损失函数对所述视频的图像序列进行插帧，得到所述新视频序列；以及
将所述新视频序列输入可见光SLAM系统，以进行自主定位和全局建图计算。
2.根据权利要求1所述的方法，其特征在于，所述高速移动平台包括无人机、无人车和移动智能终端。
3.根据权利要求1所述的方法，其特征在于，所述可见光传感器包括单目可见光传感器、双目可见光传感器、Event-based传感器和RGB-D传感器。
4.根据权利要求1所述的方法，其特征在于，所述神经网络插帧处理方法包括Super-SloMo、sepconv以及简单的通过端到端的神经网络进行插帧的方法。
5.根据权利要求1所述的方法，其特征在于，所述新视频序列为一组大图片量且基于保持原有重要图像要素的视频序列。
6.根据权利要求1所述的方法，其特征在于，所述可见光SLAM系统包括DSO和VINS。
7.根据权利要求5所述的方法，其特征在于，所述新视频序列不仅包括所述神经网络插帧处理方法提供的合成帧图像外，还包括所述合成帧图像的曝光时间参数，以适应全局建图计算的需要。
CN201910637554.5A 2019-07-15 2019-07-15 基于高速移动平台的slam系统的实现方法 Active CN110324585B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910637554.5A CN110324585B (zh) 2019-07-15 2019-07-15 基于高速移动平台的slam系统的实现方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910637554.5A CN110324585B (zh) 2019-07-15 2019-07-15 基于高速移动平台的slam系统的实现方法

Publications (2)

Publication Number Publication Date
CN110324585A CN110324585A (zh) 2019-10-11
CN110324585B true CN110324585B (zh) 2021-05-04

Family

ID=68123670

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910637554.5A Active CN110324585B (zh) 2019-07-15 2019-07-15 基于高速移动平台的slam系统的实现方法

Country Status (1)

Country Link
CN (1) CN110324585B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111741266B (zh) * 2020-06-24 2022-03-15 北京梧桐车联科技有限责任公司 图像显示方法、装置、车载设备及存储介质
WO2022133782A1 (zh) * 2020-12-23 2022-06-30 深圳市大疆创新科技有限公司 视频传输方法及系统、视频处理方法及装置、播放终端、可移动平台

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108681439A (zh) * 2018-05-29 2018-10-19 北京维盛泰科科技有限公司 基于帧率控制的均匀显示方法
CN109978924A (zh) * 2017-12-27 2019-07-05 长沙学院 一种基于单目的视觉里程计实现方法和系统

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10027952B2 (en) * 2011-08-04 2018-07-17 Trx Systems, Inc. Mapping and tracking system with features in three-dimensional space
US9201133B2 (en) * 2011-11-11 2015-12-01 The Board Of Trustees Of The Leland Stanford Junior University Method and system for signal-based localization
CN109697753B (zh) * 2018-12-10 2023-10-03 智灵飞（北京）科技有限公司 一种基于rgb-d slam的无人机三维重建方法、无人机
CN109806580A (zh) * 2019-01-23 2019-05-28 感悟科技（深圳）有限公司 基于无线传输的混合现实系统及方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109978924A (zh) * 2017-12-27 2019-07-05 长沙学院 一种基于单目的视觉里程计实现方法和系统
CN108681439A (zh) * 2018-05-29 2018-10-19 北京维盛泰科科技有限公司 基于帧率控制的均匀显示方法

Also Published As

Publication number Publication date
CN110324585A (zh) 2019-10-11

Similar Documents

Publication Publication Date Title
CN111311490B (zh) 基于多帧融合光流的视频超分辨率重建方法
CN110782490B (zh) 一种具有时空一致性的视频深度图估计方法及装置
CN108765479A (zh) 利用深度学习对视频序列中单目视图深度估计优化方法
KR102227583B1 (ko) 딥 러닝 기반의 카메라 캘리브레이션 방법 및 장치
CN113077505B (zh) 一种基于对比学习的单目深度估计网络的优化方法
CN111626159B (zh) 一种基于注意力残差模块和支路融合的人体关键点检测方法
WO2021177324A1 (ja) 画像生成装置、画像生成方法、記録媒体生成方法、学習モデル生成装置、学習モデル生成方法、学習モデル、データ処理装置、データ処理方法、推論方法、電子機器、生成方法、プログラム及び非一時的コンピュータ可読媒体
CN109472830A (zh) 一种基于无监督学习的单目视觉定位方法
CN110324585B (zh) 基于高速移动平台的slam系统的实现方法
CN108073857A (zh) 动态视觉传感器dvs事件处理的方法及装置
CN111325784A (zh) 一种无监督位姿与深度计算方法及系统
CN110650295B (zh) 图像处理方法及装置
WO2019084719A1 (zh) 图像处理方法及无人机
CN110378250B (zh) 用于场景认知的神经网络的训练方法、装置及终端设备
CN110942484A (zh) 基于遮挡感知和特征金字塔匹配的相机自运动估计方法
CN105894443A (zh) 一种基于改进的surf算法的实时视频拼接方法
CN114429191B (zh) 基于深度学习的电子防抖方法、系统及存储介质
CN115298693A (zh) 数据生成方法、学习方法和估计方法
CN117196948A (zh) 一种基于事件数据驱动的视频超分辨率方法
CN107330856A (zh) 一种基于投影变换和薄板样条的全景成像方法
CN115937374A (zh) 一种数字人体建模方法、装置、设备及介质
CN115578260A (zh) 针对图像超分辨率的方向解耦的注意力方法和系统
CN113034681B (zh) 空间平面关系约束的三维重建方法及装置
CN115049558A (zh) 模型训练、人脸图像处理方法及装置、电子设备及可读存储介质
CN111260565A (zh) 基于畸变分布图的畸变图像矫正方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant