CN115526811B - 一种适应于多变光照环境的自适应视觉slam方法 - Google Patents

一种适应于多变光照环境的自适应视觉slam方法 Download PDF

Info

Publication number
CN115526811B
CN115526811B CN202211497314.8A CN202211497314A CN115526811B CN 115526811 B CN115526811 B CN 115526811B CN 202211497314 A CN202211497314 A CN 202211497314A CN 115526811 B CN115526811 B CN 115526811B
Authority
CN
China
Prior art keywords
image
algorithm
illumination
adaptive
component
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202211497314.8A
Other languages
English (en)
Other versions
CN115526811A (zh
Inventor
黎萍
操超超
朱军燕
彭芳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Electronic Science and Technology of China Zhongshan Institute
Original Assignee
University of Electronic Science and Technology of China Zhongshan Institute
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Electronic Science and Technology of China Zhongshan Institute filed Critical University of Electronic Science and Technology of China Zhongshan Institute
Priority to CN202211497314.8A priority Critical patent/CN115526811B/zh
Publication of CN115526811A publication Critical patent/CN115526811A/zh
Application granted granted Critical
Publication of CN115526811B publication Critical patent/CN115526811B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G06T5/90—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration by the use of local operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/36—Applying a local operator, i.e. means to operate on image points situated in the vicinity of a given point; Non-linear local filtering operations, e.g. median filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20004—Adaptive image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details

Abstract

本发明为了解决视觉同步定位与地图构建技术系统在弱光照或偏黑暗等复杂条件下定位失败和跟踪丢失的问题，提出了一种适应于弱光环境的视觉SLAM方法。在ORB‑SLAM2算法基础上，增加了自适应图像增强算法，利用多尺度高斯函数提取出环境的照度分量，所设计的校正因子γ可根据照度分量动态调整，用以自适应地调整图像亮度。在公开数据集New Tsukuba Stereo Dataset和EuRoC上对算法性能进行了测试实验，结果表明该算法能够有效增强弱光照甚至黑暗等复杂条件下视觉图像的特征匹配，从而有效提升SLAM系统的鲁棒性。

Description

一种适应于多变光照环境的自适应视觉SLAM方法
技术领域
本发明属于视觉SLAM（同步定位与地图构建）和图像处理技术领域，具体是涉及一种适应于多变光照环境的自适应视觉SLAM方法。
背景技术
机器人想要实现真正意义上的自主运动，需要具备一定的环境感知与理解能力。同步定位与地图构建技术（SLAM）通过机器人自身搭载的各种传感器获取周边环境的信息，自主完成对周围环境的构建，同时在已建环境地图中获取相对位置。经过近 20 年的发展，视觉 SLAM 的整体框架已趋近成熟，不管是基于滤波的后端优化还是基于图优化的方法以及基于特征点或基于光度不变假设的直接法。目前学者们更多的是专注于提升 SLAM系统的鲁棒性和可靠性，以应对更接近真实生活的复杂环境。现有的大部分视觉SLAM方法是在光照良好的条件下进行的，然而现实生活中的真实环境经常会不满足这种假设，不可避免地会遇到光照弱、甚至黑暗、或者光照太强的环境，因此在复杂多变光照环境下如何提升视觉SLAM系统的鲁棒性和可靠性尤其值得研究。
目前性能最好且完整的视觉SLAM系统ORB-SLAM2，在良好的光照环境下表现出优异。然而，受到特征点法匹配的限制，它无法保证在不同光照条件下进行准确定位的。
Kim等人通过使用提前构建的具有照明条件的地图，为国际空间站机器人设计了能够应对光照变化的SLAM系统，但此系统需要提前对地图进行构建，并不适合在随机区域使用。
HAO等人采用对比度受限的自适应直方图均衡化与自适应伽马校正相结合的图像增强方法对图像进行预处理，同时还构建了一个紧耦合非线性优化模型以获取更精确的姿态估计，但此方法对于黑暗的环境所展现出的效果却并不很好。
HUAN等人提出一种在前端增加图像预处理步骤，并使用多特征提取算法同时提取两类图像特征的方案来解决复杂多变光照带来的影响，在公开数据集上进行评估，结果表明在不影响实时性的情况下，改进措施能提高算法在弱光照下的稳定性。 然而，目前的视觉SLAM方法仅能在光照在一定照度范围内的环境下正常工作，仍然无法避免光照对图像特征提取的影响， 当面对复杂多变的实际光照环境时，这将降低建图与定位的准确性。
因此，针对复杂多变光照环境设计一种具有强鲁棒性的视觉SLAM方法是SLAM系统拓展实际应用场景的必由之路，这在目前仍是一个挑战。
发明内容
本发明目的在于提高SLAM系统在复杂多变光照环境下的鲁棒性，避免周边光照对建图和定位的影响，提供一种适应于多变光照环境的自适应视觉SLAM方法，保持SLAM系统在常规情况下的优秀建图能力和回环检测能力的同时，提高SLAM系统对环境光照的鲁棒性。
为了实现上述目的，本发明是通过以下技术方案实现的：
一种适应于多变光照环境的自适应视觉SLAM方法，其特征在于包括三大线程：跟踪线程、局部建图线程、回环检测线程，具体如下：
A.跟踪线程：SLAM系统接收到来自相机中的图像，首先自适应图像亮度预处理算法进行图像增强预处理，自适应地校正图像亮度，从校正后的图像中提取ORB特征，输出每帧图像对应的相机位姿信息用以定位，进行局部地图跟踪，同时挑选关键帧，并传输给局部建图线程；
B.局部建图线程：接收跟踪线程输出的关键帧，完成关键帧的插入，生成新的地图点；然后用局部光束平差法（BA）进行调整，最后对插入的关键帧进行筛选，剔除多余的关键帧；
C.回环检测线程：主要包括两个过程，分别是回环检测和回环校正，回环检测首先利用词袋进行回环关键帧的检测，然后通过sim3算法进行相似变换，回环校正则是进行回环融合并优化本征图像。
如上所述适应于多变光照环境的自适应视觉SLAM方法，其特征在于：为了提高视觉SLAM系统在复杂多变光照环境下的适应能力，保障特征点的提取数量和质量，提高系统的鲁棒性，还在SLAM系统前端增加了校正图像亮度的图像预处理算法，包含以下步骤：
第一步：将视觉系统获取的原始图像从RGB空间转换到HSV空间，并分离图像的色 调分量
Figure 100002_DEST_PATH_IMAGE001
，饱和度分量
Figure 666175DEST_PATH_IMAGE002
和亮度分量
Figure 100002_DEST_PATH_IMAGE003
，
Figure 610998DEST_PATH_IMAGE004
为像素点在图像上的坐标值。
第二步：为了兼顾照度分量的全局特性和局部特性，采用多尺度高斯函数的方法， 对提取出的环境照度分量进行加权处理；利用式
Figure 100002_DEST_PATH_IMAGE005
，提取环 境照度分量
Figure 17009DEST_PATH_IMAGE006
，
Figure 100002_DEST_PATH_IMAGE007
为原始图像，*表示卷积运算；
Figure 21875DEST_PATH_IMAGE008
为高斯模糊滤波器，须满足 归一化条件，即
Figure 100002_DEST_PATH_IMAGE009
；高斯模糊滤波器采用高斯滤波对整幅图像进行加权平均，每一 个像素点的灰度值，都由其本身和邻域内的其他像素点的灰度值经过加权平均后得到；
具体操作是：用一个模板扫描图像中的每一个像素点，模板确定的邻域内像素点灰度值的加权平均值代替模板中心像素点的灰度值。
因为每个点
Figure 522126DEST_PATH_IMAGE010
都要取周边像素点的平均值，那么就涉及到了权重分配的问题；图像 是连续的，越靠近的点关系越密切，越远离的点关系越疏远，因此采用加权平均比直接求平 均值更合理，距离越近的点权重越大，距离越远的点权重越小；高斯模糊采用正态分布来分 配中心像素点周围像素的权重，
Figure 100002_DEST_PATH_IMAGE011
，其中
Figure 942743DEST_PATH_IMAGE012
为模板内像素点在以中心像素点为原点构建的坐标系下的坐标，服从正态分 布，记为：
Figure 100002_DEST_PATH_IMAGE013
,
Figure 477630DEST_PATH_IMAGE014
、
Figure 100002_DEST_PATH_IMAGE015
分别为x、y的数学期望，
Figure 653396DEST_PATH_IMAGE016
、
Figure 100002_DEST_PATH_IMAGE017
分别为x、y 的标准方差，
Figure 640944DEST_PATH_IMAGE018
像素点的协方差
Figure 100002_DEST_PATH_IMAGE019
，
Figure 927568DEST_PATH_IMAGE020
为
Figure 100002_DEST_PATH_IMAGE021
的期望值，相关系 数
Figure 51382DEST_PATH_IMAGE022
，因为
Figure 100002_DEST_PATH_IMAGE023
是独立的二维随机变量，
Figure 335733DEST_PATH_IMAGE024
，且在横纵两个方向上所服从的正态 分布应相同，
Figure 100002_DEST_PATH_IMAGE025
，令其为
Figure 813506DEST_PATH_IMAGE026
，中心点像素在原点位置，
Figure 100002_DEST_PATH_IMAGE027
，由此，二维图像中 像素点权重的正态分布函数简化为式
Figure 903822DEST_PATH_IMAGE028
，对饱和度分量
Figure 882142DEST_PATH_IMAGE002
与色调分量
Figure 71815DEST_PATH_IMAGE001
不做处理，保持不变；这样既减少了计算量，又充分保留了图像的细节信息。
Figure 100002_DEST_PATH_IMAGE029
为第i个尺度高斯函数照度分量的加权系数，一般取1/N，N为使用到的尺度数 目。
第三步：根据从图像中提取的照度分量
Figure 299534DEST_PATH_IMAGE030
，确定自适应校正因子γ，
Figure 100002_DEST_PATH_IMAGE031
，其中
Figure 927962DEST_PATH_IMAGE032
为自然底数，
Figure 100002_DEST_PATH_IMAGE033
，为所提取 照度分量的平均值；
第四步：得到自适应校正因子γ后，通过式
Figure 229630DEST_PATH_IMAGE034
对亮度分量
Figure 100002_DEST_PATH_IMAGE035
进行校正；
第五步：采用CLAHE算法对亮度分量
Figure 652521DEST_PATH_IMAGE036
优化处理，得到优化后的亮度分量
Figure DEST_PATH_IMAGE037
，进一步提升图像对比度，使得图像结构和纹理更清晰；
第六步：将优化后的亮度分量
Figure 101957DEST_PATH_IMAGE038
，与未处理的
Figure 471759DEST_PATH_IMAGE001
、
Figure 159092DEST_PATH_IMAGE002
分量进行融合，并将图 像从HSV空间转换回RGB颜色空间，由此得到原始图像的增强图像；增强后的图像作为特征 提取的源图像，将大大提升特征点的数量和质量，从而提高ORB-SLAM2算法在复杂多变光照 环境，特别是弱光甚至黑暗的环境下的适应能力。
与现有技术相比，本发明有如下优点：
本发明适应于多变光照环境的自适应视觉SLAM方法在SLAM系统前端增加了一种校正图像亮度的图像预处理算法，利用多尺度高斯函数提取出环境的照度分量，所设计的校正因子γ可根据照度分量动态调整，用以自适应地调整图像亮度，由此避免复杂多变的光照环境对视觉SLAM方法中特征提取的影响，提高了视觉SLAM在多变光照环境下的建图和定位精度，从而有效提升视觉SLAM系统的鲁棒性。
附图说明
图1是本发明适应于多变光照环境的自适应视觉SLAM算法框图。
图2是本发明自适应图像亮度预处理算法流程图。
图3示出了原始弱光环境下的图像。
图4示出了自适应图像增强后的图像。
图5是原始图像的特征点匹配图。
图6是自适应图像增强后的特征点匹配图。
图7示出了New Tsukuba Stereo Dataset数据集中V1_01_easy中正常光照图像。
图8示出了New Tsukuba Stereo Dataset数据集中MH_05_difficult中低光照图像。
图9是ORB-SLAM2在V1_01_easy序列上的轨迹和误差图。
图10是本发明在V1_01_easy序列上的轨迹和误差图。
图11是ORB-SLAM2在V1_03_difficult序列上的轨迹和误差图。
图12是本发明在V1_03_difficult序列上的轨迹和误差图。
图13是ORB-SLAM2在MH_01_easy序列上的轨迹和误差图。
图14是本发明在MH_01_easy序列上的轨迹和误差图。
图15是ORB-SLAM2在MH_05_difficult序列上的轨迹和误差图。
图16是本发明在MH_05_difficult序列上的轨迹和误差图。
具体实施方式
下面结合附图对本发明技术特征作进一步详细说明以便于所述领域技术人员能够理解。
如图1所示，本发明适应于多变光照环境的自适应视觉SLAM方法分为三大线程：跟踪线程、局部建图线程、回环检测线程，具体如下：
1.跟踪线程：SLAM系统接收到来自相机中的图像，采用本发明提供的自适应图像亮度预处理算法进行图像增强，自适应地校正图像亮度，从校正后的图像中提取ORB特征，输出每帧图像对应的相机位姿信息用以定位，进行局部地图跟踪，同时挑选关键帧，并传输给局部建图线程。
2.局部建图线程：接收跟踪线程输出的关键帧，完成关键帧的插入，生成新的地图点。然后用局部光束平差法（BA）进行调整，最后对插入的关键帧进行筛选，剔除多余的关键帧。
3.回环检测线程：主要包括两个过程，分别是回环检测和回环校正。回环检测首先利用词袋进行回环关键帧的检测，然后通过sim3算法进行相似变换。回环校正则是进行回环融合并优化本征图像。
其中自适应图像增强预处理过程如图2所示。根据Land在上世纪九十年代提出的 Retinex理论，物体的颜色是由物体对红、绿、蓝光线的反射能力决定的，与反射光强度没有 关系，一幅已知的图像
Figure DEST_PATH_IMAGE039
可以分解为两幅完全不同的图像，即反射分量
Figure 286972DEST_PATH_IMAGE040
和照度分量
Figure DEST_PATH_IMAGE041
，如式（1）所示：
Figure 958125DEST_PATH_IMAGE042
（1）
为了减少光照情况对视觉SLAM方法的影响，本发明拟提取照度分量并对其进行校 正，使算法在各种光照条件下都具有相当的照度分量。目前计算照度分量的方法比较多，例 如基于双边滤波的方法、基于线性引导滤波函数的方法、基于多尺度高斯函数的方法，其中 多尺度高斯函数法能够很好的进行图像动态范围的压缩并且可以较为准确地估计出照度 分量
Figure 131618DEST_PATH_IMAGE041
的大小。基于高斯函数提取照度的方法如式（2）所示：
Figure DEST_PATH_IMAGE043
（2）
式中：*表示卷积运算；
Figure 939037DEST_PATH_IMAGE044
为高斯模糊滤波器，须满足归一化条件，即
Figure DEST_PATH_IMAGE045
；
Figure 234889DEST_PATH_IMAGE046
为输入的图像。
高斯模糊滤波器采用高斯滤波对整幅图像进行加权平均，每一个像素点的灰度值，都由其本身和邻域内的其他像素点的灰度值经过加权平均后得到。具体操作是：用一个模板（或称卷积、掩模）扫描图像中的每一个像素点，模板确定的邻域内像素点灰度值的加权平均值代替模板中心像素点的灰度值。
因为每个点
Figure DEST_PATH_IMAGE047
都要取周边像素点的平均值，那么就涉及到了权重分配的问题。图 像是连续的，越靠近的点关系越密切，越远离的点关系越疏远，因此采用加权平均比直接求 平均值更合理，距离越近的点权重越大，距离越远的点权重越小。高斯模糊采用正态分布来 分配中心像素点周围像素的权重。在图形上，正态分布是一种钟形曲线，越接近中心，取值 越大，越远离中心，取值越小，如式（3）所示。
Figure 127758DEST_PATH_IMAGE048
（3）
其中，周边像素点距离像素点
Figure DEST_PATH_IMAGE049
的距离为
Figure 839362DEST_PATH_IMAGE050
，
Figure DEST_PATH_IMAGE051
是
Figure 32446DEST_PATH_IMAGE050
的均值，
Figure 233621DEST_PATH_IMAGE052
是
Figure 817049DEST_PATH_IMAGE050
的方差。计算像 素灰度值时，周边像素点以
Figure 66764DEST_PATH_IMAGE049
为中心，因此
Figure DEST_PATH_IMAGE053
，周边像素点的权重按按其距离
Figure 848776DEST_PATH_IMAGE049
的距离
Figure 158534DEST_PATH_IMAGE050
分配，如式（4）所示。
Figure 560084DEST_PATH_IMAGE054
（4）
由于图像都是二维的，所以需要二维的正态分布函数来确定像素点的权重。二维图像中周边像素点权重的正态分布概率密度如式（5）所示。
Figure DEST_PATH_IMAGE055
（5）
其中
Figure 410228DEST_PATH_IMAGE012
为模板内像素点在以中心像素点为原点构建的坐标系下的坐标，服从正 态分布，记为：其中
Figure 250009DEST_PATH_IMAGE013
,
Figure 730668DEST_PATH_IMAGE018
像素点的协方差
Figure 85426DEST_PATH_IMAGE019
， 相关系数
Figure 942524DEST_PATH_IMAGE022
，因为
Figure 964707DEST_PATH_IMAGE023
是独立的二维随机变量，
Figure 616268DEST_PATH_IMAGE024
，且在横纵两个方向上所服 从的正态分布应相同，
Figure 661584DEST_PATH_IMAGE025
，令其为
Figure 853531DEST_PATH_IMAGE026
，中心点像素在原点位置，
Figure 402324DEST_PATH_IMAGE027
。由此，二 维图像中像素点权重的正态分布函数简化为式（6）。
Figure 818262DEST_PATH_IMAGE028
（6）
为了兼顾照度分量的全局特性和局部特性，本发明采用多尺度高斯函数的方法，对提取出的照度分量进行加权处理，如式（7）所示：
Figure 85295DEST_PATH_IMAGE056
（7）
式中
Figure DEST_PATH_IMAGE057
为由多尺度高斯函数卷积得到的加权后的照度分量，
Figure 80933DEST_PATH_IMAGE058
为第i个尺度高 斯函数照度分量的加权系数，一般取1/N，N为使用到的尺度数目，根据文[JOBSON D J, RAHAMAN Z, Wooden G A. A multiscale retinex for bridging the gap between color images and the human observation of scenes [J]. IEEE Transactions on Image Processing, 1997, 6 (7): 965-976.]的实验可知，N取3得到的效果最好，选三个 不同模板，使得对应的
Figure DEST_PATH_IMAGE059
取值为15，80，250。采用固定的照度校正因子
Figure 546549DEST_PATH_IMAGE060
对原始图像进行照 度校正，如式（8）所示：
Figure DEST_PATH_IMAGE061
（8）
式中：
Figure 960537DEST_PATH_IMAGE062
是经过校正后得到的图像亮度，
Figure 714866DEST_PATH_IMAGE060
是校正因子，能很好的校正弱光情 况下的图像，但固定的校正因子使得算法对部分图像能获得较好的校正效果，对其他图像 表现却不尽如人意。为了改善图像的校正效果，本发明根据提取的照度分量，设计出自适应 的校正因子。若
Figure 451878DEST_PATH_IMAGE060
可变，当输入的图像的照度分量
Figure DEST_PATH_IMAGE063
大时，
Figure 772001DEST_PATH_IMAGE060
随之增大，则通过（8）式校正 后，输出图像的亮度降低。当输入的图像的照度分量
Figure 264162DEST_PATH_IMAGE063
越小，
Figure 240209DEST_PATH_IMAGE060
也随之减小，输出图像的亮 度被提高。为了达到此效果，本发明设计自适应校正因子
Figure 780911DEST_PATH_IMAGE060
如式（9）所示。
Figure 486699DEST_PATH_IMAGE064
（9）
其中
Figure DEST_PATH_IMAGE065
，为所提取照度分量的平均值。经过式（8）的校正，图片往往 会出现发白和对比度降低的现象，为了改善这种现象，本发明对式（8）校正之后的图像采用 CLAHE法。CLAHE算法是直方图均衡的一种改进算法，它将图像进行分块处理，避免对整幅图 像直接进行直方图均衡的不合理性，而且对直方图进行对比度限制，以削弱高频数灰度值 的频数。
自适应图像亮度预处理流程具体如下：
第一步：将视觉系统获取的原始图像从RGB空间转换到HSV空间，并分离图像的色 调分量
Figure 884183DEST_PATH_IMAGE001
，饱和度分量
Figure 613104DEST_PATH_IMAGE002
和亮度分量
Figure 691919DEST_PATH_IMAGE003
。
第二步：选择三个不同的模板，使得对应的高斯函数的
Figure 517792DEST_PATH_IMAGE066
符合要求，利用式（7） 提取照度分量
Figure DEST_PATH_IMAGE067
，对饱和度分量
Figure 820598DEST_PATH_IMAGE002
与色调分量
Figure 36815DEST_PATH_IMAGE001
不做处理，保持不变。这样既减 少了计算量，又充分保留了图像的细节信息。
第三步：根据从图像中提取的照度分量
Figure 981637DEST_PATH_IMAGE067
，确定自适应校正因子γ，如式（9） 所示。
第四步：得到自适应校正因子γ后，通过式（8）对亮度分量
Figure 334121DEST_PATH_IMAGE068
进行校正，得到
Figure DEST_PATH_IMAGE069
。
第五步：采用CLAHE算法对亮度分量V进行优化处理得到
Figure 341916DEST_PATH_IMAGE070
，进一步提升图像对比 度，使得图像结构和纹理更清晰。
第六步：将优化后的亮度分量
Figure 779851DEST_PATH_IMAGE070
，与未处理的
Figure 262785DEST_PATH_IMAGE001
、
Figure 735354DEST_PATH_IMAGE002
分量进行融合，并将图像 从HSV空间转换回RGB颜色空间，由此得到原始图像的增强图像。增强后的图像作为特征提 取的源图像，将大大提升特征点的数量和质量，从而提高ORB-SLAM2算法在极端光照环境， 特别是弱光甚至黑暗的环境下的适应能力。
本申请的算法有经过实验对比论证，具体如下：
本节将设计两组实验进行算法效果的验证，采用的数据集分别为New TsukubaStereo Dataset数据集和EuRoC数据集。New Tsukuba Stereo Dataset为合成数据集其中包含明暗交替的图像。EuRoC数据集为微型飞行器收集的视觉惯性数据集，场景为工厂机房和普通房间，在这两个场景中都存在着大量弱光照图像。实验所使用的硬件平台是戴尔Precision 7820 Tower台式电脑，搭载Intel(R) Silver 4210R处理器、32GB的内存、显卡为NVIDIA Quadro P2200 4G，系统环境为Ubuntu16.04。
1.特征点匹配实验
为测试自适应图像增强算法对视觉图像特征点匹配的影响，本节选用NewTsukuba Stereo Dataset数据集中的lamp序列进行特征点匹配实验。将弱光环境下的视觉图像输入ORB-SLAM方法进行特征匹配，实验结果如图3至图6所示，从图上可以直观地看出，通过自适应图像增强算法处理后的图像更为明亮，同时细节信息也更加明显，而原图像由于光照偏弱，很多信息都无法显现出来，可见，经过自适应图像增强算法处理后的图像更有利于视觉SLAM的特征匹配，本发明所提的融入自适应图像增强算法的SLAM方法能更好地适应弱光环境。
2.视觉SLAM方法轨迹定位精度对比试验
为了测试适应于弱光环境的视觉SLAM方法进行轨迹定位的有效性，在公开的数据集EuRoC上，利用本算法与原ORB-SLAM方法分别进行轨迹定位实验。选取EuRoC数据集中的四个不同的运动序列数据，V1_01_easy，V1_03_difficult，MH_01_easy，MH_05_difficult作为测试数据集。在这四个序列中，V1_03_difficult和MH_05_difficult存在着大量光照剧烈变化的图像（有正常光照也有很多低光照的图像，如图7至图8所示），用于测试两种算法在光照剧烈变化的情况下的适应性。V1_01_easy和MH_01_easy两个序列全程都保持正常光照，用于测试两种算法在正常情况下的表现。
本发明算法与原ORB-SLAM在四个不同运动序列上的运行轨迹和误差如图9至图16所示，通过对比可知本发明算法所得出的运行轨迹要比ORB-SLAM2的要更为准确，与实际轨迹之间的误差要更小一点。
表1 两种算法的绝对轨迹误差对比 （m）
Figure DEST_PATH_IMAGE071
各序列上运动轨迹的误差统计结果如表1所示，可见在四个的测试数据序列上，本发明算法在rmse（均方根误差）、max（最大值误差）、mean（平均误差）、min（最小误差）、std（误差标准差）、median（误差中值）等方面都要优于原ORB-SLAM2。经计算，与原ORB-SLAM2算法相比，本发明算法在四个序列上的rmse（均方根误差）分别降低了0.79%、42.45%、11.55%和12.37%。在序列V1_01_easy中，本发明的改进算法几乎没有太多的提升，这是因为此序列光照条件良好，运动中不包含复杂的旋转和快速平移，两种算法表现相似。在序列V1_03_difficult中，虽然光照时刻变化且存在复杂的旋转，但是总体的场景较为简单，本发明算法通过对原始图像进行自适应增强，能够很好地改善原ORB-SLAM2的特征点匹配，大大提升了轨迹定位的准确性。综上所述，本算法在持续正常光照的条件下也能够保持足够的鲁棒性，且能够比较好地适应光照剧烈变化的场景。

Claims (2)

1.一种适应于多变光照环境的自适应视觉SLAM方法，其特征在于包括三大线程：跟踪线程、局部建图线程、回环检测线程，具体如下：
A.跟踪线程：SLAM系统接收到来自相机中的图像，采用自适应图像亮度预处理算法进行图像增强预处理，自适应地校正图像亮度，从校正后的图像中提取ORB特征，输出每帧图像对应的相机位姿信息用以定位，进行局部地图跟踪，同时挑选关键帧，并传输给局部建图线程；
B.局部建图线程：接收跟踪线程输出的关键帧，完成关键帧的插入，生成新的地图点；然后用局部光束平差法进行调整，最后对插入的关键帧进行筛选，剔除多余的关键帧；
C.回环检测线程：主要包括两个过程，分别是回环检测和回环校正，回环检测首先利用词袋进行回环关键帧的检测，然后通过sim3算法进行相似变换；回环校正则是进行回环融合并优化本征图像；
在SLAM系统前端增加了校正图像亮度的图像预处理算法，所述图像预处理算法包含以下步骤：
第一步：将视觉系统获取的原始图像从RGB空间转换到HSV空间，并分离图像的色调分 量
Figure DEST_PATH_IMAGE001
，饱和度分量
Figure 178753DEST_PATH_IMAGE002
和亮度分量
Figure DEST_PATH_IMAGE003
，
Figure 158210DEST_PATH_IMAGE004
为像素点在图像上的坐标值；
第二步：采用多尺度高斯函数的方法，对提取出的环境照度分量进行加权处理；利用式
Figure DEST_PATH_IMAGE005
，提取环境照度分量
Figure 264DEST_PATH_IMAGE006
，*表示卷积运算；
Figure DEST_PATH_IMAGE007
为高斯 模糊滤波器，须满足归一化条件，即
Figure 460720DEST_PATH_IMAGE008
；高斯模糊滤波器采用高斯滤波对整幅图像 进行加权平均，每一个像素点的灰度值，都由其本身和邻域内的其他像素点的灰度值经过 加权平均后得到，
Figure DEST_PATH_IMAGE009
为第i个尺度高斯函数照度分量的加权系数，一般取1/N，N为使用到的 尺度数目；
第三步：根据从图像中提取的照度分量
Figure 337409DEST_PATH_IMAGE010
，确定自适应校正因子γ，
Figure DEST_PATH_IMAGE011
，其中
Figure 18927DEST_PATH_IMAGE012
为自然底数，
Figure DEST_PATH_IMAGE013
，为所提取 照度分量的平均值；
第四步：得到自适应校正因子γ后，通过式
Figure 551539DEST_PATH_IMAGE014
对亮度分量
Figure DEST_PATH_IMAGE015
进行校正；
第五步：采用CLAHE算法对亮度分量
Figure 812756DEST_PATH_IMAGE016
优化处理，得到优化后的亮度分量
Figure DEST_PATH_IMAGE017
；
第六步：将优化后的亮度分量
Figure 543952DEST_PATH_IMAGE018
，与未处理的
Figure 537315DEST_PATH_IMAGE001
、
Figure 353962DEST_PATH_IMAGE002
分量进行融合，并将图像从 HSV空间转换回RGB颜色空间，由此得到原始图像的增强图像；增强后的图像作为特征提取 的源图像。
2.根据权利要求1所述适应于多变光照环境的自适应视觉SLAM方法，其特征在于：第二 步加权平均具体的操作是用一个模板扫描图像中的每一个像素点，模板确定的邻域内像素 点灰度值的加权平均值代替模板中心像素点的灰度值；涉及的函数是：
Figure DEST_PATH_IMAGE019
，其中
Figure 950028DEST_PATH_IMAGE020
为模板内像素点在以中心像素点为 原点构建的坐标系下的坐标，服从正态分布，记为：
Figure DEST_PATH_IMAGE021
,
Figure 473413DEST_PATH_IMAGE022
、
Figure DEST_PATH_IMAGE023
分别 为x、y的数学期望，
Figure 171767DEST_PATH_IMAGE024
、
Figure DEST_PATH_IMAGE025
分别为x、y的标准方差，
Figure 475709DEST_PATH_IMAGE026
像素点的协方差
Figure DEST_PATH_IMAGE027
，
Figure 609887DEST_PATH_IMAGE028
为
Figure DEST_PATH_IMAGE029
的期望值，相关系数
Figure 518937DEST_PATH_IMAGE030
，因为
Figure DEST_PATH_IMAGE031
是独立的二维随机变量，
Figure 713158DEST_PATH_IMAGE032
， 且在横纵两个方向上所服从的正态分布应相同，
Figure DEST_PATH_IMAGE033
，令其为
Figure 707659DEST_PATH_IMAGE034
，中心点像素在原点位 置，
Figure DEST_PATH_IMAGE035
，由此，二维图像中像素点权重的正态分布函数简化为式
Figure 848790DEST_PATH_IMAGE036
，对饱和度分量
Figure 346768DEST_PATH_IMAGE002
与色调分量
Figure 977469DEST_PATH_IMAGE001
不做处理，保持不变。
CN202211497314.8A 2022-11-28 2022-11-28 一种适应于多变光照环境的自适应视觉slam方法 Active CN115526811B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211497314.8A CN115526811B (zh) 2022-11-28 2022-11-28 一种适应于多变光照环境的自适应视觉slam方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211497314.8A CN115526811B (zh) 2022-11-28 2022-11-28 一种适应于多变光照环境的自适应视觉slam方法

Publications (2)

Publication Number Publication Date
CN115526811A CN115526811A (zh) 2022-12-27
CN115526811B true CN115526811B (zh) 2023-03-24

Family

ID=84705104

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211497314.8A Active CN115526811B (zh) 2022-11-28 2022-11-28 一种适应于多变光照环境的自适应视觉slam方法

Country Status (1)

Country Link
CN (1) CN115526811B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116894791B (zh) * 2023-08-01 2024-02-09 中国人民解放军战略支援部队航天工程大学 一种低光照条件下图像增强的视觉slam方法和系统

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022041596A1 (zh) * 2020-08-31 2022-03-03 同济人工智能研究院(苏州)有限公司 一种适用于室内动态环境的视觉slam方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019169540A1 (zh) * 2018-03-06 2019-09-12 斯坦德机器人（深圳）有限公司 紧耦合视觉slam的方法、终端及计算机可读存储介质
CN109325922B (zh) * 2018-09-12 2022-03-11 深圳开阳电子股份有限公司 一种图像自适应增强方法、装置及图像处理设备
CN109579840A (zh) * 2018-10-25 2019-04-05 中国科学院上海微系统与信息技术研究所 一种点线特征融合的紧耦合双目视觉惯性slam方法
CN110044354B (zh) * 2019-03-28 2022-05-20 东南大学 一种双目视觉室内定位与建图方法及装置
CN111968065B (zh) * 2020-10-23 2021-04-06 浙江科技学院 一种亮度不均匀图像的自适应增强方法
CN113298904B (zh) * 2021-05-28 2022-12-02 内蒙古工业大学 一种基于单目视觉的定位与地图构建方法
CN113888603A (zh) * 2021-09-16 2022-01-04 西北工业大学 基于光流跟踪和特征匹配的回环检测及视觉slam方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022041596A1 (zh) * 2020-08-31 2022-03-03 同济人工智能研究院(苏州)有限公司 一种适用于室内动态环境的视觉slam方法

Also Published As

Publication number Publication date
CN115526811A (zh) 2022-12-27

Similar Documents

Publication Publication Date Title
Wang et al. Adaptive image enhancement method for correcting low-illumination images
CN108876743B (zh) 一种图像快速去雾方法、系统、终端及存储介质
CN106506983B (zh) 一种适用于ldr视频的hdr视频生成方法
CN109064426B (zh) 一种用于抑制低照度图像中眩光并增强图像的方法及装置
CN110782477A (zh) 基于序列图像的运动目标快速检测方法、计算机视觉系统
WO2022000397A1 (zh) 低照度图像增强方法、装置及计算机设备
CN109447917B (zh) 基于内容和特征及多尺度模型的遥感图像雾霾消除方法
Wang et al. Variational single nighttime image haze removal with a gray haze-line prior
CN106296744A (zh) 一种结合自适应模型和多阴影属性的运动目标检测方法
CN111968041A (zh) 一种自适应图像增强方法
Wang et al. Weak-light image enhancement method based on adaptive local gamma transform and color compensation
CN115526811B (zh) 一种适应于多变光照环境的自适应视觉slam方法
CN109754440A (zh) 一种基于全卷积网络和均值漂移的阴影区域检测方法
Li et al. Fast region-adaptive defogging and enhancement for outdoor images containing sky
CN114862698A (zh) 一种基于通道引导的真实过曝光图像校正方法与装置
CN108550124B (zh) 一种基于仿生螺线的光照补偿及图像增强方法
CN112288780B (zh) 多特征动态加权的目标跟踪算法
CN112288726B (zh) 一种井下带式输送机带面异物检测方法
CN111667498B (zh) 一种面向光学卫星视频的运动舰船目标自动检测方法
CN111667509B (zh) 目标与背景颜色相似下的运动目标自动跟踪方法及系统
CN111161219B (zh) 一种适用于阴影环境的鲁棒单目视觉slam方法
CN109741276B (zh) 一种基于滤波分层框架的红外图像基本层处理方法及系统
CN112927164B (zh) 一种基于深度卷积神经网络的无参考低照度图像增强方法
WO2023110880A1 (en) Image processing methods and systems for low-light image enhancement using machine learning models
GUAN et al. A dual-tree complex wavelet transform-based model for low-illumination image enhancement

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant