CN110910332A - 一种视觉slam系统动态模糊处理算法 - Google Patents

一种视觉slam系统动态模糊处理算法 Download PDF

Info

Publication number
CN110910332A
CN110910332A CN201911219898.0A CN201911219898A CN110910332A CN 110910332 A CN110910332 A CN 110910332A CN 201911219898 A CN201911219898 A CN 201911219898A CN 110910332 A CN110910332 A CN 110910332A
Authority
CN
China
Prior art keywords
image
frame
motion blur
blur
sequence
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911219898.0A
Other languages
English (en)
Other versions
CN110910332B (zh
Inventor
沈晔湖
王其聪
蒋全胜
朱其新
杨勇
谢鸥
牛雪梅
牛福洲
陈浩
苗静
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suzhou DingFocus Technology Co.,Ltd.
Original Assignee
Suzhou University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suzhou University of Science and Technology filed Critical Suzhou University of Science and Technology
Priority to CN201911219898.0A priority Critical patent/CN110910332B/zh
Publication of CN110910332A publication Critical patent/CN110910332A/zh
Application granted granted Critical
Publication of CN110910332B publication Critical patent/CN110910332B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/40—Analysis of texture
    • G06T7/41—Analysis of texture based on statistical description of texture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种视觉SLAM系统动态模糊处理算法，包括如下步骤：输入图像序列；提取所述图像序列中各帧图像的特征点，获得每帧图像对应的候选特征点集；检测所述图像序列中各帧图像的运动模糊程度：响应于所述运动模糊程度为全局清晰，则保留该帧图像及其对应的候选特征点集；响应于所述运动模糊程度为全局模糊，则从所述图像序列中删除该帧图像及其对应的候选特征点集；响应于所述运动模糊程度为局部模糊，则保留该帧图像并重新提取该帧图像内的特征点，生成新的候选特征点集；基于相邻两帧图像的候选特征点集的匹配程度，完成所述图像序列的追踪。本发明能够有效减少模糊图像对视觉SLAM系统的干扰，提高视觉SLAM系统的稳定性和准确性。

Description

一种视觉SLAM系统动态模糊处理算法
技术领域
本发明涉及图像处理领域，尤其涉及一种视觉SLAM系统动态模糊处理算法。
背景技术
运动模糊(相机采样频率较低导致由于存在与被摄物之间的相对运动造成的图像退化称为运动模糊)会降低视觉SLAM(同步定位与地图构建，英文全称：SimultaneousLocalization and Mapping)系统中匹配跟踪算法，尤其是基于特征点法的视觉SLAM系统的跟踪稳定性，使得匹配的关键点的数量大幅减少，造成跟踪失败、重新定位等问题。
现有技术中，可以从提高硬件性能和改善软件算法两方面解决图像运动模糊问题。而针对改善软件算法又主要分为两类：一是对图像进行去模糊处理，从而恢复原始清晰的图像，这种方法占用内存较大，运行速度慢，在视觉SLAM系统中对所有图像进行上述处理将造成效率大幅下降；二是检测模糊图像并从图像序列中删除模糊图像，这种方法要求图像序列包含丰富的纹理，一旦图像缺乏纹理时，判断准确率将会大幅下降，因此对于图像序列中纹理变化频繁的视觉SLAM系统来说是难以接受的。
发明内容
本发明提供一种视觉SLAM系统动态模糊处理算法，以解决上述技术问题。
为解决上述技术问题，本发明提供一种视觉SLAM系统动态模糊处理算法，包括如下步骤：输入图像序列；提取所述图像序列中各帧图像的特征点，获得每帧图像对应的候选特征点集；检测所述图像序列中各帧图像的运动模糊程度：响应于所述运动模糊程度为全局清晰，则保留该帧图像及其对应的候选特征点集；响应于所述运动模糊程度为全局模糊，则从所述图像序列中删除该帧图像及其对应的候选特征点集；响应于所述运动模糊程度为局部模糊，则保留该帧图像并重新提取该帧图像内的特征点，生成新的候选特征点集；基于相邻两帧图像的候选特征点集的匹配程度，完成所述图像序列的追踪。
较佳的，采用局部残差模糊判别网络检测所述图像序列中各帧图像的运动模糊程度。
较佳的，所述局部残差模糊判别网络的网络结构依次包括输入层、卷积层、全连接层和输出层，所述卷积层包括残差卷积层、第一卷积层和第二卷积层。
较佳的，所述检测所述图像序列中各帧图像的运动模糊程度包括如下步骤：将当前帧图像划分为若干个图像窗口，生成候选区域序列；将所述候选区域序列输入所述局部残差模糊判别网络中，输出判别结果序列，所述判别结果序列用于指示对应的图像窗口为模糊区域或清晰区域；基于所述判别结果序列中模糊区域的数量与所述候选区域序列的比值，计算所述当前帧图像的图像模糊比；基于所述图像模糊比确定所述当前帧图像的运动模糊程度。
较佳的，将当前帧图像划分为若干个图像窗口，生成候选区域序列之后，还包括以下步骤：计算各个所述图像窗口内的图像的纹理丰富度；筛选出所述纹理丰富度大于第三阈值的图像窗口，生成更新后的候选区域序列；将更新后的候选区域序列作为所述局部残差模糊判别网络的输入。
较佳的，重新提取该帧图像内的特征点，生成新的候选特征点集的方法包括：降低该帧图像中模糊区域中特征点的数量；增加该帧图像中清晰区域中特征点的数量。
较佳的，所述基于所述图像模糊比确定所述当前帧图像的运动模糊程度的方法包括：响应于所述图像模糊比小于第一阈值，则确定该帧图像的运动模糊程度为全局清晰；响应于所述图像模糊比大于第二阈值，则确定该帧图像的运动模糊程度为全局模糊；响应于所述图像模糊比大于第一阈值且小于第二阈值，则确定该帧图像的运动模糊程度为局部模糊。
较佳的，所述局部残差模糊判别网络的训练方法包括：获取训练样本数据，所述训练样本数据中包括若干帧图像的灰度图以及每帧图像对应的清晰度判断结果；以每帧图像的灰度图作为输入，以每帧图像对应的清晰度判断结果作为标记，训练所述局部残差模糊判别网络。
较佳的，所述局部残差模糊判别网络的测试方法包括：获取测试样本数据，所述测试样本数据中包括若干帧图像的灰度图以及每帧图像对应的清晰度判断结果，所述测试样本数据区别于所述训练样本数据；以每帧图像的灰度图作为输入，以每帧图像对应的清晰度判断结果作为标记，检测所述局部残差模糊判别网络的训练结果。
较佳的，基于每帧图像的运动模糊偏移长度确定该帧图像的清晰度判断结果：响应于该帧图像的运动模糊偏移长度低于第四阈值，则该帧图像标记为清晰；响应于该帧图像的运动模糊偏移长度高于第四阈值，则该帧图像标记为模糊。
与现有技术相比，本发明提供的视觉SLAM系统动态模糊处理算法，包括如下步骤：输入图像序列；提取所述图像序列中各帧图像的特征点，获得每帧图像对应的候选特征点集；检测所述图像序列中各帧图像的运动模糊程度：响应于所述运动模糊程度为全局清晰，则保留该帧图像及其对应的候选特征点集；响应于所述运动模糊程度为全局模糊，则从所述图像序列中删除该帧图像及其对应的候选特征点集；响应于所述运动模糊程度为局部模糊，则保留该帧图像并重新提取该帧图像内的特征点，生成新的候选特征点集；基于相邻两帧图像的候选特征点集的匹配程度，完成所述图像序列的追踪。本发明提出的算法能够提高视觉SLAM系统跟踪时的稳定性，延缓或避免跟踪丢失的情况，从而提升系统的定位精度。
附图说明
图1为本发明一具体实施方式中视觉SLAM系统动态模糊处理算法的流程图；
图2为本发明一具体实施方式中局部残差模糊判别网络的网络结构图；
图3为本发明一具体实施方式中运动偏移长度对ORB算子匹配影响的平均结果；
图4为本发明一具体实施方式中运动偏移角度对ORB算子匹配影响的平均结果。
图中：10-输入层、20-残差卷积层、30-第一卷积层、40-第二卷积层、50-全连接层、60-输出层。
具体实施方式
为了更详尽的表述上述发明的技术方案，以下列举出具体的实施例来证明技术效果；需要强调的是，这些实施例用于说明本发明而不限于限制本发明的范围。
本发明提供的视觉SLAM系统动态模糊处理算法，如图1所示，包括如下步骤：输入图像序列；提取所述图像序列中各帧图像的特征点，获得每帧图像对应的候选特征点集；检测所述图像序列中各帧图像的运动模糊程度：响应于所述运动模糊程度为全局清晰，则保留该帧图像及其对应的候选特征点集；响应于所述运动模糊程度为全局模糊，则从所述图像序列中删除该帧图像及其对应的候选特征点集；响应于所述运动模糊程度为局部模糊，则保留该帧图像并重新提取该帧图像内的特征点，生成新的候选特征点集；基于相邻两帧图像的候选特征点集的匹配程度，完成所述图像序列的追踪。
本发明先对各帧图像进行特征点粗提取，获得对应的候选特征点集，再检测运动模糊程度，并将运动模糊程度分为三类：第一类运动模糊(即全局清晰)对视觉SLAM匹配算法影响不大，保留该类图像及其对应的候选特征点集；第二类运动模糊(局部模糊)对视觉SLAM系统匹配和追踪性能有一定损害，则对该帧图像内的特征点进行重新提取，利用特征点的重新分配，实现对该类图像的处理；第三类运动模糊(全局模糊)对视觉SLAM系统匹配影响极大，直接抛弃该类图像。本发明提出的算法能够提高视觉SLAM系统跟踪时的稳定性，延缓或避免跟踪丢失的情况，从而提升系统的定位精度。
较佳的，请重点参考图2，采用局部残差模糊判别网络检测所述图像序列中各帧图像的运动模糊程度。较佳的，所述局部残差模糊判别网络的网络结构依次包括输入层10、卷积层、全连接层50和输出层60，所述卷积层包括残差卷积层20、第一卷积层30和第二卷积层40。
具体地，输入层10是整个局部残差模糊判别网络的输入，为若干组分辨率为64×64的单通道灰度图。
所述残差卷积层20的输入为33×33×64像素，由4个两层残差块和一个最大池化层组成，其输出为15×15×64像素。其中卷积核尺寸为3×3，池化层窗口尺寸为5×5，步长为2。
所述第一卷积层30为普通卷积层，其输入为15×15×64像素，由4个经过正则化的2D卷积层和1个最大池化层组成，输出为7×7×128像素。其中卷积核尺寸为3×3，池化层窗口尺寸为3×3，步长为2。
所述第二卷积层40为普通卷积层，其输入为7×7×128像素，由4个经过正则化的2D卷积层和1个全局平均池化层组成，输出为1×1×256像素。其中卷积核尺寸为1×1，池化层窗口尺寸为7×7，步长为7。
本发明使用残差卷积层20和两个普通卷积层组成整个卷积层，一方面，能够有效地将梯度传递给网络前端，解决深层网络梯度消失的问题；另一方面能够解决残差网络所消耗的计算资源过大，运算速度慢等问题。
本发明中，卷积层能够利用不同大小的窗口滑动并由Relu激活函数来提取图像的局部特征。不同大小的窗口和多个卷积层叠加也保证了能够提取丰富的不同尺度下的特征；池化层可以对图像进行降维以减少特征图，并一定程度上保证了平移缩放不变性。本发明中提出的网络结构中前两组采用最大池化层，能够有效的放大和筛选特征；最后一组采用了全局平均池化层，更利于提取背景信息和减少信息损失。
经卷积层提取出的若干组特征，经过所述全连接层50，将学到的分布式特征表示映射到样本标记空间，这时特征图仍需要进行一次概率p＝0.5的dropout正则化处理，从而有效防止过拟合。
最后，特征数据利用softmax激活函数经过二分类器输出最终的结果，得到该图像是否模糊的判决结果，并将结果传递给视觉SLAM系统。
本文选取的损失函数为二元交叉熵函数(binary crossentropy)，它是多分类softmax交叉熵函数(softmax crossentropy)的一种特殊情况，其表达式为：
Figure BDA0002300510240000051
其中n为训练样本个数；yi为训练样本的真实标记值；
Figure BDA0002300510240000052
为训练样本的估计值。
较佳的，所述检测所述图像序列中各帧图像的运动模糊程度包括如下步骤：将当前帧图像划分为若干个图像窗口，生成候选区域序列，为便于与视觉SLAM系统直接耦合，提升视觉SLAM系统对于动态模糊环境的鲁棒性，本发明中，将当前帧图像划分为分辨率为64×64的若干个图像窗口，将其总数记为M。
然后，将所述候选区域序列输入所述局部残差模糊判别网络中，输出判别结果序列，所述判别结果序列用于指示对应的图像窗口为模糊区域或清晰区域。具体地，还可以基于图像的纹理丰富度筛选生成更新后的候选区域序列，将其总数记为N。
然后，基于所述判别结果序列中模糊区域的数量q与所述候选区域序列数量N的比值，计算所述当前帧图像的图像模糊比c＝q/N。
较佳的，为便于方便、直观地统计出模糊区域的数量q，本发明将所述判别结果序列作为输入，根据其与当前帧的对应关系将其恢复成模糊-位置关系二值图。在该模糊-位置关系二值图中，模糊区域与模糊位置相对应，从而将原图像的特征点坐标投射到模糊-位置关系二值图上，继而根据该像素的值判断该点是否模糊。
基于所述图像模糊比c确定所述当前帧图像的运动模糊程度。
较佳的，基于图像的纹理丰富度筛选候选区域序列的方法包括：
计算各个所述图像窗口内的图像的纹理丰富度，具体方法为：
对于图像中的某个图像窗口Is，首先构建其对应的灰度分布概率直方图hist(x)，从而该图像窗口对应的纹理丰富度衡量公式如下：
Figure BDA0002300510240000061
其中L是灰度级的数量，一般对于8位图像取256，v为灰度等级，m是图像窗口Is的灰度均值。
筛选出所述纹理丰富度大于第三阈值ξ的图像窗口，生成更新后的候选区域序列。本实施例中，所述第三阈值ξ为30。
将更新后的候选区域序列作为所述局部残差模糊判别网络的输入。在视觉SLAM系统中常常包含着大量纹理相近、缺乏显著特征的候选区域。当进行模糊检测时，在该候选区域获得的信息常常因为缺乏边缘特征信息而不够准确，并且造成大量的计算资源浪费。因此，本发明在对视觉SLAM系统的候选区域进行模糊运动检测时，先利用第三阈值剔除了纹理较弱的候选区域，仅选用纹理丰富的部分进行后续的检测算法。
较佳的，重新提取该帧图像内的特征点，生成新的候选特征点集的方法包括：降低该帧图像中模糊区域中特征点的数量；增加该帧图像中清晰区域中特征点的数量。本实施例中，将模糊区域中特征点的数量降至原来的50％；同时，增加清晰区域内的特征点的数量，以保持在当前帧中能获取的特征点总数基本保持不变。
较佳的，所述基于所述图像模糊比c确定所述当前帧图像的运动模糊程度的方法包括：响应于所述图像模糊比c小于第一阈值，则确定该帧图像的运动模糊程度为全局清晰；响应于所述图像模糊比c大于第二阈值，则确定该帧图像的运动模糊程度为全局模糊；响应于所述图像模糊比c大于第一阈值且小于第二阈值，则确定该帧图像的运动模糊程度为局部模糊。需要说明的是，图像模糊比c等于第一阈值的情况，运动模糊程度可以是全局清晰，也可以是局部模糊；同样的，图像模糊比c等于第二阈值的情况，运动模糊程度可以是全局模糊，也可以是局部模糊，此处对于这种临界情况不予限定。
本实施例中，所述第一阈值为0.1，第二阈值为0.5。
较佳的，所述局部残差模糊判别网络的训练方法包括：获取训练样本数据，所述训练样本数据中包括若干帧图像的灰度图以及每帧图像对应的清晰度判断结果；以每帧图像的灰度图作为输入，以每帧图像对应的清晰度判断结果作为标记，训练所述局部残差模糊判别网络。
具体地，本发明提出的局部残差模糊判别网络选用标准Glorot正态分布初始化器进行初始化；优化器选用随机梯度下降(SGD)方法，其步长参数设置为0.005。同时，又在SGD基础上加入了动量为0.9的Momentum动量技术和Nesterov梯度加速法方法进行加速SGD，从而解决了传统的SGD容易陷入局部最优值的问题，有效地抑制了训练时的震荡。
较佳的，所述局部残差模糊判别网络的测试方法包括：获取测试样本数据，所述测试样本数据中包括若干帧图像的灰度图以及每帧图像对应的清晰度判断结果，所述测试样本数据区别于所述训练样本数据；以每帧图像的灰度图作为输入，以每帧图像对应的清晰度判断结果作为标记，检测所述局部残差模糊判别网络的训练结果。
具体地，本发明中所使用训练样本数据和测试样本数据均来源于德国慕尼黑大学的TUM数据集以及indoorCVPR室内多场景数据集。具体过程如下：首先从上述数据集中由人工筛选出1200张清晰图片，并将它们转化为灰度图。将上述灰度图分割成分辨率为64×64的图像。生成训练和测试样本数据，得到24718幅图像。对上述图像根据均匀分布随机施加运动角度范围0～90°，运动长度范围为0～10像素的运动模糊。将上述图像随机分为2组，分别包含20012幅图像和4706幅图像，并将20012幅图像作为训练样本数据，4706幅图像作为测试样本数据。
具体地，生成训练和测试样本数据的方法包括：本发明首先从数据集中选择相邻两帧清晰图像Ir和Ic，然后对Ic施加运动模糊：
Figure BDA0002300510240000081
其中g为运动模糊后的图像；“*”为卷积操作；
Figure BDA0002300510240000082
为点扩展函数，其表示如下：
Figure BDA0002300510240000083
s表示运动偏移长度；
Figure BDA0002300510240000084
为运动轨迹与水平方向的夹角；o表示运动的起始位置；t表示水平方向单位向量；n表示垂直方向单位向量；δ表示目标物体的成像总量在n方向上的测度；1[0,l]表示沿着数值区间[0,l]进行线性度测算。
本发明根据运动偏移长度s和夹角
Figure BDA0002300510240000085
从小到大的顺序，构建了如下运动模糊核集合：
Figure BDA0002300510240000086
利用H中的不同运动模糊核与Ic进行卷积从而得到运动模糊图像集合：
Figure BDA0002300510240000087
由于运动模糊包括两种形成原因，即运动偏移长度和运动偏移角度，请重点参考图3和图4，由图中可知，运动偏移角度造成的运动模糊对视觉SLAM系统整体匹配影响不大，在绝大部分情况下可以忽略该因素的影响；而匹配数目随运动偏移长度造成的运动模糊的增加总体呈下降趋势，并且在偏移长度大于第四阈值σ时出现大幅下降。因此，本发明基于每帧图像的运动模糊偏移长度确定该帧图像的清晰度判断结果：响应于该帧图像的运动模糊偏移长度低于第四阈值，则该帧图像标记为清晰；响应于该帧图像的运动模糊偏移长度高于第四阈值，则该帧图像标记为模糊。本实施例中，所述第四阈值为6像素。当运动模糊偏移长度大于第四阈值σ时将图像分类为模糊。删除这类图像进行后续提取特征点操作。
实验结果证明，在相同层数的前提下，分别全部使用传统卷积层连接、全部使用残差块连接、全部使用Inception v1连接以及本申请提出的局部残差网络结构在本申请所述实验环境下，其准确率和计算复杂度对比结果。本发明提出的网络结构能有效的对模糊图像进行检测，其准确率和全残差块连接相近，远高于类似VGG Net的普通全卷积连接和Inception v1连接，但消耗计算资源相较全残差连接网络大幅减少。因此本发明提出的网络结构在性能和运算复杂度之间找到了较好的平衡点。
且本发明提出的局部残差网络结构在清晰和模糊图像的分类性能较为接近，均能达到90％以上的准确率，能够满足视觉SLAM系统输入图像分类的要求；另外，本发明提出的算法能够提高特征点的匹配数量，从而使得后续跟踪能够正常进行，大大地提升了图像序列的追踪完成度。
综上所述，本发明提供的视觉SLAM系统动态模糊处理算法，包括如下步骤：输入图像序列；提取所述图像序列中各帧图像的特征点，获得每帧图像对应的候选特征点集；检测所述图像序列中各帧图像的运动模糊程度：响应于所述运动模糊程度为全局清晰，则保留该帧图像及其对应的候选特征点集；响应于所述运动模糊程度为全局模糊，则从所述图像序列中删除该帧图像及其对应的候选特征点集；响应于所述运动模糊程度为局部模糊，则保留该帧图像并重新提取该帧图像内的特征点，生成新的候选特征点集；基于相邻两帧图像的候选特征点集的匹配程度，完成所述图像序列的追踪。本发明提出的算法能够提高视觉SLAM系统跟踪时的稳定性，延缓或避免跟踪丢失的情况，从而提升系统的定位精度。
显然，本领域的技术人员可以对发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包括这些改动和变型在内。

Claims (10)

1.一种视觉SLAM系统动态模糊处理算法，其特征在于，包括如下步骤：
输入图像序列；
提取所述图像序列中各帧图像的特征点，获得每帧图像对应的候选特征点集；
检测所述图像序列中各帧图像的运动模糊程度：
响应于所述运动模糊程度为全局清晰，则保留该帧图像及其对应的候选特征点集；
响应于所述运动模糊程度为全局模糊，则从所述图像序列中删除该帧图像及其对应的候选特征点集；
响应于所述运动模糊程度为局部模糊，则保留该帧图像并重新提取该帧图像内的特征点，生成新的候选特征点集；基于相邻两帧图像的候选特征点集的匹配程度，完成所述图像序列的追踪。
2.如权利要求1所述的视觉SLAM系统动态模糊处理算法，其特征在于，采用局部残差模糊判别网络检测所述图像序列中各帧图像的运动模糊程度。
3.如权利要求2所述的视觉SLAM系统动态模糊处理算法，其特征在于，所述局部残差模糊判别网络的网络结构依次包括输入层、卷积层、全连接层和输出层，所述卷积层包括残差卷积层、第一卷积层和第二卷积层。
4.如权利要求2所述的视觉SLAM系统动态模糊处理算法，其特征在于，所述检测所述图像序列中各帧图像的运动模糊程度包括如下步骤：
将当前帧图像划分为若干个图像窗口，生成候选区域序列；
将所述候选区域序列输入所述局部残差模糊判别网络中，输出判别结果序列，所述判别结果序列用于指示对应的图像窗口为模糊区域或清晰区域；
基于所述判别结果序列中模糊区域的数量与所述候选区域序列的比值，计算所述当前帧图像的图像模糊比；
基于所述图像模糊比确定所述当前帧图像的运动模糊程度。
5.如权利要求4所述的视觉SLAM系统动态模糊处理算法，其特征在于，将当前帧图像划分为若干个图像窗口，生成候选区域序列之后，还包括以下步骤：
计算各个所述图像窗口内的图像的纹理丰富度；
筛选出所述纹理丰富度大于第三阈值的图像窗口，生成更新后的候选区域序列；
将更新后的候选区域序列作为所述局部残差模糊判别网络的输入。
6.如权利要求4所述的视觉SLAM系统动态模糊处理算法，其特征在于，重新提取该帧图像内的特征点，生成新的候选特征点集的方法包括：
降低该帧图像中模糊区域中特征点的数量；
增加该帧图像中清晰区域中特征点的数量。
7.如权利要求4所述的视觉SLAM系统动态模糊处理算法，其特征在于，所述基于所述图像模糊比确定所述当前帧图像的运动模糊程度的方法包括：
响应于所述图像模糊比小于第一阈值，则确定该帧图像的运动模糊程度为全局清晰；
响应于所述图像模糊比大于第二阈值，则确定该帧图像的运动模糊程度为全局模糊；
响应于所述图像模糊比大于第一阈值且小于第二阈值，则确定该帧图像的运动模糊程度为局部模糊。
8.如权利要求2所述的视觉SLAM系统动态模糊处理算法，其特征在于，所述局部残差模糊判别网络的训练方法包括：
获取训练样本数据，所述训练样本数据中包括若干帧图像的灰度图以及每帧图像对应的清晰度判断结果；
以每帧图像的灰度图作为输入，以每帧图像对应的清晰度判断结果作为标记，训练所述局部残差模糊判别网络。
9.如权利要求8所述的视觉SLAM系统动态模糊处理算法，其特征在于，所述局部残差模糊判别网络的测试方法包括：
获取测试样本数据，所述测试样本数据中包括若干帧图像的灰度图以及每帧图像对应的清晰度判断结果，所述测试样本数据区别于所述训练样本数据；
以每帧图像的灰度图作为输入，以每帧图像对应的清晰度判断结果作为标记，检测所述局部残差模糊判别网络的训练结果。
10.如权利要求8或9所述的视觉SLAM系统动态模糊处理算法，其特征在于，基于每帧图像的运动模糊偏移长度确定该帧图像的清晰度判断结果：
响应于该帧图像的运动模糊偏移长度低于第四阈值，则该帧图像标记为清晰；
响应于该帧图像的运动模糊偏移长度高于第四阈值，则该帧图像标记为模糊。
CN201911219898.0A 2019-12-03 2019-12-03 一种视觉slam系统动态模糊处理方法 Active CN110910332B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911219898.0A CN110910332B (zh) 2019-12-03 2019-12-03 一种视觉slam系统动态模糊处理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911219898.0A CN110910332B (zh) 2019-12-03 2019-12-03 一种视觉slam系统动态模糊处理方法

Publications (2)

Publication Number Publication Date
CN110910332A true CN110910332A (zh) 2020-03-24
CN110910332B CN110910332B (zh) 2023-09-26

Family

ID=69821953

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911219898.0A Active CN110910332B (zh) 2019-12-03 2019-12-03 一种视觉slam系统动态模糊处理方法

Country Status (1)

Country Link
CN (1) CN110910332B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115984634A (zh) * 2023-03-20 2023-04-18 摩尔线程智能科技(北京)有限责任公司 图像检测方法、装置、设备、存储介质和程序产品
CN118734460A (zh) * 2024-09-04 2024-10-01 济南安迅科技有限公司 飞行器姿态控制的分布式仿真模型数据获取方法及系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105069801A (zh) * 2015-08-17 2015-11-18 江苏物联网研究发展中心 基于图像质量诊断的视频图像预处理方法
CN106096605A (zh) * 2016-06-02 2016-11-09 史方 一种基于深度学习的图像模糊区域检测方法及装置
CN107993247A (zh) * 2017-11-28 2018-05-04 网易（杭州）网络有限公司 追踪定位方法、系统、介质和计算设备
CN108564127A (zh) * 2018-04-19 2018-09-21 腾讯科技（深圳）有限公司 图像转换方法、装置、计算机设备及存储介质
CN110070580A (zh) * 2019-03-29 2019-07-30 南京华捷艾米软件科技有限公司 基于局部关键帧匹配的slam快速重定位方法及图像处理装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105069801A (zh) * 2015-08-17 2015-11-18 江苏物联网研究发展中心 基于图像质量诊断的视频图像预处理方法
CN106096605A (zh) * 2016-06-02 2016-11-09 史方 一种基于深度学习的图像模糊区域检测方法及装置
CN107993247A (zh) * 2017-11-28 2018-05-04 网易（杭州）网络有限公司 追踪定位方法、系统、介质和计算设备
CN108564127A (zh) * 2018-04-19 2018-09-21 腾讯科技（深圳）有限公司 图像转换方法、装置、计算机设备及存储介质
CN110070580A (zh) * 2019-03-29 2019-07-30 南京华捷艾米软件科技有限公司 基于局部关键帧匹配的slam快速重定位方法及图像处理装置

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115984634A (zh) * 2023-03-20 2023-04-18 摩尔线程智能科技(北京)有限责任公司 图像检测方法、装置、设备、存储介质和程序产品
CN115984634B (zh) * 2023-03-20 2023-09-12 摩尔线程智能科技(北京)有限责任公司 图像检测方法、装置、设备、存储介质和程序产品
CN118734460A (zh) * 2024-09-04 2024-10-01 济南安迅科技有限公司 飞行器姿态控制的分布式仿真模型数据获取方法及系统
CN118734460B (zh) * 2024-09-04 2024-11-01 济南安迅科技有限公司 飞行器姿态控制的分布式仿真模型数据获取方法及系统

Also Published As

Publication number Publication date
CN110910332B (zh) 2023-09-26

Similar Documents

Publication Publication Date Title
CN108399362B (zh) 一种快速行人检测方法及装置
CN110189255B (zh) 基于两级检测的人脸检测方法
CN109101897A (zh) 水下机器人的目标检测方法、系统及相关设备
CN108921877B (zh) 一种基于宽度学习的长期目标跟踪方法
CN107808138B (zh) 一种基于FasterR-CNN的通信信号识别方法
CN106991686B (zh) 一种基于超像素光流场的水平集轮廓跟踪方法
CN110555868A (zh) 一种复杂地面背景下运动小目标检测方法
CN109708658B (zh) 一种基于卷积神经网络的视觉里程计方法
CN112085651B (zh) 一种基于图像自适应阈值与特征提取的激波自动检测跟踪算法
CN111369570B (zh) 一种视频图像的多目标检测跟踪方法
CN111985427A (zh) 活体检测方法、设备及可读存储介质
CN116051820A (zh) 基于多模板的单目标检测方法
CN111160100A (zh) 一种基于样本生成的轻量级深度模型航拍车辆检测方法
CN110910332B (zh) 一种视觉slam系统动态模糊处理方法
CN117036737A (zh) 基于信息熵、gms与lc显著检测的特征提取与匹配方法
CN112288726A (zh) 一种井下带式输送机带面异物检测方法
CN116030396A (zh) 一种用于视频结构化提取的精确分割方法
CN109978916B (zh) 基于灰度图像特征匹配的Vibe运动目标检测方法
CN114998186A (zh) 基于图像处理的铜始极片表面结疤缺陷检测方法及系统
CN110751671B (zh) 一种基于核相关滤波与运动估计的目标跟踪方法
Widyantara et al. Gamma correction-based image enhancement and canny edge detection for shoreline extraction from coastal imagery
CN117994573A (zh) 一种基于超像素和可形变卷积的红外弱小目标检测方法
CN115294392B (zh) 基于生成网络模型的可见光遥感图像云去除方法及系统
CN106846366B (zh) 使用gpu硬件的tld视频运动目标跟踪方法
CN111798506B (zh) 一种图像处理方法、终端及计算机可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20240710

Address after: Building B3, 5th Floor, No. 3, Zone 3, No. 20 Datong Road, High tech Zone, Suzhou City, Jiangsu Province, 215000

Patentee after: Suzhou DingFocus Technology Co.,Ltd.

Country or region after: China

Address before: 215009 CREE Road, Suzhou hi tech Zone, Suzhou, Jiangsu Province, No. 1

Patentee before: SUZHOU University OF SCIENCE AND TECHNOLOGY

Country or region before: China

TR01 Transfer of patent right