CN111860643B - 基于调频模型的视觉模板匹配的鲁棒性提升方法 - Google Patents

基于调频模型的视觉模板匹配的鲁棒性提升方法 Download PDF

Info

Publication number
CN111860643B
CN111860643B CN202010698950.1A CN202010698950A CN111860643B CN 111860643 B CN111860643 B CN 111860643B CN 202010698950 A CN202010698950 A CN 202010698950A CN 111860643 B CN111860643 B CN 111860643B
Authority
CN
China
Prior art keywords
image
visual template
visual
frequency modulation
topological map
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010698950.1A
Other languages
English (en)
Other versions
CN111860643A (zh
Inventor
孙荣川
吴俊毅
郁树梅
陈国栋
孙立宁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suzhou University
Original Assignee
Suzhou University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suzhou University filed Critical Suzhou University
Priority to CN202010698950.1A priority Critical patent/CN111860643B/zh
Publication of CN111860643A publication Critical patent/CN111860643A/zh
Application granted granted Critical
Publication of CN111860643B publication Critical patent/CN111860643B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于调频模型的视觉模板匹配的鲁棒性提升方法，包括如下步骤：步骤1、使用RatSLAM算法建立拓扑地图；步骤2、在建立拓扑地图的过程中，使用高斯函数对当前场景的RGB图像进行平滑处理；步骤3、将平滑后的图像转换到Lab颜色空间；步骤4、计算图像各个颜色通道的平均值；步骤5、计算每个像素的L、a、b值与图像L、a、b三通道均值的欧氏距离，得到显著图；步骤6、将图像按列求和并进行归一化处理得到视觉模板，将视觉模板储存在拓扑地图中的经验点中。步骤7、使用SAD(sum of absolute differences)模型对视觉模板进行匹配，用于检测闭环从而对拓扑地图进行修正。本发明能够提升视觉模板的鲁棒性，从而提高图像匹配的准确率。

Description

基于调频模型的视觉模板匹配的鲁棒性提升方法
技术领域
本发明涉及图像处理领域，具体涉及一种基于调频模型的视觉模板匹配的鲁棒性提升方法。
背景技术
图像匹配是SLAM(simultaneouslocalizationandmapping)中闭环检测的重要方式之一，可以降低视觉里程计的累计误差产生的影响，对于移动机器人建立高精度地图具有重要意义。而当前RatSLAM算法中是通过视觉模板的匹配来检测闭环，从而减少视觉里程计带来的累计误差。而RatSLAM算法中的视觉模板是仅仅将灰度化图像按列求和并进行归一化处理得到的，易受光照强度变化的影响，从而导致基于视觉模板的图像匹配的准确率较低。因此，研究提高视觉模板的鲁棒性是提高图像匹配正确率的关键。
发明内容
本发明要解决的技术问题是提供一种基于调频模型的视觉模板匹配的鲁棒性提升方法。
为了解决上述技术问题，本发明提供了一种基于调频模型的视觉模板匹配的鲁棒性提升方法，包括如下步骤：
步骤1、使用RatSLAM算法建立二维拓扑地图；
步骤2、在建立拓扑地图的过程中，使用高斯函数对当前场景的RGB图像进行平滑处理；
步骤3、将平滑后的图像转换到Lab颜色空间；
步骤4、计算图像各个颜色通道的平均值；
步骤5、使用二范数计算欧氏距离，得到显著图；
步骤6、将图像按列求和并进行归一化处理得到视觉模板，将视觉模板储存在拓扑地图中的经验点中。
步骤7、使用SAD(sumofabsolutedifferences)模型对视觉模板进行匹配，用于检测闭环从而对拓扑地图进行修正。
上述技术方案中，所述步骤1中的RatSLAM算法是一种仿生导航算法，通过单目相机采集的RGB图像信息可以建立二维拓扑地图。
上述技术方案中，所述步骤2中的高斯函数为高斯差分滤波器。
上文中，所述高斯差分滤波器的目的是去除图像的细节信息和噪点。图像在频率域可以分成低频部分和高频部分。低频部分反映了图像的整体信息，如物体的轮廓，基本的组成区域。高频部分反映了图像的细节信息，如物体的纹理。而显著性区域检测用到的更多的是低频部分的信息。
上述技术方案中，所述步骤2中Lab颜色空间包含三个要素：亮度(L)，两个颜色通道(a和b)。
上文中的两个颜色通道：a包括的颜色是从深绿色(低亮度值)到灰色(中亮度值)再到亮粉红色(高亮度值)；b是从亮蓝色(低亮度值)到灰色(中亮度值)再到黄色(高亮度值)。
上述技术方案中，所述步骤5中的欧氏距离是用二范数计算每个像素的L、a、b值与图像L、a、b三通道均值的距离。所述显著图是指经过调频模型处理得到的图像。
上述技术方案中，所述步骤6中的视觉模板是一维向量的形式。
上述技术方案中，所述步骤7中的SAD模型是一种图像匹配算法。
基于同样的发明构思，本申请还提供一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现任一项所述方法的步骤。
基于同样的发明构思，本申请还提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现任一项所述方法的步骤。
基于同样的发明构思，本申请还提供一种处理器，所述处理器用于运行程序，其中，所述程序运行时执行任一项所述的方法。
本发明的有益效果：
本发明使用调频模型消除图像中的噪点和细节信息，相比于原有的仅仅将灰度化图像按列求和并归一化得到的视觉模板，基于调频模型生成的视觉模板的鲁棒性得到了提高，进而提高了图像匹配的正确率。
附图说明
图1是本发明基于调频模型的视觉模板匹配的鲁棒性提升方法的流程图。
图2是本发明基于调频模型的视觉模板匹配的鲁棒性提升方法中的拍摄的一张RGB图像。
图3是本发明基于调频模型的视觉模板匹配的鲁棒性提升方法的将图像转换到Lab颜色空间得到的图像。
图4是本发明基于调频模型的视觉模板匹配的鲁棒性提升方法的经过灰度化处理得到的图像。
图5是本发明基于调频模型的视觉模板匹配的鲁棒性提升方法的经过调频模型处理得到的图像。
图6为RatSLAM算法基于灰度化图像的视觉模板建立的拓扑地图。
图7为RatSLAM算法基于灰度化图像的视觉模板建立的拓扑地图。
具体实施方式
下面结合附图和具体实施例对本发明作进一步说明，以使本领域的技术人员可以更好地理解本发明并能予以实施，但所举实施例不作为对本发明的限定。
作为处理日常生活中视觉信息的重要机制，人类视觉系统具有在面对自然场景时快速搜索和定位感兴趣的目标的能力。这种视觉注意机制称为视觉显著性，它为视觉信息处理任务带来了一系列显著的好处。视觉显著性的优势主要体现在两个方面：第一，它可以将有限的计算资源分配给图像和视频中更重要的信息。其次，在提取特征时引入视觉显着性与人类的视觉认知需求更加一致。
目前的注意力机制模型可以分为自下而上模型和自上而下模型。我们使用的调频模型是自下而上的视觉注意模型，也称为显著性模型。显著性模型是数据驱动的，因此在图像选择中不考虑人类观察的影响。这是人们浏览外部视觉信息时选择具有鲜明特征的对象的过程，因为图像中具有重要特征的区域很容易引起人们的注意。视觉显著性是基于特定信息的，包括图像的静态特征(颜色，亮度，轮廓，纹理等)和动态特征(运动方向，速度)。
因此，研究从图像提取显著特征从而提高视觉模板的鲁棒性，对于提高图像匹配的正确率具有着重要意义。
如图1所示，在本发明的其中一种实施方式中提供一种基于调频模型的视觉模板匹配的鲁棒性提升方法，包括如下步骤：
步骤1、使用RatSLAM算法建立拓扑地图；
步骤2、使用高斯函数对RGB图像进行平滑处理；
步骤3、将平滑后的图像转换到Lab颜色空间；
如图2所示，将图像转换到Lab颜色空间得到的图像。
步骤4、计算图像各个颜色通道的平均值；
步骤5、使用二范数计算每个像素的L、a、b值与图像L、a、b三通道均值的欧氏距离，得到显著图；
如图4和图5所示，前者是经过灰度化处理得到的图像，后者是经过调频模型处理得到的图像。
步骤6、将显著图按列求和并进行归一化处理得到视觉模板，并储存在拓扑地图中的经验点中；
步骤7、使用SAD(sumofabsolutedifferences)模型对视觉模板进行匹配，用于检测闭环从而对拓扑地图进行修正。
可以理解的是步骤1和步骤2到7两者是可以互相交换，也就是两者是平行不悖的。
上述技术方案中，所述步骤1中的RatSLAM算法是一种仿生导航算法，通过单目相机采集的RGB图像信息可以建立二维拓扑地图。
上述技术方案中，所述步骤2中的高斯函数为高斯差分滤波器。
上文中，所述高斯差分滤波器的目的是去除图像的细节信息和噪点。图像在频率域可以分成低频部分和高频部分。低频部分反映了图像的整体信息，如物体的轮廓，基本的组成区域。高频部分反映了图像的细节信息，如物体的纹理。而显著性区域检测用到的更多的是低频部分的信息。
上述技术方案中，所述步骤2中Lab颜色空间包含三个要素：亮度(L)，两个颜色通道(a和b)。
上文中的两个颜色通道：a包括的颜色是从深绿色(低亮度值)到灰色(中亮度值)再到亮粉红色(高亮度值)；b是从亮蓝色(低亮度值)到灰色(中亮度值)再到黄色(高亮度值)。
上述技术方案中，所述步骤5中的欧氏距离是用二范数计算每个像素的L、a、b值与图像L、a、b三通道均值的距离。所述显著图是指经过调频模型处理得到的图像。
上述技术方案中，所述步骤6中的视觉模板是一维向量的形式。
上述技术方案中，所述步骤7中的SAD模型是一种图像匹配算法。
基于同样的发明构思，本申请还提供一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现任一项所述方法的步骤。
基于同样的发明构思，本申请还提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现任一项所述方法的步骤。
基于同样的发明构思，本申请还提供一种处理器，所述处理器用于运行程序，其中，所述程序运行时执行任一项所述的方法。
如图6和图7所示，前者是RatSLAM算法基于灰度化图像的视觉模板建立的拓扑地图，在预期位置没有检测到闭环；后者是RatSLAM算法基于调频模型得到的视觉模板建立的拓扑地图，在预期位置成功检测到闭环。
本发明的有益效果：
本发明使用调频模型消除图像中的噪点和细节信息，相比于原有的仅仅将灰度化图像按列求和并归一化得到的视觉模板，基于调频模型生成的视觉模板的鲁棒性得到了提高，进而提高了图像匹配的正确率。
以上所述实施例仅是为充分说明本发明而所举的较佳的实施例，本发明的保护范围不限于此。本技术领域的技术人员在本发明基础上所作的等同替代或变换，均在本发明的保护范围之内。本发明的保护范围以权利要求书为准。

Claims (8)

1.一种基于调频模型的视觉模板匹配的鲁棒性提升方法，其特征在于，包括：
使用RatSLAM算法建立拓扑地图；
在建立拓扑地图的过程中，使用高斯函数对当前场景的RGB图像进行平滑处理；
将平滑后的图像转换到Lab颜色空间；
计算图像各个颜色通道的平均值；
使用二范数计算欧氏距离，得到显著图；
将显著图按列求和并进行归一化处理得到视觉模板，将视觉模板储存在拓扑地图中的经验点中；所述视觉模板是从图片中提取的特征，特征的形式是一维向量；
使用SAD模型对视觉模板进行匹配，用于检测闭环从而对拓扑地图进行修正。
2.如权利要求1所述的基于调频模型的视觉模板匹配的鲁棒性提升方法，其特征在于，所述RatSLAM算法是一种仿生导航算法，通过单目相机采集的RGB图像信息建立二维拓扑地图。
3.如权利要求1所述的基于调频模型的视觉模板匹配的鲁棒性提升方法，其特征在于，所述高斯函数为高斯差分滤波器，目的是去除图像的细节信息和噪点。
4.如权利要求1所述的基于调频模型的视觉模板匹配的鲁棒性提升方法，其特征在于，所述Lab颜色空间包含三个要素：亮度L，两个颜色通道a和b；其中，a包括的颜色是从低亮度值的深绿色到中亮度值的灰色再到高亮度值的亮粉红色；b是从低亮度值的亮蓝色到中亮度值的灰色再到高亮度值的黄色。
5.如权利要求1所述的基于调频模型的视觉模板匹配的鲁棒性提升方法，其特征在于，所述欧氏距离是用二范数计算每个像素的L、a、b值与图像L、a、b三通道均值的距离；所述显著图是指由调频模型处理得到的图像。
6.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现权利要求1到5任一项所述方法的步骤。
7.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现权利要求1到5任一项所述方法的步骤。
8.一种处理器，其特征在于，所述处理器用于运行程序，其中，所述程序运行时执行权利要求1到5任一项所述的方法。
CN202010698950.1A 2020-07-20 2020-07-20 基于调频模型的视觉模板匹配的鲁棒性提升方法 Active CN111860643B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010698950.1A CN111860643B (zh) 2020-07-20 2020-07-20 基于调频模型的视觉模板匹配的鲁棒性提升方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010698950.1A CN111860643B (zh) 2020-07-20 2020-07-20 基于调频模型的视觉模板匹配的鲁棒性提升方法

Publications (2)

Publication Number Publication Date
CN111860643A CN111860643A (zh) 2020-10-30
CN111860643B true CN111860643B (zh) 2023-10-03

Family

ID=73001109

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010698950.1A Active CN111860643B (zh) 2020-07-20 2020-07-20 基于调频模型的视觉模板匹配的鲁棒性提升方法

Country Status (1)

Country Link
CN (1) CN111860643B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113110492B (zh) * 2021-05-07 2022-06-21 苏州大学 一种路径规划方法
CN113223099B (zh) * 2021-06-11 2023-04-18 苏州大学 基于生物视觉模型的RatSLAM环境适应性提升方法和系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108681711A (zh) * 2018-05-17 2018-10-19 常州信息职业技术学院 一种面向移动机器人的自然路标提取方法
CN110210492A (zh) * 2019-04-28 2019-09-06 浙江科技学院 一种基于深度学习的立体图像视觉显著性检测方法
WO2020107717A1 (zh) * 2018-11-30 2020-06-04 长沙理工大学 视觉显著性区域检测方法及装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108681711A (zh) * 2018-05-17 2018-10-19 常州信息职业技术学院 一种面向移动机器人的自然路标提取方法
WO2020107717A1 (zh) * 2018-11-30 2020-06-04 长沙理工大学 视觉显著性区域检测方法及装置
CN110210492A (zh) * 2019-04-28 2019-09-06 浙江科技学院 一种基于深度学习的立体图像视觉显著性检测方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Radhakrishna Achanta et al..Frequency-tuned Salient Region Detection.《CVPRW》.2009,全文. *
石祥滨 等.融合显著特征和互信息熵的SLAM闭环检测算法.《小型微型计算机系统》.2020,第41卷(第41期),全文. *

Also Published As

Publication number Publication date
CN111860643A (zh) 2020-10-30

Similar Documents

Publication Publication Date Title
CN108122208B (zh) 用于对对象分割的前景掩模校正的图像处理设备和方法
US10592754B2 (en) Shadow removing method for color image and application
US8411986B2 (en) Systems and methods for segmenation by removal of monochromatic background with limitied intensity variations
US9959466B2 (en) Object tracking apparatus and method and camera
CN111611643A (zh) 户型矢量化数据获得方法、装置、电子设备及存储介质
US20100008576A1 (en) System and method for segmentation of an image into tuned multi-scaled regions
CN111860643B (zh) 基于调频模型的视觉模板匹配的鲁棒性提升方法
US10249046B2 (en) Method and apparatus for object tracking and segmentation via background tracking
US9025868B2 (en) Method and system for image processing to determine a region of interest
CN111415363A (zh) 一种图像边缘识别方法
WO2023160312A1 (zh) 基于自监督学习的行人重识别方法、装置、设备及存储介质
Deepthi et al. Implementation of mobile platform using Qt and OpenCV for image processing applications
CN105678318A (zh) 交通标牌的匹配方法及装置
KR20110021500A (ko) 이동객체의 실시간 추적과 거리 측정 방법 및 그 장치
CN108647605B (zh) 一种结合全局颜色与局部结构特征的人眼凝视点提取方法
US10140555B2 (en) Processing system, processing method, and recording medium
CN106446920A (zh) 一种基于梯度幅度约束的笔画宽度变换方法
CN113610720A (zh) 视频去噪方法及装置、计算机可读介质和电子设备
CN108682021A (zh) 快速手部跟踪方法、装置、终端及存储介质
JP2012048326A (ja) 画像処理装置及びプログラム
CN106951831B (zh) 一种基于深度摄像机的行人检测跟踪方法
JP6467817B2 (ja) 画像処理装置、画像処理方法、およびプログラム
CN107977604B (zh) 一种基于改进聚合通道特征的手部检测方法
RU2440609C1 (ru) Способ сегментации растровых изображений на основе выращивания и слияния областей
Sung et al. Feature based ghost removal in high dynamic range imaging

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant