CN110021029A - 一种适用于rgbd-slam的实时动态配准方法及存储介质 - Google Patents

一种适用于rgbd-slam的实时动态配准方法及存储介质 Download PDF

Info

Publication number
CN110021029A
CN110021029A CN201910219695.5A CN201910219695A CN110021029A CN 110021029 A CN110021029 A CN 110021029A CN 201910219695 A CN201910219695 A CN 201910219695A CN 110021029 A CN110021029 A CN 110021029A
Authority
CN
China
Prior art keywords
edge detection
image
infrared
real
rgbd
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910219695.5A
Other languages
English (en)
Other versions
CN110021029B (zh
Inventor
耿志远
黄骏
周晓军
孙赛
陶明
杜逢博
王行
李骊
盛赞
李朔
杨淼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing Huajie Imi Software Technology Co Ltd
Original Assignee
Nanjing Huajie Imi Software Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing Huajie Imi Software Technology Co Ltd filed Critical Nanjing Huajie Imi Software Technology Co Ltd
Priority to CN201910219695.5A priority Critical patent/CN110021029B/zh
Publication of CN110021029A publication Critical patent/CN110021029A/zh
Application granted granted Critical
Publication of CN110021029B publication Critical patent/CN110021029B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20048—Transform domain processing
    • G06T2207/20056—Discrete and fast Fourier transform, [DFT, FFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning

Abstract

本发明公开了一种适用于RGBD‑SLAM的实时动态配准方法及机器可读存储介质，在基于深度相机的SLAM上，根据TOF和相机提供的每帧红外图与彩色图，运用相位一致性提取边缘，然后采用分块策略计算归一化互相关，得到最佳匹配对，计算出偏移量，从而实现红外图与彩色图的精准配准。本发明不仅可实现实时配准，而且配准结果准确，可更正确地引导SLAM的运行，能够为用户带来更好的AR体验，更加方便人们的生活。

Description

一种适用于RGBD-SLAM的实时动态配准方法及存储介质
技术领域
本发明涉及SLAM的图像处理方法，尤其是一种适用于RGBD-SLAM的实时动态配准方法及机器可读存储介质。
背景技术
SLAM(simultaneous localization and mapping，同时定位与地图构建)最早源于机器人领域，其目标是在一个未知的环境中实时重建环境的三维结构并同时对机器人自身进行定位。作为自主机器人的核心技术，SLAM在机器人导航、控制、生产等方面都有着重要的研究意义。尤其在二十一世纪，以视觉传感器为中心的视觉SLAM技术，在理论和方法上都经历了明显的转变与突破，正逐步从实验室研究迈向成熟的市场应用。早期的SFM(Structure from Motion)技术一般是离线处理的，后来随着技术的发展出现实时的SFM技术，可以归于SLAM的范围。SLAM技术根据拍摄的视频信息推断出摄像头在未知环境中的方位，并同时构建环境地图，其基本原理为多视图几何原理。SLAM的目标为同时恢复出每帧图像对应的相机运动参数C1...Cm，以及场景三维结构X1...Xn；其中每个相机运动参数Ci包含了相机的位置和朝向信息，通常表达为一个3×3的旋转矩阵Ri和一个三d维位置变量Pi。
目前，RGBD-SLAM凭借其不需要初始化，定位精确的优势，应用越来越广泛。RGBD(RGB+Depth Map)中的深度信息可以由双目视觉、结构光、TOF(Time of Flight)等传感器提供，特别是TOF，它能够检测的距离最远，而且不用像双目视觉那样计算深度。但在RGBD-SLAM系统运行之前，需要保证每一帧的彩色图与对应的深度具备精确的配准，这样才能使得SLAM系统更加准确地计算3D点坐标，从而更加准确地定位。
中国专利申请CN1086249881A公开了“增强现实视场空间和虚拟三维目标动态配准方法”，该方法包括以下步骤：获取真实场景信息和相机位置信息；通过图像系统首先根据相机的位置信息和真实场景中的定位标记来计算虚拟物体坐标到相机视平面的仿射变换，按照仿射变换矩阵在视平面上绘制虚拟物体，通过光学透视头盔显示器显示，得到增强现实系统图像；对图像进行二值化分割，根据分割后图像的灰度特性判断哪些部分属于环境背景，哪些部分属于标志物；对二值图像做连通域分析，在图像中搜索面积较大的黑色像素区域来确定标识投影区域；在标识投影区域上提取曲率变化较大的点，从而定义连通域的形状；在图像系统中将连通域的形状与三维模型对应起来，得出标识物的正确三维模型。该方法具有以下不足：该专利一方面在连通域的分析流程较复杂，不利于实时配准，另一方面该方法只是对图像进行二值化分割，极易受噪声影响，且分割精度不高，因此配准精度无法保证。
发明内容
发明目的：针对上述现有技术存在的缺陷，本发明旨在增加RGBD-SLAM在实时视频帧中彩色图与其对应的深度信息的动态配准功能，提供一种适用于RGBD-SLAM的实时动态配准方法及机器可读存储介质。
技术方案：一种适用于RGBD-SLAM的实时动态配准方法，包括如下步骤：
(1)图像预处理：分别检测彩色图与红外图的边缘信息，得到彩色边缘检测图与红外边缘检测图；
(2)图像配准：分别对彩色边缘检测图与红外边缘检测图进行分块匹配，计算出两图像相对的最佳偏移量；根据相对偏移量对图像进行偏移，得到红外图与彩色图配准对齐后的深度图。
进一步的，步骤(1)所述的图像预处理具体包括如下子步骤：
(1.1)图像灰度化与去噪：将获取的实时视频帧的彩色与红外图像转化为灰度图，运用中值滤波进行去噪处理；
(1.2)相位一致性边缘检测：对去噪处理后的图像计算所有点的相位一致性，进行相位一致性变换，确定灰度值大的区域，然后对这些灰度值大的区域采用形态学方法进行处理，获得边缘曲线。
进一步的，步骤(1.2)所述相位一致性的计算方法为：
对于一维信号f(x)，其傅里叶展开式为
其中，第n个傅里叶展开分量的幅值是An，ω为角频率，为第n个傅里叶展开分量的初相，为x处第n个傅里叶分量的相位值；
则相位一致性为：
式中，是使PC在x点取极大值时傅里叶变换各分量相角的加权平均。
进一步的，步骤(1.2)所述的确定灰度值大的区域具体是采用最大类间方差法对相位一致性变换后的图像进行分割，获得灰度值大的区域。
进一步的，对于红外图，步骤(1.2)所述的采用最大类间方差法对相位一致性变换后的图像进行分割具体是采用K-means方法对相位一致性变换后的图像像素进行分类，提取灰度值大的区域；K-means方法具体为：
(1.2.1)随机选取K个对象作为初始的聚类中心；
(1.2.2)计算每个对象与各个聚类中心之间的距离，把每个对象分配给距离它最近的聚类中心；
(1.2.3)聚类中心和分配给它们的对象就代表一个类，当全部对象都被分配好后，每个类的聚类中心根据聚类中现有的对象被重新计算；
(1.2.4)重复步骤(1.2.1)-(1.2.3)直到满足终止条件。
进一步的，所述终止条件是：没有对象或者最小数目对象被重新分配给不同的类，没有聚类中心或者最小数目聚类中心再发生变化，误差平方和局部最小。
进一步的，步骤(1.2)所述的采用形态学方法进行处理具体是采用形态学中的闭运算方法进行处理，获得边缘曲线。
进一步的，步骤(2)所述的图像配准具体是，将彩色边缘检测图作为边缘检测图一、红外边缘检测图作为边缘检测图二；或者将红外边缘检测图作为边缘检测图一、彩色边缘检测图作为边缘检测图二，进行如下步骤：
(2.1)图像块计算NCC：在边缘检测图一上以点(x0，y0)为中心建立N*N的图像块，同样的，在边缘检测图二上以点(x0，y0)为中心建立N*N的图像块，然后计算出两个图像块之间的NCC；
(2.2)移动边缘检测图二上的图像块：在边缘检测图二上，上下左右移动(x0，y0)，得到(x0+m，y0+n)，建立新的N*N的图像块，分别跟边缘检测图一上以点(x0，y0)为中心的图像块计算NCC，将多次移动得到的多个NCC进行比较，得到NCC最大时的偏移量(m0，n0)；
(2.3)移动边缘检测图一上的图像块：移动边缘检测图一上的中心点，重复步骤(2.1)-(2.2)，计算出当前红外边缘图上中心点对应彩色的最大NCC对应的偏移量(m′，n′)；
(2.4)确定最佳偏移量：根据步骤(2.1)-(2.3)算出的所有NCC结果，比较得出最大NCC系数，得出对应的最佳偏移量(mbest，nbest)；
(2.5)根据最佳偏移量(mbest，nbest)，将彩色图或红外图进行偏移，得到彩色图与红外图配准对齐后的深度图。
进一步的，步骤(2.1)所述的计算两个图像块之间的NCC，具体方法为：
其中n表示像素个数，f(x，y)，t(x，y)分别是两个图像块像素点的灰度值，μ表示块内所有像素平均值，σ表示标准方差。
一种机器可读存储介质，该机器可读存储介质上存储有指令，该指令用于使得机器执行上述的适用于RGBD-SLAM的实时动态配准方法。
有益效果：本发明在基于深度相机的SLAM上，根据TOF和相机提供的每帧红外图与彩色图，运用相位一致性提取边缘，然后采用分块策略计算归一化互相关，得到最佳匹配对，计算出偏移量，从而实现红外图与彩色图的精准配准。本发明不仅可实现实时配准，而且配准结果准确，可更正确地引导SLAM的运行，能够为用户带来更好的AR体验，更加方便人们的生活。
附图说明
图1为图像预处理流程示意图；
图2为图像配准流程示意图。
具体实施方式
下面通过一个最佳实施例并结合附图对本技术方案进行详细说明。
如图1所示，本实施例提供一种适用于RGBD-SLAM的实时动态配准方法及存储有该方法指令的机器可读存储介质，包括图像预处理与图像配准：
(1)图像预处理
RGBD-SLAM是通过拍摄的视频信息计算出摄像头在未知环境中的方位，同时构建环境地图。由于异源图像的灰度和梯度信息差异显著，且对比度不同，在实时的视频信息中若要实现动态配准，首先要将彩色图与红外图进行处理，获得效果优越的边缘信息图进行匹配。即分别检测彩色图与红外图的边缘信息，得到彩色边缘检测图与红外边缘检测图；具体流程如下：
(1.1)图像灰度化与去噪：将获取的实时视频帧的彩色与红外图像转化为灰度图，运用中值滤波进行去噪处理(去除在边缘检测时噪声的影响)；
(1.2)相位一致性边缘检测：红外与彩色配准的图像需要是阈值分割后的图，由于异源图像的灰度和梯度信息差异显著，且对比度不同，采用相同阈值的Canny算法提取的边缘图像细节差异显著，应用于异源图像匹配时性能下降明显，因此这个过程中用相位一致性算子处理后的图像作为配准的图像，相位一致性是指在图像的频率域中，边缘相似的特征在同一阶段出现的频率较高。相位一致性的理论依据是人眼感知图像信息时主要靠的是图像信号的相位而非幅度。与基于灰度边缘提取相比，一个显著的区别例子是由一条线组成的图像，如字母“I”。许多边缘检测算法会提取两个相邻的边缘：从白到黑，从黑到白的转换。而基于相位一致性的方法可以提取出一条单一的线。基于相位一致性边缘提取算法具有亮度和对比度不变性，对于异源图像可采用同一阈值提取细节程度相同的边缘。
相位一致性不是基于灰度梯度，而是基于相位来检测图像，即假定图像的傅里叶分量相位最一致的点为特征点。它只需要在傅里叶变换域里简单地按相位的一致性程度寻找特征点。阶跃、线和屋顶等边缘类型都会有相位一致性高的点，这更有利于红外图像边缘特征点的确定。因为红外图像的边缘处经常较为模糊，灰度值的变化率也没有可见光图像的大，所以红外图像的边缘区域经常是屋顶或马赫带类型的。
本实施例中相位一致性边缘检测，是对去噪处理后的图像计算所有点的相位一致性，进行相位一致性变换，确定灰度值大的区域，然后对这些灰度值大的区域采用形态学方法进行处理，获得边缘曲线。
其中，相位一致性的计算方法为：对于一维信号f(x)，其傅里叶展开式为：
其中，第n个傅里叶展开分量的幅值是An，ω为角频率，为第n个傅里叶展开分量的初相，为x处第n个傅里叶分量的相位值；
则相位一致性为：
式中，是使PC在x点取极大值时傅里叶变换各分量相角的加权平均，当傅里叶变换各分量相角与的差值和最小时，相位一致性最大。从该公式可知，当傅里叶变换各分量相角与的差值和最小时，相位一致性最大。
确定灰度值大的区域可以采用最大类间方差法对相位一致性变换后的图像进行分割，以获得灰度值大的区域；
红外图获得变换后的图像中边缘处的值明显高于周围非边缘处的值，因为图像边缘附近的相位一致性值比非边缘区域像素的要大，本实施例中对于红外图采用的最大类间方差法具体是采用K-means方法对相位一致性变换后的图像像素进行分类，提取灰度值大的区域；K-means算法是模式识别中一种基于近邻法则的无监督分类算法，K-means方法具体为：
(1.2.1)随机选取K个对象作为初始的聚类中心；
(1.2.2)计算每个对象与各个聚类中心之间的距离，把每个对象分配给距离它最近的聚类中心；
(1.2.3)聚类中心和分配给它们的对象就代表一个类，当全部对象都被分配好后，每个类的聚类中心根据聚类中现有的对象被重新计算；
(1.2.4)重复步骤(1.2.1)-(1.2.3)直到满足终止条件。本实施例中的终止条件是：没有对象或者最小数目对象被重新分配给不同的类，没有聚类中心或者最小数目聚类中心再发生变化，误差平方和局部最小。
最后对这些灰度值大的区域采用形态学中的闭运算进行处理，获得边缘曲线。
(2)图像配准
上一部分获得了彩色与红外图的边缘检测图，接着就要分别对彩色边缘检测图与红外边缘检测图进行分块匹配，计算出两图像相对的最佳偏移量；根据相对偏移量对图像进行偏移，得到红外图与彩色图配准对齐后的深度图。
具体是，将彩色边缘检测图作为边缘检测图一、红外边缘检测图作为边缘检测图二；或者将红外边缘检测图作为边缘检测图一、彩色边缘检测图作为边缘检测图二，进行如下步骤：
(2.1)图像块计算NCC：在边缘检测图一上以点(x0，y0)为中心建立N*N的图像块，同样的，在边缘检测图二上以点(x0，y0)为中心建立N*N的图像块，然后计算出两个图像块之间的NCC；
(2.2)移动边缘检测图二上的图像块：在边缘检测图二上，上下左右移动(x0，y0)，得到(x0+m，y0+n)，建立新的N*N的图像块，分别跟边缘检测图一上以点(x0，y0)为中心的图像块计算NCC，更改不同的m值、n值，将多次移动得到的多个NCC进行比较，得到NCC最大时的偏移量(m0，n0)；
(2.3)移动边缘检测图一上的图像块：移动边缘检测图一上的中心点，重复步骤(2.1)-(2.2)，计算出当前红外边缘图上中心点对应彩色的最大NCC对应的偏移量(m′，n′)；
(2.4)确定最佳偏移量：根据步骤(2.1)-(2.3)算出的所有NCC结果，比较得出最大NCC系数，得出对应的最佳偏移量(mbest，nbest)；
(2.5)根据最佳偏移量(mbest，nbest)，将彩色图或红外图进行偏移，得到彩色图与红外图配准对齐后的深度图。
如图2所示，本实施例是将红外边缘检测图作为边缘检测图一、彩色边缘检测图作为边缘检测图二，即：
(2.1)图像块计算NCC：在红外边缘检测图上以点(x0，y0)为中心(起始点可以根据需求自行定义)建立N*N的图像块，同样的，在彩色边缘检测图上以点(x0，y0)为中心建立N*N的图像块，然后计算出两个图像块之间的NCC(Normalized cross correlation，归一化互相关系数)，保存下来；
基于NCC用来比较两幅图像的相似程度是一种常见的图像处理手段。NCC是利用两个图像块的灰度，通过归一化的相关性度量公式，在[-1，1]绝对尺度范围之间衡量二者之间的匹配程度，越接近于1，则二者越近似。
具体方法为：
其中n表示像素个数，f(x，y)，t(x，y)分别是两个图像块像素点的灰度值，μ表示块内所有像素平均值，σ表示标准方差。
(2.2)移动彩色边缘检测图上的图像块：在彩色边缘检测图上，上下左右移动(x0，y0)，得到(x0+m，y0+n)，移动范围可根据实际可能偏移的最大情况自行定义，比如m，n∈[-20，20]，建立N*N的图像块，分别跟红外边缘检测图上以点(x0，y0)为中心的图像块计算NCC，保存下来，进行比较(包含第一步计算的NCC)，得出最大NCC的偏移量(m0，n0)，并保存；
(2.3)移动红外边缘检测图上的图像块：移动红外边缘检测图上的中心点(步数可按照需求调节，遍历整幅图像)，重复步骤(2.1)-(2.2)，计算出当前红外边缘图上中心点对应彩色的最大NCC对应的偏移量(m′，n′)；
(2.4)确定最佳偏移量：根据上面三步算出的所有NCC结果，比较得出最大NCC系数，得出最佳偏移量(mbest，nbest)；
(2.5)完成配准：根据步骤(2.4)得到的最佳偏移量结果(mbest，nbest)，将红外图按照(-mbest，-nbest)进行偏移，得到红外与彩色图配准对齐后的深度图。
可以理解的是，以上实施方式仅仅是为了说明本发明的原理而采用的示例性实施方式，然而本发明并不局限于此。对于本领域内的普通技术人员而言，在不脱离本发明的精神和实质的情况下，可以做出各种变型和改进，这些变型和改进也视为本发明的保护范围。

Claims (10)

1.一种适用于RGBD-SLAM的实时动态配准方法，其特征在于，包括如下步骤：
(1)图像预处理：分别检测彩色图与红外图的边缘信息，得到彩色边缘检测图与红外边缘检测图；
(2)图像配准：分别对彩色边缘检测图与红外边缘检测图进行分块匹配，计算出两图像相对的最佳偏移量；根据相对偏移量对图像进行偏移，得到红外图与彩色图配准对齐后的深度图。
2.根据权利要求1所述的一种适用于RGBD-SLAM的实时动态配准方法，其特征在于，步骤(1)所述的图像预处理具体包括如下子步骤：
(1.1)图像灰度化与去噪：将获取的实时视频帧的彩色与红外图像转化为灰度图，运用中值滤波进行去噪处理；
(1.2)相位一致性边缘检测：对去噪处理后的图像计算所有点的相位一致性，进行相位一致性变换，确定灰度值大的区域，然后对这些灰度值大的区域采用形态学方法进行处理，获得边缘曲线。
3.根据权利要求2所述的一种适用于RGBD-SLAM的实时动态配准方法，其特征在于，步骤(1.2)所述相位一致性的计算方法为：
对于一维信号f(x)，其傅里叶展开式为：
其中，第n个傅里叶展开分量的幅值是An，ω为角频率，为第n个傅里叶展开分量的初相，为x处第n个傅里叶分量的相位值；
则相位一致性为：
式中，是使PC在x点取极大值时傅里叶变换各分量相角的加权平均。
4.根据权利要求2所述的一种适用于RGBD-SLAM的实时动态配准方法，其特征在于，步骤(1.2)所述的确定灰度值大的区域具体是采用最大类间方差法对相位一致性变换后的图像进行分割，获得灰度值大的区域。
5.根据权利要求4所述的一种适用于RGBD-SLAM的实时动态配准方法，其特征在于，对于红外图，步骤(1.2)所述的采用最大类间方差法对相位一致性变换后的图像进行分割具体是采用K-means方法对相位一致性变换后的图像像素进行分类，提取灰度值大的区域；K-means方法具体为：
(1.2.1)随机选取K个对象作为初始的聚类中心；
(1.2.2)计算每个对象与各个聚类中心之间的距离，把每个对象分配给距离它最近的聚类中心；
(1.2.3)聚类中心和分配给它们的对象就代表一个类，当全部对象都被分配好后，每个类的聚类中心根据聚类中现有的对象被重新计算；
(1.2.4)重复步骤(1.2.1)-(1.2.3)直到满足终止条件。
6.根据权利要求5所述的一种适用于RGBD-SLAM的实时动态配准方法，其特征在于，所述终止条件是：没有对象或者最小数目对象被重新分配给不同的类，没有聚类中心或者最小数目聚类中心再发生变化，误差平方和局部最小。
7.根据权利要求2所述的一种适用于RGBD-SLAM的实时动态配准方法，其特征在于，步骤(1.2)所述的采用形态学方法进行处理具体是采用形态学中的闭运算方法进行处理，获得边缘曲线。
8.根据权利要求1所述的一种适用于RGBD-SLAM的实时动态配准方法，其特征在于，步骤(2)所述的图像配准具体是，将彩色边缘检测图作为边缘检测图一、红外边缘检测图作为边缘检测图二；或者将红外边缘检测图作为边缘检测图一、彩色边缘检测图作为边缘检测图二，进行如下步骤：
(2.1)图像块计算NCC：在边缘检测图一上以点(x0，y0)为中心建立N*N的图像块，同样的，在边缘检测图二上以点(x0，y0)为中心建立N*N的图像块，然后计算出两个图像块之间的NCC；
(2.2)移动边缘检测图二上的图像块：在边缘检测图二上，上下左右移动(x0，y0)，得到(x0+m，y0+n)，建立新的N*N的图像块，分别跟边缘检测图一上以点(x0，y0)为中心的图像块计算NCC，将多次移动得到的多个NCC进行比较，得到NCC最大时的偏移量(m0，n0)；
(2.3)移动边缘检测图一上的图像块：移动边缘检测图一上的中心点，重复步骤(2.1)-(2.2)，计算出当前红外边缘图上中心点对应彩色的最大NCC对应的偏移量(m′，n′)；
(2.4)确定最佳偏移量：根据步骤(2.1)-(2.3)算出的所有NCC结果，比较得出最大NCC系数，得出对应的最佳偏移量(mbest，nbest)；
(2.5)根据最佳偏移量(mbest，nbest)将彩色图或红外图进行偏移，得到彩色图与红外图配准对齐后的深度图。
9.根据权利要求3所述的一种适用于RGBD-SLAM的实时动态配准方法，其特征在于，步骤(2.1)所述的计算两个图像块之间的NCC，具体方法为：
其中n表示像素个数，f(x,y),t(x,y)分别是两个图像块像素点的灰度值，μ表示块内所有像素平均值，σ表示标准方差。
10.一种机器可读存储介质，其特征在于，该机器可读存储介质上存储有指令，该指令用于使得机器执行权利要求1-9中任一项所述的适用于RGBD-SLAM的实时动态配准方法。
CN201910219695.5A 2019-03-22 2019-03-22 一种适用于rgbd-slam的实时动态配准方法及存储介质 Active CN110021029B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910219695.5A CN110021029B (zh) 2019-03-22 2019-03-22 一种适用于rgbd-slam的实时动态配准方法及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910219695.5A CN110021029B (zh) 2019-03-22 2019-03-22 一种适用于rgbd-slam的实时动态配准方法及存储介质

Publications (2)

Publication Number Publication Date
CN110021029A true CN110021029A (zh) 2019-07-16
CN110021029B CN110021029B (zh) 2021-11-30

Family

ID=67189908

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910219695.5A Active CN110021029B (zh) 2019-03-22 2019-03-22 一种适用于rgbd-slam的实时动态配准方法及存储介质

Country Status (1)

Country Link
CN (1) CN110021029B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110488810A (zh) * 2019-07-22 2019-11-22 华南理工大学 基于改进型粒子群算法的焊接机器人最优路径规划方法
CN111260794A (zh) * 2020-01-14 2020-06-09 厦门大学 基于跨源图像匹配的户外增强现实应用方法
CN113763295A (zh) * 2020-06-01 2021-12-07 杭州海康威视数字技术股份有限公司 图像融合方法、确定图像偏移量的方法及装置
CN113784026A (zh) * 2021-08-30 2021-12-10 鹏城实验室 基于图像的计算位置信息的方法、装置、设备及存储介质
CN113781506A (zh) * 2021-08-06 2021-12-10 东北大学 一种带钢偏移量检测方法及系统

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103714548A (zh) * 2013-12-27 2014-04-09 西安电子科技大学 基于视觉注意的红外图像与可见光图像配准方法
CN104851094A (zh) * 2015-05-14 2015-08-19 西安电子科技大学 一种基于rgb-d的slam算法的改进方法
CN106127739A (zh) * 2016-06-16 2016-11-16 华东交通大学 一种结合单目视觉的rgb‑d slam方法
CN106257535A (zh) * 2016-08-11 2016-12-28 河海大学常州校区 基于surf算子的电气设备红外与可见光图像配准方法
US20170046833A1 (en) * 2015-08-10 2017-02-16 The Board Of Trustees Of The Leland Stanford Junior University 3D Reconstruction and Registration of Endoscopic Data
CN106981077A (zh) * 2017-03-24 2017-07-25 中国人民解放军国防科学技术大学 基于dce和lss的红外图像和可见光图像配准方法
CN107105217A (zh) * 2017-04-17 2017-08-29 深圳奥比中光科技有限公司 多模式深度计算处理器以及3d图像设备
CN107204015A (zh) * 2017-05-27 2017-09-26 中山大学 基于色彩图像和红外图像融合的即时定位与建图系统
US20190008387A1 (en) * 2017-07-10 2019-01-10 The Florida International University Board Of Trustees Integrated nir and visible light scanner for co-registered images of tissues

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103714548A (zh) * 2013-12-27 2014-04-09 西安电子科技大学 基于视觉注意的红外图像与可见光图像配准方法
CN104851094A (zh) * 2015-05-14 2015-08-19 西安电子科技大学 一种基于rgb-d的slam算法的改进方法
US20170046833A1 (en) * 2015-08-10 2017-02-16 The Board Of Trustees Of The Leland Stanford Junior University 3D Reconstruction and Registration of Endoscopic Data
CN106127739A (zh) * 2016-06-16 2016-11-16 华东交通大学 一种结合单目视觉的rgb‑d slam方法
CN106257535A (zh) * 2016-08-11 2016-12-28 河海大学常州校区 基于surf算子的电气设备红外与可见光图像配准方法
CN106981077A (zh) * 2017-03-24 2017-07-25 中国人民解放军国防科学技术大学 基于dce和lss的红外图像和可见光图像配准方法
CN107105217A (zh) * 2017-04-17 2017-08-29 深圳奥比中光科技有限公司 多模式深度计算处理器以及3d图像设备
CN107204015A (zh) * 2017-05-27 2017-09-26 中山大学 基于色彩图像和红外图像融合的即时定位与建图系统
US20190008387A1 (en) * 2017-07-10 2019-01-10 The Florida International University Board Of Trustees Integrated nir and visible light scanner for co-registered images of tissues

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
SHILE LI等: "RGB-D SLAM Dynamic Environments Using Static Point Weighting", 《IEEE ROBOTICS AND AUTOMATION LETTERS》 *
YIFEI SHI等: "PlaneMatch：Patch Coplanarity Prediction for Robust RGB-D Reconstruction", 《ARXIV》 *
许晓东等: "一种采用图像特征匹配技术的RGB-D SLAM算法", 《测绘通报》 *
赵春阳等: "基于相位一致性的异源图像匹配方法", 《激光与红外》 *
邵欣等编著: "《机器视觉与传感器技术》", 31 August 2017, 北京航空航天大学出版社 *

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110488810A (zh) * 2019-07-22 2019-11-22 华南理工大学 基于改进型粒子群算法的焊接机器人最优路径规划方法
CN110488810B (zh) * 2019-07-22 2020-12-22 华南理工大学 基于改进型粒子群算法的焊接机器人最优路径规划方法
CN111260794A (zh) * 2020-01-14 2020-06-09 厦门大学 基于跨源图像匹配的户外增强现实应用方法
CN111260794B (zh) * 2020-01-14 2022-07-08 厦门大学 基于跨源图像匹配的户外增强现实应用方法
CN113763295A (zh) * 2020-06-01 2021-12-07 杭州海康威视数字技术股份有限公司 图像融合方法、确定图像偏移量的方法及装置
CN113763295B (zh) * 2020-06-01 2023-08-25 杭州海康威视数字技术股份有限公司 图像融合方法、确定图像偏移量的方法及装置
CN113781506A (zh) * 2021-08-06 2021-12-10 东北大学 一种带钢偏移量检测方法及系统
CN113781506B (zh) * 2021-08-06 2023-12-15 东北大学 一种带钢偏移量检测方法及系统
CN113784026A (zh) * 2021-08-30 2021-12-10 鹏城实验室 基于图像的计算位置信息的方法、装置、设备及存储介质

Also Published As

Publication number Publication date
CN110021029B (zh) 2021-11-30

Similar Documents

Publication Publication Date Title
CN110021029A (zh) 一种适用于rgbd-slam的实时动态配准方法及存储介质
CN109949361A (zh) 一种基于单目视觉定位的旋翼无人机姿态估计方法
CN106023257B (zh) 一种基于旋翼无人机平台的目标跟踪方法
US20150243031A1 (en) Method and device for determining at least one object feature of an object comprised in an image
WO2018023916A1 (zh) 一种彩色图像去阴影方法和应用
CN108171715B (zh) 一种图像分割方法及装置
CN108346160A (zh) 基于视差图背景差法和Meanshift结合的多运动目标跟踪方法
CN108229458A (zh) 一种基于运动检测和多特征提取的火焰智能识别方法
CN105046206B (zh) 基于视频中运动先验信息的行人检测方法及装置
CN104794737B (zh) 一种深度信息辅助粒子滤波跟踪方法
CN109118528A (zh) 基于区域分块的奇异值分解图像匹配算法
CN104091324A (zh) 一种基于连通域分割的棋盘格图像快速特征匹配算法
CN107292869B (zh) 基于各向异性高斯核和梯度搜索的图像斑点检测方法
CN110232389A (zh) 一种基于绿色作物特征提取不变性的立体视觉导航方法
CN109523551B (zh) 一种获取机器人行走姿态的方法及系统
CN108470178B (zh) 一种结合深度可信度评价因子的深度图显著性检测方法
CN104036488A (zh) 一种基于双目视觉的人体姿态动作研究方法
CN107066969A (zh) 一种人脸识别方法
CN105913013A (zh) 双目视觉人脸识别算法
CN110245566B (zh) 一种基于背景特征的红外目标远距离追踪方法
CN108416291A (zh) 人脸检测识别方法、装置和系统
CN113850865A (zh) 一种基于双目视觉的人体姿态定位方法、系统和存储介质
CN108010075B (zh) 一种基于多特征联合的局部立体匹配方法
CN110009670A (zh) 基于fast特征提取和piifd特征描述的异源图像配准方法
CN108921064A (zh) 基于多特征融合的行人重识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant