CN107886101B - 一种基于rgb-d的场景三维特征点高效提取方法 - Google Patents

一种基于rgb-d的场景三维特征点高效提取方法 Download PDF

Info

Publication number
CN107886101B
CN107886101B CN201711293628.5A CN201711293628A CN107886101B CN 107886101 B CN107886101 B CN 107886101B CN 201711293628 A CN201711293628 A CN 201711293628A CN 107886101 B CN107886101 B CN 107886101B
Authority
CN
China
Prior art keywords
image
rgb
point
points
extreme
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201711293628.5A
Other languages
English (en)
Other versions
CN107886101A (zh
Inventor
刘畅
邱钧
吴丽娜
高姗
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Information Science and Technology University
Original Assignee
Beijing Information Science and Technology University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Information Science and Technology University filed Critical Beijing Information Science and Technology University
Priority to CN201711293628.5A priority Critical patent/CN107886101B/zh
Publication of CN107886101A publication Critical patent/CN107886101A/zh
Application granted granted Critical
Publication of CN107886101B publication Critical patent/CN107886101B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)

Abstract

本发明公开了一种基于RGB‑D的场景三维特征点高效提取方法，其中，包括以下步骤：步骤101，利用透视投影模型，给出RGB‑D图像保三维几何结构的降维计算方法，得到场景在相机坐标系中的参数表示；步骤102，由扩散方程出发，利用有限差分与尺度空间理论，建立检测RGB‑D图像三维特征点的RGB‑D尺度空间；步骤103，在RGB‑D尺度空间上极值检测，获取特征点的位置；以及步骤104，利用子像元插值法，精确定位特征点，并筛除低对比度和边缘响应点，增强特征匹配稳定性和抗噪能力。通过采用本发明提供的方法，进行图像的三维特征提取，可以为后续图像配准、图像拼接、目标跟踪与识别等提供大量稳定的图像特征。

Description

一种基于RGB-D的场景三维特征点高效提取方法
技术领域
本发明涉及计算机视觉与数字图像处理领域，尤其涉及一种基于RGB-D的场景三维特征点高效提取方法。
背景技术
图像匹配技术是实现图像拼接、图像校正、目标识别与分类的关键步骤之一，已经广泛应用在图像识别以及图像重建等领域中。图像匹配技术主要分为基于像素的方法和基于特征的方法，其中基于特征的图像匹配方法是最常用的匹配方法。基于特征的图像匹配方法对于图像畸变、遮挡等具有一定的鲁棒性，但是它的匹配性能在很大程度上取决于特征提取的质量。如何提取稳定可靠的特征，提高匹配准确度是实现图像匹配的重要环节。
现有的特征提取方法大部分都是基于RGB图像或灰度图像的，它们主要面临以下两个问题：(1)丢失了实际物体的三维结构信息，无法提取表征三维物体本质属性的特征；(2)容易受到光照等外界条件的影响。这些问题使图像特征很难满足辨识度高的要求。
RGB图像包含物体的表面颜色信息和纹理信息，Depth图像记录了场景各点与相机的距离信息，相对稳定地反映了图像物体表面的三维结构信息。因此，RGB图像和Depth图像对彼此都是一种有效的补充，这种互补性极大地促进RGB-D图像在物体检测、图像识别与分类、特征描述、3D重建等领域的研究应用。但是，现有的RGB-D图像特征点提取方法都是对RGB信息和Depth信息的简单融合，稳定性低，影响特征匹配的准确度。
发明内容
本发明的目的在于提供一种基于RGB-D的场景三维特征点高效提取方法来克服或至少减轻现有技术的上述缺陷中的至少一个。
为实现上述目的，本发明提供一种基于RGB-D的场景三维特征点高效提取方法，其中，包括以下步骤：
步骤101，利用透视投影模型，给出RGB-D图像保三维几何结构的降维计算方法，得到场景在相机坐标系中的参数表示；
步骤102，由扩散方程出发，利用有限差分与尺度空间理论，建立检测RGB-D图像三维特征点的RGB-D尺度空间；
步骤103，在RGB-D尺度空间上极值检测，获取特征点的位置；以及
步骤104，利用子像元插值法，精确定位特征点，并筛除低对比度和边缘响应点，增强特征匹配稳定性和抗噪能力。
进一步地，步骤101中的“场景中物点在相机坐标系中的参数表示”为：
Figure BSA0000155226370000021
(1)式中，
Figure BSA0000155226370000022
是物点P在相机坐标系中的坐标，(u，v)平面为成像平面，ω为相机的水平视角，W，H表示图像I0的分辨率，D(u，v)为物点到相机的水平距离。
进一步地，步骤102具体包括：
根据尺度空间理论，图像I0(x，y)的高斯尺度空间L(x，y，σ)表示为高斯函数G(x，y，σ)与原始图像I0的卷积，如下(2)式所示：
L(x，y，σ)＝G(x，y，σ)*I0(x，y)， (2)
其中
Figure BSA0000155226370000023
则图像I0的高斯尺度空间等价于扩散方程初值问题(3)式，即：
Figure BSA0000155226370000024
扩散方程(3)有唯一解
Figure BSA0000155226370000025
*表示卷积；
利用有限差分理论，得到扩散方程初值问题的差分近似形式包括：
对图像I0的支撑域Ω进行步长为h的离散得Ωd，引入以下差分量，得到扩散方程(3)的差分形式，进而建立RGB-D尺度空间，差分量的表达如下：
Figure BSA0000155226370000031
Figure BSA0000155226370000032
Figure BSA0000155226370000033
Figure BSA0000155226370000034
其中
Figure BSA0000155226370000035
和
Figure BSA0000155226370000036
为简化符号；
同理，
Figure BSA0000155226370000037
定义类似，即：
Figure BSA0000155226370000038
因此，引入拉普拉斯算子L的离散二阶微分算子
Figure BSA00001552263700000312
有以下差分方程(9)式，即RGB-D尺度空间的表达式，具体为：
Figure BSA0000155226370000039
将(9)式写成矩阵形式，令
Figure BSA00001552263700000310
再由导数的定义，(9)式近似于为(10)式：
Figure BSA00001552263700000311
(10)式中，τ为图像层间的尺度差，即τ＝σ(n+1)-σ(n)，由(10)式迭代求解，即可建立RGB-D尺度空间。
进一步地，步骤103具体为：在RGB-D尺度空间上检测极值，得到图像潜在的特征点。
进一步地，步骤104具体包括：
为获取连续情况下的极值点，利用子像元插值法，精确定位特征点，其具体如下：
步骤1041，令F(u，v)＝Af(u，v)，假设经上述极值检测得到的极值点为(u1，v1)，则在此极值点(u1，v1)处将F(u，v)Taylor展开，并求驻点得到偏移量
Figure BSA0000155226370000041
步骤1042，根据偏移量
Figure BSA0000155226370000042
中所有分量与0.5的大小关系定位特征点；
为增强特征匹配稳定性和抗噪能力，筛除低对比度和边缘响应点，其具体如下：
步骤1043，删除定位出的特征点中低对比度的特征点；
步骤1044，删除定位出的特征点中的边缘响应点；
步骤1045，经过步骤1043和步骤1044的筛选，保留下来的特征点即为RGB-D图像的稳定三维特征点。
进一步地，步骤1041中的“此极值点(u1，v1)处将F＝Af Taylor展开”具体如下：
在上述检测到的极值点(u1，v1)处Taylor展开：
Figure BSA0000155226370000043
(11)式中，
Figure BSA0000155226370000044
为偏移量，Fu，Fv分别表示F(u，v)对变量u，v的一阶偏导数，Fuu，Fvv分别表示F(u，v)对变量u，v的二阶偏导数，Fuv表示F(u，v)对变量u，v的混合偏导数；
步骤1041中的“求驻点得到偏移量
Figure BSA0000155226370000045
”具体如下：
对(11)式求驻点，则有
Figure BSA0000155226370000046
进一步地，步骤1042中的“根据偏移量
Figure BSA0000155226370000047
中所有分量与0.5的大小关系定位特征点”包括：
若偏移量
Figure BSA00001552263700000411
中全部分量的绝对值都小于0.5，保留此极值点(u1，v1)和其偏移量
Figure BSA0000155226370000048
并根据此极值点(u1，v1)和偏移量
Figure BSA00001552263700000412
定位连续情况下的极值点(u，v)；若偏移量
Figure BSA0000155226370000049
中有绝对值大于0.5的分量，则需要根据具体情况替换极值点的位置为(u1，v1)周围的像素点：
(1)若
Figure BSA00001552263700000410
中|u-u1|＞0.5，即u＞u1+0.5或者u＜u1-0.5，则说明分量u相对于相对于u1，更接近u1+1或者u1-1，即连续情况下的极值点(u，v)更接近像素点(u1+1，v1)或者(u1-1，v1)；下面在像素点(u1+1，v1)或者(u1-1，v1)处重复步骤1041-1042，并给定最高重复次数N；若在重复上述步骤1041-1042 N次以内，已有像素点对应的偏移量
Figure BSA0000155226370000051
满足全部分量的绝对值都小于0.5，则保留此像素点，并根据此像素点和偏移量
Figure BSA0000155226370000052
即可定位连续情况下的极值点；若重复上述步骤1041-1042 N次后计算得到的偏移量
Figure BSA0000155226370000053
仍有绝对值大于0.5的分量，则直接删除此像素点；
(2)对于
Figure BSA0000155226370000054
中|v-v1|＞0.5的情况，同上述(1)做相应处理。
进一步地，步骤1043具体包括：
精确定位的特征点(u，v)处的极值为
Figure BSA0000155226370000055
给定阈值τ1，若F(u，v)小于阈值τ1，则认为此特征点为低对比度的特征点，删除，否则保留。
进一步地，步骤1044具体包括：
利用特征点(u，v)处2×2的Hessian矩阵HF来筛选特征点：
Figure BSA0000155226370000056
计算Hessian矩阵HF的迹和行列式。给定阈值τ2，判定
Figure BSA0000155226370000057
是否小于
Figure BSA0000155226370000058
若小于，则保留特征点，否则删除。
通过采用本发明提供的方法，进行图像的三维特征提取，可以为后续图像配准、图像拼接、目标跟踪与识别等提供大量稳定的图像特征。
附图说明
图1是本发明实施例提供的基于RGB-D的场景三维特征点高效提取方法的流程图。
图2是本发明实施例提供的物点在相机坐标系中的参数表示示意图。
图3本发明实施例提供的示例图片中提取的场景三维特征点。
具体实施方式
在附图中，使用相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面结合附图对本发明的实施例进行详细说明。
如图1所示，本发明实施例提供的一种基于RGB-D的场景三维特征点高效提取方法包括以下步骤：
步骤101，利用透视投影模型，给出RGB-D图像保三维几何结构的降维计算方法，得到场景在相机坐标系中的参数表示。
步骤102，由扩散方程出发，利用有限差分与尺度空间理论，建立检测RGB-D图像三维特征点的RGB-D尺度空间。
步骤103，在RGB-D尺度空间上极值检测，获取特征点的位置。
步骤104，利用子像元插值法，精确定位特征点，并筛除低对比度和边缘响应点，增强特征匹配稳定性和抗噪能力。
下面分别就本发明的四个步骤进行详细阐述。
步骤101中，RGB-D图像可以有目前市面上出现的RGB-D相机、微软的kinect、光场相机等获得。RGB-D图像是两幅图像：一个是RGB三通道彩色图像，另一个是Depth图像。Depth图像类似于灰度图像，只是它的每个像素值是传感器距离物体的实际距离。但文中提到的图像I0是指RGB图像，同时图像I0中每个像点对应的Depth也可知，即下文中提及的“图像I0”是携带Depth信息的RGB图像。
步骤101中，透视投影模型是现有的技术，图2是透视投影示意图，表示了物点与像点在相机坐标系中的关系。图2中，坐标系OXYZ为相机坐标系。坐标系O’UV为相机中成像面坐标系。(u，v)平面为成像平面，
Figure BSA0000155226370000061
是实际场景中物体上的点(简称物点)，p：m(u，v)为物点
Figure BSA0000155226370000062
对应的像点。f表示相机光心O到成像面(u，v)的距离即像距。D(u，v)是RGB图像(u，v)处像点p：m(u，v)对应的实际场景物点
Figure BSA0000155226370000063
的深度，即物点
Figure BSA0000155226370000064
到相机的水平距离。ω为相机的水平视角。W，H表示图像I0的分辨率，图中以图像I0的中心为坐标原点，则图像I0在O’UV坐标系中的范围为：
Figure BSA0000155226370000065
并且，从图2中可以推导出场景中的物点在相机坐标系中的坐标为：
Figure BSA0000155226370000071
公式(1)给出的是图像I0中像点对应实际场景中物点在相机坐标系中的参数表示。其中u、v分别是图像I0中像素的下标。
步骤101中，“RGB-D图像保三维几何结构的降维计算方法”具体包括：
利用透视投影，即专利中的图2，将RBG图像和Depth图像结合，得到了实际场景物体在相机坐标系中的参数表示，即
Figure BSA0000155226370000072
函数，该函数不仅融合了RGB图像的灰度信息和Depth图像的深度信息，并将三维空间结构转化为二维图像平面上。
步骤101利用透视投影模型将三维物体映射到二维成像平面上，对RGB-D图像进行了降维处理，且该降维处理保留了物体的三维几何结构信息。
步骤102中，由尺度空间理论知，图像I0(x，y)的高斯尺度空间L(x，y，σ)表示为高斯函数G(x，y，σ)与原始图像I0的卷积，如下式(2)所示：
L(x，y，σ)＝G(x，y，σ)*I0(x，y)， (2)
式(2)中
Figure BSA0000155226370000073
图像I0的高斯尺度空间亦可以表示为扩散方程初值问题，即如下(3)式：
Figure BSA0000155226370000074
扩散方程(3)有唯一解
Figure BSA0000155226370000075
*表示卷积。由此可将图像信息处理的尺度空间与扩散方程(3)联系起来。
再根据有限差分理论，对图像I0的支撑域Ω进行步长为h的离散得Ωd，引入差分量，得到扩散方程(3)的差分形式，进而建立RGB-D尺度空间，差分量的表达如下：
Figure BSA0000155226370000081
Figure BSA0000155226370000082
Figure BSA0000155226370000083
Figure BSA0000155226370000084
其中
Figure BSA0000155226370000085
和
Figure BSA0000155226370000086
为简化符号。同理，
Figure BSA0000155226370000087
定义类似，即，
Figure BSA0000155226370000088
因此，引入拉普拉斯算子L的离散二阶微分算子
Figure BSA0000155226370000089
有以下差分方程(9)式，即RGB-D尺度空间的表达式，具体为：
Figure BSA00001552263700000810
将(9)式写成矩阵形式，令
Figure BSA00001552263700000811
再由导数的定义，(9)式近似于为式(10)：
Figure BSA00001552263700000812
其中，τ为图像层间的尺度差，即τ＝σn+1-σn。σn+1和σn分别表示图像f(n+1)和f(n)的模糊度，即尺度。由(10)式知，给定图像I0，由(10)式迭代求解出平滑后的图像，即可建立RGB-D尺度空间。
步骤103中，因为尺度归一化的高斯拉普拉斯函数的极值同其它的特征提取函数(如：梯度，Hessian或Harris)比较，能够产生最稳定的图像特征。而本实施例建立RGB-D尺度空间的差分方程(9)式又是尺度归一化的高斯拉普拉斯函数的近似，所以本实施例在RGB-D尺度空间上检测极值，可得到图像潜在的特征点。
步骤104中，由于步骤103获得的极值是在离散情况下检测得到的，则上述极值并非连续情况下的极值。为获取连续情况下的极值点，需要利用子像元插值法，即利用Taylor展开，得到连续情况下的极值点，并筛选特征点，以增强特征匹配稳定性和抗噪能力。步骤104具体包括：
为获取连续情况下的极值点，利用子像元插值法，精确定位特征点，其具体如下：
步骤1041，令F(u，v)＝Af(u，v)，假设经上述极值检测得到的极值点为(u1，v1)，则在此极值点(u1，v1)处将F(u，v)Taylor展开，并求驻点得到偏移量
Figure BSA0000155226370000091
步骤1042，根据偏移量
Figure BSA0000155226370000092
中所有分量与0.5的大小关系定位特征点；
为增强特征匹配稳定性和抗噪能力，筛除低对比度和边缘响应点，其具体如下：
步骤1043，删除定位出的特征点中低对比度的特征点；
步骤1044，删除定位出的特征点中的边缘响应点；
步骤1045，经过步骤1043和步骤1044的筛选，保留下来的特征点即为RGB-D图像的稳定三维特征点。
在一个实施例中，步骤1041中的“此极值点(u1，v1)处将F＝Af Taylor展开”具体如下：
在上述检测到的极值点(u1，v1)处Taylor展开：
Figure BSA0000155226370000093
(11)式中，
Figure BSA0000155226370000094
为偏移量，Fu，Fv分别表示F(u，v)对变量u，v的一阶偏导数，Fuu，Fvv分别表示F(u，v)对变量u，v的二阶偏导数，Fuv表示F(u，v)对变量u，v的混合偏导数；
步骤1041中的“求驻点得到偏移量
Figure BSA0000155226370000095
”具体如下：
对(11)式求驻点，则有
Figure BSA0000155226370000096
在一个实施例中，步骤1042中的“根据偏移量
Figure BSA0000155226370000097
中所有分量与0.5的大小关系定位特征点”包括：
若偏移量
Figure BSA0000155226370000101
中全部分量的绝对值都小于0.5，保留此极值点(u1，v1)和其偏移量
Figure BSA0000155226370000102
并根据此极值点(u1，v1)和偏移量
Figure BSA0000155226370000103
定位连续情况下的极值点(u，v)；若偏移量
Figure BSA0000155226370000104
中有绝对值大于0.5的分量，则需要根据具体情况替换极值点的位置为(u1，v1)周围的像素点：
(1)若
Figure BSA00001552263700001014
中|u-u1|＞0.5，即u＞u1+0.5或者u＜u1-0.5，则说明分量u相对于相对于u1，更接近u1+1或者u1-1，即连续情况下的极值点(u，v)更接近像素点(u1+1，v1)或者(u1-1，v1)；下面在像素点(u1+1，v1)或者(u1-1，v1)处重复步骤1041-1042，并给定最高重复次数N。若在重复上述步骤1041-1042 N次以内，已有像素点对应的偏移量
Figure BSA0000155226370000106
满足全部分量的绝对值都小于0.5，则保留此像素点，并根据此像素点和偏移量
Figure BSA0000155226370000107
即可定位连续情况下的极值点；若重复上述步骤1041-1042 N次后计算得到的偏移量
Figure BSA0000155226370000108
仍有绝对值大于0.5的分量，则直接删除此像素点；
(2)对于
Figure BSA00001552263700001015
中|v-v1|＞0.5的情况，同上述(1)做相应处理。
本实施例中，建立RGB-D尺度空间时降采样因子设置为2(可以根据实际情况设置为其它数值)，根据偏移量
Figure BSA0000155226370000109
中所有分量与0.5的大小关系即可精确定位特征点。
在一个实施例中，步骤1043具体包括：精确定位的特征点(u，v)处的极值为：
Figure BSA00001552263700001010
给定阈值τ1，若F(u，v)小于阈值τ1，则认为此特征点为低对比度的特征点，删除，否则保留。
在一个实施例中，步骤1044具体包括：
利用特征点(u，v)处2×2的Hessian矩阵HF来筛选特征点：
Figure BSA00001552263700001011
计算Hessian矩阵HF的迹和行列式。给定阈值τ2，判定
Figure BSA00001552263700001012
是否小于
Figure BSA00001552263700001013
若小于，则保留特征点，否则删除。
最后需要指出的是：以上实施例仅用以说明本发明的技术方案，而非对其限制。本领域的普通技术人员应当理解：可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (5)

1.一种基于RGB-D的场景三维特征点高效提取方法，其特征在于，包括以下步骤：
步骤101，利用透视投影模型，给出RGB-D图像保三维几何结构的降维计算方法，且该降维处理保留了物体的三维几何结构信息，得到场景在相机坐标系中的参数表示；其中，RGB-D图像I0是两幅图像：一个是RGB三通道彩色图像，另一个是Depth图像；“RGB-D图像保三维几何结构的降维计算方法”具体包括：
利用透视投影，将RBG图像和Depth图像结合，得到了实际场景物体在相机坐标系中的参数表示，即
Figure FDA0003039471410000011
函数(1)，通过
Figure FDA0003039471410000012
函数融合RGB图像的灰度信息和Depth图像的深度信息以及将三维空间结构转化为二维图像平面上；
Figure FDA0003039471410000013
(1)式中，
Figure FDA0003039471410000014
是物点P在相机坐标系中的坐标，(u,v)平面为成像平面，ω为相机的水平视角，W,H表示图像I0的分辨率，D(u,v)为物点到相机的水平距离；
步骤102，由扩散方程出发，利用有限差分与尺度空间理论，建立检测RGB-D图像三维特征点的RGB-D尺度空间；步骤102具体包括：
根据尺度空间理论，图像I0(x,y)的高斯尺度空间L(x,y,σ)表示为高斯函数G(x,y,σ)与原始图像I0的卷积，如下(2)式所示：
L(x,y,σ)＝G(x,y,σ)*I0(x,y), (2)
其中
Figure FDA0003039471410000015
σ高斯函数的方差，则图像I0的高斯尺度空间等价于扩散方程初值问题(3)式，即：
Figure FDA0003039471410000021
扩散方程(3)有唯一解
Figure FDA0003039471410000022
*表示卷积，f(x,y,σ)表示卷积后的图像；
利用有限差分理论，得到扩散方程初值问题的差分近似形式包括：
对图像I0的支撑域Ω进行步长为h的离散得Ωd，引入以下差分量，得到扩散方程(3)的差分形式，进而建立RGB-D尺度空间，差分量的表达如下：
Figure FDA0003039471410000023
Figure FDA0003039471410000024
Figure FDA0003039471410000025
Figure FDA0003039471410000026
其中
Figure FDA0003039471410000027
和
Figure FDA0003039471410000028
为简化符号，f(u,v)表示离散后的图像；
同理，
Figure FDA0003039471410000029
定义类似，即：
Figure FDA00030394714100000210
因此，引入拉普拉斯算子L的离散二阶微分算子
Figure FDA00030394714100000211
有以下差分方程(9)式，即RGB-D尺度空间的表达式，具体为：
Figure FDA00030394714100000212
将(9)式写成矩阵形式，令
Figure FDA00030394714100000213
再由导数的定义，(9)式近似于为(10)式：
Figure FDA00030394714100000214
(10)式中，τ为图像层间的尺度差，即τ＝σ(n+1)-σ(n)，由(10)式迭代求解，即可建立RGB-D尺度空间，A表示拉普拉斯算子L的二阶微分算子，An表示A的矩阵形式，n表示对图像f的第n次运算；
步骤103，在RGB-D尺度空间上极值检测，获取RGB-D特征点的位置；以及
步骤104，利用子像元插值法，精确定位RGB-D特征点，并筛除低对比度和边缘响应点，增强特征匹配稳定性和抗噪能力。
2.如权利要求1所述的基于RGB-D的场景三维特征点高效提取方法，其特征在于，步骤104具体包括：
为获取连续情况下的极值点，利用子像元插值法，精确定位特征点，其具体如下：
步骤1041，令所在图像尺度空间的值F(u,v)＝Af(u,v),经上述极值检测得到的极值点为(u1,v1),则在此极值点(u1,v1)处将F(u,v)Taylor展开，并求驻点得到偏移量
Figure FDA0003039471410000031
步骤1042，根据偏移量
Figure FDA0003039471410000032
中所有分量与0.5的大小关系定位特征点；
为增强特征匹配稳定性和抗噪能力，筛除低对比度和边缘响应点，其具体如下：
步骤1043，删除定位出的特征点中低对比度的特征点；
步骤1044，删除定位出的特征点中的边缘响应点；
步骤1045，经过步骤1043和步骤1044的筛选，保留下来的特征点即为RGB-D图像的稳定三维特征点。
3.如权利要求2所述的基于RGB-D的场景三维特征点高效提取方法，其特征在于，步骤1041中的“此极值点(u1,v1)处将F＝Af进行Taylor展开”具体如下：
在上述检测到的极值点(u1,v1)处Taylor展开：
Figure FDA0003039471410000033
(11)式中，
Figure FDA0003039471410000034
为偏移量，Fu,Fv分别表示F(u,v)对变量u,v的一阶偏导数，Fuu,Fvv分别表示F(u,v)对变量u,v的二阶偏导数，Fuv表示F(u,v)对变量u,v的混合偏导数；
步骤1041中的“求驻点得到偏移量
Figure FDA0003039471410000041
”具体如下：
对(11)式求驻点，则有
Figure FDA0003039471410000042
4.如权利要求2所述的基于RGB-D的场景三维特征点高效提取方法，其特征在于，步骤1042中的“根据偏移量
Figure FDA0003039471410000043
中所有分量与0.5的大小关系定位特征点”包括：
若偏移量
Figure FDA0003039471410000044
中全部分量的绝对值都小于0.5，保留此极值点(u1,v1)和其偏移量
Figure FDA0003039471410000045
并根据此极值点(u1,v1)和偏移量
Figure FDA0003039471410000046
定位连续情况下的极值点(u,v)；若偏移量
Figure FDA0003039471410000047
中有绝对值大于0.5的分量，则需要根据具体情况替换极值点的位置为(u1,v1)周围的像素点：
(1)若
Figure FDA0003039471410000048
中|u-u1|＞0.5，即u＞u1+0.5或者u＜u1-0.5，则说明分量u相对于相对于u1，更接近u1+1或者u1-1，则连续情况下的极值点(u,v)更接近像素点(u1+1,v1)或者(u1-1,v1)；下面在像素点(u1+1,v1)或者(u1-1,v1)处重复步骤1041-1042，并给定最高重复次数N；若在重复上述步骤1041-1042N次以内，已有像素点对应的偏移量
Figure FDA0003039471410000049
满足全部分量的绝对值都小于0.5，则保留此像素点，并根据此像素点和偏移量
Figure FDA00030394714100000410
即可定位连续情况下的极值点；若重复上述步骤1041-1042N次后计算得到的偏移量
Figure FDA00030394714100000411
仍有绝对值大于0.5的分量，则直接删除此像素点；
(2)对于
Figure FDA00030394714100000412
中|v-v1|＞0.5的情况，同上述(1)做相应处理。
5.如权利要求3所述的基于RGB-D的场景三维特征点高效提取方法，其特征在于，步骤1043具体包括：
精确定位的特征点(u,v)处的极值为
Figure FDA00030394714100000413
给定阈值τ1，若F(u,v)小于阈值τ1，则认为此特征点为低对比度的特征点，删除，否则保留。
CN201711293628.5A 2017-12-08 2017-12-08 一种基于rgb-d的场景三维特征点高效提取方法 Active CN107886101B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711293628.5A CN107886101B (zh) 2017-12-08 2017-12-08 一种基于rgb-d的场景三维特征点高效提取方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711293628.5A CN107886101B (zh) 2017-12-08 2017-12-08 一种基于rgb-d的场景三维特征点高效提取方法

Publications (2)

Publication Number Publication Date
CN107886101A CN107886101A (zh) 2018-04-06
CN107886101B true CN107886101B (zh) 2021-06-15

Family

ID=61773197

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711293628.5A Active CN107886101B (zh) 2017-12-08 2017-12-08 一种基于rgb-d的场景三维特征点高效提取方法

Country Status (1)

Country Link
CN (1) CN107886101B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111368585B (zh) * 2018-12-25 2023-04-21 中国科学院长春光学精密机械与物理研究所 一种弱小目标检测方法、检测系统、存储装置及终端设备
CN110490209A (zh) * 2019-07-30 2019-11-22 西安理工大学 基于epi的光场图像特征点检测方法
CN110908512A (zh) * 2019-11-14 2020-03-24 光沦科技(杭州)有限公司 一种基于动态手势坐标映射的人机交互方法
CN114299318A (zh) * 2021-12-24 2022-04-08 电子科技大学 一种快速点云数据处理和目标图像匹配的方法及系统

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102938142B (zh) * 2012-09-20 2016-06-08 武汉大学 基于Kinect的室内LiDAR缺失数据填补方法
CN104715254B (zh) * 2015-03-17 2017-10-10 东南大学 一种基于2d和3d sift特征融合的一般物体识别方法
WO2017096299A1 (en) * 2015-12-04 2017-06-08 Autodesk, Inc. Keypoint-based point-pair-feature for scalable automatic global registration of large rgb-d scans
CN106204429A (zh) * 2016-07-18 2016-12-07 合肥赑歌数据科技有限公司 一种基于sift特征的图像配准方法
CN106709947B (zh) * 2016-12-20 2020-06-19 西安交通大学 一种基于rgbd相机的三维人体快速建模系统
CN107240129A (zh) * 2017-05-10 2017-10-10 同济大学 基于rgb‑d相机数据的物体及室内小场景恢复与建模方法

Also Published As

Publication number Publication date
CN107886101A (zh) 2018-04-06

Similar Documents

Publication Publication Date Title
CN108053367B (zh) 一种基于rgb-d特征匹配的3d点云拼接与融合方法
CN107886101B (zh) 一种基于rgb-d的场景三维特征点高效提取方法
US6671399B1 (en) Fast epipolar line adjustment of stereo pairs
Yang et al. Color-guided depth recovery from RGB-D data using an adaptive autoregressive model
Zhang et al. An image stitching algorithm based on histogram matching and SIFT algorithm
Ahn et al. A novel depth-based virtual view synthesis method for free viewpoint video
US8665258B2 (en) Generating a depth map based on a single image
CN107945221B (zh) 一种基于rgb-d图像的三维场景特征表达与高精度匹配方法
CN108377374B (zh) 用于产生与图像相关的深度信息的方法和系统
CN107767456A (zh) 一种基于rgb‑d相机的物体三维重建方法
Hua et al. Extended guided filtering for depth map upsampling
Serna et al. Data fusion of objects using techniques such as laser scanning, structured light and photogrammetry for cultural heritage applications
Peña-Villasenín et al. 3-D modeling of historic façades using SFM photogrammetry metric documentation of different building types of a historic center
Pan et al. Depth map completion by jointly exploiting blurry color images and sparse depth maps
Seo Image denoising and refinement based on an iteratively reweighted least squares filter
CN113744142B (zh) 图像修复方法、电子设备及存储介质
Pan et al. Color adjustment in image-based texture maps
Tseng et al. Depth image super-resolution via multi-frame registration and deep learning
JP2011133954A (ja) エッジ抽出方法及びエッジ抽出装置
Padalkar et al. Auto-inpainting heritage scenes: a complete framework for detecting and infilling cracks in images and videos with quantitative assessment
Haque et al. Robust feature-preserving denoising of 3D point clouds
Cho et al. Depth map up-sampling using cost-volume filtering
Punnappurath et al. Multi-image blind super-resolution of 3D scenes
Nan et al. 2D‐D Lifting for Shape Reconstruction
Voronin et al. Depth map occlusion filling and scene reconstruction using modified exemplar-based inpainting

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant