CN108053367B - 一种基于rgb-d特征匹配的3d点云拼接与融合方法 - Google Patents

一种基于rgb-d特征匹配的3d点云拼接与融合方法 Download PDF

Info

Publication number
CN108053367B
CN108053367B CN201711293629.XA CN201711293629A CN108053367B CN 108053367 B CN108053367 B CN 108053367B CN 201711293629 A CN201711293629 A CN 201711293629A CN 108053367 B CN108053367 B CN 108053367B
Authority
CN
China
Prior art keywords
rgb
image
point cloud
feature
point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201711293629.XA
Other languages
English (en)
Other versions
CN108053367A (zh
Inventor
邱钧
刘畅
王媛
吴丽娜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Information Science and Technology University
Original Assignee
Beijing Information Science and Technology University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Information Science and Technology University filed Critical Beijing Information Science and Technology University
Priority to CN201711293629.XA priority Critical patent/CN108053367B/zh
Publication of CN108053367A publication Critical patent/CN108053367A/zh
Application granted granted Critical
Publication of CN108053367B publication Critical patent/CN108053367B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G06T3/4038—Scaling the whole image or part thereof for image mosaicing, i.e. plane images composed of plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G06T3/4007—Interpolation-based scaling, e.g. bilinear interpolation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Abstract

本发明公开了一种基于RGB‑D特征匹配的3D点云拼接与融合方法，该方法主要包括：将不同视点的场景表面3D点云数据投影到RGB‑D图像进行处理，实现三维点云降至二维的降维计算；提取RGB‑D图像特征点，建立RGB‑D图像的特征描述，对不同视点RGB‑D图像进行匹配；求解坐标及深度变换矩阵，对RGB‑D图像进行拼接与融合；将拼接后的RGB‑D图像转化为3D点云数据。通过采用本发明提供的方法，可以简化三维点云特征提取和匹配的计算，提高三维点云拼接和融合的效率。可应用于3D大视场与3D全景的场景重建。

Description

一种基于RGB-D特征匹配的3D点云拼接与融合方法
技术领域
本发明涉及计算机视觉与数字图像处理领域，尤其涉及一种基于RGB-D特征匹配的3D点云拼接与融合方法。
背景技术
场景三维重建是计算机视觉领域研究的重要课题，实际应用中无法一次性获得被测场景表面完整的3D点云数据，只能通过多视点拍摄或测量得到点云数据，再配准到统一的坐标系下。常用的方法：依赖仪器配准通过硬件之间的坐标关系将多片点云旋转平移到统一坐标系下，该方法不需要点云之间具有共同特征，配准速度快，但要求对硬件进行精准标定或标志点的辅助获得全场景图像间的坐标变换关系；自动配准是通过一定的算法或统计规律将两片云之间的错位消除，该方法需要两点云数据之间具有共同特征，在某些情况下需要获取初始值，且配准算法存在退化的情况。
因此，希望有一种技术方案来克服或至少减轻现有技术的上述缺陷中的至少一个。
发明内容
本发明的目的在于提供一种基于RGB-D特征匹配的3D点云拼接与融合方法来克服或至少减轻现有技术的上述缺陷中的至少一个。
为实现上述目的，本发明提供一种基于RGB-D特征匹配的3D点云拼接与融合方法，其中，包括：
步骤100，将不同视点的场景表面3D点云数据投影到RGB-D图像进行处理，实现三维点云降至二维的降维计算；
步骤200，提取RGB-D图像中的特征点，建立RGB-D图像的特征描述，对不同视点RGB-D图像进行匹配；
步骤300，求解坐标及深度变换矩阵，对RGB-D图像进行拼接与融合；
步骤400，将拼接后的RGB-D图像转化为3D点云数据。
进一步地，步骤100中的“实现三维点云降至二维的降维计算”方法包括：
在3D点云坐标系下，选定一个参考面Zw＝d0作为相机平面，则3D点云数据(XwYw，Zw)转化为RGB-D图像坐标(x，y)＝(Xw，Yw)与深度D(x，y)＝d0-Zw。该RGB-D图像的中心点投影到相机平面上作为该图像的视点。
进一步地，步骤300中的“求解坐标及深度变换矩阵，对RGB-D图像进行拼接”包括：
经特征匹配后的两幅RGB-D图像，对应特征点可通过求解变换矩阵相互转换，基于投影变换模型给出变换矩阵，该变换矩阵与特征点对的关系模型为：
Figure BSA0000155226420000021
其中A′对应图像I′，A对应参照图像I，变换矩阵Tk包含旋转、缩放、平移和变形量，通过代入特征点对进行求解；
利用求解出的Tk对图像I′中的像点逐一变换，实现图像的拼接。
进一步地，步骤300中的“对RGB-D图像进行融合”包括：
不同RGB-D图像拼接过程中进行图像融合，对图像数据的RGB值作基于光度差异的变换，变换过程由以下线性模型给出：
Figure BSA0000155226420000022
等式右端RGB值对应参照图像I，左端对应图像I′；
假设两图像光度差异是全局的，(βr，βg，βh)T可忽略不计，则模型可简化为：
Figure BSA0000155226420000023
变换矩阵由两图像的RGB均值比给出，利用双线性插值算法处理图像拼接产生的伪影。
进一步地，对于3D大视场，从场景前不同视点获取点云数据，经RGB-D特征匹配并拼接融合，通过坐标变换Xw＝x，Yw＝y，Zw＝d0-D(x，y)转化为3D点云数据；对于3D全景，从场景周围不同视点获取的点云数据，经RGB-D特征匹配并拼接融合，通过坐标变换：
Figure BSA0000155226420000031
转化为3D点云数据，其中x0为RGB-D全景图像最左端横坐标值，xN为最右端横坐标值。
进一步地，步骤200包括：
步骤201，利用透视投影模型和尺度空间理论，检测并提取RGB-D图像的三维特征点；
步骤202，计算方向直方图，为关键点分配方向，使其具有旋转不变性；
步骤203，利用特征点邻域内像素的梯度模值与方向对特征点进行描述，生成特征向量，并根据特征向量间的欧式距离匹配特征点。
进一步地，步骤201具体包括：
步骤211，利用透视投影模型，给出RGB-D图像保三维几何结构的降维计算方法，得到场景在相机坐标系中的参数表示；
步骤212，由扩散方程出发，利用有限差分与尺度空间理论，建立检测RGB-D图像三维特征点的RGB-D尺度空间；
步骤213，在RGB-D尺度空间上极值检测，获取特征点的位置；以及
步骤214，利用子像元插值法，精确定位特征点，并筛除低对比度和边缘响应点，增强特征匹配稳定性和抗噪能力。
进一步地，步骤211中的“场景中物点在相机坐标系中的参数表示”为：
Figure BSA0000155226420000032
其中，
Figure BSA0000155226420000033
是物点P在相机坐标系中的坐标，(u，v)平面为成像平面，ω为相机的水平视角，W，H表示图像I0的分辨率，D(u，v)为物点到相机的水平距离；
步骤212具体包括：
根据尺度空间理论，图像I0(x，y)的高斯尺度空间L(x，y，σ)表示为高斯函数G(x，y，σ)与原始图像I0的卷积，如下(2)式所示：
L(x，y，σ)＝G(x，y，σ)*I0(x，y)， (6)
其中
Figure BSA0000155226420000041
则图像I0的高斯尺度空间表示为扩散方程初值问题，即：
Figure BSA0000155226420000042
扩散方程有唯一解
Figure BSA0000155226420000043
*表示卷积；
利用有限差分理论，得到扩散方程初值问题的差分近似形式包括：
对图像I0的支撑域Ω进行步长为h的离散得Ωd，引入以下差分量，得到扩散方程的差分形式，进而建立RGB-D尺度空间，差分量的表达如下：
Figure BSA0000155226420000044
Figure BSA0000155226420000045
其中
Figure BSA0000155226420000046
和
Figure BSA0000155226420000047
为简化符号；
因此，引入拉普拉斯算子L的离散二阶微分算子
Figure BSA00001552264200000411
有以下差分方程式：
Figure BSA0000155226420000048
将其写成矩阵形式，令
Figure BSA00001552264200000410
再由导数的定义得上式近似于：
Figure BSA0000155226420000049
其中τ为图像层间的尺度差，即τ＝σ(n+1)-σ(n)，由上式迭代求解，即可建立RGB-D尺度空间；
步骤214具体包括：
为获取连续情况下的极值点，利用子像元插值法，精确定位特征点，其具体如下：
步骤2141，令F(u，v)＝Af(u，v)，假设经上述极值检测得到的极值点为(u1，v1)，则在此极值点(u1，v1)处将F(u，v)Taylor展开，并求驻点得到偏移量
Figure BSA0000155226420000051
步骤2142，根据偏移量
Figure BSA0000155226420000052
中所有分量与0.5的大小关系定位特征点；
为增强特征匹配稳定性和抗噪能力，筛除低对比度和边缘响应点，其具体如下：
步骤2143，删除定位出的特征点中低对比度的特征点；
步骤2144，删除定位出的特征点中的边缘响应点；
步骤2145，经过步骤2143和步骤2144的筛选，保留下来的特征点即为RGB-D图像的稳定三维特征点。
进一步地，步骤202包括：
为实现图像的旋转不变性，需要根据关键点的局部图像结构求得一个方向基准；对于尺度为σ的关键点(x，y)，计算图像梯度的大小和方向，计算公式如下：
Figure BSA0000155226420000053
Figure BSA0000155226420000054
利用直方图统计邻域内像素的梯度大小和方向，方向直方图将0°～360°的范围，均分为36个柱，方向直方图的横轴为梯度的方向角，纵轴为方向对应的梯度加权累加值。方向直方图的峰值代表关键点的主方向。为了增强匹配的鲁棒性，保留大于主方向峰值80％的峰值方向，作为此关键点的辅方向。因此，一个关键点可以被分配一个或多个方向。至此，检测出含有位置、尺度、方向的关键点，即是该图像的特征点。
进一步地，步骤203具体包括：
通过对特征点周围的图像区域分块，计算块内的方向直方图，生成具有独特性的特征向量。为确保旋转不变性将坐标轴旋转为特征点的主方向；特征点附近的邻域划分为4×4个子区域，每个子区域为一个种子点；计算子区域的方向直方图，生成特征向量；为进一步除去光照变化的影响，对特征向量进行归一化处理。提取三维特征点并生成特征描述向量之后，将特征向量间的欧式距离作为相似性度量，匹配特征点。
本发明利用RGB-D尺度空间理论将场景表面3D点云数据降至2D平面进行特征提取、描述和匹配，匹配的特征更稳定。在对多视点RGB-D图像高精确度配准的基础上，利用特征点计算变换矩阵，完成RGB-D图像的拼接，并基于光度差异完成图像融合。最终通过坐标变换将RGB-D图像转化为3D点云数据，结果精确度更高。
附图说明
图1是本发明实施例提供的基于RGB-D特征匹配的3D点云拼接与融合方法流程图。
图2是单视点场景表面3D点云转化为RGB-D图像过程示意图。
图3是物点在相机坐标系中的参数表示示意图。
图4是特征描述的采样区域与方向直方图。
图5是RGB-D图像转为3D大视场点云数据过程示意图。
图6是RGB-D图像转为3D全景点云数据过程示意图一。
图7是RGB-D图像转为3D全景点云数据过程示意图二。
具体实施方式
在附图中，使用相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面结合附图对本发明的实施例进行详细说明。
本实施例提供的基于RGB-D特征匹配的3D点云拼接与融合方法流程图如图1所示，包括：
步骤100，将不同视点的场景表面3D点云数据投影到RGB-D图像进行处理，实现三维点云降至二维的降维计算；
步骤200，提取RGB-D图像中的特征点，建立RGB-D图像的特征描述，对不同视点RGB-D图像进行匹配；
步骤300，求解坐标及深度变换矩阵，对RGB-D图像进行拼接与融合；
步骤400，将拼接后的RGB-D图像转化为3D点云数据。
在一个实施例中，步骤100中的“实现三维点云降至二维的降维计算”方法包括：
图2示出场景表面3D点云数据转化为RGB-D图像的过程。对于点云坐标系下的3D点云数据，每一点包含三维坐标(Xw，Yw，Zw)和颜色(RGB)信息。RGB-D图像数据包括图像平面坐标(x，y)、深度D(x，y)和颜色(RGB)信息。对RGB-D图像的特征匹配与拼接融合往往降至二维平面进行计算，故本发明将3D点云数据转为RGB-D图像进行处理。选定一个参考面Zw＝d0作为相机平面，则3D点云数据(Xw，Yw，Zw)转化为RGB-D图像坐标(x，y)＝(XwYw)与深度D(x，y)＝d0-Zw。该RGB-D图像的中心点投影到相机平面上作为该图像的视点。本实施例能够实现三维点云降至二维的降维计算，简化特征提取与匹配的计算，操作便捷。与直接处理3D点云数据相比，对匹配特征的RGB-D图像拼接融合，复杂度降低，处理速度加快。
在一个实施例中，步骤200包括：
步骤201，利用透视投影模型和尺度空间理论，检测并提取RGB-D图像的三维特征点；
步骤202，计算方向直方图，为关键点分配方向，使其具有旋转不变性；
步骤203，利用特征点邻域内像素的梯度模值与方向对特征点进行描述，生成特征向量，并根据特征向量间的欧式距离匹配特征点。
在一个实施例中，步骤201具体包括：
步骤211，利用透视投影模型，给出RGB-D图像保三维几何结构的降维计算方法，得到场景在相机坐标系中的参数表示；
步骤212，由扩散方程出发，利用有限差分与尺度空间理论，建立检测RGB-D图像三维特征点的RGB-D尺度空间；
步骤213，在RGB-D尺度空间上极值检测，获取特征点的位置；以及
步骤214，利用子像元插值法，精确定位特征点，并筛除低对比度和边缘响应点，增强特征匹配稳定性和抗噪能力。
通过采用本实施例提供的方法，进行图像的三维特征提取，可以为后续图像配准、图像拼接、目标跟踪与识别等提供大量稳定的图像特征。
在一个实施例中，步骤211中，RGB-D图像可以有目前市面上出现的RGB-D相机、微软的kinect、光场相机等获得。RGB-D图像是两幅图像：一个是RGB三通道彩色图像，另一个是Depth图像。Depth图像类似于灰度图像，只是它的每个像素值是传感器距离物体的实际距离。但文中提到的图像I0是指RGB图像，同时图像I0中每个像点对应的Depth也可知，即下文中提及的“图像I0”是携带Depth信息的RGB图像。
步骤211中，透视投影模型是现有的技术，图3是透视投影示意图，表示了物点与像点在相机坐标系中的关系。图3中，坐标系OXYZ为相机坐标系。坐标系O1UV为相机中成像面坐标系。(u，v)平面为成像平面，
Figure BSA0000155226420000071
是实际场景中物体上的点(简称物点)，P：m(u，v)为物点
Figure BSA0000155226420000081
对应的像点。f表示相机光心0到成像面(u，v)的距离即像距。D(u，v)是RGB图像(u，v)处像点p对应的实际场景物点P的深度，即物点P到相机的水平距离。ω为相机的水平视角。W，H表示图像I0的分辨率，图中以图像I0的中心为坐标原点，则图像I0在O1UV坐标系中的范围为
Figure BSA0000155226420000082
并且，从图3中可以推导出场景中的物点在相机坐标系中的坐标为：
Figure BSA0000155226420000083
公式(1)给出的是图像I0中像点对应实际场景中物点在相机坐标系中的参数表示。其中u、v分别是图像I0中像素的下标。
步骤212中，由尺度空间理论知，图像I0(x，y)的高斯尺度空间L(x，y，σ)表示为高斯函数G(x，y，σ)与原始图像I0的卷积，如下式所示：
L(x，y，σ)＝G(x，y，σ)*I0(x，y)， (6)
式中
Figure BSA0000155226420000084
图像I0的高斯尺度空间亦可以表示为扩散方程初值问题，即如下式：
Figure BSA0000155226420000085
扩散方程有唯一解
Figure BSA0000155226420000086
*表示卷积。由此可将图像信息处理的尺度空间与扩散方程(3)联系起来。
再根据有限差分理论，对图像I0的支撑域Ω进行步长为h的离散得Ωd，Ωd通过在两个维度上用步长h对Ω进行采样得到。引入差分量，得到扩散方程的差分形式，进而建立RGB-D尺度空间，差分量的表达如下：
Figure BSA0000155226420000087
其中
Figure BSA0000155226420000091
和
Figure BSA0000155226420000092
为简化符号。同理，
Figure BSA0000155226420000097
定义类似，即：
Figure BSA0000155226420000093
引入拉普拉斯算子L的离散二阶微分算子A，有以下差分方程式：
Figure BSA0000155226420000094
将其写成矩阵形式，令
Figure BSA0000155226420000099
再由导数的定义得上式近似于：
Figure BSA0000155226420000095
其中，τ为图像层间的尺度差，即τ＝σn+1-σn。σn+1和σn分别表示图像f(n+1)和f(n)的模糊度，即尺度。由(10)式知，给定图像I0，由(10)式迭代求解出模糊后的图像，即可建立RGB-D尺度空间。
步骤213中，因为尺度归一化的高斯拉普拉斯函数的极值同其它的特征提取函数(如：梯度，Hessian或Harris)比较，能够产生最稳定的图像特征。而本实施例建立RGB-D尺度空间的差分方程(9)式又是尺度归一化的高斯拉普拉斯函数的近似，所以本实施例在RGB-D尺度空间上检测极值，可得到图像潜在的特征点。
步骤214中，由于步骤213获得的极值是在离散情况下检测得到的，并非连续情况下的极值。为获取连续情况下的极值点，需要通过子像元插值法，得到连续情况下的极值点，并根据对比度和边缘响应筛选特征点。
步骤214具体包括：
为获取连续情况下的极值点，利用子像元插值法，精确定位特征点，其具体如下：
步骤2141，令F(u，v)＝Af(u，v)，假设经上述极值检测得到的极值点为(u1，v1)，则在此极值点(u1，v1)处将F(u，v)进行Taylor展开，并求驻点得到偏移量
Figure BSA0000155226420000096
步骤2142，根据偏移量
Figure BSA0000155226420000098
中所有分量与0.5的大小关系定位特征点。
为增强特征匹配稳定性和抗噪能力，筛除低对比度和边缘响应点，其具体如下：
步骤2143，删除定位出的特征点中低对比度的特征点；
步骤2144，删除定位出的特征点中的边缘响应点；
步骤2145，经过步骤2143和步骤2144的筛选，保留下来的特征点即为RGB-D图像的稳定三维特征点。
本实施例中，建立RGB-D尺度空间时降采样因子设置为2(可以根据实际情况设置为其它数值)，根据偏移量
Figure BSA0000155226420000103
中所有分量与0.5的大小关系即可精确定位特征点。
步骤202中，为实现图像的旋转不变性，需要根据关键点的局部图像结构求得一个方向基准。对于尺度为σ的关键点(x，y)，计算图像梯度的大小和方向，计算公式如下：
Figure BSA0000155226420000101
Figure BSA0000155226420000102
利用直方图统计邻域内像素的梯度大小和方向，方向直方图将0°～360°的范围，均分为36个柱，如下图4所示(为简化，图中只画出八个方向的直方图)，方向直方图的横轴为梯度的方向角，纵轴为方向对应的梯度加权累加值。方向直方图的峰值代表关键点的主方向。为了增强匹配的鲁棒性，保留大于主方向峰值80％的峰值方向，作为此关键点的辅方向。因此，一个关键点可以被分配一个或多个方向。至此，检测出含有位置、尺度、方向的关键点，即是该图像的特征点。
步骤203中，通过对特征点周围的图像区域分块，计算块内的方向直方图，生成具有独特性的特征向量。具体步骤如下：为确保旋转不变性将坐标轴旋转为特征点的主方向；特征点附近的邻域划分为4×4个子区域，每个子区域为一个种子点；利用(13)式和(14)式计算子区域的方向直方图，生成SIFT特征向量；为进一步除去光照变化的影响，对特征向量进行归一化处理。计算处理后特征向量间的欧式距离，认为待匹配特征点与基准图像最小欧氏距离对应的特征点匹配。
需要说明的是，每个子区域计算方向直方图时，将0°～360°分为8个方向，每45°为一个柱，而非每10°为一个柱。每个种子点共有8个方向的梯度信息，从而生成16×8＝128维的SIFT特征向量。
在一个实施例中，步骤300中的“求解坐标及深度变换矩阵”包括：
经特征匹配后的两幅RGB-D图像，对应特征点可通过求解变换矩阵相互转换，基于投影变换模型给出变换矩阵，该变换矩阵与特征点对的关系模型为：
Figure BSA0000155226420000111
其中A′对应图像I′上特征点的坐标和深度信息，A对应参照图像I上的特征点，其中A′包含图像I′变换矩阵可简写为
Figure BSA0000155226420000112
其中
Figure BSA0000155226420000113
表示缩放、旋转量，S＝(x0，y0，D0)T表示位移量，V＝(v1，v2，v3)表示水平、垂直和深度方向的变形量，通过代入特征点对进行求解。
变换矩阵具有15个未知参数，计算时选用特征匹配过程中特征向量欧式距离最小的15个特征点对，对线性方程进行求解，利用求解出的Tk对图像I′中的像点逐一变换，实现图像的拼接。
在一个实施例中，步骤300中的“对RGB-D图像进行融合”包括：
采用基于光度差异的RGB-D图像融合算法及双线性插值对拼接后的图像进行平滑处理，实现RGB-D图像间的融合。在拼接图像的过程中进行图像融合，对图像数据的RGB值作基于光度差异的变换，变换过程由以下线性模型给出：
Figure BSA0000155226420000114
等式右端RGB值对应参照图像I，左端对应图像I′；
假设两图像光度差异是全局的，(βr，βg，βh)T可忽略不计，则模型可简化为：
Figure BSA0000155226420000115
变换矩阵由两图像的RGB均值比给出，利用双线性插值算法处理图像拼接产生的伪影。
在一个实施例中，图5示出RGB-D数据转为3D大视场点云数据的过程。对于3D大视场，从场景前不同视点获取点云数据，经RGB-D特征匹配并拼接融合，通过坐标变换Xw＝x，Yw＝y，Zw＝d0-D(x，y)转化为3D点云数据，该点云数据基于点云坐标系。
图6和图7示出RGB-D图像转为3D全景点云数据的过程。对于3D全景，经RGB-D特征匹配并拼接融合得到的全景图，相当于含深度信息的3D物体表面展开图，深度信息对应物体四周不同的参考面，不同参考面在点云坐标系中与Yw轴的距离恒为d0。如图4所示，左侧为RGB-D全景图，右侧为转化坐标后的效果图。
图7为图6的XwOZw平面，示出RGB-D像点与点云数据的几何关系，A点为全景图上某一像点(x，y)，A′为该像点对应点云数据，PQ表示全景RGB-D图像，l表示此时的参考面，VO＝d0，VA′＝D(x，y)。由几何关系推导得出角度：
Figure BSA0000155226420000123
OA′＝d0-D(x，y)，其中x0为RGB-D全景图像最左端横坐标值，xN为最右端横坐标值，xN-x0为图像宽度。为重建3D场景，求得点云数据，推导出RGB-D像点坐标在点云坐标系中通过坐标变换如下：
Figure BSA0000155226420000122
转化为3D点云数据。
最后需要指出的是：以上实施例仅用以说明本发明的技术方案，而非对其限制。本领域的普通技术人员应当理解：可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (5)

1.一种基于RGB-D特征匹配的3D点云拼接与融合方法，其特征在于，包括：
步骤100，将不同视点的场景表面3D点云数据投影到RGB-D图像进行处理，实现三维点云降至二维的降维计算；
步骤200，提取RGB-D图像中的特征点，建立RGB-D图像的特征描述，对不同视点RGB-D图像进行匹配；
步骤300，求解坐标及深度变换矩阵，对RGB-D图像进行拼接与融合；
步骤400，将拼接后的RGB-D图像转化为3D点云数据；
其中：
步骤300中的“求解坐标及深度变换矩阵，对RGB-D图像进行拼接”包括：
经特征匹配后的两幅RGB-D图像，对应特征点可通过求解变换矩阵相互转换，基于投影变换模型给出变换矩阵，该变换矩阵与特征点对的关系模型为：
Figure FDA0002841376200000011
其中A′对应图像I′，A对应参照图像I，变换矩阵Tk包含旋转、缩放、平移和变形量，通过代入特征点对进行求解，A′包含图像I′变换矩阵可简写为
Figure FDA0002841376200000012
其中
Figure FDA0002841376200000013
表示缩放、旋转量，S＝(x0,y0,D0)T表示位移量，V＝(v1,v2,v3)表示水平、垂直和深度方向的变形量；
利用求解出的Tk对图像I′中的像点逐一变换，实现图像的拼接；
步骤300中的“对RGB-D图像进行融合”包括：
不同RGB-D图像拼接过程中进行图像融合，对图像数据的RGB值作基于光度差异的变换，假设两图像光度差异是全局的，变换过程由以下线性模型给出：
Figure FDA0002841376200000014
等式右端RGB值对应参照图像I，左端对应图像I′；
变换矩阵由两图像的RGB均值比给出，利用双线性插值算法处理图像拼接产生的伪影；
步骤400中的“将拼接后的RGB-D图像转化为3D点云数据”包括：
对于3D大视场，从场景前不同视点获取点云数据，经RGB-D特征匹配并拼接融合，通过坐标变换Xw＝x，Yw＝y，Zw＝d0-D(x,y)转化为3D点云数据；对于3D全景，从场景周围不同视点获取的点云数据，经RGB-D特征匹配并拼接融合，通过坐标变换：
Figure FDA0002841376200000021
转化为点云坐标系下的3D点云数据(Xw,Yw,Zw)，其中x0为RGB-D全景图像最左端横坐标值，xN为最右端横坐标值；RGB-D图像数据包括图像平面坐标(x,y)、深度D(x,y)和颜色(RGB)信息，参考面Zw＝d0作为相机平面；
步骤200具体包括：
步骤201，利用透视投影模型和尺度空间理论，检测并提取RGB-D图像的三维特征点；
步骤201具体包括：
步骤211，利用透视投影模型，给出RGB-D图像保三维几何结构的降维计算方法，得到场景在相机坐标系中的参数表示；
步骤212，由扩散方程出发，利用有限差分与尺度空间理论，建立检测RGB-D图像三维特征点的RGB-D尺度空间；
步骤213，在RGB-D尺度空间上极值检测，获取特征点的位置；以及
步骤214，利用子像元插值法，精确定位特征点，并筛除低对比度和边缘响应点，增强特征匹配稳定性和抗噪能力；
步骤211中的“场景中物点在相机坐标系中的参数表示”为：
Figure FDA0002841376200000022
其中，
Figure FDA0002841376200000023
是物点P在相机坐标系中的坐标，(u,v)平面为成像平面，ω为相机的水平视角，W,H表示图像I0的分辨率，D(u,v)为物点到相机的水平距离；
步骤212具体包括：
根据尺度空间理论，图像I0(x,y)的高斯尺度空间L(x,y,σ)表示为高斯函数G(x,y,σ)与原始图像I0的卷积，如下所示：
L(x,y,σ)＝G(x,y,σ)*I0(x,y), (6)
图像I0的高斯尺度空间可表示为扩散方程初值问题，即：
Figure FDA0002841376200000031
此方程有唯一解
Figure FDA0002841376200000032
*表示卷积；
利用有限差分理论，得到扩散方程初值问题的差分近似形式包括：
对图像I0的支撑域Ω进行步长为h的离散得Ωd，引入以下差分量，得到扩散方程的差分形式，进而建立RGB-D尺度空间，差分量的表达如下：
Figure FDA0002841376200000033
Figure FDA0002841376200000034
其中
Figure FDA0002841376200000035
和
Figure FDA0002841376200000036
为简化符号；
因此，引入拉普拉斯算子L的离散二阶微分算子A，有以下偏微分方程：
Figure FDA0002841376200000037
将其写成矩阵形式，令
Figure FDA0002841376200000038
再由导数的定义得上式近似于：
Figure FDA0002841376200000039
其中τ为图像层间的尺度差，即τ＝σ(n+1)-σ(n)，σn+1和σn分别表示图像f(n+1)和f(n)的模糊度，即尺度；由上式迭代求解，即可建立RGB-D尺度空间；
步骤214具体包括：
为获取连续情况下的极值点，利用子像元插值法，精确定位特征点，具体如下：
步骤2141，令F(u,v)＝Af(u,v),假设经上述极值检测得到的极值点为(u1,v1),则在此极值点(u1,v1)处将F(u,v)进行Taylor展开，并求驻点得到偏移量
Figure FDA0002841376200000041
步骤2142，根据偏移量
Figure FDA0002841376200000042
中所有分量与0.5的大小关系定位特征点；
为增强特征匹配稳定性和抗噪能力，筛除低对比度和边缘响应点，其具体如下：
步骤2143，删除定位出的特征点中低对比度的特征点；
步骤2144，删除定位出的特征点中的边缘响应点；
步骤2145，经过步骤2143和步骤2144的筛选，保留下来的特征点即为RGB-D图像的稳定三维特征点。
2.如权利要求1所述的基于RGB-D特征匹配的3D点云拼接与融合方法，其特征在于，步骤100中的“实现三维点云降至二维的降维计算”方法包括：
在3D点云坐标系下，选定一个参考面Zw＝d0作为相机平面，则3D点云数据(Xw,Yw,Zw)转化为RGB-D图像坐标(x,y)＝(Xw,Yw)与深度D(x,y)＝d0-Zw，该RGB-D图像的中心点投影到相机平面上作为该图像的视点。
3.如权利要求1所述的基于RGB-D特征匹配的3D点云拼接与融合方法，其特征在于，步骤200具体还包括：
步骤202，计算方向直方图，为关键点分配方向，使其具有旋转不变性；
步骤203，利用特征点邻域内像素的梯度模值与方向对特征点进行描述，生成特征向量，并根据特征向量间的欧式距离匹配特征点。
4.如权利要求3所述的基于RGB-D特征匹配的3D点云拼接与融合方法，其特征在于，步骤202包括：
为实现图像的旋转不变性，需要根据关键点的局部图像结构求得一个方向基准； 对于尺度为σ的关键点(x,y)，计算图像梯度的大小和方向，计算公式如下：
Figure FDA0002841376200000043
Figure FDA0002841376200000051
利用直方图统计邻域内像素的梯度大小和方向，方向直方图将0°～360°的范围，均分为36个柱，方向直方图的横轴为梯度的方向角，纵轴为方向对应的梯度加权累加值；方向直方图的峰值代表关键点的主方向；为了增强匹配的鲁棒性，保留大于主方向峰值80％的峰值方向，作为此关键点的辅方向；一个关键点可以被分配一个或多个方向；至此，检测出含有位置、尺度、方向的关键点，即是该图像的特征点。
5.如权利要求3所述的基于RGB-D特征匹配的3D点云拼接与融合方法，其特征在于，步骤203具体包括：
通过对特征点周围的图像区域分块，计算块内的方向直方图，生成具有独特性的特征向量；为确保旋转不变性将坐标轴旋转为特征点的主方向；特征点附近的邻域划分为4×4个子区域，每个子区域为一个种子点；计算子区域的方向直方图，生成特征向量；为进一步除去光照变化的影响，对特征向量进行归一化处理；提取三维特征点并生成特征描述向量之后，将特征向量间的欧式距离作为相似性度量，匹配特征点。
CN201711293629.XA 2017-12-08 2017-12-08 一种基于rgb-d特征匹配的3d点云拼接与融合方法 Active CN108053367B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711293629.XA CN108053367B (zh) 2017-12-08 2017-12-08 一种基于rgb-d特征匹配的3d点云拼接与融合方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711293629.XA CN108053367B (zh) 2017-12-08 2017-12-08 一种基于rgb-d特征匹配的3d点云拼接与融合方法

Publications (2)

Publication Number Publication Date
CN108053367A CN108053367A (zh) 2018-05-18
CN108053367B true CN108053367B (zh) 2021-04-20

Family

ID=62122590

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711293629.XA Active CN108053367B (zh) 2017-12-08 2017-12-08 一种基于rgb-d特征匹配的3d点云拼接与融合方法

Country Status (1)

Country Link
CN (1) CN108053367B (zh)

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109118539B (zh) * 2018-07-16 2020-10-09 深圳辰视智能科技有限公司 一种基于多尺度特征的点云与图片融合方法、装置及其设备
MX2021000993A (es) * 2018-07-24 2021-06-15 Glasstech Inc Sistema y metodo para medir una superficie en láminas de vidrio contorneado.
GB2576548B (en) * 2018-08-23 2021-11-03 Sony Interactive Entertainment Inc Method and system for reconstructing colour and depth information of a scene
CN109544456B (zh) * 2018-11-26 2022-04-15 湖南科技大学 基于二维图像和三维点云数据融合的全景环境感知方法
CN111327906B (zh) * 2018-12-13 2022-08-09 华为技术有限公司 点云编解码方法和编解码器
CN109685848B (zh) * 2018-12-14 2023-06-09 上海交通大学 一种三维点云与三维传感器的神经网络坐标变换方法
CN109993793B (zh) * 2019-03-29 2021-09-07 北京易达图灵科技有限公司 视觉定位方法及装置
CN110108231B (zh) * 2019-05-08 2020-10-27 广东嘉腾机器人自动化有限公司 基于角点检测的钜体箱体三维尺寸测量方法及存储介质
CN110120013B (zh) * 2019-05-15 2023-10-20 深圳市凌云视迅科技有限责任公司 一种点云拼接方法及装置
CN110335224B (zh) * 2019-07-05 2022-12-13 腾讯科技（深圳）有限公司 图像处理方法、装置、计算机设备及存储介质
CN110349225B (zh) * 2019-07-12 2023-02-28 四川易利数字城市科技有限公司 一种bim模型外部轮廓快速提取方法
CN110517301B (zh) * 2019-07-22 2022-04-01 杭州电子科技大学 一种快速相机运动下有效匹配特征的方法
CN111008985B (zh) * 2019-11-07 2021-08-17 贝壳找房(北京)科技有限公司 全景图拼缝检测方法、装置、可读存储介质及电子设备
CN110908512A (zh) * 2019-11-14 2020-03-24 光沦科技(杭州)有限公司 一种基于动态手势坐标映射的人机交互方法
CN111540063A (zh) * 2020-04-15 2020-08-14 富德康(北京)科技股份有限公司 一种基于多站激光点云数据全自动高精度拼接方法
CN111652801B (zh) * 2020-05-11 2021-12-21 东莞理工学院 一种点云精准拼接方法
CN112102409B (zh) * 2020-09-21 2023-09-01 杭州海康威视数字技术股份有限公司 目标检测方法、装置、设备及存储介质
CN112862874B (zh) * 2021-04-23 2021-07-13 腾讯科技（深圳）有限公司 点云数据匹配方法、装置、电子设备及计算机存储介质
CN113593023B (zh) * 2021-07-14 2024-02-02 中国科学院空天信息创新研究院 三维制图方法、装置、设备及存储介质
CN113724332B (zh) * 2021-11-04 2022-01-18 贝壳技术有限公司 相机相对位姿的确定方法、电子设备和存储介质
CN114202567A (zh) * 2021-12-03 2022-03-18 江苏集萃智能制造技术研究所有限公司 一种基于视觉的点云处理避障方法
CN116152066B (zh) * 2023-02-14 2023-07-04 苏州赫芯科技有限公司 一种元件完整形貌的点云检测方法、系统、设备及介质
CN117132913B (zh) * 2023-10-26 2024-01-26 山东科技大学 基于无人机遥感与特征识别匹配的地表水平位移计算方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070174620A1 (en) * 2006-01-21 2007-07-26 Hon Hai Precision Industry Co., Ltd. System and method for loading digital watermarks automatically
CN104851094A (zh) * 2015-05-14 2015-08-19 西安电子科技大学 一种基于rgb-d的slam算法的改进方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070174620A1 (en) * 2006-01-21 2007-07-26 Hon Hai Precision Industry Co., Ltd. System and method for loading digital watermarks automatically
CN104851094A (zh) * 2015-05-14 2015-08-19 西安电子科技大学 一种基于rgb-d的slam算法的改进方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
多站激光点云数据全自动高精度拼接方法研究;李健等;《武汉大学学报信息科学版》;20140930;全文 *

Also Published As

Publication number Publication date
CN108053367A (zh) 2018-05-18

Similar Documents

Publication Publication Date Title
CN108053367B (zh) 一种基于rgb-d特征匹配的3d点云拼接与融合方法
Jeon et al. Depth from a light field image with learning-based matching costs
CN107945221B (zh) 一种基于rgb-d图像的三维场景特征表达与高精度匹配方法
Jeon et al. Accurate depth map estimation from a lenslet light field camera
US11348267B2 (en) Method and apparatus for generating a three-dimensional model
CN107886101B (zh) 一种基于rgb-d的场景三维特征点高效提取方法
WO2018205164A1 (en) Method and system for three-dimensional model reconstruction
DK3189493T3 (en) PERSPECTIVE CORRECTION OF DIGITAL PHOTOS USING DEPTH MAP
CN110443228B (zh) 一种行人匹配方法、装置、电子设备及存储介质
Semenishchev et al. Stitching algorithm of the images acquired from different points of fixation
Meuleman et al. Floatingfusion: Depth from tof and image-stabilized stereo cameras
Farhood et al. 3D point cloud reconstruction from a single 4D light field image
Kim et al. Automatic registration of LiDAR and optical imagery using depth map stereo
Lin et al. Iterative feedback estimation of depth and radiance from defocused images
Čadík et al. Automated outdoor depth-map generation and alignment
Kim et al. Depth map super-resolution using guided deformable convolution
KR20160049639A (ko) 부분 선형화 기반의 3차원 영상 정합 방법
Fujita et al. Cost volume refinement filter for post filtering of visual corresponding
Cho et al. Depth map up-sampling using cost-volume filtering
Song et al. Analysis and improvement of joint bilateral upsampling for depth image super-resolution
Al Assaad et al. Interest of pseudo-focused images for key-points detection in plenoptic imaging
Voronin et al. Depth map occlusion filling and scene reconstruction using modified exemplar-based inpainting
Yao et al. Robust perspective invariant quasidense matching across large oblique images
Jung et al. All-in-focus and multi-focus color image reconstruction from a database of color and depth image pairs
Satnik et al. Multiview 3d sensing and analysis for high quality point cloud reconstruction

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant