CN110827397B - 一种面向rgb-d相机实时三维重建的纹理融合方法 - Google Patents

一种面向rgb-d相机实时三维重建的纹理融合方法 Download PDF

Info

Publication number
CN110827397B
CN110827397B CN201911059727.6A CN201911059727A CN110827397B CN 110827397 B CN110827397 B CN 110827397B CN 201911059727 A CN201911059727 A CN 201911059727A CN 110827397 B CN110827397 B CN 110827397B
Authority
CN
China
Prior art keywords
point cloud
real
texture
rgb
weight
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911059727.6A
Other languages
English (en)
Other versions
CN110827397A (zh
Inventor
李基拓
刘鑫琦
陆国栋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang University ZJU
Original Assignee
Zhejiang University ZJU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University ZJU filed Critical Zhejiang University ZJU
Priority to CN201911059727.6A priority Critical patent/CN110827397B/zh
Publication of CN110827397A publication Critical patent/CN110827397A/zh
Application granted granted Critical
Publication of CN110827397B publication Critical patent/CN110827397B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/40—Analysis of texture
    • G06T7/41—Analysis of texture based on statistical description of texture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/66—Analysis of geometric attributes of image moments or centre of gravity
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • G06T2219/2012—Colour editing, changing, or manipulating; Use of colour codes

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Probability & Statistics with Applications (AREA)
  • Architecture (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种面向RGB‑D相机实时三维重建的纹理融合方法。对RGB‑D数据流处理获得彩色图像的清晰度，选择关键帧提取前景，对深度图像进行滤波去噪，计算深度图像点云的法向量，组建重建数据流；使用概率方法与启发式方法相结合的方式定量化建立彩色图像的适应性权重场，作为实时帧的描述彩色数据的置信度分布；通过对比实时帧的适应性权重场中的置信度权重与参考点云最新的置信度权重，从替换、融合和保留三种操作中选择操作更新纹理结果，实现应用于三维重建的纹理融合。本发明能提取高质量数据，能够有效减小纹理融合的模糊，实现清晰的纹理重建结果，以较低的计算成本嵌入RGB‑D重建框架中，从而显著提升纹理重建精度。

Description

一种面向RGB-D相机实时三维重建的纹理融合方法
技术领域
本发明属于计算机视觉与计算机图形图像处理领域，更具体地，涉及一种面向RGB-D相机实时三维重建的纹理融合方法。
背景技术
随着三维重建技术在自动驾驶、虚拟现实、机器人定位与导航等领域不断增加的重要性，如何利用低成本的RGB-D传感器实时获取高质量的三维重建场景已经成为一个热点问题。然而当前基于RGB-D的实时三维重建中大多采用逐像素加权平均序列帧图像的方式，生成物体表面的纹理。这种方法容易破坏纹理的结构信息，造成纹理模糊问题。
目前提高纹理重建质量的方法主要有两种方式，第一种方式是尽可能的选取高质量的数据，或者从低质量原始数据中恢复出高质量数据，然后使用逐像素加权平均方法进行纹理融合。这种方法通过提升数据质量，避免较大的输入噪声，能够有限改善纹理的重建结果。但是这一方法的效果非常依赖于全面的数据质量的评估模型。第二种方式利用联合优化对逐像素加权平均重建的纹理结果进行进一步的修正，联合优化参数包括几何，色彩，相机姿态和环境光照等方面的参数。这一方法通常需要好的初始重建结果，同时需要较高的计算成本，难以实现在普通PC或移动终端的实时应用，也不易集成到已有的三位重建框架之中。
发明内容
为了解决背景技术中存在的问题，本发明提供一种面向RGB-D相机实时三维重建的纹理融合方法，其能够在保证实时性的前提下，保留纹理结构信息，解决纹理融合的模糊问题，重建高质量清晰的纹理重建结果。
本发明所采用的技术方案是：
S1、RGB-D预处理
对RGB-D相机的RGB-D数据流处理获得彩色图像的清晰度，选择关键帧，提取关键帧对应RGB-D数据的前景，对关键帧对应的深度图像进行滤波去噪，并计算深度图像对应点云的法向量，组建重建数据流；
S2、建立彩色图像适应性权重场
针对重建数据流，使用概率方法与启发式方法相结合的方式定量化建立彩色图像的适应性权重场，以准确获得各类纹理融合的误差影响和因素，作为实时帧的描述彩色数据的置信度分布，同时利用核函数区分彩色图像的低质量数据与高质量数据；
S3、纹理融合与更新
使用一种包含替换、融合和保留三种操作的纹理融合方法，通过对比实时帧的适应性权重场中的置信度权重与参考点云最新的置信度权重，从替换、融合和保留三种操作中选择合适的操作更新纹理结果，实现应用于三维重建的纹理融合，这样能尽可能保持纹理结构，最终能获取高质量的重建模型。
所述步骤S1为：
S11、根据RGB-D数据流中彩色图像整体联合梯度信息处理获得RGB-D数据流中彩色图像的清晰度，以固定数目帧数的图像序列作为选择窗口，将选择窗口，每个选择窗口中选择清晰度最高的一帧作为关键帧，仅由深度图像保留重新组成了重建数据流；
根据RGB-D数据流中彩色图像整体联合梯度信息处理获得RGB-D数据流中彩色图像的清晰度，具体实施是采用《The Blur Effect:Perception and Estimation with aNew No-Reference Perceptual Blur Metric》文论的第4页与第5页的模糊评估方法进行实施。
S12、利用阈值截断函数与种子区域生长法提取关键帧的深度图像的前景，利用RGB-D相机在深度图像和彩色图像之间的投影模型提取关键帧的彩色图像的前景；
利用阈值截断函数与种子区域生长法提取关键帧深度图像的前景，阈值截断函数计算如下：
Figure BDA0002257586030000021
其中，ψ(x)是阈值截断函数，d是深度图像素的深度值，td是设定的阈值，根据目标与相机实际的距离而定，通常为1～2之间，丢弃超过阈值设定距离的深度信息。
区域生长法具体实施是采用《Seeded Region Growing》论文第3页第2段所描述的SRG方法实施。
S13、使用双边滤波对关键帧的深度图像的前景进行去噪处理；
S14、利用投影模型，将关键帧的深度图像数据投影到相机空间中获得该关键帧的点云数据，点云数据包括有每个点的颜色值和位置，后续增加法向量和置信度权重到点云数据中，并计算点云的法向量，即点云数据中每个点的法向量。
所述步骤S2为：
S21、根据重建数据流中的每一实时帧的点云与相机视点之间的距离以及点云表面法向量与相机视点方向之间夹角，利用启发式方法处理获得彩色图像对应的视点依赖权重场
Figure BDA0002257586030000031
计算如下：
Figure BDA0002257586030000032
其中，udist为距离依赖不确定性参数，uview为视点依赖不确定性参数，
Figure BDA0002257586030000033
为视点依赖核函数；
距离依赖不确定性参数udist计算如下：
Figure BDA0002257586030000034
其中，dist为实时帧点云的深度值，min_dist为实时帧点云深度值中的最小值，max_dist为实时帧点云中深度值的最大值；
视点依赖不确定性参数uview计算如下：
Figure BDA0002257586030000035
其中，n为实时帧点云对应的法向量，lview为相机视点方向矢量，tview为常数，acos(·)是反余弦函数；
视点依赖核函数
Figure BDA0002257586030000036
计算如下：
Figure BDA0002257586030000037
其中，
Figure BDA0002257586030000038
为视点依赖低置信度截断常数；所述视点为RGB-D相机的视点。
S22、根据实时帧点云几何表面局部一致性误差大小，利用概率模型处理局部方差获得彩色图像对应的表面采样权重场
Figure BDA0002257586030000039
计算如下：
Figure BDA00022575860300000310
其中，
Figure BDA00022575860300000311
为实时帧点云对应的表面采样不确定性参数，
Figure BDA00022575860300000312
和
Figure BDA00022575860300000313
为实时帧点云对于表面采样不确定性中的最大值和最小值；
表面采样不确定性参数
Figure BDA00022575860300000314
计算如下：
Figure BDA00022575860300000315
其中，
Figure BDA00022575860300000316
为将深度图在像素点(i，j)局部8邻域像素的深度信息视为满足高斯概率模型后计算得到的方差；
S23、根据图像清晰度结果，利用启发式方法计算彩色图像对应的表面清晰度权重场Wclarity，计算如下：
Figure BDA0002257586030000041
其中，Cclarity为基于整体联合梯度信息处理的清晰度，Cthreshold为清晰度阈值，
Figure BDA0002257586030000042
为清晰度截断核函数；
清晰度截断核函数
Figure BDA0002257586030000043
计算如下：
Figure BDA0002257586030000044
S24、根据RGB-D相机拍摄时目标的隐含的遮挡问题，使用启发式方法与图像形态学操作相结合的方式计算彩色图像的遮挡权重场Woccl，计算如下：
Figure BDA0002257586030000045
其中，n为实时帧点云对应的法向量，lview为相机视点方向矢量，toccl为一个法向量相关的角度常数；M(·)表示截断遮挡区域信息函数，是预先建立的模板函数；
截断遮挡区域信息函数M(·)计算如下：
Figure BDA0002257586030000046
其中，pix是实时帧点云对应的像素位置，Ms是RGB-D相机拍摄场景存在遮挡的区域模板；E(·)是形态学膨胀操作，针对整张处理后的遮挡区域掩模图像；
S25、根据视点依赖权重场
Figure BDA0002257586030000047
表面采样权重场
Figure BDA0002257586030000048
清晰度权重场
Figure BDA0002257586030000049
和遮挡权重场
Figure BDA00022575860300000410
计算最终彩色图像的适应性权重场Fc(u,v)，作为实时帧的置信度权重分布图加入到点云数据中，其中每一点位置为一个置信度权重：
Figure BDA00022575860300000411
具体实施中，第一帧的置信度权重均为0，即第一帧时点云最新的置信度权重均为0。
所述步骤S3具体为：
首先建立参考点云，以重建数据流中第一帧点云的点云数据作为参考点云的点云数据，然后按照以下方式对之后的每一实时帧进行每次更新处理：
(A)当实时帧点云的适应性权重场中的置信度权重高于参考点云最新的置信度权重预设阈值T时，使用如下替换操作更新参考点云的置信度权重与纹理：
cupdata＝clive，wupdata＝wlive
其中，clive为实时帧点云的颜色值，cupdata为参考点云在更新后的颜色值，wlive为实时帧点云的适应性权重场的置信度权重值，wupdata为参考点云在更新后的置信度权重值；
(B)当实时帧点云的适应性权重场中的置信度权重与参考点云最新的置信度权重之间差值处于预设阈值T范围内时，使用如下融合操作更新参考点云的置信度权重与纹理：
Figure BDA0002257586030000051
其中，cpre为参考点云更新前的颜色值，wpre为参考点云更新前的置信度权重；
(C)当实时帧点云的适应性权重场中的置信度权重低于参考点云最新的置信度权重预设阈值T时，使用如下保留操作更新参考点云的置信度权重与纹理：
cupdata＝cpre，wupdata＝wpre。
最终获得参考点云最后的置信度权重与纹理颜色值，实现了纹理融合。
上述置信度权重等判断和计算都是指全局模型点云投影到的实时帧对应的每个像素点的计算处理。
所述步骤S3通过实时每一帧对点云进行更新，以替换、融合和保留相结合的纹理操作进行纹理更新，获得高质量的纹理重建结果。
本发明结合概率模型和启发式方法建立了彩色图像的适应性权重场用以评估彩色图像的置信度分布；通过使用核函数增大适应性权重场中高置信权重与低置信度权重之间的距离，能轻易地选出高质量数据并为纹理融合过程提供支持；并且采用一种替换，融合和保留操作相结合的纹理融合方法更新全局模型的纹理，能够有效的减小纹理融合的模糊问题，保持纹理的结构信息，实现清晰的纹理重建结果。
本发明能够以较低的图像处理计算成本，直接嵌入到当前主流的在线与离线RGB-D重建框架之中，从而显著的提升纹理重建精度。
本发明的有益效果为：
(1)本发明利用了概率方法和启发式方法相结合的方式提出了适应性权重场来评估RGB-D数据的置信度分布，从而能够有效的从彩色数据中区分高质量的数据与低质量的数据，为之后的融合过程提供指导。
(2)本发明提出了一种包括替换，融合和保留操作相结合的方式进行纹理融合，通过使用适应性权重场评估的置信度权重，使用不同融合操作，从而能够保留纹理的结构信息，有效减轻纹理模糊问题，并以低的计算成本实现高质量纹理的实时重建。
(3)本发明提供的方法能够直接嵌入到当前在线/离线的，基于体素/基于surfel的重建框架之中，能够显著提升重建结果的纹理精度。
附图说明
图1为本发明实施例提供的面向RGB-D相机实时三维重建的纹理融合方法原理图；
图2为本发明实施例提供的使用本发明纹理融合方法的基于体素的RGB-D实时三维重建框架图；
图3为本发明实时例提供的原始关键帧RGB-D数据，其中左图是RGB色彩图像，右图是深度图像；
图4为本发明实施例提供的重建效果对比图，左侧为使用本发明方法的纹理重建结果，右侧为使用基于逐像素加权平均的纹理重建结果，可以看到本发明能够显著提升重建纹理的精度。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图和实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
以本发明应用到基于体素的RGB-D重建框架为例，说明本发明的应用方式，如图2所示。基于体素的RGB-D重建框架主要包括五个部分：输入RGB-D数据，数据预处理，相机姿态评估，体素信息的融合与更新和表面网格的提取。本发明主要应用在体素信息的融合与更新中纹理融合更新部分，其输入包括原始的RGB-D图像，估计的相机姿态和初始的/融合的全局模型，输出为使用实时帧更新后的全局模型。
本发明的实施例及其实施过程如图1所示，主要包括四个部分：输入RGB-D数据，RGB-D数据预处理，建立彩色图像适应性权重场和纹理融合与更新。RGB-D预处理实现关键帧选择、提取前景、滤波和法向量计算；建立彩色图像适应性权重场进行数据置信度评估；纹理融合与更新则基于评估的置信度权重场，使用实时帧进行全局模型信息的更新。具体流程包括：
S1、RGB-D预处理
评估RGB-D数据流中彩色图像的清晰度，选择关键帧，提取关键帧对应RGB-D数据的前景，对关键帧对应的深度图像进行滤波去噪，并计算深度图像对应点云的法向量，其具体包括:
S11、根据RGB-D数据流中彩色图像整体联合梯度信息处理获得RGB-D数据流中彩色图像的清晰度，具体实施是采用《The Blur Effect:Perception and Estimation witha New No-Reference Perceptual Blur Metric》文论的第4页与第5页的模糊评估方法进行实施；
然后根据实时帧采集速率，设定关键帧选择窗口的宽度大小，以窗口宽度为单位对彩色图像数据流进行分组，分别计算组内每张图像的清晰度评分，再选择每组内最高评分的RGB-D帧作为关键帧，丢弃其他帧数据；通常对于30Hz的实时帧采集速率，可以设置窗口宽度为20；
S12、为了提取目标场景在RGB-D数据的前景，首先根据目标场景与相机的实际距离，利用阈值截断函数提取重建对象深度图的前景阈值截断函数计算如下：
Figure BDA0002257586030000071
其中，ψ(x)是阈值截断函数，d是深度图像素的深度值，td是设定的阈值，根据目标与相机实际的距离而定，对于一般的场景设置其为1.2，丢弃超过阈值设定距离的深度信息；
然后以深度图像中深度最近点作为种子值，使用种子区域生长法提取目标场景在深度图像的前景，从而能够有效去除前景边缘的噪声。区域生长法具体实施是采用《SeededRegion Growing》论文第3页第2段所描述的SRG方法实施；再利用深度图像和彩色图像的投影模型，基于深度相机的内参将前景的深度数据从深度空间投影至相机空间获得点云，再基于彩色相机的内参，将点云重投影到彩色图像空间，从而能够提取出彩色图像的前景；
S13、使用深度空间和图像域空间相联合的双边滤波对深度图像的前景进行滤波处理去除噪声；
S14、利用相机投影模型，将深度图像数据投影到相机空间中获得点云数据，然后根据点云局部区域二次曲面逼近，计算其法向量。
S2、建立彩色图像适应性权重场
彩色图像的适应性权重场主要考虑两方面要求，一方面要求尽可能准确地描述各类因素对于彩色图像质量的影响大小，因此使用概率模型和启发式方法相结合的方式定量化评估彩色图像的置信度；另一方面要求有效地区分高质量数据与低质量数据，因此采用核函数方法增大低置信度数据与高置信度数据之间的差异，从而能够为纹理融合过程提供指导。
在建立彩色图像适应性权重场时，主要考虑视点依赖不确定性，表面采样不确定性，清晰度不确定性和遮挡不确定性，通过使用概率建模结合启发式方法对其各种不确定性进行定量化评估，其具体包括：
S21、视点依赖不确定性通常考虑距离和表面法向量与相机视点方向夹角这两项因素。本发明根据点云与相机视点之间距离，点云表面法向量与相机视点方向之间夹角，利用启发式方法计算彩色图像对应的视点依赖权重场
Figure BDA0002257586030000081
计算方法如公式(1)：
Figure BDA0002257586030000082
其中，udist为距离依赖不确定性，计算如下(2)：
Figure BDA0002257586030000083
其中，dist为实时帧点云的深度值，min_dist为实时帧点云深度值中最小值，max_dist为实时帧点云中深度值最大值；
uview为视点依赖不确定性，计算如下(3)：
Figure BDA0002257586030000084
其中，n为实时帧点云对应的法向量，lview为相机视点方向矢量，tview为一个法向量相关的角度常数，通常设为60°；
公式(1)中，
Figure BDA0002257586030000085
为视点依赖核函数，其目的是增加高质量数据与低质量数据置信度评估结果之间的差异，计算如下(4)：
Figure BDA0002257586030000086
其中，
Figure BDA0002257586030000087
为视点依赖低置信度截断常数，其设为0.8。
S22、表面采样不确定性主要是因为传感器分辨率有限，使得对场景表面同一位置多次采样无法采到相同位置的点。这一不确定性能够通过表面局部几何一致性来表征，本发明采样高斯概率模型评估局部方差计算彩色图像对应的表面采样权重场
Figure BDA0002257586030000088
计算如下(5)：
Figure BDA0002257586030000089
其中，
Figure BDA00022575860300000810
为实时帧点云对应的表面采样不确定性，
Figure BDA00022575860300000811
和
Figure BDA00022575860300000812
为实时帧点云对于表面采样不确定性中最大值和最小值，计算如下(6)：
Figure BDA0002257586030000091
其中，
Figure BDA0002257586030000092
为将深度图在像素点(i，j)局部8邻域像素的深度信息视为满足高斯概率模型后计算得到的方差；
S23、为了减小模糊彩色图像数据对纹理融合的影响，丢弃掉低清晰度的图像数据，具体是根据图像清晰度评估结果，利用启发式方法计算彩色图像对应的表面清晰度权重场Wclarity，计算如下(7)：
Figure BDA0002257586030000093
其中，Cclarity为基于整体联合梯度信息评估的清晰度评分，Cthreshold为与清晰度相关的阈值，通常设为0.7，
Figure BDA0002257586030000094
为清晰度截断核函数，计算如下(8)：
Figure BDA0002257586030000095
S24、由于重建场景可能存在遮挡结构，遮挡结构边缘由于几何和纹理均发生剧烈变化通常会出现明显的模糊问题。为了避免遮挡结构对于纹理融合的影响，设计一个定制化模板有效避免遮挡区域边缘的纹理融合过程，使得该区域的纹理能够使用在非遮挡情况下采集的数据进行更新。具体实现是根据重建场景目标的隐含的遮挡结构，使用启发式方法与图像形态学操作相结合的方式计算彩色图像的遮挡权重场Woccl，计算如下(9)：
Figure BDA0002257586030000096
其中，n为实时帧点云对应的法向量，lview为相机视点方向矢量，toccl为一个法向量相关的角度常数，通常设为70度；M(·)是定制化的模板函数，用来截断遮挡区域信息，计算如下(10)：
Figure BDA0002257586030000097
其中，pix是点云投影后对应的深度图上的像素位置，Ms是定制化模板，指示场景存在遮挡的区域，其由二进制图组成；E(·)是形态学膨胀操作，针对整张处理后的遮挡区域掩模图像。
S25、为了全面的考虑各类误差因素的影响，本发明根据计算的视点依赖权重场
Figure BDA0002257586030000098
表面采样权重场
Figure BDA0002257586030000099
清晰度权重场
Figure BDA00022575860300000910
和遮挡权重场
Figure BDA00022575860300000911
计算最终彩色图像的适应性权重场Fc(u,v)，计算如下(11)：
Figure BDA00022575860300000912
S3、纹理融合
考虑到简单的加权平均融合方法不适用于纹理融合，本发明引入替换和保留操作来获取和保留高质量的纹理，并且能保存纹理结构。具体实现是使用一种结合替换，融合和保留操作的纹理融合方法，通过对比实时帧评估的适应性权重场中的置信度权重与全局模型中点云最新的置信度权重，选择包括替换，融合和保留在内的不同融合操作更新纹理结果，最终获取高质量的重建模型，具体方式为：
(A)当全局模型中点云投影到实时帧对应像素评估的置信度权重高于其最新的置信度权重预设阈值T时，使用替换操作更新全局模型中点云的置信度权重与纹理，计算如下(12)：
cupdata＝clive wupdata＝wlive (12)
其中，clive和cupdata为全局模型中点云在实时帧对应的颜色和更新后的颜色值，wlive和wupdata为全局模型中点云在实时帧对应的置信度权重值和更新后的置信度权重值；
(B)当全局模型中点云投影到实时帧对应像素评估的置信度权重与其最新的置信度权重之间差值处于预设阈值T范围内时，使用融合操作更新全局模型中点云的置信度权重与纹理，计算如下(13)：
Figure BDA0002257586030000101
其中，cpre为全局模型中点云在最新存储的颜色，wpre为全局模型中点云最新存储的置信度权重值；
(C)当全局模型中点云投影到实时帧对应像素评估的置信度权重低于其最新的置信度权重预设阈值T时，使用保留操作更新全局模型中点云的置信度权重与纹理，计算如下(14)：
cupdata＝cpre wupdata＝wpre (14)
其中，预设阈值为T＝0.2；
通过实时的多次对体素/点云使用结合替换，融合和保留相结合的纹理融合方法进行纹理更新，最终能够获得高质量的纹理重建结果。
如图4所示，通过对比试验验证，本发明的纹理融合方法相比经典方法，能够有效的保留纹理的结构信息，解决重建结果的模糊问题，显著提升纹理重建的精度，获取高清晰度的纹理重建效果。
由此实施可见，本发明建立了一个针对彩色图像的适应性权重场，通过使用概率模型与启发式方法相结合的方式，能准确评估彩色图的置信度权重，并能有效提取出高质量的数据提供给融合过程；提出了一种新的替换，融合与保留相结合的纹理融合方法更新全局模型的纹理，能够保留纹理结构信息，有效解决纹理模糊问题，从而获得清晰的重建结果。通过图4的对比试验能够验证本发明方法的有效性。说明本发明方法相比经典的方法，能够显著提升重建结果的纹理精度，获得更为清晰的重建效果。
以上实施例仅用于说明本发明的设计思想和特点，其目的在于使本领域内的技术人员能够了解本发明的内容并据以实施，本发明的保护范围不限于上述实施例。所以，凡依据本发明所揭示的原理、设计思路所作的等同变化或修饰，均在本发明的保护范围之内。

Claims (5)

1.一种面向RGB-D相机实时三维重建的纹理融合方法，其特征在于，包括以下步骤：
S1、RGB-D预处理
对RGB-D相机的RGB-D数据流处理获得彩色图像的清晰度，选择关键帧，提取关键帧对应RGB-D数据的前景，对关键帧对应的深度图像进行滤波去噪，并计算深度图像对应点云的法向量，组建重建数据流；
S2、建立彩色图像适应性权重场
针对重建数据流，使用概率方法与启发式方法相结合的方式定量化建立彩色图像的适应性权重场，作为实时帧的描述彩色数据的置信度分布；
S3、纹理融合与更新
使用一种包含替换、融合和保留三种操作的纹理融合方法，通过对比实时帧的适应性权重场中的置信度权重与参考点云最新的置信度权重，从替换、融合和保留三种操作中选择合适的操作更新纹理结果，实现应用于三维重建的纹理融合。
2.根据权利要求1所述的面向RGB-D相机实时三维重建的纹理融合方法，其特征在于：所述步骤S1为：
S11、根据RGB-D数据流中彩色图像整体联合梯度信息处理获得RGB-D数据流中彩色图像的清晰度，以固定数目帧数的图像序列作为选择窗口，将选择窗口，每个选择窗口中选择清晰度最高的一帧作为关键帧，仅由深度图像保留重新组成了重建数据流；
S12、利用阈值截断函数与种子区域生长法提取关键帧的深度图像的前景，利用RGB-D相机在深度图像和彩色图像之间的投影模型提取关键帧的彩色图像的前景；
S13、使用双边滤波对关键帧的深度图像的前景进行去噪处理；
S14、利用投影模型，将关键帧的深度图像数据投影到相机空间中获得该关键帧的点云数据，并计算点云的法向量。
3.根据权利要求1所述的面向RGB-D相机实时三维重建的纹理融合方法，其特征在于：所述步骤S2为：
S21、根据重建数据流中的每一实时帧的点云与相机视点之间的距离以及点云表面法向量与相机视点方向之间夹角，利用启发式方法处理获得彩色图像对应的视点依赖权重场
Figure FDA0003017558930000011
计算如下：
Figure FDA0003017558930000021
其中，udist为距离依赖不确定性参数，uview为视点依赖不确定性参数，
Figure FDA0003017558930000022
为视点依赖核函数；
距离依赖不确定性参数udist计算如下：
Figure FDA0003017558930000023
其中，dist为实时帧点云的深度值，min_dist为实时帧点云深度值中的最小值，max_dist为实时帧点云中深度值的最大值；
视点依赖不确定性参数uview计算如下：
Figure FDA0003017558930000024
其中，n为实时帧点云对应的法向量，lview为相机视点方向矢量，tview为常数，acos(·)是反余弦函数；
上述
Figure FDA0003017558930000025
和
Figure FDA0003017558930000026
中的视点依赖核函数
Figure FDA0003017558930000027
均计算如下：
Figure FDA0003017558930000028
其中，
Figure FDA0003017558930000029
为视点依赖低置信度截断常数，x＝1.0-udist或1.0-uview；
S22、根据实时帧点云几何表面局部一致性误差大小，利用概率模型处理局部方差获得彩色图像对应的表面采样权重场
Figure FDA00030175589300000210
计算如下：
Figure FDA00030175589300000211
其中，
Figure FDA00030175589300000212
为实时帧点云对应的表面采样不确定性参数，
Figure FDA00030175589300000213
和
Figure FDA00030175589300000214
为实时帧点云对于表面采样不确定性中的最大值和最小值；
表面采样不确定性参数
Figure FDA00030175589300000215
计算如下：
Figure FDA00030175589300000216
其中，
Figure FDA00030175589300000217
为将深度图在像素点(i，j)局部8邻域像素的深度信息视为满足高斯概率模型后计算得到的方差；
S23、根据图像清晰度结果，利用启发式方法计算彩色图像对应的表面清晰度权重场Wclarity，计算如下：
Figure FDA00030175589300000218
其中，Cclarity为基于整体联合梯度信息处理的清晰度，Cthreshold为清晰度阈值，
Figure FDA0003017558930000031
为清晰度截断核函数；
清晰度截断核函数
Figure FDA0003017558930000032
计算如下：
Figure FDA0003017558930000033
S24、根据RGB-D相机拍摄时目标的隐含的遮挡问题，使用启发式方法与图像形态学操作相结合的方式计算彩色图像的遮挡权重场Woccl，计算如下：
Figure FDA0003017558930000034
其中，n为实时帧点云对应的法向量，lview为相机视点方向矢量，toccl为一个法向量相关的角度常数；M(·)表示截断遮挡区域信息函数；
截断遮挡区域信息函数M(·)计算如下：
Figure FDA0003017558930000035
其中，pix是实时帧点云对应的像素位置，Ms是RGB-D相机拍摄场景存在遮挡的区域模板；E(·)是形态学膨胀操作；
S25、根据视点依赖权重场
Figure FDA0003017558930000036
表面采样权重场
Figure FDA0003017558930000037
清晰度权重场
Figure FDA0003017558930000038
和遮挡权重场
Figure FDA0003017558930000039
计算最终彩色图像的适应性权重场Fc(u,v)，作为实时帧的置信度权重分布图加入到点云数据中：
Figure FDA00030175589300000310
4.根据权利要求1所述的面向RGB-D相机实时三维重建的纹理融合方法，其特征在于：
所述步骤S3具体为：
首先建立参考点云，以重建数据流中第一帧点云的点云数据作为参考点云的点云数据，然后按照以下方式对之后的每一实时帧进行每次更新处理：
(A)当实时帧点云的适应性权重场中的置信度权重高于参考点云最新的置信度权重预设阈值T时，使用如下替换操作更新参考点云的置信度权重与纹理：
cupdata＝clive，wupdata＝wlive
其中，clive为实时帧点云的颜色值，cupdata为参考点云在更新后的颜色值，wlive为实时帧点云的适应性权重场的置信度权重值，wupdata为参考点云在更新后的置信度权重值；
(B)当实时帧点云的适应性权重场中的置信度权重与参考点云最新的置信度权重之间差值处于预设阈值T范围内时，使用如下融合操作更新参考点云的置信度权重与纹理：
Figure FDA0003017558930000041
其中，cpre为参考点云更新前的颜色值，wpre为参考点云更新前的置信度权重；
(C)当实时帧点云的适应性权重场中的置信度权重低于参考点云最新的置信度权重预设阈值T时，使用如下保留操作更新参考点云的置信度权重与纹理：
cupdata＝cpre，wupdata＝wpre。
5.根据权利要求1所述的面向RGB-D相机实时三维重建的纹理融合方法，其特征在于：所述步骤S3通过实时每一帧对点云进行更新，以替换、融合和保留相结合的纹理操作进行纹理更新，获得高质量的纹理重建结果。
CN201911059727.6A 2019-11-01 2019-11-01 一种面向rgb-d相机实时三维重建的纹理融合方法 Active CN110827397B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911059727.6A CN110827397B (zh) 2019-11-01 2019-11-01 一种面向rgb-d相机实时三维重建的纹理融合方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911059727.6A CN110827397B (zh) 2019-11-01 2019-11-01 一种面向rgb-d相机实时三维重建的纹理融合方法

Publications (2)

Publication Number Publication Date
CN110827397A CN110827397A (zh) 2020-02-21
CN110827397B true CN110827397B (zh) 2021-08-24

Family

ID=69551961

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911059727.6A Active CN110827397B (zh) 2019-11-01 2019-11-01 一种面向rgb-d相机实时三维重建的纹理融合方法

Country Status (1)

Country Link
CN (1) CN110827397B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111754615B (zh) * 2020-05-07 2023-06-23 清华大学 高质量纹理的实时重建方法及装置
EP3955215A1 (de) * 2020-08-13 2022-02-16 Synthetic Dimension GmbH Verfahren zur rekonstruktion eines 3d-modells einer szene
CN112731436B (zh) * 2020-12-17 2024-03-19 浙江大学 基于点云上采样的多模态数据融合可行驶区域检测方法
CN112862736B (zh) * 2021-02-05 2022-09-20 浙江大学 一种基于点的实时三维重建与优化方法
CN113554701A (zh) * 2021-07-16 2021-10-26 杭州派珞特智能技术有限公司 一种pds托盘智能识别定位系统及其工作方法
CN115984591B (zh) * 2022-12-29 2023-08-29 北京朗视仪器股份有限公司 实时扫描匹配方法及系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104574501A (zh) * 2014-12-19 2015-04-29 浙江大学 一种针对复杂三维场景的高质量纹理映射方法
CN109147025A (zh) * 2018-07-11 2019-01-04 北京航空航天大学 一种面向rgbd三维重建的纹理生成方法
CN109242873A (zh) * 2018-08-22 2019-01-18 浙江大学 一种基于消费级彩色深度相机对物体进行360度实时三维重建的方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9905039B2 (en) * 2014-02-21 2018-02-27 Qualcomm Incorporated View independent color equalized 3D scene texturing
CN107833253B (zh) * 2017-09-22 2020-08-04 北京航空航天大学青岛研究院 一种面向rgbd三维重建纹理生成的相机姿态优化方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104574501A (zh) * 2014-12-19 2015-04-29 浙江大学 一种针对复杂三维场景的高质量纹理映射方法
CN109147025A (zh) * 2018-07-11 2019-01-04 北京航空航天大学 一种面向rgbd三维重建的纹理生成方法
CN109242873A (zh) * 2018-08-22 2019-01-18 浙江大学 一种基于消费级彩色深度相机对物体进行360度实时三维重建的方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于RGB-D值的三维图像重建系统研究;席小霞;《测试技术学报》;20151231;第29卷(第5期);第409-415页 *

Also Published As

Publication number Publication date
CN110827397A (zh) 2020-02-21

Similar Documents

Publication Publication Date Title
CN110827397B (zh) 一种面向rgb-d相机实时三维重建的纹理融合方法
US10630956B2 (en) Image processing method and apparatus
CN106780576B (zh) 一种面向rgbd数据流的相机位姿估计方法
CN106940704B (zh) 一种基于栅格地图的定位方法及装置
CN110163818B (zh) 一种用于海事无人机的低照度视频图像增强方法
WO2019148739A1 (zh) 一种模糊图像综合处理方法和系统
KR102104403B1 (ko) 단일영상 내의 안개 제거 방법 및 장치
CN108520497B (zh) 基于距离加权稀疏表达先验的图像复原与匹配一体化方法
CN107622480B (zh) 一种Kinect深度图像增强方法
CN109242959B (zh) 三维场景重建方法及系统
CN111223059B (zh) 一种基于引导滤波器的鲁棒深度图结构重建和去噪方法
CN110147816B (zh) 一种彩色深度图像的获取方法、设备、计算机存储介质
CN110570435A (zh) 用于对车辆损伤图像进行损伤分割的方法及装置
CN110807738A (zh) 一种基于边缘图块锐化的模糊图像非盲复原方法
CN111179333B (zh) 一种基于双目立体视觉的散焦模糊核估计方法
CN109767407B (zh) 一种去雾过程中大气透射率图像的二次估计方法
JP6272071B2 (ja) 画像処理装置、画像処理方法及びプログラム
CN113421210B (zh) 一种基于双目立体视觉的表面点云重建方法
CN108805841B (zh) 一种基于彩色图引导的深度图恢复及视点合成优化方法
Du et al. Perceptually optimized generative adversarial network for single image dehazing
WO2023241298A1 (zh) 一种视频生成方法、装置、存储介质及电子设备
Zhang et al. Dehazing with improved heterogeneous atmosphere light estimation and a nonlinear color attenuation prior model
CN110602476A (zh) 一种基于深度信息辅助的高斯混合模型的空洞填补方法
CN109636735A (zh) 一种基于时空一致性约束的快速视频去雾方法
CN114882095A (zh) 一种基于轮廓匹配的物体高度在线测量方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant