CN110517348A - 基于图像前景分割的目标物体三维点云重建方法 - Google Patents

Abstract

本发明提出了一种基于图像前景分割的目标物体三维点云重建方法，用于解决技术中存在的因大量背景杂点导致的目标物体的点云重建准确性较低的技术问题，具体步骤为：(1)对输入的图像序列中的每幅图像I_i进行前景目标分割；(2)对前景目标图像序列F进行数据预处理；(3)对每个特征匹配点对进行特征扩散；(4)获取每个扩散特征点对对应的三维空间点；(5)对每个三维空间点进行面片扩散；(6)获取目标物体三维点云重建结果。本发明将前景物体分割应用于基于图像序列的三维点云重建，解决了现有技术方法重建结果中包含冗余数据，无法精准重建目标物体的问题，实现了对目标物体的精准重建，并降低了计算量，实现了对计算速度的提升。

Description

基于图像前景分割的目标物体三维点云重建方法

技术领域

本发明属于计算机视觉图像处理技术领域，涉及一种目标物体三维点云重建方法，具体涉及一种基于图像前景分割的目标物体三维点云重建方法。

背景技术

对目标物体的三维点云重建方法，是对现实世界中的三维物体用计算机来进行模拟的方法。目前主流的有两种手段：采用红外设备对物体进行三维扫描和基于图像序列的三维点云重建。基于图像序列的三维点云重建是计算机图形学领域的前沿和热点技术，可为诸多实践应用提供数据支撑，如医疗、工业测量、文化遗产保护、3D电影娱乐、军事以及虚拟现实等。与传统的采用红外设备对物体进行三维扫描方式相比，基于图像序列的三维重建技术从标定的多角度拍摄图像恢复物体表面的三维点坐标信息，具有操作灵活、成本低、实用性强等特点，可应用于不同的室内、外环境，重建出真实感强的物体模型，具有重要的研究意义和潜在的应用价值。三维点云重建结果优劣体现在其点云的稠密性和准确性上。

基于图像序列的三维重建是一涉及图像处理、立体视觉、计算机图形学的交叉学科。为了获取稠密的三维点云模型，合适的重建模式是seed-and-expand，例如，申请公布号为CN 106600686 A，名称为“一种基于多幅未标定图像的三维点云重建方法”的专利申请，公开了一种三维点云重建方法，获取物体在不同角度拍摄的图像序列作为输入集合；通过特征提取和匹配得到图像的特征匹配点对，进行稠密扩散处理；选择候选图像的特征点作为种子点向其周围邻域进行匹配扩散并过滤，获得稠密匹配点对；对相机进行标定，结合匹配点对得到其内外参数；根据相机参数及匹配点对恢复出三维模型点；进行重建，选取种子模型点生成初始面片，并在其网格邻域内扩散得到稠密的面片；根据约束条件过滤误差面片，获得精确的稠密三维点云模型。该方法可以快速获得高精度的稠密点云模型，加快模型的生成速度，增加了匹配的稠密性和准确性。但是该方法存在的缺陷是，由于直接采用物体在不同角度拍摄的图像序列作为输入，没有对图像序列进行处理，导致三维重建结果中包含了大量无关的背景杂点点云，甚至其数据量远大于目标物体的信息，使得对目标物体的三维重建结果准确性依然较低。因此，如何解决上述缺陷，避免或剔除重建出的无关背景信息，只得到目标物体的三维点云，实现对目标的精准重建，是待解决的重要问题。

发明内容

本发明的目的在于克服上述已有技术存在的缺陷，提出了一种基于图像前景分割的目标物体三维点云重建方法，对输入的图像序列进行前景分割后再进行三维重建，用于解决技术中存在的因大量背景杂点导致的目标物体的点云重建准确性较低的技术问题。

为了实现上述目的，本发明采取的技术方案包括如下步骤：

(1)对输入的图像序列中的每幅图像I_i进行前景目标分割：

(1a)输入包括N幅RGB图像的图像序列I＝I₁,I₂,…,I_i,…,I_N；

(1b)将I_i转换到Lab空间，并按照I_i对应的L分量的均值、a分量的均值和b分量的均值由前到后的顺序组成特征向量同时对I_i在Lab空间进行高斯滤波，得到I_i的高斯差分图在(x,y)处的像素特征向量然后根据和计算I_i在(x,y)处的显著性值S_i(x,y)，组成I_i的显著性图S_i，再求取S_i的均值，得到图像I_i的平均显著值

(1c)采用Meanshift方法将I_i分割为K个子区域，并计算每个区域的平均显著值，得到K个子区域的平均显著值

(1d)比较与的大小，并将的图像区域作为前景目标，实现对I_i的前景目标分割，N个前景目标组成前景目标图像序列F＝F₁,F₂,…,F_i,…,F_N；

(2)对前景目标图像序列F进行数据预处理：

(2a)采用SfM算法对F进行相机标定，得到初始化相机参数，并采用集束优化的方法对初始化相机参数进行优化，得到F优化后的相机参数；

(2b)采用Harris算子对F_i中的角点特征进行检测，并对F中的相同的角点特征进行匹配，得到多个初始角点特征匹配点对，同时采用高斯差分算子对F_i中的斑点特征进行检测，并对F中的相同的斑点特征进行匹配，得到多个初始斑点特征匹配点对；

(3)对每个特征匹配点对进行特征扩散：

(3a)初始化种子队列Q_f，并筛选出所有初始特征匹配点对中符合极限约束的特征点对，加入到种子队列Q_f中；

(3b)在特征点3×3图像邻域空间内对种子队列Q_f中的每个特征点对进行扩散，并根据视觉相似性对扩散后的特征点对进行过滤，将相似性大于0.8的特征点对加入种子对列Q_f中；

(3c)按照步骤(3b)的方法对种子队列Q_f中的每个特征点对持续进行多轮扩散，直到种子队列为空，得到多个扩散特征点对；

(4)获取每个扩散特征点对对应的三维空间点：

根据相机投影原理，并通过F优化后的相机参数对每个扩散特征点对进行逆向投影，得到多个扩散特征点对对应的三维空间点。

(5)对每个三维空间点进行面片扩散：

(5a)初始化种子队列Q_p，在三维空间中以三维点为中心、以点的法向量为法向量构建面片，并将面片加入到种子队列Q_p中；

(5b)对种子队列中的每个面片，在三维空间通过先复制再优化的方式进行扩散，将视觉相似性大于0.7且至少在3幅图像中可见的面片加入种子队列Q_p中；

(5c)按照步骤(5b)的方法对种子队列Q_p中的每个面片持续进行多轮扩散，直到种子队列为空，得到多个扩散面片；

(6)获取目标物体三维点云重建结果：

将每个扩散面片的中心点作为目标物体在三维空间中对应的三维点，得到目标物体三维点云模型。

本发明与现有技术相比，具有如下优点：

第一：本发明以前景物体分割后的图像序列作为输入，在去除背景杂点的前提下对目标物体进行三维点云重建，使得重建过程只关注目标物体的三维点云，去除重建结果中大量背景冗余点，避免了现有技术中因直接以拍摄的图像序列作为输入导致的重建结果中包含大量背景冗余点的缺陷，有效提高了三维点云重建的准确性。

第二：本发明以前景物体分割后的图像序列作为输入，在去除背景杂点的前提下对目标物体进行重建，使得重建过程只关注目标物体的三维点云，只对目标物体相关数据进行计算，避免了现有技术中不仅要对目标物体数据进行计算，还要对大量背景冗余点进行计算的缺陷，有效的降低了三维点云重建的计算量。

附图说明

图1为本发明的实现流程图；

图2为本发明对图像序列中的每幅图像进行前景目标分割的实现流程图；

图3为本发明与现有技术重建结果的实验对比图。

具体实施方式

以下结合附图和具体实施例，对本发明作进一步详细描述：

参照图1，本发明包括如下步骤：

步骤1)对输入的图像序列中的每幅图像I_i进行前景目标分割，实现步骤如图2所示：

步骤1a)输入包括N幅RGB图像的图像序列I＝I₁,I₂,…,I_i,…,I_N；图像过少会导致重建信息不完整，图像过多会导致大量的重复计算，降低重建效率；图片数目根据重建目标对象的复杂程度而定，推荐图像数目15到60之间，本例中选取26幅图像对目标物体进行重建。

步骤1b)将I_i转换到Lab颜色空间，每个像素位置变为三个分量[L,a,b]组成的向量，可应用图像的颜色和亮度信息突出其视觉显著性，分别计算I_i对应的L分量、a分量和b分量的均值，并由三个分量均值依次组成特征向量同时对I_i在Lab空间进行高斯滤波，检测图像中的颜色和亮度变化，得到I_i的高斯差分图在(x,y)处的像素特征向量然后根据和计算I_i在(x,y)处的显著性值S_i(x,y)，计算公式为：组成I_i的显著性图S_i，再求取S_i的均值，得到图像I_i的平均显著性

步骤1c)采用Meanshift方法在RGB空间对图像I_i进行像素聚类，将距离相近且颜色相似的像素聚为一类，从而将图像I_i分割为K个子区域，并计算每个区域对应的平均显著性，得到K个子区域的平均显著性

步骤1d)比较与的大小，并将的图像区域作为前景目标，实现对I_i的前景目标分割，N个前景目标组成前景目标图像序列F＝F₁,F₂,…F_i,…,F_N；此时图像序列已由在不同角度拍摄的图像序列变为去除背景冗余信息后的前景目标图像序列，输入的前景目标图像序列中只包含目标物体的相关数据，大量背景冗余数据已去除，因此从该图像序列重建出的三维点云只包含目标物体的数据，不含与目标无关的背景冗余数据。

步骤2)对前景目标图像序列F进行数据预处理：

步骤2a)采用SfM算法对F进行相机标定，得到初始化相机参数，并采用集束优化方法对初始化相机参数进行优化，得到F优化后的相机参数；

步骤2b)采用Harris算子对F_i中的角点特征进行检测，并对F中的相同的角点特征进行匹配，得到多个初始角点特征匹配点对，同时采用高斯差分算子对F_i中的斑点特征进行检测，并对F中的相同的斑点特征进行匹配，得到多个初始斑点特征匹配点对；对输入图像同时应用此两种特征检测算子，可检测出更多表达不同局部特性的图像特征，用于后续的特征扩散；

步骤3)对每个特征匹配点对进行特征扩散，由于初始的特征匹配数目有限，只能重建出目标物体的稀疏点云，为了恢复出可表达目标物体形状特征的稠密点云，需从初始特征匹配出发，向其邻域图像空间进行特征扩散，生成更多特征匹配，从而重建稠密的目标物体三维点云：

步骤3a)初始化种子队列Q_f，并筛选出所有初始特征匹配点对中符合极限约束的特征点对，加入到种子队列Q_f中；

步骤3b)由于初始特征匹配点对数目较少，为了从特征点对中重建出稠密的三维点云，需对初始的特征匹配点对进行扩散：对种子队列Q_f中的每个特征点对在3×3图像邻域空间内建立多对多的像素匹配，作为扩散的特征点对，然后根据视觉相似性对其进行筛选，将相似性大于0.8的特征点对加入种子对列Q_f中；图像特征点对的视觉相似性定义如式(1)，其中，(x,x')表示图像特征点对：W_x表示特征点x的邻域窗口，L(i)为像素i的亮度值(具体计算如式(2)，其中r,g,b为像素颜色值)，为邻域窗口内所有像素亮度的均值；

L(x)＝0.299r+0.587g+0.114b (2)

步骤3c)按照步骤(3b)的方法对种子队列Q_f中的每个特征点对持续进行多轮扩散，直到种子队列为空，得到多个扩散特征点对；

步骤4)获取每个扩散特征点对对应的三维空间点：

根据相机投影原理，并通过F优化后的相机参数对每个扩散特征点对进行逆向投影，得到多个扩散特征点对对应的三维空间点。

步骤5)对每个三维空间点进行面片扩散，进一步稠密化目标物体的三维点云：

步骤5a)初始化种子队列Q_p，在三维空间中以三维点为中心、以点的法向量为法向量构建面片，并确定每个面片的参考图像和初始可见图像，其中，参考图像定义为I中与该面片法向量夹角最小的光轴所对应的图像，初始可见图像定义为I中图像光心指向面片中心点的向量与该面片法向量夹角小于60o的图像，且初始可见图像不唯一；计算面片投影到其参考图像上的区域与投影到每个初始可见图像上的区域之间的视觉相似性，取视觉相似性大于0.7的初始可见图像作为该面片的可见图像，并选择可见图像数目不小于3的面片加入到种子队列Q_p中；

步骤5b)对种子队列Q_p中的每个面片，在三维空间通过先复制面片，再优化面片的中心点和法向量，使得面片投影到参考图像上的区域和投影到每个可见图像上的区域的视觉相似性之和最大，完成面片的扩散；随后确定新扩散的面片的可见图像，将可见图像数目不小于3的扩散面片加入种子队列Q_p中；

步骤5c)按照步骤(5b)的方法对种子队列Q_p中的每个面片持续进行多轮扩散，直到种子队列为空，得到多个扩散面片；

步骤6)获取目标物体三维点云重建结果：

将每个扩散面片的中心点作为目标物体在三维空间中对应的三维点，得到目标物体三维点云模型。

以下结合具体实验，对本发明的技术效果做以说明。

1.实验条件和内容：

实验条件：实验在Windows-10、32GB内存、Intel E5-2620双核处理器并装有Visual Studio 2013软件的设备上进行。采用“bunny”数据集中的图像序列(26张，1024*768)作为输入。

实验内容：本次实验以图像序列bunny(26张，1024*768)作为输入，分别以本发明提出的方法和现有的基于图像序列的三维点云重建方法对图像序列中的目标物体进行三维点云重建，其结果如图3所示。

2.实验结果分析：

参照图3，图3(a)为“bunny”图像序列(26张，1024*768)中的一幅图像，重建的目标物体即为图3(a)中的“兔子”；图3(b)为使用现有的三维重建方法重建出的目标物体三维点云模型；图3(c)为使用本发明提出的三维重建方法重建出的目标物体三维点云模型。图3(b)中明显带有背景杂点，对目标物体的三维点云重建不够准确，图3(c)中去除图3(b)中大量背景冗余点，由此提升了三维点云重建的准确性，实现了对目标物体的精准重建。

Claims (2)

1.一种基于图像前景分割的目标物体三维点云重建方法，其特征在于，包括如下步骤：

(1)对输入的图像序列中的每幅图像I_i进行前景目标分割：

(1a)输入包括N幅RGB图像的图像序列I＝I₁,I₂,…,I_i,…,I_N；

(1b)将I_i转换到Lab空间，并按照I_i对应的L分量的均值、a分量的均值和b分量的均值由前到后的顺序组成特征向量同时对I_i在Lab空间进行高斯滤波，得到I_i的高斯差分图在(x,y)处的像素特征向量然后根据和计算I_i在(x,y)处的显著性值S_i(x,y)，组成I_i的显著性图S_i，再求取S_i的均值，得到图像I_i的平均显著值

(1c)采用Meanshift方法将I_i分割为K个子区域，并计算每个区域的平均显著值，得到K个子区域的平均显著值

(1d)比较与的大小，并将的图像区域作为前景目标，实现对I_i的前景目标分割，N个前景目标组成前景目标图像序列F＝F₁,F₂,…,F_i,…,F_N；

(2)对前景目标图像序列F进行数据预处理：

(2a)采用SfM算法对F进行相机标定，得到初始化相机参数，并采用集束优化的方法对初始化相机参数进行优化，得到F优化后的相机参数；

(2b)采用Harris算子对F_i中的角点特征进行检测，并对F中的相同的角点特征进行匹配，得到多个初始角点特征匹配点对，同时采用高斯差分算子对F_i中的斑点特征进行检测，并对F中的相同的斑点特征进行匹配，得到多个初始斑点特征匹配点对；

(3)对每个特征匹配点对进行特征扩散：

(3a)初始化种子队列Q_f，并筛选出所有初始特征匹配点对中符合极限约束的特征点对，加入到种子队列Q_f中；

(3b)在特征点3×3图像邻域空间内对种子队列Q_f中的每个特征点对进行扩散，并根据视觉相似性对扩散后的特征点对进行过滤，将相似性大于0.8的特征点对加入种子对列Q_f中；

(3c)按照步骤(3b)的方法对种子队列Q_f中的每个特征点对持续进行多轮扩散，直到种子队列为空，得到多个扩散特征点对；

(4)获取每个扩散特征点对对应的三维空间点：

根据相机投影原理，并通过F优化后的相机参数对每个扩散特征点对进行逆向投影，得到多个扩散特征点对对应的三维空间点。

(5)对每个三维空间点进行面片扩散：

(5a)初始化种子队列Q_p，在三维空间中以三维点为中心、以点的法向量为法向量构建面片，并将面片加入到种子队列Q_p中；

(5b)对种子队列中的每个面片，在三维空间通过先复制再优化的方式进行扩散，将视觉相似性大于0.7且至少在3幅图像中可见的面片加入种子队列Q_p中；

(5c)按照步骤(5b)的方法对种子队列Q_p中的每个面片持续进行多轮扩散，直到种子队列为空，得到多个扩散面片；

(6)获取目标物体三维点云重建结果：

将每个扩散面片的中心点作为目标物体在三维空间中对应的三维点，得到目标物体三维点云模型。

2.根据权利要求1所述的基于图像前景分割的目标物体三维点云重建方法，其特征在于，步骤(1b)所述的计算I_i在(x,y)处的显著性值S_i(x,y)，计算公式为：

其中，为图像I_i在Lab空间的特征向量，为图像I_i的高斯差分图在(x,y)处的像素特征向量。