CN102682477B - 一种基于结构先验的规则场景三维信息提取方法 - Google Patents

一种基于结构先验的规则场景三维信息提取方法 Download PDF

Info

Publication number
CN102682477B
CN102682477B CN201210150207.8A CN201210150207A CN102682477B CN 102682477 B CN102682477 B CN 102682477B CN 201210150207 A CN201210150207 A CN 201210150207A CN 102682477 B CN102682477 B CN 102682477B
Authority
CN
China
Prior art keywords
dimensional
plane
dimensions
normal direction
scene
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201210150207.8A
Other languages
English (en)
Other versions
CN102682477A (zh
Inventor
刘天亮
焦增涛
王亮
莫一鸣
朱秀昌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing Post and Telecommunication University
Nanjing University of Posts and Telecommunications
Original Assignee
Nanjing Post and Telecommunication University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing Post and Telecommunication University filed Critical Nanjing Post and Telecommunication University
Priority to CN201210150207.8A priority Critical patent/CN102682477B/zh
Publication of CN102682477A publication Critical patent/CN102682477A/zh
Application granted granted Critical
Publication of CN102682477B publication Critical patent/CN102682477B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Abstract

本发明公开了一种基于结构先验的规则场景三维信息提取方法。本发明包括:利用PMVS算法产生三维空间有向点云;利用无监督聚类算法对三维有向点的方向分布进行分类处理,得到空间显著平面法线方向;根据三维空间点云的坐标及其平面法线方向,计算三维空间点云在其平面法线方向上的位置偏移,并对这些三维点云的位置偏移聚类得到空间显著平面的偏移量;分别对各二维图像进行预分割,并对分段区域边缘做平滑处理,获得各二维图像的区域分段信息;以三维空间显著平面为标注,图像分段区域为节点,构建马尔科夫随机场模型,并基于全局优化方法求解该模型,以获取各视点图像中的分段共面深度信息。本发明方法具有更高的准确性及较低的计算复杂度。

Description

一种基于结构先验的规则场景三维信息提取方法
技术领域
本发明涉及一种三维信息提取方法,尤其涉及一种基于结构先验的规则场景三维信息提取方法,用于基于多视点图像的规则场景三维结构重建,属于图像处理技术领域。
背景技术
基于图像的三维场景重建是指利用摄像机等设备拍摄的图像作为输入,综合运用多种技术,研究三维空间中点、线、面等三维结构基元的三维坐标与二维图像中对应二维点、线、面的二维坐标之间的关系,确定物体的三维信息的技术。经过多年的创新和发展,已经成为计算机视觉的重要研究内容之一,而人工建筑物等规则场景往往与人们日常生活息息相关。因此,基于图像的规则场景三维重建具有重要的学术意义和推广应用价值。
由于这类规则场景投影的二维图像含有许多低纹理或者重复纹理区域,传统三维重建算法提取其三维信息的效果欠佳,其原因主要有:
1)室内场景包含很多无纹理或低纹理的结构表面(比如光滑的墙面、地板及天花板等),对于这些几何结构,可以提取到的显著特征点数目有限。于是,基于多视点立体算法重建三维场景时,各个视点之间的特征匹配关系极为有限,以至于无法为三维几何空间提供足够的约束信息。
2)各视点图像之间存在较严重的遮挡。室内场景包含多个房间,其中的房门投影至附近相邻视点得到的二维图像内容有可能相差很大,存在严重的遮挡现象。
基于图像的三维重建,其传统算法在重建室内场景上的不足,是客观存在的,本质上是因为由二维图像求解三维场景结构是一个病态问题,在二维图像获取的过程中丢失了大量的三维信息。不过,在场景结构几何分布上,规则场景通常具有较强的规律性,比如平坦表面、显著角点和基于轴对称的几何关系等。规则场景中存在的这些规则几何结构,可以作为场景重建过程中有利的几何约束条件,为简化重建任务、有效提取相应三维结构提供了便利,并使之成为可能。
重建规则场景过程中,在利用几何先验信息方面,通常采用Manhattan-world stereo模型【Y. Furukawa, B. Curless, S. M. Seitz. Manhattan-world stereo [C]. Proceedings of International Conference on Computer Vision and Pattern Recognition(CVPR). 2009, 1422-1429】近似逼近表达这类规则几何场景。假设待重建场景中几何结构平面的方向都是三个近似相互垂直的主轴方向中的一个,在很大程度上,该假设可以满足许多现实情况,从而极大地降低规则场景的三维信息提取、分析与处理的计算复杂度。还有一些学者直接从规则场景中提取特定的三维空间平面或者三维线段,从而实现三维信息有效获取的过程。如何利用这些几何先验信息优化建模三维场景,进一步提取相应的三维模型信息是一项具有挑战性的难题和研究热点。大部分研究人员都是根据几何结构先验信息,采用马尔科夫随机场模型(MRF)建模三维信息提取过程,利用相应MRF模型构建的全局评价能量函数,并对其进行最优化求解。Furukawa等人【Y. Furukawa, B. Curless, S. M. Seitz. Manhattan-world stereo [C]. Proceedings of International Conference on Computer Vision and Pattern Recognition(CVPR). 2009, 1422-1429】认为,在各个视点图像中为每个像素分配一个三维显著平面的标记,以此标注该像素是由哪个三维显著平面上的空间三维点投影而成的,通过对此问题构建基于MRF模型的全局代价能量函数,并用图割优化方法求解并产生各个视点的稠密深度图,从而进一步利用一种基于轴对齐方式深度图融合方法产生关于待重建场景的完整稠密三维模型。类似地,Sinha等人【S. N. Sinha, D. Steedly, R. Szeliski. Piecewise planarstereo for image-based rendering [C]. Proceedings of  International Conference on Computer Vision (ICCV). 2009, 1881-1888】则在各个视点图像中逐像素分配一个标记,构建一个含有多个标注的MRF马尔科夫随机场模型;在基于图割全局优化求解过程中,考虑并整合了各种几何先验约束。Branislav等人【B. Micusik, J. Kosecka. Multi-view Superpixel Stereo in Urban Environments [J]. IEEE Transactions on  International Journal of Computer Vision (IJCV). 2010 , 89(1): 106-119】,利用各个视图之间所诱导的单应矩阵,构造马尔科夫随机场模型;采用基于平面扫描方法优化各个分割区域对应的空间三维平面,从而进一步完成关于待重建场景的完整稠密三维模型获取过程。
估计规则场景中的分段共面深度信息的过程,有其自身的独特性。许多学者利用多视点图像成像过程构建全局MRF马尔科夫随机场模型,并最优化该MRF模型求解估计分段共面深度信息。
传统的三维信息获取技术针对规则场景的重建效果并不理想。归纳起来,现有的基于结构先验的三维场景重建信息提取的不足之处主要有:传统方法对规则场景重建的模型假设较为严格,如Manhattan-world stereo模型,仅仅假设三维平面方向为三个近似相互垂直的主轴方向,普适性较差。传统方法没有充分利用规则场景中大量规则性高的三维结构(如共线和共面等),仅仅以离散化的深度值为标注,以像素为节点建模能量代价函数,也即仅仅利用较小尺度基元进行结构化约束,从而使获取的三维信息不够精确。
发明内容
本发明所要解决的技术问题在于克服现有技术的不足,提供一种基于结构先验的规则场景三维信息提取方法,利用规则场景中普遍含有的共面、共线结构等先验信息进行三维信息提取,从而准确快捷地完成规则场景的三维结构重建。
本发明具体采用以下技术方案解决上述技术问题。
一种基于结构先验的规则场景三维信息提取方法,包括以下步骤:
步骤A、获取所述规则场景的一组不同视点下拍摄的二维图像,并根据所获取的图像,利用PMVS算法计算该规则场景的三维空间有向点云;
步骤B、对三维空间有向点的方向进行无监督聚类,所得到的若干聚类中心方向即为三维空间显著平面法线方向;
步骤C、根据所得到的三维空间显著平面法线方向,以及三维空间有向点云集合中各点坐标信息,计算这些三维空间有向点云在既得三维空间显著平面法线方向上的相应的投影位置,根据点云投影位置的分布情况估计平面在法线方向上的位置偏移,从而得到三维空间显著平面的位置偏移量;
步骤D、分别对各二维图像进行预分割,并对分段区域边缘做平滑处理,获得各二维图像的区域分段信息;
步骤E、以三维空间显著平面为标注,以图像预分割得到的分段区域为节点,构建马尔科夫随机场模型,并对该模型进行优化求解,得到最优标注情况,进而得到各个视图中相应的分段共面深度信息。
优选地,步骤D中使用分水岭算法进行二维图像的预分割。
优选地,步骤D中使用Douglas-Peucker算法对分段区域边缘做平滑处理。
优选地,所述马尔科夫随机场模型的具体公示表达如下:
    其中,P为关于给定的某个规则场景的一组三维平面集合, E代表某个马尔科夫随机场模型中相应的负对数似然后验概率分布,l表示这组三维平面集合对应的标注;
式中第一项为数据项,表示将三维平面标注l s 赋给某分段区域 的代价;score(s)表示该分段区域 s 的得分,通过以下方法得到:对该分段区域 s 中所有像素都计算其对应的归一化互相关系数,取其中归一化互相关系数最高的一半像素的归一化互相关系数的平均值作为该分段区域 s 的得分score(s);系数σ为一个调节参数;
式中第二项为平滑项,用于衡量标注分配之后相邻节点之间平滑程度的代价,即三维平面标注l s l s’ 同时赋给两个邻近节点分段区域ss’的代价度量;N表示具有相邻关系的两个分段区域对的集合;(p, p') 表示赋予相邻分割区域的标注所代表的三维显著平面对; norm(p)表示三维显著平面p的法线方向;θ表示一个饱和参数; X 表示从当前视图摄像机中心出发,通过像素 的反投影视线与三维显著平面的交点;Ns为三维显著平面的法向方向;Δs 为三维显著平面离三维坐标原点的偏移量; 为线性因子。
     相比现有技术,本发明方法具有以下有益效果:
一、重建规则场景三维模型时松弛了以往传统方法对规则场景重建的模型假设,对三维平面方向没有预先做任何假设;三维平面方向可以有三个或者三个以上;各个平面方向可以相互垂直,也可不相互垂直。从而提高了重建模型的普适性,能用于解决更复杂的规则场景重建问题。
二、利用了规则场景中的几何结构先验信息,采用较大尺度的基元作MRF马尔科夫随机场模型中的节点和标注。本发明不是以离散化的深度值,而是以三维显著平面为标注;不是以图像中每个像素,而是以多视点图像中分段区域为节点,建模全局评价能量函数。这样可以更充分地考虑并利用规则场景中的几何结构先验信息。
附图说明
图1为规则场景中三维空间显著平面的估计过程示意图,其中图1(a)为规则场景中的有向三维点云分布示意图,图1(b)为提取出的三维空间显著平面法线方向,图1(c)为三维空间显著平面法线方向d1上的三维点云位置偏移分布,图1(d)为最终得到的三维显著平面;
图2是三维显著平面提取过程流程图。
具体实施方式
下面结合附图对本发明的技术方案进行详细说明:
由于规则场景中含有低纹理或者重复纹理区域,利用传统三维重建算法重建规则场景通常得不到理想的结果模型,然而规则场景中普遍含有共面、共线结构等先验信息,因此充分利用规则场景的先验信息进行重建是一条合理途径。
为了有效提取规则场景中的三维几何结构信息,本发明是分两步来实现的:估计规则场景的三维显著平面信息和分段共面深度信息。
一.三维显著平面估计
提取规则场景三维信息时,传统重建方法是利用一个很强严格约束的假设模型,使用该模型模拟逼近待重建场景。类似Furukawa等人利用Manhattan世界模型处理这类问题,近似地把场景中各个几何结构简单地当成一系列相互垂直的平面,且这些平面的法线方向是三维空间坐标中三个坐标轴中的一个。大多数人工场景都能近似满足这种假设,从而大大地简化了问题的处理。不过,这种假设约束过于严格,其应用受到一些限制。为了便于描述更一般的情况,Schindler等人在Manhattan世界模型的基础上,放宽相应的严格限制提出了Atlanta世界模型;认为三维空间中平面的法线方向中有一个是与地面垂直,其他的可以分成多个相互垂直的方向对,且这些垂直方向对都与水平面平行。相比于Manhattan世界模型,Atlanta世界模型可以描述更多复杂的情形,不过仍有一些漏洞。本发明提出一种面向规则场景利用共面结构先验估计三维显著平面信息的方法,对三维平面法线方向没有太严格的强制假设约束条件。该方法包括以下步骤:
步骤A、获取所述规则场景的一组不同视点下拍摄的二维图像,并根据所获取的图像,利用PMVS算法计算该规则场景的三维空间有向点云;
步骤B、对三维空间有向点的方向进行无监督聚类,所得到的若干聚类中心方向即为三维空间显著平面法线方向;
步骤C、根据所得到的三维空间显著平面法线方向,以及三维空间有向点云集合中各点坐标信息,计算这些三维空间有向点云在既得三维空间显著平面法线方向上的相应的投影位置,根据点云投影位置的分布情况估计平面在法线方向上的位置偏移,从而得到三维空间显著平面的位置偏移量。
三维显著平面估计是在PMVS (Patch-Based Multi-View Stereo)算法重建的三维有向点云的基础上进一步实现的。图1(a)显示了PMVS算法重建得到的三维有向点云。若产生的三维空间有向点云X = {X n},n = 1,...,NxNx为所得点云的总数),这些三维空间中的点云是退化为点的Patch,每一个Patch都有法线方向N n = ( n x , n y , n )和位置坐标D n = ( d x , d y , d z )。假设空间中平面集合为P = {P m},m=1,…,M(M为空间中平面总数),得出PMVS所产生的空间三维点云X中任何一个点X n落在至少一个平面P m上的几率是非常大,可以认为所有的三维空间点X n都在三维空间的平面P上。当然,PMVS结果点云X存在误差的,严格意义上讲,上述结论也是不成立。但是PMVS结果点云X的误差是在一个很小的范围内的,当用下文所述的聚类方法分析时,错误的点云信息所占的权重将很小,对点云重建结果起决定性作用的还是正确的点云信息。因此,从统计意义上说,可以得到如下结论:所有的三维空间点X都在三维空间的平面P上。
众所周知,同一平面P m拥有唯一的一个法线方向N n,结合上述结论,可以知道位于同一平面上的所有点X n(Patch的退化)拥有一样的法线方向N c 。理想情况下,三维空间中所有平面的法线方向集合N c 等于同一空间中有向点云的法线方向集合N n。因此,在三维有向点云集合X上对所有点对应方向N n进行聚类,可以得到相应的方向集合N c ,也即三维空间中平面法线方向的集合。由于PMVS算法结果的精确性有一定的保证,所以,从统计意义上说,可以得到如下策略:
策略一:通过对三维有向点云X的方向N n进行聚类,可以得到三维空间显著平面的法线方向N c 集合。
本发明优选采用无监督聚类分析方法实现三维有向点云方向的空间信息自动聚类,例如,基于非参数化密度分布的聚类、K-均值聚类算法、基于分割的聚类、基于层次的聚类、基于网格的聚类等无监督聚类分析方法。采用该类聚类分析方法的优点具体如下:一方面是由于PMVS算法产生的三维点云存在误差及噪声等不确定因素;同时,原始数据分布的类簇形状也可能是非凸的不规则形状,很难仅用传统的距离来发现类簇的分布。另一方面,在无监督学习框架下有效聚类原始数据,不需要事先收集大量具有类别标记的训练样本用于聚类分析;原始数据的聚集实现能看成是一个混合密度的估计问题;因此,不预先对三维平面方向做任何假设,选用基于无监督聚类分析的自动聚类方法。这样一来,有利于在有噪声的数据空间中发现形状不规则的类簇;同时,将具有足够高密度数据分布的相连区域点划分为一个类簇;从而使得类内样本间的接近度大,类间样本间的接近度小。三维平面方向可以是三个,也可以是三个以上;各方向可以相互垂直,也可以不垂直。这就提高了重建算法对场景的普适性,可以用来解决更一般些的规则场景三维信息提取的问题。对图1(a)中的点云方向进行聚类后即得到图1(b)所示的三维显著平面法线方向d1、d2、d
得到三维显著平面的方向信息N c 后,仍然需要三维空间点云的位置信息Δn才能确定三维平面P m。由常识可知有如下结论:
同一平面P m上的所有三维点云的坐标在法线方向上的投影到原点O的距离相等,该距离等于原点O到该相应平面的距离Δ。
三维场景中一个法线方向上,实际情况通常是有一个或者多个平面。理想情况下,每一个平面P m上的所有三维点云到相应法线方向上的投影Δn都是相等的。所以,从统计意义上说,可以得到如下策略:
策略二:将三维空间点X n向各自所属的平面法向量N c 投影,得到一系列位置偏移距离Δn;对每一个N c 得到的位置偏移Δn进行聚类,其聚类结果就是该方向上的平面数量,聚类中心可以作为平面偏移量的近似估计Δ。
根据聚类结果,假设估计出K个三维显著平面法向,并依此将所有三维点云划分为K个点云集合,每个点云集合内的三维点云对三维空间相应区间上的显著平面法向量都存在有效贡献,分别对各个三维显著平面法向量做如下处理:
(1)选定某一个三维显著平面法向N c =(xyz),同时确定对应的三维点云集合。
(2)由于该三维点云是来自由PMVS算法恢复的有向点云集合P,与每一个点P m相关联的是它的三维位置P m=( a ib ic )和表面法向N c 。本文将三维点云在三维空间区间内的所有有向点位置P m与对应法向N c 进行点乘,即得到三维显著平面法向上的三维点投影距离Δn,计算公式如下:
           (1)             
(3)将每个法向N c 上的投影点的投影区间等距离划分,统计出每一个小区间上的投影点数,找出投影点最密集的区域,将该区域的中点记为三维显著平面在该法向上的位置偏移Δn
(4)通过法向N c 和面偏移Δn,就可以唯一地确定三维显著平面。
根据策略一提取如图1(b)所示的三维显著平面法线方向;在各三维显著平面法线方向上应用策略二处理如图1(c)所示的点偏移分布,估计得到如图1(d)所示的三维显著平面。整个三维显著平面的估计过程如图2所示。
二.分段共面深度估计
如何利用几何结构先验优化三维场景模型,进一步提取规则场景中的三维信息是一项具有挑战性的技术难题。前人工作大多数是根据几何先验信息,构建基于相应MRF模型的全局评价能量函数,对其进行最优化求解。然而,传统方法通常是以离散化的深度值为标注,以各视图像中每个像素点为节点建立MRF模型;它们较为关注在前向平行表面假设下的一阶平滑先验,这将限制基于分段共面基元进行优化求解而获得的重建质量;另外,借助标注赋值来刻画规则场景的精细程度将受深度的离散化程度制约;同时,通常这些满足要求的离散化水平都会产生大量的深度标注,使模型更为复杂化。为此,本发明对传统重建算法做了进一步改进,在MRF模型建模过程中利用更高级的场景几何先验知识:不是以离散化的深度值,而是以三维显著平面为标注,不是以图像中每个像素,而是以各视图像中分段区域为节点进行MRF建模,并以此计算全局能量代价函数。借助这些改进的有效措施,获得规则场景的分段共面深度图,在获取到更优的估计结果方面能取得预期效果。
给定一个规则场景的三维平面集合P,通过求解一个以分段区域为节点的标记问题,为各视点的相应图像以分段区域为基元,估计相应的分段共面深度图。该标记问题采用一个基于全局评价能量最小化的模型框架来实现。评价能量函数E代表某个马尔科夫随机场中相应的负对数似然后验概率分布,该马尔科夫随机场通常在考虑了邻域的分段区域集合上进行定义。用于最小化操作的全局评价能量函数用下式表示:
                    (2)
式(2)中第一项表示将三维平面标注(label)f p 赋给某个分段区域p的代价(也即数据项),它表示分段区域p为三维平面f p 的投影的状态与已有先验信息差别的能量项。其中第二项度量把标注三维平面标注f pf q同时赋给两个邻近节点分段区域pq的代价:相邻节点分段区域pq分别为三维平面标注f p f q 时,pq之间平滑程度能量项。P表示MRF模型中所有的节点,即图像预分割后产生的可靠分段区域集合;N表示相邻关系的节点对(neighbor),也即相邻的两个分段区域对集合。
1.)图像预分割:采用图像预分割的分段区域信息,作为构建MRF模型的节点。因为二维图像预分割的分段区域应该与三维显著平面结构相吻合;本发明优选采用分水岭算法【C. Couprie, L. Grady, L. Najman, H. Talbot. Power Watersheds: A New Image Segmentation Framework Extending Graph Cuts, Random Walker and Optimal Spanning Forest[C]. Proceedings of the 7th International Conference on Computer Vision (ICCV). 2009,731-738】实现图像预分割,并优选Douglas-Peucker算法【D.H. Douglas, T. K. Peucker. Algorithms for the reduction of the number of points required to represent a digitized line or its caricature [M]. Canadian Cartographer, 1973, 10: 112-122】逼近平滑分段区域边缘。
2.)数据项:MRF能量函数的数据项表示为分段区域 s 分配一个三维显著平面P = (N c Δ n ) 的标记开销(能量损耗)。已知多视图像集合情况下,着重考虑各视图之间的光度学一致性。对每个标注分配,计算各视图像分段区域的相似性NCC( W r (p), W p (p) ),取其中得分最高的一半NCC值,用这些NCC的平均值作为该分段区域 s 的得分score(s)。最后,为了归一化最终全局评价能量的数值范围,合理分配各个节点对总评价能量函数的贡献,该数据项能量可以表示为:
                              (3)
其中σ为一个用于约束指数部分值得相应范围的调节参数。
3.)平滑项:该马尔科夫随机场模型的评价能量函数构造过程中的平滑项,是度量标注分配之后相邻节点之间平滑程度的测度代价。现用如下两个约束项进行线性组合来表达。第一个约束项是各视图中相邻分段区域之间所赋标注三维平面法向的变化程度,公式表达为:
                                  (4)
第二个约束项采用图像分段区域的边缘处对应不同三维显著平面深度值的变化来表征,公式表示:
                (5)
式(4)中norm(P) 表示三维显著平面P的法线方向,式(5)中X 表示从当前视图摄像机中心出发,通过像素 的反投影视线与三维显著平面的交点。根据上述两个方面信息用线性组合表达构建平滑项代价并归一化处理,公式表达如下:
                                    (6)
综合上述的数据项和平滑项,将二者带入式(2),便构成了用于优化求解的MRF模型的完整全局评价能量函数如下:
   
P为关于给定的某个规则场景的一组三维平面集合, E代表某个马尔科夫随机场中相应的负对数似然后验概率分布,l表示这组三维平面集合对应的标注。
式中第一项为数据项,表示将三维平面标注l 赋给分段区域s的代价。分配标注(深度图中像素深度值d)之后,对分段区域  s 中所有像素都计算其对应的 NCC(归一化互相关系数),取其中得分最高的一半像素的NCC值,用这些NCC的平均值作为该分割区域 s 的得分score(s);σ为一个用于约束指数部分值得相应范围的调节参数。
式中第二项为平滑项。用于衡量标注分配之后相邻节点之间平滑程度的代价,即三维平面标注l s l s’ 同时赋给两个邻近节点分段区域ss’的代价度量。N表示具有相邻关系的节点对,也即相邻的两个分段区域对的集合。(p, p') 表示赋予相邻分割区域的标注所代表的三维显著平面对, norm(p)表示三维显著平面p的法线方向。θ表示一个饱和参数,发明中选用θ= 0.8,用于防止由于在遮挡、边缘处太大的深度值差异而产生过大的平滑项代价, X 表示从当前视图摄像机中心出发,通过像素 的反投影视线与三维显著平面的交点。Ns为三维显著平面的法向方向,Δs 为三维显著平面离三维坐标原点的偏移量,N s 和Δn联合确定三维候选面。系数是用于平衡不同平滑项测度贡献的线性因子,本发明中优选μ = 2。
求解该全局评价能量函数的全局最优化方法可以采用图割算法(graph-cut),置信传播算法(belief- propagation)等。利用这些全局优化求解算法分配得到各分段区域的最优标注,进而得到各个视图中相应的分段共面深度信息。

Claims (5)

1.一种基于结构先验的规则场景三维信息提取方法,其特征在于,包括以下步骤:
步骤A、获取所述规则场景的一组不同视点下拍摄的二维图像,并根据所获取的图像,利用PMVS算法计算该规则场景的三维空间有向点云;
步骤B、对三维空间有向点的方向进行无监督聚类,所得到的若干聚类中心方向即为三维空间显著平面法线方向;
步骤C、根据所得到的三维空间显著平面法线方向,以及三维空间有向点云集合中各点坐标信息,计算这些三维空间有向点云在既得三维空间显著平面法线方向上的相应的投影位置,根据点云投影位置的分布情况估计平面在法线方向上的位置偏移,从而得到三维空间显著平面的位置偏移量;
步骤D、分别对各二维图像进行预分割,并对分段区域边缘做平滑处理,获得各二维图像的区域分段信息;
步骤E、以三维空间显著平面为标注,图像预分割得到的分段区域为节点,构建马尔科夫随机场模型,并对该模型进行全局优化求解,得到最优标注情况,进而得到各个视图中相应的分段共面深度信息;所述马尔科夫随机场模型的具体公式表达如下:
    其中,P为关于给定的某个规则场景的一组三维平面集合, E代表某个马尔科夫随机场模型中相应的负对数似然后验概率分布,l表示这组三维平面集合对应的标注;
式中第一项为数据项,表示将三维平面标注l s 赋给某分段区域 的代价;score(s)表示该分段区域 s 的得分,通过以下方法得到:对该分段区域 s 中所有像素都计算其对应的归一化互相关系数,取其中归一化互相关系数最高的一半像素的归一化互相关系数的平均值作为该分段区域 s 的得分score(s);系数σ为一个调节参数;
式中第二项为平滑项,用于衡量标注分配之后相邻节点之间平滑程度的代价,即三维平面标注l s l s’ 同时赋给两个邻近节点分段区域ss’ 的代价度量;N表示具有相邻关系的两个分段区域对的集合;(p, p') 表示赋予相邻分割区域的标注所代表的三维显著平面对; norm(p)表示三维显著平面p的法线方向;θ 表示一个饱和参数; X 表示从当前视图摄像机中心出发,通过像素 的反投影视线与三维显著平面的交点;Ns为三维显著平面的法向方向;Δs 为三维显著平面离三维坐标原点的偏移量; 为线性因子。
2.如权利要求1所述基于结构先验的规则场景三维信息提取方法,其特征在于,步骤D中使用分水岭算法进行各二维图像的预分割。
3.如权利要求1所述基于结构先验的规则场景三维信息提取方法,其特征在于,步骤D中使用Douglas-Peucker算法对分段区域边缘做平滑处理。
4.如权利要求1所述基于结构先验的规则场景三维信息提取方法,其特征在于,所述饱和参数θ的值为0.8。
5.如权利要求1所述基于结构先验的规则场景三维信息提取方法,其特征在于,的取值为2。
CN201210150207.8A 2012-05-16 2012-05-16 一种基于结构先验的规则场景三维信息提取方法 Expired - Fee Related CN102682477B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201210150207.8A CN102682477B (zh) 2012-05-16 2012-05-16 一种基于结构先验的规则场景三维信息提取方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201210150207.8A CN102682477B (zh) 2012-05-16 2012-05-16 一种基于结构先验的规则场景三维信息提取方法

Publications (2)

Publication Number Publication Date
CN102682477A CN102682477A (zh) 2012-09-19
CN102682477B true CN102682477B (zh) 2015-04-08

Family

ID=46814340

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201210150207.8A Expired - Fee Related CN102682477B (zh) 2012-05-16 2012-05-16 一种基于结构先验的规则场景三维信息提取方法

Country Status (1)

Country Link
CN (1) CN102682477B (zh)

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103514598B (zh) * 2013-07-20 2016-08-10 北京航空航天大学 一种建筑sfm点云的自动分割方法
CN103870596A (zh) * 2014-03-31 2014-06-18 江南大学 一种用于Web对象信息抽取的增强约束条件随机场模型
CN105096376B (zh) * 2014-04-30 2018-03-27 联想(北京)有限公司 一种信息处理方法及电子设备
CN104143189B (zh) * 2014-07-16 2017-02-22 华北电力大学 输电设备的3d点云数据的空间特征提取方法
JP6078038B2 (ja) * 2014-10-31 2017-02-08 株式会社Pfu 画像処理装置、画像処理方法、および、プログラム
CN104504690B (zh) * 2014-12-12 2018-07-27 合肥工业大学 一种基于Kinect的物体支撑关系推断方法
CN105894571B (zh) * 2016-01-22 2020-05-19 上海肇观电子科技有限公司 一种处理多媒体信息的方法及装置
EP3340166A1 (en) * 2016-12-21 2018-06-27 Dassault Systèmes Completing an image
CN110378359B (zh) * 2018-07-06 2021-11-05 北京京东尚科信息技术有限公司 一种图像识别方法和装置
CN109325998B (zh) * 2018-10-08 2023-06-30 香港理工大学 一种基于点云数据的室内3d建模方法、系统及相关装置
CN111736582A (zh) * 2019-03-19 2020-10-02 北京奇虎科技有限公司 路径处理方法、装置、电子设备及计算机可读存储介质
CN110216671A (zh) * 2019-05-14 2019-09-10 苏州软体机器人科技有限公司 一种基于计算机仿真的机械抓手训练方法及系统
CN110443199B (zh) * 2019-08-06 2021-10-15 暨南大学 一种基于二维几何轮廓的点云姿态识别方法
CN110880161B (zh) * 2019-11-21 2023-05-09 大庆思特传媒科技有限公司 一种多主机多深度摄像头的深度图像拼接融合方法及系统
CN112686909B (zh) * 2020-12-28 2024-04-19 淮阴工学院 基于异质多区域ct扫描数据处理的多相隐式曲面重建方法
CN113034681B (zh) * 2021-04-07 2022-05-03 清华大学 空间平面关系约束的三维重建方法及装置
CN113223162B (zh) * 2021-04-13 2023-06-09 交通运输部科学研究院 一种内河航道数字孪生场景的构建方法及装置
CN113240789B (zh) 2021-04-13 2023-05-23 青岛小鸟看看科技有限公司 虚拟对象构建方法及装置
CN114170126B (zh) * 2022-02-11 2022-07-05 智道网联科技(北京)有限公司 一种点云稠密化方法、装置和电子设备
CN114596399A (zh) * 2022-03-16 2022-06-07 北京字跳网络技术有限公司 图像处理方法、装置及电子设备
CN114913287B (zh) * 2022-04-07 2023-08-22 北京拙河科技有限公司 一种三维人体模型重建方法及系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101075351A (zh) * 2006-09-14 2007-11-21 浙江大学 基于侧影和末端节点的视频人体三维运动恢复方法
CN101216949A (zh) * 2008-01-14 2008-07-09 浙江大学 一种基于区域分割和分段学习的三维人脸动画制作的方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050201606A1 (en) * 2004-03-12 2005-09-15 Kazunori Okada 3D segmentation of targets in multislice image

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101075351A (zh) * 2006-09-14 2007-11-21 浙江大学 基于侧影和末端节点的视频人体三维运动恢复方法
CN101216949A (zh) * 2008-01-14 2008-07-09 浙江大学 一种基于区域分割和分段学习的三维人脸动画制作的方法

Also Published As

Publication number Publication date
CN102682477A (zh) 2012-09-19

Similar Documents

Publication Publication Date Title
CN102682477B (zh) 一种基于结构先验的规则场景三维信息提取方法
CN111815757B (zh) 基于图像序列的大型构件三维重建方法
CN109410321B (zh) 基于卷积神经网络的三维重建方法
Dong et al. An efficient global energy optimization approach for robust 3D plane segmentation of point clouds
CN102804231B (zh) 三维场景的分段平面重建
Chauve et al. Robust piecewise-planar 3D reconstruction and completion from large-scale unstructured point data
CN103106688B (zh) 基于双层配准方法的室内三维场景重建方法
CN107862735B (zh) 一种基于结构信息的rgbd三维场景重建方法
Tung et al. Dynamic surface matching by geodesic mapping for 3d animation transfer
Pylvanainen et al. Automatic alignment and multi-view segmentation of street view data using 3d shape priors
CN101082988A (zh) 自动的深度图像配准方法
CN108597009A (zh) 一种基于方向角信息进行三维目标检测的方法
CN103839277A (zh) 一种户外大范围自然场景的移动增强现实注册方法
CN102081733B (zh) 多模态信息结合的多姿态三维人脸面部五官标志点定位方法
Sun et al. Line matching based on planar homography for stereo aerial images
CN115564926B (zh) 基于影像建筑物结构学习的三维面片模型构建方法
KR101869605B1 (ko) 평면정보를 이용한 3차원 공간 모델링 및 데이터 경량화 방법
CN108182705A (zh) 一种基于机器视觉的三维坐标定位方法
CN111915517A (zh) 一种适用于室内光照不利环境下rgb-d相机全局定位方法
CN108133516A (zh) 一种3d城市场景自动重建方法
CN110176064A (zh) 一种摄影测量生成三维模型的主体对象自动识别方法
CN108961385A (zh) 一种slam构图方法及装置
CN110967020B (zh) 一种面向港口自动驾驶的同时制图与定位方法
Lu et al. Large-scale tracking for images with few textures
Kraft et al. Efficient RGB-D data processing for feature-based self-localization of mobile robots

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
EE01 Entry into force of recordation of patent licensing contract

Application publication date: 20120919

Assignee: Jiangsu Nanyou IOT Technology Park Ltd.

Assignor: Nanjing Post & Telecommunication Univ.

Contract record no.: 2016320000208

Denomination of invention: Regular scene three-dimensional information extracting method based on structure prior

Granted publication date: 20150408

License type: Common License

Record date: 20161110

LICC Enforcement, change and cancellation of record of contracts on the licence for exploitation of a patent or utility model
EC01 Cancellation of recordation of patent licensing contract

Assignee: Jiangsu Nanyou IOT Technology Park Ltd.

Assignor: Nanjing Post & Telecommunication Univ.

Contract record no.: 2016320000208

Date of cancellation: 20180116

EC01 Cancellation of recordation of patent licensing contract
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20150408

Termination date: 20180516

CF01 Termination of patent right due to non-payment of annual fee