CN109064533B - 一种3d漫游方法及系统 - Google Patents

Abstract

本发明公开一种3D漫游方法及系统，该3D漫游方法包括：获取目标空间的RGBD图像，建立所述目标空间的三维纹理模型；识别RGBD图像或三维纹理模型中能反射物体的反射面；根据视点与所述反射面的相对位置关系，计算得出所述反射面的反射图像。通过如上的方法和系统，可以实时地的将反射图像填充到反射面内并呈现正确的反射图像，整个过程简单易操作，且由于在3D漫游时实时进行填充使三维模型更具有真实感，进一步改善了3D漫游的身临其境效果。

Description

一种3D漫游方法及系统

技术领域

本发明涉及图像数据处理技术领域，尤其涉及一种3D漫游方法及系统。

背景技术

三维模型已经用于各种不同的领域，在医疗行业、电影行业、视频游戏产业、科学领域、房产建筑业等其它应用领域得到了广泛应用，目前物体的立体建模方法，大致有三种：第一种是利用三维软件建模；第二种是利用图片或者视频来建模；第三种是通过仪器设备扫描建模；前两种因为缺乏真实场景的深度信息，导致场景真实感不强，后一种是目前较流行的利用三维扫描仪对空间结构进行360°扫描后获得具有深度信息的全景图像，具有沉浸式漫游、人机交互的优势，而消费级深度相机能快速获取RGBD图像因而被广泛用于三维建模。但目前存在的问题是，比如在房地产方面，由于房屋内普遍设置了镜子等其他可以反射物体的反射面，当用扫描机器对屋内进行全局扫描时，反射面往往会呈现扫描机器或者人物等不必要的图像，另一方面，三维模型没有呈现反射面本该出现的室内反射图像，这会影响客户对房屋情况的了解，3D漫游的真实性也存在问题，然而现有技术并未对此问题做详细研究，因此，基于用户查看视角还原反射面应该呈现的正确的真实反射图像，同时进一步改善3D模型的纹理和鲁棒性等是目前所面临的问题。

发明内容

本申请的主要目的在于针对现有技术的不足，提出一种3D漫游方法及系统，其。

为实现上述目的，本申请采用以下技术方案：

本申请提供一种3D漫游方法，包括如下步骤：S1.获取目标空间的RGBD图像，建立所述目标空间的三维纹理模型；S2.识别所述RGBD图像或所述三维纹理模型中的反射面；S3.根据视点与所述反射面的相对位置关系，计算获得所述反射面的反射图像。

在一些实施例中，所述步骤S2可以在3D漫游阶段实时地识别反射面。

在一些实施例中，所述步骤S2中通过边缘检测或轮廓提取方法识别所述反射面。

在一些实施例中，所述RGBD图像中包含具有标识物的反射面；所述步骤S2中通过所述标识物识别所述反射面。

在一些实施例中，所述步骤S2还包括：根据所识别出的反射面，提取所述反射面上的外轮廓节点，查找存在于所述外轮廓节点阈值范围内的三维点云作为反射面节点。

在一些实施例中，所述步骤S3具体包括：实时跟踪3D漫游视点的位置，记录所述视点位置信息；通过镜面反射原理或透视投影原理，计算目标空间内与反射面节点对应的目标空间节点；将所述目标空间节点的纹理信息赋值给所述反射面节点形成反射面内的反射图像。

在一些实施例中，由所述视点以及所述反射面节点确定反射光线，并根据镜面反射原理，由所述反射光线以及所述反射面节点的法向向量计算出入射光线，利用所述入射光线计算出所述目标空间节点。

在一些实施例中，将所述视点相对于所述反射面对称移动到所述反射面的另一边形成虚拟视点，构成透视投影模型，通过透视投影矩阵计算出所述目标空间节点。

本发明还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上所述的3D漫游方法。

本发明还提供一种3D漫游系统，包括：深度相机，用于采集目标空间的多幅RGBD图像；处理器，用于：接收所述目标空间的多幅RGBD图像，建立所述目标空间的三维纹理模型；识别所述RGBD图像或所述三维纹理模型中的反射面；根据视点与所述反射面的相对位置关系，计算获得所述反射面的反射图像。

本发明的有益效果：区别于现有技术三维建模中反射面里面未呈现正确的反射图像的缺陷，本申请首先采用深度相机等扫描设备获得RGBD图像序列，建立三维纹理模型，同时识别出深度图像的反射面，最后在3D漫游阶段根据视点的位置实时地的将反射图像填充到反射面内，从而完成三维模型的建立以及在反射面内呈现正确的反射图像，整个过程简单易操作，且由于在3D漫游时实时进行填充使三维模型更具有真实感，进一步改善了3D漫游的身临其境效果。

附图说明

图1是根据本发明实施例的一种3D漫游方法的流程示意图。

图2是根据本发明实施例的一种计算目标空间内与反射面节点对应的目标空间节点三维空间坐标的数学模型图。

图3是根据本发明实施例的一种3D漫游系统的结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合附图对本发明的各实施方式进行详细的阐述。应当理解的是，所述实施例仅仅是本发明的一部分实施例，而不是全部实施例，不能理解为对本发明的限制。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应该属于本发明保护的范围。

需要说明的是，本发明实施例中所含盖的功能模块，可以根据需要，通过现有技术中的一种或多种编程语言实现。对于公知的编程原理和软件构成，下文虽然不作详细阐述，但应属于本发明技术方案的一部分。

图1是根据本发明实施例的一种3D漫游方法的流程示意图，具体包括：

三维建模步骤101：获取目标空间的多幅RGBD图像，建立所述目标空间的三维纹理模型。

目标空间根据不同的应用可以是房间、建筑、街道等，目标空间的多幅RGBD图像(RGBD图像序列)由深度相机采集，RGBD图像中每个像素上同时包含彩色(RGB)信息与深度(D)信息。

在获取到RGBD图像序列后，进行三维纹理模型重建，在一个实施例中，三维建模包括步骤：生成三维点云、预处理、配准融合、生成三维网格、纹理映射等，以便获得完整的三维图像。

当深度传感器捕捉到物体的三维数据后，可以输出物体表面多个采集点的三维空间坐标(深度信息)和彩色信息，这些采集点的集合便形成了三维点云，从而使深度图像转换成由海量点集合构成的点云图像，同时可以从深度空间中提取某部分的三维点云坐标用于后续处理。接下来便对三维点云数据进行预处理，主要包括：去噪声、平滑处理、前后景分割等。由于物理上的一些限制，深度相机所拍摄的深度图像是多幅图像，不是完整的一幅深度图像，因此需要对去噪后的三维点云进行融合以便形成完整的深度图。在一些实施例中，通过三维点云配准算法(例如ICP算法)对各个局部的深度图像进行融合，配准就是将不同点云数据集对齐到完整统一模型中形成一个完整的模型图，这就需要找出两组点云数据集的空间变换关系，即旋转和平移向量，然后将这两组点云数据变换到同一的坐标系下，使得两者之间的交集区域重叠，从而使局部图像能融合拼接在一起。

当点云通过配准融合完成后，还需将三维点云最终绘制成三维网格，形成包括顶点、边、面、多边形等元素的网格模型，以便简化渲染过程，网格也可以包括带有空洞的普通多边形组成的物体。

实现了三维模型的网格表达后，为了可视化，需要对待重建的目标模型加入纹理信息，利用纹理模式将其映射到对象表面上使对象表面加入细节展示。纹理模式通常利用矩形数组或修改对象表面光强度值的过程来定义，也称之为纹理映射，纹理映射技术是在绘制三维模型的最后阶段实现的，这种实现方式非常有效，在经过前面的所有操作后，大量的多边形被裁掉，减少了不必要的映射，从而最终获得完整的目标三维纹理模型。

反射面识别步骤102：识别RGBD图像或三维纹理模型中的反射面。可以先将每个RGBD图像上的反射面识别出来，然后进行相应的图像处理后再将局部RGBD图像融合拼接成完整的三维纹理模型。或者，先完成三维纹理模型再识别三维纹理模型中的反射面，即先将多幅局部RGBD图像融合拼接成全局RGBD图像后再对该三维纹理模型的反射面进行识别以及相应的图像数据处理。当然，除了在三维纹理模型建立前或三维模型建立后识别反射面之外，在反射面图像确定步骤103中的3D漫游阶段同样也可以实时地进行反射面的识别以及相应的图像数据处理。这里所述的图像数据处理包括例如去掉反射面的部分或全部初始图像，比如：含有拍摄设备或拍摄者的非目标初始图像等，总之本发明的反射面识别阶段不局限于此。

反射面可以是任何可以反射物体的面，比如镜子、电视机屏幕、光滑的墙面等，反射面可以是反射平面也可以是反射曲面，比如球面镜等。一般在拍摄图像时，拍摄设备、拍摄者等不应该出现的图像都会在反射面上呈现，因此，初始获得的RGBD图像中的反射面里面通常包含有拍摄设备等之类的非目标物，为了能够精确的将实际反射的物体在反射面中呈现出来，一般需要辅助边缘检测方法、轮廓提取方法、特征点检测与匹配等识别出反射面并获取反射面的轮廓特征点。

在一些实施例中，可以在三维建模阶段利用深度相机拍照时在反射面上生成标识物，例如二维码等之类的标记区分出反射面，以便容易找出图像中存在的所有反射面，为了进一步确定反射面的特征，再结合边缘检测方法、轮廓提取方法等进一步识别出反射面的基本属性，或者，也可以直接采用边缘检测方法、轮廓提取方法等识别出反射面。

反射面的亮度与周边背景图像一般会有明显差别，一般用去噪声后的灰阶变化表示边缘从而识别出反射面。在一些实施例中，边缘检测算法为：1)通过二维高斯函数对图像I进行卷积运算；2)计算卷积图像的拉普拉斯算子L(当然运用其他的算子也是可行的)；3)寻找边缘像素，即在L中存在零交叉的像素，其零交叉代表某个方向两个相对的相邻像素值的符号不同，从而识别出反射面。

当识别出反射面之后需要对反射面内的初始图像进行处理，所述的初始图像代表不需要的图像，此时可以将反射面内各节点的纹理(如RGB彩色)信息去除掉(可以直接去掉反射面的所有初始图像，也可以选择性的仅去掉出现拍摄设备、人等的部分初始图像)，便于填充进最终确定的正确反射图像。或者，无需去掉初始图像，可以直接在原始图像的基础上覆盖上新的反射图像，从而简化处理步骤。

通过上述方法识别出反射面之后，获取反射面内节点的三维坐标R_i(x_i,y_i,z_i)。在一个实施例中，通过上述寻找边缘像素后便可以提取反射面外轮廓上的节点，组成边缘节点集合r＝{r_i}，i＝1,2,…,n为反射面外轮廓上节点的个数，同时记录每个节点的RGB彩色信息等，这些边缘节点集合r＝{r_i}便组成了反射面特征相似阈值，所有存在于该阈值内的三维点云(R＝{R_i}，i＝1,2,…,n为反射面节点的个数)都属于反射面的一部分，这样反射面的基本属性(例如面积、周长、形状等)都可以被测量出来。

反射面图像确定步骤103：根据视点与所述反射面的相对位置关系，计算得出所述反射面的反射图像。

在形成完整的三维纹理模型之后，可以利用该三维纹理模型实现3D漫游，3D漫游指的是模拟人(具体指的人的眼睛所在的视点)在目标空间内穿梭时所观察到的场景重现，基于视点在3D纹理模型中的位置关系，将3D纹理模型进行二维投影以生成该视点下的二维图像，从而模拟出人眼所看到的场景图像，实现身临其境的效果。在3D漫游时，视点由用户输入或者系统自动生成。

为了进一步提升3D漫游的真实性，在3D漫游时，场景中若存在反射面，则反射面上所反射的场景图像理论上应该根据视点的变化而变化。在本步骤中将根据视点所在的位置以及视点与反射面之间的相对位置关系实时地在反射面内呈现正确的反射图像，例如用户需要点击或者拖动鼠标等模拟在各个位置观察房屋内的细节情况，此时便实时跟踪3D漫游视点的位置，记录视点位置信息P(x₀,y₀,z₀)，结合反射面节点的三维坐标R_i(x_i,y_i,z_i)信息，根据镜面反射原理或透视投影原理，便可以计算出目标空间内与反射面节点对应的目标空间节点的三维空间坐标，这些目标空间节点代表位于目标空间内且能够呈现在反射面内的三维空间点，同时将这些计算出的目标空间节点的纹理信息赋值给反射面便形成了反射图像，从而在反射面内呈现出正确的反射图像。

图2是根据本发明实施例的一种计算目标空间内与反射面节点对应的目标空间节点三维空间坐标的数学模型图。如图2所示，建立了计算目标空间201内与反射面202对应的目标空间节点三维空间坐标的模型示意图200，目标空间201内的一个目标空间节点T发出的入射光线206经反射面202内的某个反射面节点R反射后形成反射光线207进入人眼即视点P 203，即目标空间节点T与反射面节点R形成入射光线206、反射面节点R与视点P形成反射光线207，入射光线206与反射光线207满足镜面反射原理。这样，根据镜面反射原理，在视点203位置信息P(x₀,y₀,z₀)以及反射面202内任一反射面节点的三维坐标R_i(x_i,y_i,z_i)已知的情况下，可以首先确定出反射光线207；其次反射面节点R的法向量n205可以由反射面节点R以及周边的多个反射面节点计算出来；最后根据利用反射光线207与入射光线206与法向量n对称这一镜面反射特性可以计算出入射光线206，这样多个入射光线206向空间中延伸并与目标空间201相交的交集区域便为在该视点P 203下观察到的三维空间点集，该三维空间点集便是应该呈现在反射面202内的所有目标空间节点。

在一个实施例中，如图2所示，建立世界坐标XYZ，设入射光线206经过反射面202的反射面节点R_i(x_i,y_i,z_i)与目标空间201相交的节点T_j的三维空间坐标为(x_j,y_j,z_j)，该节点T_j便为与反射面202对应的一个目标空间节点，结合已知的视点P(x₀,y₀,z₀)与反射面节点R_i(x_i,y_i,z_i)的三维空间坐标信息，可以建立出入射光线206与目标空间201相交的三维空间直线方程：ax+by+cz+d＝0(1)，其中，a、b、c、d为已知的方程参数，已知目标空间201的三维纹理模型的点云{T_j}，j＝1,2,…,m为位于目标空间内各节点个数，将目标空间201中的节点点集{T_j}中的各个节点的三维坐标值带入上述方程式(1)中，通过迭代方法找出满足方程等式(1)的x、y、z的值，则该x、y、z即为目标空间内与反射面对应的目标空间节点的三维空间坐标值，同时将这些计算出的目标空间节点的纹理信息赋值给反射面便形成了反射图像，由此便确定出反射面内正确的反射图像。

在另一个实施例中，为了便于形成透视投影的标准模型图，可以将视点203P(x₀,y₀,z₀)相对于反射面202对称移动到反射面202的另一边形成虚拟视点204P'(x_0',y_0',z_0')，根据透视投影原理，虚拟视点P'与反射面202内各个反射面节点之间形成的射线向空间中延伸并与目标空间201相交的交集区域组成了在该视点P'下观察到的三维空间点集合{T_j}，j＝1,2,…,m为位于目标空间201内各节点个数。

虚拟视点P'的可视区间一般为一棱椎体，其中P'为棱椎体的顶点，反射面202为棱椎体的一个近横截面，相当于视平面，目标空间201相对于反射面202远离P'，为棱椎体的一个远横截面，称为可视区域，这样完全位于该可视区域之外的物体将被剔除，位于该可视区域边界的物体将被裁减，因此位于该可视区域内的物体便代表在反射面202前面某个视点P处观察到的反射面的反射图像。在本实施例中，反射图像相当于目标空间201中各节点在反射面202上的透视投影图，设虚拟视点P'与反射面202内反射面节点R_i(x_i,y_i,z_i)之间形成的射线与目标空间201相交的节点T_j的三维空间坐标为(x_j,y_j,z_j)，则反射面节点R_i(x_i,y_i,z_i)与目标空间节点T_j(x_j,y_j,z_j)之间的投影关系为：(x_i,y_i,z_i)＝M*(x_j,y_j,z_j)，M为透视投影矩阵。

通常通过已知的参数：视点的空间位置信息、反射面的空间位置信息以及目标空间与反射面之间的距离等来求透视投影矩阵M，在已知反射面节点R_i(x_i,y_i,z_i)的坐标值的情况下，便可以求出与反射面节点R_i(x_i,y_i,z_i)对应的目标空间节点即目标空间节点T_j的三维空间坐标，同时将这些计算出的目标空间节点的纹理信息赋值给反射面便形成了反射图像，由此便确定出反射面内正确的反射图像。

以上透视投影模型讨论都是基于矩形视平面来考虑，除此之外也可以取视平面为任意形状，比如圆形，此时可视区间变为一个圆锥体，还可以考虑有两个甚至更多视点的透视投影，另外，还可以将反射面定义为任意非平面，如凹面或凸面等均可以通过上述计算方法确定出反射面的反射图像，总之，上述考虑结果均在本发明的保护范围之内。

图3是根据本发明实施例的一种3D漫游系统的结构示意图。如图3所示，该3D漫游系统300包括：深度相机301、处理器302、存储器303、显示器304、输入设备305以及服务器306等，工作原理为：首先使用一个或多个深度相机301对需要进行建模的目标空间进行360°连续采集，生成包含深度信息与彩色信息的多幅图像，深度相机301用来获取目标空间的深度信息和彩色信息(RGBD信息)，深度相机301包括但不限于：TOF(Time of Flight)深度相机、结构光深度相机、双目相机、单目相机以及3D激光扫描仪等等。深度相机301所获得的深度图像数据通过USB、VGA、HDMI等上传至存储器303中，也可以通过WiFi无线传输给存储器303，在一些实施例中，存储器303可以是云端服务器，当图像数据上传至云端后，云端后台算法就开始对三维空间数据进行特征点识别、图像拼接、纹理匹配等一些列自动化处理，最终生成空间的3D实景模型图。

存储器303中保存待处理的深度图像数据之后，处理器302便从存储器303中调出并接收这些目标空间的RGBD图像数据，或者，将待处理的深度图像数据上传至服务器306中，处理器302从服务器306中调出并接收所述目标空间的RGBD图像数据，然后进行相应的数据处理从而建立所述目标空间的三维纹理模型，同时识别RGBD图像或三维纹理模型中所有能反射物体的反射面，最后根据视点与所述反射面的相对位置关系，计算得出反射面对应的反射图像。当处理器302执行完上述处理指令后，便将处理后的结果呈现在显示器304中，用户可以利用显示器304外部的输入设备305，例如鼠标、键盘等，或者直接用手势交互输入用户的动作指令，进行3D漫游的沉浸式体验操作。

区别于现有技术三维建模中反射面里面未呈现正确的反射图像的缺陷，本申请首先采用深度相机等扫描设备获得RGBD图像序列，建立三维纹理模型，同时识别出深度图像的反射面，最后在3D漫游阶段根据视点的位置实时地的将反射图像填充到反射面内，从而完成三维模型的建立以及在反射面内呈现正确的反射图像，整个过程简单易操作，且由于在3D漫游时实时进行填充使三维模型更具有真实感，进一步改善了3D漫游的身临其境效果。

需要指出，根据实施的需要，可将本申请中描述的各个步骤/模块拆分为更多步骤/模块，也可将两个或多个步骤/模块或者步骤/模块的部分操作组合成新的步骤/模块，以实现本发明的目的。

上述根据本发明的3D漫游方法可在在硬件、固件中实现，或者被实现为可存储在记录介质(诸如CD ROM、RAM、软盘、硬盘或磁光盘)中的软件或计算机代码，或者被实现通过网络下载的原始存储在远程记录介质或非暂时机器可读介质中并将被存储在本地记录介质中的计算机代码，从而在此描述的方法可被存储在使用通用计算机、专用处理器或者可编程或专用硬件(诸如ASIC或FPGA)的记录介质上的这样的软件处理。可以理解，计算机、处理器、微处理器控制器或可编程硬件包括可存储或接收软件或计算机代码的存储组件(例如，RAM、ROM、闪存等)，当所述软件或计算机代码被计算机、处理器或硬件访问且执行时，实现在此描述的处理方法。此外，当通用计算机访问用于实现在此示出的处理的代码时，代码的执行将通用计算机转换为用于执行在此示出的处理的专用计算机。

以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的技术人员来说，在不脱离本发明构思的前提下，还可以做出若干等同替代或明显变型，而且性能或用途相同，都应当视为属于本发明的保护范围。

Claims (9)

1.一种3D漫游方法，其特征在于，包括如下步骤：

S1.获取目标空间的RGBD图像，建立所述目标空间的三维纹理模型；

S2.识别所述RGBD图像或所述三维纹理模型中的反射面；

S3.根据视点与所述反射面的相对位置关系，计算获得所述反射面的反射图像；步骤S3具体包括：

实时跟踪3D漫游视点的位置，记录所述视点位置信息；

结合反射面节点的三维坐标信息，通过镜面反射原理或透视投影原理，计算目标空间内与反射面节点对应的目标空间节点；

将所述目标空间节点的纹理信息赋值给所述反射面节点形成反射面内的反射图像。

2.如权利要求1所述的3D漫游方法，其特征在于，所述步骤S2在3D漫游阶段实时地识别所述反射面。

3.如权利要求1所述的3D漫游方法，其特征在于，所述步骤S2中通过边缘检测或轮廓提取方法识别所述反射面。

4.如权利要求1所述的3D漫游方法，其特征在于，所述RGBD图像中包含具有标识物的反射面；所述步骤S2中通过所述标识物识别出所述反射面。

5.如权利要求1所述的3D漫游方法，其特征在于，所述步骤S2还包括：提取所述反射面上的外轮廓节点，查找存在于所述外轮廓节点阈值范围内的三维点云作为反射面节点。

6.如权利要求1所述的3D漫游方法，其特征在于，由所述视点以及所述反射面节点确定反射光线，并根据镜面反射原理，由所述反射光线以及所述反射面节点的法向向量计算出入射光线，利用所述入射光线计算出所述目标空间节点。

7.如权利要求1所述的3D漫游方法，其特征在于，将所述视点相对于所述反射面对称移动到所述反射面的另一边形成虚拟视点，构成透视投影模型，通过透视投影矩阵计算出所述目标空间节点。

8.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1-7任一项所述的3D漫游方法。

9.一种3D漫游系统，其特征在于，包括：

深度相机，用于采集目标空间的多幅RGBD图像；

处理器，用于：接收所述目标空间的多幅RGBD图像，建立所述目标空间的三维纹理模型；识别所述RGBD图像或所述三维纹理模型中的反射面；根据视点与所述反射面的相对位置关系，计算获得所述反射面的反射图像；

其中，根据视点与所述反射面的相对位置关系，计算获得所述反射面的反射图像的具体步骤包括：

实时跟踪3D漫游视点的位置，记录所述视点位置信息；

结合反射面节点的三维坐标信息，通过镜面反射原理或透视投影原理，计算目标空间内与反射面节点对应的目标空间节点；

将所述目标空间节点的纹理信息赋值给所述反射面节点形成反射面内的反射图像。

Images