CN109461210B - 一种在线家装的全景漫游方法 - Google Patents

Abstract

本发明公开了一种在线家装的全景漫游方法，实现所述全景漫游方法至少包括终端、与终端通信连接的服务器，所述全景漫游方法包括：服务器根据预存储的户型三维模型和多个相机位置后，渲染获得所有相机位置对应的全景图，然后对预存储的户型三维模型进行简化和压缩，获得户型简化模型；终端加载户型简化模型和全景图，并以全景图对应的相机位置作为户型简化模型渲染时的相机位置，采用着色器将全景图对应的像素反投影到户型简化模型上，实现对户型简化模型的场景渲染。该全景漫游方法能够在降低计算消耗的基础上，带给用户完全沉浸式的漫游体验效果。

Description

一种在线家装的全景漫游方法

技术领域

本发明涉及虚拟现实技术领域，具体涉及一种在线家装的全景漫游方法。

背景技术

在线家装领域中，全景图是一种非常常用的表现手段，如申请公布号为CN103167246A的发明专利申请公开的一种基于互联网的全景画面展示方法及用于该方法的全景摄像装置中，通过至少包括两个摄像头的全景摄像装置拍摄空间，其中所有摄像头镜头的视角之和形成大于或等于360度的球面视角，然后将拍摄到的图像传输至图像处理终端后利用图像处理软件对不同摄像头拍摄的画面结合处进行修饰，使不同摄像头拍摄的画面实现平滑结合，生成360度全景画面。但本质上全景图还是2D图片，由于没有空间的三维数据，缺乏场景全局的展示，空间感并不强。

为了增强场景的空间感，通常在场景的多个视点获取对应的360度全景图，然后在不同视点之间进行切换，然而，目前常见的切换手段是多张全景图的切换，呈现出一种淡入淡出的感觉，本质上空间感并不强，即并没有漫游的感觉。

为了提升漫游效果，利用全景拍摄相机到实际场景中拍摄不同相机位置下的全景图，然后利用于计算机视觉手段对采样的全景图进行三维重建，在三维重建模型中漫游时，会使得不同全景图之间的切换体验效果大大得到提升，但是三维重建过程过于繁琐，消耗大，对终端设备的硬件配置要求高。

另外，实现漫游的手段还包括：基于UE4或Unity 3D渲染引擎对场景进行实时渲染，可以实现完全自由地对场景进行漫游。但是这种手段由于是实时渲染，消耗很大，对终端设备的硬件配置依赖较大，且真实感不强。

申请公布号为CN108257219A的发明专利申请公开了一种实现全景多点漫游的方法，包括绘制漫游路径、渲染全景图、采集坐标、生成全景文件、获取空间点位置以及绘制多点路径，依照绘制的多点路径进行漫游，该漫游方法虽然确定了漫游路径，但是依照漫游路径进行漫游时，仍然是二维全景图的随机切换，空间感不强。

发明内容

本发明的目的是提供一种在线家装的全景漫游方法，该全景漫游方法能够在降低计算消耗的基础上，带给用户完全沉浸式的漫游体验效果。

为实现上述发明目的，提供以下技术方案：

一种在线家装的全景漫游方法，实现所述全景漫游方法至少包括终端、与终端通信连接的服务器，所述全景漫游方法包括：

服务器根据预存储的户型三维模型和多个相机位置后，渲染获得所有相机位置对应的全景图，然后对预存储的户型三维模型进行简化和压缩，获得户型简化模型；

终端加载户型简化模型和全景图，并以全景图对应的相机位置作为户型简化模型渲染时的相机位置，采用着色器将全景图对应的像素反投影到户型简化模型上，实现对户型简化模型的场景渲染；

对于相邻第一相机位置和第二相机位置之间的任意视点，终端根据第一相机位置对应的第一全景图、第二相机位置对应的全景图、视点与第一相机位置的第一距离，以及视点与第二相机位置的第二距离，计算该视点对应的三维场景的像素值；

终端按照用户交互的视点和该视点对应的漫游路径连通图，实时对当前视点对应的户型简化模型进行渲染。

上述全景漫游方法中，通过对户型三维模型的离线渲染，获得与相机位置对应的全景图，该全景图的质量高、获得方法简单，避免采用全景相机拍照获得全景图。

上述全景漫游方法中，以全景图对应的相机位置作为户型简化模型渲染时的相机位置，即通过相机位置将户型简化模型与全景图对齐，并利用对齐的全景图对户型简化模型进行渲染，以此提高渲染的精度，提高渲染场景的质量；

上述全景漫游方法中，在服务器中利用包括精细户型三维模型的完整场景的三维几何数据渲染得到质量高的全景图，然后简化和压缩户型三维模型，得到户型简化模型，渲染时加载户型简化模型，大大提升了传输效率，同时，利用高质量的全景图将户型简化模型渲染成漫游场景，这样在保证漫游场景质量的同时，大大提升了渲染效率，此外，解决了在终端渲染精细户型三维模型带来的计算消耗大，渲染迟钝的问题。

上述全景漫游方法中，按照漫游路径连通图进行场景呈现，且对于固定相机位置之间路径上的视点对应的场景，采用相邻相机位置对应全景图叠加的方式获取，这样会使得场景的过渡非常自然，漫游时，会给用户一种沉浸式体验的效果。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图做简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动前提下，还可以根据这些附图获得其他附图。

图1是实施例提供的全景漫游方法的流程图；

图2是实施例提供的二值位图；

图3是对图2所示的二值位图计算后的距离场图；

图4是对图3所示的距离场图提取中轴线后的中轴线图；

图5是实施例确定的相机位置示意图。

具体实施方式

为使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例对本发明进行进一步的详细说明。应当理解，此处所描述的具体实施方式仅仅用以解释本发明，并不限定本发明的保护范围。

为了提升在线家装的漫游体验效果，本实施例提供了以下在线家装的全景漫游方法。该全景漫游方法涉及到用户与终端的交互，还涉及到终端与服务端的交互，因此，实现该全景漫游方法的装置至少包括终端，和与终端通信的服务器。其中终端可以是手机、笔记本电脑、计算机、POS机等具有计算和显示功能的通信电子设备，采用有线网络和无线网络与服务器通信。

具体地，在线家装的全景漫游方法包括服务器对三维模型的简化和全景图的获取，终端基于加载的简化模型和全景图按照漫游路径进行实时渲染。如图1所示，在线家装的全景漫游方法包括以下流程：

漫游前，服务器根据预存储的户型三维模型和多个相机位置后，渲染获得所有相机位置对应的全景图，然后对预存储的户型三维模型进行简化和压缩，获得户型简化模型。

相机位置以世界坐标系下的三维坐标表示，相机位置的获取多样化，为了适应用户的自主选择权，相机位置可以由用户确定，具体地，用户通过终端交互选取若干个相机位置，终端再将确定的相机位置发送至服务器，以供渲染全景图用。

为了提升全景漫游的自动化，上述相机位置也可以在服务器端和终端自动生成，当上述相机位置在端自动生成后，终端再将生成的相机位置发送至服务器，以供渲染全景图用。

具体地，所述相机位置根据三维户型图自动生成，具体为：

将三维户型从顶向下投影成二维图，并将二维图离散成二值位图，其中，0表示空荡区域，1表示障碍区域；

针对二值位图，根据空荡区域距离障碍物的距离，计算获得二值位图对应的距离场图，然后提取距离场图中高亮区域的中轴线，获得中轴线图；

按照预定的点位密度将二值位图离散网格化，比较网格化的二值位图和中轴线图，针对每个覆盖有中轴线的网格，以该中轴线上距离障碍物最远的点作为该网格内的相机位置。

上述三维户型是包含具体软装(沙发、橱柜、吊灯、地毯等)的三维模型，将三维户型从顶视图向下投影时，具体软装均会投影在二维图中，当将投影的二维图离散成0和1表示的二值位图时，如图2所示，二值位图中有投影的区域像素均为1，表示该区域是影响相机投放位置的障碍物，即漫游时用户不可能站在此处体验家装场景。但是如吊灯和地毯这种软装，虽然会有投影，但并不影响相机投放位置，因此对这样的软装的投影进行滤除，具体地，在获得二值位图时：

判断三维户型中的非墙体几何，若非墙体几何的最低位置离地面的距离大于最低位置高度阈值，则将该非墙体几何投影处的像素设为0，否则设为1；若非墙体几何的最高位置离地面的距离大于最高位置高度阈值，则将该非墙体几何投影处的像素设为0，否则设为1，其中，最低位置高度阈值大于最高位置高度阈值。

对于像吊灯这样从屋顶垂下来的软装，吊灯的最低位置距离地面很高，完全不影响用户所到之处，即相机投放位置，因此，当吊灯的最低位置大于预设的最低位置高度阈值时，将吊灯投影处的像素设为0，表示该处是空荡区域，可以设置相机。对于像地毯这样铺设在地面但高度很低的软装，地毯的最高位置离地面很近，完全不影响用户所到之处，即相机投放位置，因此，当地毯的最高位置大于预设的最高位置高度阈值时，将吊灯投影处的像素设为0，表示该处是空荡区域，可以设置相机。

根据用户实际体验情境，用户一般体验都是会走到空荡区域的中间位置，因此，为了使自动生成相机位置与用户体验情境更贴切，针对二值位图中像素值为0的所有像素点，计算该素点与邻近像素值为1的像素点的欧式距离，对欧式距离做归一化处理，将归一化处理的结果作为该像素点的新像素值，即根据空荡区域距离障碍物的距离，形成距离场图，如图3所示，该距离场图中，二值位图中的空荡区域根据距离障碍的远近，呈现像素从0到1的梯度变换，亮度越高的区域表示越空旷，表示用户行走在此处的可能性越大。

在获得距离场图后，提取距离场图中高亮区域的中轴线，如图4所示，该中轴线被认为是用户体验时可能所到之处，为相机位置提供了大致的候选区域。在确定了相机位置的大致候选区域后，还需要确定相机位置的个数，该个数是人为预定的。为了提升生成的相机位置更符合用户的体验习惯，综合二值位图和中轴线图之间的关系确定相机位置。具体地，根据预设定的点位密度将二值位图离散网格化，对二值位图网格化，即初步指导相机位置的确定；然后，根据网格是否覆盖有中轴线，删除掉一部分可能设置相机的候选区域；最后，在网格覆盖的中轴线上找到一个最亮的点作为一个相机位置，即在中轴线上找到一个距离障碍物最远的点，表示该处最空旷，将此处设为一个相机位置。

若对二值位图网格化的时候设置的点密度过大，会造成最后确定的所有相机位置过于紧密，这样会增加体验的计算消耗。为此，在获得覆盖有中轴线的所有网格内的相机位置后，根据相机位置之间的欧式距离，对相应的相机位置进行剔除，以获得欧式距离大于一定阈值的相机位置。

初始确定一个相机位置，依次查找与该相机位置相邻的另外相机位置，若两相机位置之间的欧式距离小于一定阈值，则将另外相机位置删除，以此保证相机位置之间的距离，这样获得最终相机位置更契合用户体验时的情境，图5所示的是最终确定的相机位置。

上述根据三维户型自动生成相机位置的方法中，充分考虑了家装场景以及用户体验习惯，使得最终生产的相机位置在实现自动化的基础上，更符合用户体验情境。

相机位置确定后，服务器根据预存储的户型三维模型和相机位置渲染出与相机位置对应的全景图。该户型三维模型是几何信息巨大的三维模型，包含了各种各样的软装，渲染时，调取离线渲染引擎对以固定的相机位置对三维模型进行渲染，获得采用立方体方式实现的全景图。由于户型三维模型很精细，在服务器端离线渲染得到的全景图的质量很高，且成本低，为漫游时，实时渲染三维场景提供了可靠的渲染素材。

值得一提的是，由于渲染的是以立方体方式实现的全景图，因此，渲染时，相机方向对渲染的结果没有影响，在实际操作中，渲染引擎根据相机位置初始化一个相机方向，然后进行全景图的渲染。

在该全景漫游方法中，终端需要对三维模型进行实时渲染，渲染出供用户体验的场景，考虑到服务器端渲染引擎使用的往往是精细的三维模型，几何信息巨大，导致整体文件太大，不利于端到端的数据传输，还考虑到渲染时，像素均由全景图提供，终端并不需要精细的几何信息，因此，为降低终端加载服务器端的三维模型的网络需求，以及提升三维模型的传输效率，在服务器端，需要对预存储的户型三维模型进行简化和压缩，获得户型简化模型。

具体地，可以采用QEM三维模型简化算法对户型三维模型进行简化。简化程度可以根据实际显示效果需求控制，既可以保留其大致轮廓，去除细节信息，甚至还可以简化到只剩下几个凸包。

在服务器已经准备好全景图和户型简化模型后，用户即可以通过终端进行场景体验。

漫游时，终端加载户型简化模型和全景图，并以全景图对应的相机位置作为户型简化模型渲染时的相机位置，采用GLSL的着色器将全景图对应的像素反投影到户型简化模型上，实现对户型简化模型的场景渲染。

渲染时，用户确定的视点为事先确定的相机位置时，则直接采用GLSL的片元着色器，将相机位置对应的全景图对应的像素反投影到户型简化模型上，实现以该相机位置作为视点时，户型简化模型的渲染。该全景漫游方法巧妙地通过相机位置将户型简化模型与全景图对齐，以此来提高渲染的精度，提高渲染场景的质量。

当用户确定的视点为相机位置之间的任意点时，利用视点所在路径的前后两端的相机位置对应的全景图计算该任意视点下的渲染场景。具体地，根据以下公式获取任意视点p下户型简化模型的渲染场景：

其中，C_k表示在相机位置P_i与相机位置P_j之间的任意视点P渲染时，片元着色器第k个顶点像素值；γ表示任意视点p到相机位置P_j的欧式距离；

表示在相机位置P_i渲染时，片元着色器第k个顶点像素值；

表示在相机位置P_j渲染时，片元着色器第k个顶点像素值。

根据相邻两相机位置对应的全景图与任意视点到两相机位置的远近，叠加计算任意视点下的渲染场景，这种方式可以使得每个视点下，几何顶点的像素过渡自然，即会呈现过渡自然的渲染场景，带给用户一种很真实的漫游体验。

对于特定的家装漫游场景，为了避免穿过障碍物进行体验的情况，为漫游生成一个漫游路径连通图，用户按照这个漫游路径连通图进行体验时，会真真切切地体会到一种沉浸式漫游体验的效果。

其中，服务器根据多个相机位置和户型三维模型生成漫游路径连通图，并将该漫游路径连通图发送至终端以供漫游；或，

终端接收到用户交互的视点后，根据该视点以及接收的户型简化模型和多个相机位置自动生成漫游路径连通图。

具体地，所述漫游路径连通图生成方法为：

对于任意两个相机位置P_i和P_j，从相机位置P_i向相机位置P_j发射一条射线；

若该射线与场景相交，且相机位置P_i到相交场景的距离大于相机位置P_i与相机位置P_j之间的欧式距离，则相机位置P_i与相机位置P_j之间建立连通路径；否则，

采用最短路径算法在所有相机位置中，计算出从相机位置P_i到相机位置的路径L＝P_i,P_m,P_n,,P_q,P_j)，以建立相机位置P_i与相机位置P_j之间的连通路径，其中，P_m,P_n,P_q分别为第m个、第n个以及第q个相机位置；

所有连通路径构成漫游路径连通图。

更具体地，可以采用迪杰斯特拉(Dijkstra)算法在所有相机位置中，计算出从相机位置P_i到相机位置P_j的路径L。

当漫游路径连通图确定好以后，用户体验时即可以按照相应的漫游路径进行体检，加上路径上任意视点下相应几何顶点的叠加融合方式，使得渲染场景呈现出渐进的像素改变，提升了用户漫游体验效果。

户型三维模型中，对于如窗户、门等可能出现空洞的位置，利用全景图对三维模型渲染时，会找不到相应的几何顶点，因此，在渲染时，对户型简化模型设置一个包围盒。这样，对于三维模型中空洞(如窗口、开着的门等)的位置，至少在户型简化模型的包围盒上找到一个点，将全景图的像素反投影到该点上，，以避免类似于洞的区域，找不到相应的全景像素点映射，进而优化渲染。

上述全景漫游方法中，终端利用高质量的全景图来渲染简化模型，在保证渲染场景质量的同时，大大减少了终端的计算消耗，以此提升了渲染速率。

以上所述的具体实施方式对本发明的技术方案和有益效果进行了详细说明，应理解的是以上所述仅为本发明的最优选实施例，并不用于限制本发明，凡在本发明的原则范围内所做的任何修改、补充和等同替换等，均应包含在本发明的保护范围之内。

Claims (9)

1.一种在线家装的全景漫游方法，其特征在于，实现所述全景漫游方法至少包括终端、与终端通信连接的服务器，所述全景漫游方法包括：

服务器根据预存储的户型三维模型和接收的多个相机位置后，渲染获得所有相机位置对应的全景图，然后对预存储的户型三维模型进行简化和压缩，获得户型简化模型；

终端加载户型简化模型和全景图，并以全景图对应的相机位置作为户型简化模型渲染时的相机位置，采用着色器将全景图对应的像素反投影到户型简化模型上，实现对户型简化模型的场景渲染；

对于相邻第一相机位置和第二相机位置之间的任意视点，终端根据第一相机位置对应的第一全景图、第二相机位置对应的全景图、视点与第一相机位置的第一距离，以及视点与第二相机位置的第二距离，计算该视点对应的三维场景的像素值；

终端按照用户交互的视点和该视点对应的漫游路径连通图，实时对当前视点对应的户型简化模型进行渲染；

其中，所述相机位置根据三维户型图自动生成，具体为：

将三维户型从顶向下投影成二维图，并将二维图离散成二值位图，其中，0表示空荡区域，1表示障碍区域；

针对二值位图，根据空荡区域距离障碍物的距离，计算获得二值位图对应的距离场图，然后提取距离场图中高亮区域的中轴线，获得中轴线图；

按照预定的点位密度将二值位图离散网格化，比较网格化的二值位图和中轴线图，针对每个覆盖有中轴线的网格，以该中轴线上距离障碍物最远的点作为该网格内的相机位置。

2.如权利要求1所述的在线家装的全景漫游方法，其特征在于，在获得二值位图时：

判断三维户型中的非墙体几何，若非墙体几何的最低位置离地面的距离大于最低位置高度阈值，则将该非墙体几何投影处的像素设为0，否则设为1；若非墙体几何的最高位置离地面的距离大于最高位置高度阈值，则将该非墙体几何投影处的像素设为0，否则设为1，其中，最低位置高度阈值大于最高位置高度阈值。

3.如权利要求2所述的在线家装的全景漫游方法，其特征在于，在获得覆盖有中轴线的所有网格内的相机位置后，根据相机位置之间的欧式距离，对相应的相机位置进行剔除，以获得欧式距离大于一定阈值的相机位置。

4.如权利要求1所述的在线家装的全景漫游方法，其特征在于，服务器根据多个相机位置和户型三维模型生成漫游路径连通图，并将该漫游路径连通图发送至终端以供漫游；或，

终端接收到用户交互的视点后，根据该视点以及接收的户型简化模型和多个相机位置自动生成漫游路径连通图。

5.如权利要求4所述的在线家装的全景漫游方法，其特征在于，所述漫游路径连通图生成方法为：

对于任意两个相机位置P_i和P_j，从相机位置P_i向相机位置P_j发射一条射线；

若该射线与场景相交，且相机位置P_i到相交场景的距离大于相机位置P_i与相机位置P_j之间的欧式距离，则相机位置P_i与相机位置P_j之间建立连通路径；否则，

采用最短路径算法在所有相机位置中，计算出从相机位置Pi到相机位置的路径L＝(P_i,P_m,P_n,…,P_q,P_j)，以建立相机位置P_i与相机位置P_j之间的连通路径，其中，P_m,P_n,P_q分别为第m个、第n个以及第q个相机位置；

所有连通路径构成漫游路径连通图。

6.如权利要求1所述的在线家装的全景漫游方法，其特征在于，根据以下公式获取任意视点p下户型简化模型的渲染场景：

其中，C_k表示在相机位置P_i与相机位置P_j之间的任意视点P渲染时，片元着色器第k个顶点像素值；γ表示任意视点p到相机位置P_j的欧式距离；

表示在相机位置P_i渲染时，片元着色器第k个顶点像素值；

表示在相机位置P_j渲染时，片元着色器第k个顶点像素值。

7.如权利要求1所述的在线家装的全景漫游方法，其特征在于，采用QEM三维模型简化算法对户型三维模型进行简化。

8.如权利要求5所述的在线家装的全景漫游方法，其特征在于，采用迪杰斯特拉算法在所有相机位置中，计算出从相机位置P_i到相机位置P_j的路径L。

9.如权利要求1所述的在线家装的全景漫游方法，其特征在于，渲染时，对户型简化模型设置一个包围盒。

Images