CN111798562B - 一种虚拟建筑空间搭建与漫游方法 - Google Patents

一种虚拟建筑空间搭建与漫游方法 Download PDF

Info

Publication number
CN111798562B
CN111798562B CN202010552065.2A CN202010552065A CN111798562B CN 111798562 B CN111798562 B CN 111798562B CN 202010552065 A CN202010552065 A CN 202010552065A CN 111798562 B CN111798562 B CN 111798562B
Authority
CN
China
Prior art keywords
unit
space
roaming
point
building
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010552065.2A
Other languages
English (en)
Other versions
CN111798562A (zh
Inventor
孙澄宇
胡伟林
李舒阳
林莹珊
姜涵宸
李梦婷
赵鑫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tongji University
Original Assignee
Tongji University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tongji University filed Critical Tongji University
Priority to CN202010552065.2A priority Critical patent/CN111798562B/zh
Publication of CN111798562A publication Critical patent/CN111798562A/zh
Application granted granted Critical
Publication of CN111798562B publication Critical patent/CN111798562B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/04—Texture mapping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A30/00—Adapting or protecting infrastructure or their operation
    • Y02A30/60—Planning or developing urban green infrastructure

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Graphics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Geometry (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明涉及一种虚拟建筑空间搭建与漫游方法，在搭建阶段，搭建出低细节水平模型，将其按漫游空间的几何特征划分出若干空间体验单元，并逐一为其采集、对准一幅全景图；在漫游阶段，根据漫游者所在的视点位置，按照特定的调度算法，实时为各单元分配一副全景图并被从单元内的采集位置实时逆向投影回单元的三维模型表面来充当其纹理贴图；然后通过对所有单元的三维模型及其纹理贴图进行实时渲染计算，来得到双目立体视野中的动态画面及建筑空间的虚拟场景。

Description

一种虚拟建筑空间搭建与漫游方法
技术领域
本申请涉及虚拟现实领域，具体应用于建筑空间，为一种低细节水平模型与全景图实时结合的虚拟建筑空间搭建与漫游方法。
背景技术
虚拟现实技术因其自身特点，已在各个社会领域得到广泛应用。在建筑学领域中，除了常见的设计表达与效果体验类应用外，往往需要用该技术为那些规模巨大的、或者尚未建成的、或者难以到达的、或者难以进入的、或者难以控制的建筑空间构建一个虚拟副本，供各种相关实验来漫游使用。
如Andreas Frey等人(2006)在游戏平台上二次开发的心理学实验平台。苑思楠,张玉坤等(2012)制作的城市街道网络认知实验。胡映东等(2017)制作用以评估建筑空间效果的实验方法。Meilinger等人(2008)研究了虚拟城市场景中寻路与记忆能力的关联性。Brunye等人(2018)基于虚拟现实开展的寻路行为中的空间决策过程研究。徐磊青，张玮娜等人(2010)针对标识布置与寻路行为的关联基于地铁站环境在虚拟现实场景中开展了行为学研究。杨阳，孙澄等人(2019)结合CAVE系统和眼动仪则开展基于虚拟现实的商业综合体空间寻路实验。也有Kuliga S F.(2015)的实验中发现，对教学办公建筑内的一段固定路径运动，虚拟现实技术可以给使用者带来与真实空间中相似的氛围与情绪体验。Miller MS.等人(1999)实验中认为在虚拟现实与真实环境中对室外路径的空间记忆是可以继承，并具有相似效果的。Perver K.等人(2018)的实验中，利用全景图技术对公园环境与人员安全感的关系进行了研究和比较。Pedro Sánchez Luis等人(2013)利用了室内拍摄全景图对一栋教学楼内部进行了场景采集，并在互联网上进行了展示和发布。
以上在虚拟场景中的实验均获得了在现场实验无法达到的效果，它们使用的虚拟场景搭建与漫游方法无外乎两种：一种是基于三维环境建模技术的虚拟现实(百度百科)它通过建立场景的三维模型并为之赋予纹理贴图，由计算机对漫游者动态视野画面的实时渲染计算，实现连续的虚拟三维漫游(本申请简称“模型方法”)；另一种称为“基于图像绘制技术的虚拟现实”(百度百科)、或称为“虚拟现实摄影(virtual reality photography)”(维基百科)，即通过现场采集或计算机渲染的全景图像，并在图像上设置热区，定义不同全景图像各个热区间的链接关系，实现使用者可以在多个全景影像间的跳转漫游(本申请简称“图像方法”)。
模型方法：优点是漫游体验连续，且可以在三维场景中通过程序控制来插入以三维模型描述的实验对象，在实时渲染计算中与场景的其余部分形成正确的双目立体几何遮挡关系，即便于在实验中根据需要，实时调整场景内容；缺点是场景模型的建立、贴图的采集与对准都极其耗费人力，且受制于漫游时计算机实时渲染的能力限制，在大型建筑场景中漫游时，必须在流畅度与细节水平之间进行权衡，最终制约逼真程度，影响实验效果(Meilinger等，2008；Brunye等，2018；徐磊青，张玮娜等，2010)。
图像方法：优点是无论多大的场景，一次体验的总是一张全景图，在当下的计算机实时渲染能力的条件下可以很轻松的确保流畅。同时，目前精度达到4K甚至8K的单张全景图片已能展示大量的细节，让使用者产生逼真的体验感受；缺点是没有了模型的支撑后，难以在漫游过程中通过程序控制，实时插入新的实验对象(需要在搭建阶段对每张全景图针对新实验对象进行画面插入编辑，费时费力)，同时在漫游时空间体验跳跃、不连续，不适合那些需要连续空间体验的应用(Perver K.等人，2018，Pedro Sánchez Luis等人，2013)。
鉴于上述两种技术的明显利弊，出现了将两者融合的尝试，称为“三维全景实景混杂现实技术”(百度百科)。目前其中一种已应用在街景漫游应用中，它用与“模型方法”相似的搭建技术构建起一些虚拟对象后，在漫游者观察全景图时，也通过计算机实时渲染技术，按透视原理将这些对象以“前景物体”或者“透明物体”的形式与当前作为“背景”的全景图动态融合。这样就可以在当前场景葆有全景图中大量细节的同时，支持一些需要三维模型信息的应用(如当前街景画面中对建筑高度的测量、或新插入路标路牌)。但该技术与“图像方法”的漫游方法相似，是由一连串固定视点位置(朝向自由)的局部场景节点构成漫游网络，所谓的漫游仅在节点间跳转实现。因此，既无法在当前节点中小范围移动观察位置，又在节点间的跳转时要忍受画面的瞬间切换或扭曲变形，即只能提供不连续的空间体验，无法满足诸多建筑空间应用的需求。
发明内容
本发明目的在于克服现有技术不足，针对上述两者优劣互补，却难以兼得的问题，提出了一种新的、能将两者融合、扬长避短的虚拟场景搭建与漫游方法，搭建效率介于两者之间，漫游时则在逼真程度上与“图像方法”相同，在连续三维体验上与“模型方法”相同——有助于为虚拟实验的开展提供了更好的虚拟场景。
技术方案：
本发明技术方案的基本思路是：在搭建阶段，搭建相较“模型方法”中的高细节水平模型搭建成本低得多的“低细节水平模型”，将其按漫游空间的几何特征划分出若干空间体验单元，并逐一为其采集、对准一幅与“图像方法”具有同等逼真效果的“全景图”。在漫游阶段，程序根据漫游者所在的视点位置，按照特定的调度算法，实时为各单元分配一副“全景图”(可以是自身的全景图或其它单元的全景图)，它被从单元内的采集位置实时逆向投影回单元的三维模型表面，来充当其纹理贴图，然后与“模型方法”相似，通过对所有单元的三维模型及其纹理贴图进行实时渲染计算，来得到双目立体视野中的动态画面——从而在兼得了两种传统方法的漫游体验连续性、双目立体遮挡关系、逼真程度等优势，更适合大型建筑空间的虚拟场景应用。
一种低细节水平模型与全景图实时结合的虚拟建筑空间搭建与漫游方法，其特征在于：
在搭建阶段，搭建出低细节水平模型，将其按漫游空间的几何特征划分出若干空间体验单元，并逐一为其采集、对准一幅全景图；
在漫游阶段，根据漫游者所在的视点位置，按照特定的调度算法，实时为各单元分配一副全景图并被从单元内的采集位置实时逆向投影回单元的三维模型表面来充当其纹理贴图；然后通过对所有单元的三维模型及其纹理贴图进行实时渲染计算，来得到双目立体视野中的动态画面及建筑空间的虚拟场景。
一种低细节水平模型与全景图实时结合的虚拟建筑空间搭建与漫游方法，其特征在于，包括四大步骤，具体：
步骤一：在漫游区域内划分空间体验单元轮廓与设定采集投射点；
划分出若干空间体验单元。设每个单元的轮廓为封闭平面曲线S，其内有一个且只有一个用于后续采集与投射全景图的空间位置点V，V的地面投影为点O，前者位于后者正上方人视高度距离h处，见图4右示意。
对于空间体验单元及采集投射点应满足四个条件：
1)采集投射点的地面投影点O对单元地面轮廓S的无遮挡原则。
每个空间体验单元的采集投射点在地面上的投影点O到轮廓S上任意点的连线不与轮廓的其他部分相交，即确保了在该单元中，以V点采集或投射全景图时，单元不会出现三维模型的自身相互遮挡。
2)单元轮廓S的线段产生原则。
每个空间体验单元轮廓S中的线段与建筑空间中附近的主要对象(如墙面、柱面等)应保持重合、平行、垂直关系。
3)单元轮廓S的均匀原则。
每个空间体验单元轮廓S的长与宽应相近，且多个单元之间的面积大小也应相近。
4)所有空间体验单元组合在一起时，完全覆盖、不超漫游区域范围，且各自之间不存在重合。
步骤二：搭建三维低细节水平数字模型；
首先，为整个建筑空间搭建低细节水平三维数字模型，即仅描述那些与漫游者视线遮挡有关的建筑对象(如墙面、柱面、楼板、悬挂或落地标识牌等)。然后，根据步骤一的单元划分，将上述整体模型划分为一系列独立的局部三维模型，以便于其独立承接全景图的逆向纹理贴图投射。
步骤三：采集每个单元的全景图并与其模型对准；
1)采集环节
为步骤二产生的每个独立空间体验单元，在其全景图采集与投射点V处采集全景图。实际采集时,周围建筑空间的各种细节特征均被投射到一个以V’为球心的承影球面上形成带色彩的点阵列(可存为多种形式，如栅格图像或彩色点云)。每个单元的实际采集点V’与步骤一划分时设定的点V之间，会因采集方式的不同，出现完全重合，或一定的误差。
2)对准环节
对于通过计算机渲染获得的全景图，其在步骤一中设定的点V与实际采集点V’的位置与朝向完全吻合，无需对准。
对于通过现场采集获得的全景图，其在步骤一中设定的点V与实际点V’的位置存在操作误差，且实际采集设备的定位与朝向均较难精确记录，所以需要对准；对准过程和要求是：在低细节水平模型的三维空间中，首先选取一组(至少四个)不共面的空间特征点W1至Wi(一般为墙面转角、孔洞折角处等易于识别与定位的空间位置点)，然后将全景图还原为一个以点V’为球心的球面投影，所有图中像素都从球心逆向投射到该球面上，其上对应的那些特征点设为W1’至Wi’，最后微调点V’的位置，以及球面投影的朝向，使得每组Wi、Wi’、V’三点尽可能共线，见图8。
步骤四：实时调度空间体验单元模型上的全景图并实现漫游；
1)为每个空间体验单元模型实时调度一幅全景图充当其纹理贴图：
首先，根据漫游者位置实时区分“近单元”与“远单元”。即以一个可调节的“自投影半径r”参数，就可计算出以当前漫游者所在位置P为圆心的圆形范围内，与哪些单元具有包含或相交关系，他们即为“近单元”，哪些不具有上述关系即为“远单元”；
其次，对于“近单元”调度使用在其各自的实际采集投射点V’处获得的全景图，而对于“远单元”，以及漫游可达范围以外的其他模型部分，均调度使用当前漫游者所在单元的实际采集投射点V’处获得的全景图；
最后，对上述调度结果，即若干对“模型+全景图”，自动进行各单元模型纹理贴图的逆向投射生成，即每对中的全景图从其采集投影点V’，向四周投射全景图中的像素，投射至相应的模型表面，成为其纹理贴图；最终获得一系列带有纹理贴图的单元三维模型。
2)渲染一系列带纹理的单元三维模型。他们作为输入，通过计算机实时渲染计算技术，直接可获得漫游者观看到的两眼动态画面，实现漫游。
进一步的，本发明技术方案还可以增加开始步骤，先进行划定漫游可达范围，以形成符合实际应用的漫游区域。具体的，收集拟建建筑空间的信息，划定允许漫游者踏足的地面范围作为漫游可达区域。
进一步的，步骤一所述划分方式，举例而非限制，本实施例给出了以下四个子步骤进行：
子步骤2-1：将整个建筑空间在地面以上的一般人视点高度分为墙地面与墙顶棚两部分。
子步骤2-2：对于墙地面与墙顶棚两者，根据能够对漫游者观察起到遮挡作用的对象的边界进行初次划分。其中墙地面部分的划分一般参考结构构件、墙地面突出构件、墙面悬挂构件、地面布设装置、高度与转折变化；墙顶棚部分的划分一般参考结构构件、墙面顶棚突出构件、墙面顶棚悬挂构件、高差与转折变化；
对于柱子、立杆、突出的拐角可以归类为“点”状对象，可从“点”状的中心处向邻近的边缘或分割线，作垂线或连接直线段，以此获得新的单元边界；
对于板状标识、短墙面可以归类为“线”状对象，可向两端延长其在地面上的投影线至邻近的其他边缘或分割线，从而产生新的单元边界；
得初次划分出的空间体验单元。
子步骤2-3：将墙顶棚和墙地面分别初次划分出的空间体验单元在平面上叠合，两者的单元边界可能存在包含或相交的情况，取重叠后的最小单元来作为最终的空间体验单元；
得最终划分出的空间体验单元。
子步骤2-4：将每个最终划分出的空间体验单元地面轮廓内的一点(如形心)确定为其采集投射点V在地面上的投影点O；点O既确保其离单元地面轮廓的各条线段距离相近，又便于现场定位。
附图说明
图1本申请方法流程图。
图2是实施例中某划定漫游可达范围例。说明：左.一个建筑空间区域样例；右.以点状图案表达的漫游可达范围。
图3是以图2建筑空间区域样例从漫游可达范围到空间体验单元而举例的处理过程。
图4是实施例采集投影点对单元轮廓的无遮挡原则。说明：左为一个单元在空间中的位置；右为该单元的轮廓线、采集投射点、及其地面投影。
图5是实施例单元轮廓的线段产生原则。
图6是实施例单元轮廓的均匀原则。
图7是实施例划分后的三维低细节水平数字模型。
图8是实施例全景图的采集与对准。
图9是实施例漫游时根据各部分模型与视点的距离调度其全景图。
具体实施方式
本方法包括以搭建阶段的步骤1—步骤4、漫游阶段的步骤5。其中“步骤2”、“步骤5”是该方法实现的关键，也是本发明的创新点。
以下结合实施例和附图对本发明技术方案做进一步介绍。
实施例
如图1所示：
步骤1：划定漫游可达范围，提供给步骤2；
针对建筑空间的特点和功能分区，结合应用需要与人流分布预计，在建筑平面图上划定未来需要的虚拟漫游可达范围(图2)。
确定出应当划入的平面范围作为漫游可达区域，作为实施例，举例而非限定，包括：廊、大厅等大面积公共步行可达区域。一般避开成片设置的座椅区域、大型装置雕塑、商铺柜台等，这类寻路人流常作为寻路目的地而不会经常通过的空间区域。划定比整个建筑空间更小的漫游可达范围，可以避免大量零碎障碍物给虚拟场景的搭建带来的效率问题。
作为实施例，步骤1完成划分漫游可达范围的过程可以省略。
步骤2：划分空间体验单元轮廓与设定采集投射点，提供给步骤3；
在步骤1所确定的漫游可达范围(如图2右侧子图中的点状图案区域、或图3-I所示区域)中进一步划分出若干空间体验单元(如图3-VI中的A、B、C、D、E、F、G、H、I区域)的轮廓，并设定其采集与投射全景图的空间位置的地面投影点(如图3-VI中标出的a、b、c、d、e、f、g、h、i点)。建筑空间中的三维物体在任一位置的全景图中，只能拍摄覆盖到其一部分表面，为此，本发明对于漫游可达范围内对视觉形成遮挡的物体(如柱子、悬挂标识牌等对寻路和建筑空间表现有关的构件)划分出的空间体验单元及采集投射点应满足：
1)采集投射点的地面投影点对单元地面轮廓的无遮挡原则。
每个空间体验单元是漫游可达空间中的一个局部，它在地面上有一个投影轮廓(如图4左侧子图中的点状图案部分，或右侧子图中D1D2D3D4D5围合的区域)。该单元中设定一个采集投射点V，是后续步骤中采集全景图与逆向投射全景图的视点。它由地面上单元轮廓中的一点O升起人视点高度h后获得(如图4右侧子图)。要确保在地面上从该点O到轮廓(如D1D2D3D4D5)上任意点的连线不与轮廓的其他部分相交，即未来从采集投影点V可采集到单元中的所有信息。
2)单元轮廓的线段产生原则。
每个空间体验单元轮廓中的线段与建筑空间中附近的主要对象(如墙面、柱面等)应保持重合(如图5中线段D1D5与落地标识)、平行(如图5中线段D1D2与墙体)、垂直(如图5中线段D2D3与圆柱)关系。
3)单元轮廓的均匀原则。
每个空间体验单元轮廓的长与宽应相近(如图6中长l与宽w)，且多个单元之间的面积大小也应相近(如图3-VI中的A至I单元轮廓面积差异不大)，均有利于采集精度在空间中的均匀分布。
4)所有空间体验单元组合在一起时，完全覆盖、不超出漫游可达范围，且各自之间不存在空间重合(如图3-VI中带有点状图案的漫游可达范围被A至I单元覆盖，而非漫游可达区域则与单元不相交、仅相邻)。
进一步的，所述划分方式，理论上存在无数种可能。举例而非限制，本实施例给出了以下四个子步骤进行(图3)：
子步骤2-1：将整个建筑空间(图3-I)在地面以上的一般人视点高度(如1.7米)分为墙地面(图3-II)与墙顶棚(图3-III)两部分。
子步骤2-2：对于两者根据能够对漫游者观察起到遮挡作用的对象的边界进行初次划分。墙地面部分的划分一般参考结构构件、墙地面突出构件、墙面悬挂构件、地面布设装置、高度与转折变化等(图3-IV中的单元1-6)；墙顶棚部分的划分一般参考结构构件、墙面顶棚突出构件、墙面顶棚悬挂构件、高差与转折变化等(图3-V中的单元7-13)。
对于柱子、立杆、突出的拐角等可以归类为“点”状对象。可从“点”状的中心处向邻近的边缘或分割线，作垂线或连接直线段，以此获得新的单元边界。
对于板状标识、短墙面等可以归类为“线”状对象，可向两端延长其在地面上的投影线至邻近的其他边缘或分割线，从而产生新的单元边界。
子步骤2-3：将墙顶棚和墙地面分别初次划分出的空间体验单元在平面上叠合，两者的单元边界可能存在包含或相交的情况。这里取重叠后的最小单元来作为最终的空间体验单元(图3-VI中的A-I轮廓)。
子步骤2-4：将每个最终划分出的空间体验单元地面轮廓内的一点(如形心)确定为其采集投射点在地面上的投影点(图3-VI中的点a-i)。这些点既可以确保其离单元地面轮廓各条线段距离相近，又便于现场定位。
需要注意的是，每个空间体验单元的面积不宜过大，需要与采集与播放设备的精度相匹配。比如，基于目前的常见4K全景图拍摄设备，建议外接圆半径不超过5米。
在图3各步骤中，说明：
I.建筑场景中的漫游可达范围；
II.该范围内的墙地面部分；
III.该范围内的墙顶棚部分；
IV.对墙地面进行空间体验单元划分，如区域1-6；
V.对墙顶棚进行空间体验单元划分，如区域7-13；
VI.将上述两种空间体验单元划分重叠来获取最终的单元划分，如空间体验单元轮廓A-I、采集投射点在地面上的投影点a-i。
步骤3：搭建三维低细节水平数字模型，提供给步骤4；
根据步骤2单元划分，依靠建筑的矢量资料、或现场测绘、或三维扫描的数据，为整个建筑空间搭建三维数字模型，其中需为每个空间体验单元建立独立的三维数字模型，以便于其独立承接全景图的逆向投射。
所有模型，本发明中不需要具备大量的几何细节，仅需要在对漫游者视线产生遮挡效果的主要空间对象(如墙、柱、顶棚、大型雕塑等)的轮廓尺寸上保持准确即可。更多的细节，如墙面上的门、浅凹凸等都不需要在模型中刻画。由此本发明可以大大减少人工建模的工作量、降低模型的数量级，在随后准确承接全景图的实时逆向投射的同时，确保目前一般计算机的实时渲染计算能力能够支撑流畅的漫游。
实际工作中，可以先对整个建筑进行整体建模，再根据步骤2空间体验单元的划分，分割出非漫游可达范围的模型，以及所有空间体验单元的独立模型(图7)。
本步骤皆可由公知的通用技术实现。
步骤4：采集每个单元内的全景图(此部分为传统“图像方法”中的技术)并与其模型对准，提供给步骤5。
1)采集环节
根据步骤3中产生的每个空间体验单元划分及其全景图采集投射点的设定进行全景图采集。实际采集时，理论理想设定位置V因不同的采集手段不可避免产生误差，实际变为V’(如图8)。此时,周围建筑空间的各种细节特征(如图8中环境中L型墙体的六个特征点W1-W6)均被投射到一个以V’为球心的承影球面(如图8中的球面)上形成带色彩的点阵列(如图8中在球面上的点W1’-W6’)。这一阵列被储存为该单元的全景图文件。
对于尚未建成的建筑环境凭借其三维模型进行搭建时，可利用计算机渲染技术，在上述采集点获得全景图，此时V＝V’，V与V’完全吻合，无需再进行对准。
对于已建成的建筑环境凭借现场信息进行搭建时，可利用多种采集设备在现场作业。作为举例而非限定，具体实现时，可利用全景相机或带有色彩采集功能的三维扫描仪获取。由于现场操作的定位误差，此时V与V’不吻合，需要接着进行对准。
2)对准环节
对于上述通过现场采集获得的全景图，其设定采集点V与实际采集点V’的位置存在操作误差，且实际采集设备的定位与朝向均较难精确记录，需要在此进行对准。对准过程与“模型方法”中将现场拍摄的照片作为贴图对准到各个模型局部的目标与方法均一致。不同的是用一张全景图一次性与一个空间体验单元的三维模型进行整体对准，使得当在全景图视点V’观看周围空间时，图中的一些主要建筑对象的特征点像素(如图8的球面上W1’-W6’)能够与步骤3低细节水平模型的对应几何点(如图8的墙角W1-W6)相吻合，即满足当从视点向周围逆向投射全景图作为该空间体验单元模型的纹理贴图时，两者相吻合。
对于上述通过计算机渲染获得的全景图，其设定采集点V就是实际采集点V’，无需对准。
步骤5：实时调度空间体验单元模型上的全景图并实现漫游
任何搭建方式总与随后的虚拟漫游的实现方式相匹配。就如现有技术中“模型方法”用“实时渲染视野中带纹理的三维模型”实现漫游，以及现有技术的“图像方法”用“移动全景图的可见区域+选择跳转热点”实现漫游，此已属于本领域公知。
创新地，本发明方法则使用“为每个空间体验单元模型实时调度一幅全景图充当其纹理贴图+渲染一系列带纹理的模型”来实现漫游。
过程如下：
1)为每个空间体验单元模型实时调度一幅全景图充当其纹理贴图。就是一个根据当前漫游者在虚拟环境中所在位置，动态地为每一个空间体验单元模型赋予一张恰当的全景图，以充当其纹理贴图的过程。它确保任一时刻需要作为纹理贴图使用的全景图数量都在一个可调节的范围内，即在给定的计算能力条件下，提供最为流畅的漫游体验。其在任意时刻循环往复采取以下步骤：
首先，根据漫游者位置实时区分“近单元”与“远单元”。即以一个可调节的“自投影半径r”参数，就可计算出以当前漫游者所在位置P为圆心的圆形范围内，与哪些单元具有包含或相交关系(如图9中的BCDEFGH七个单元)，他们即为“近单元”，哪些不具有上述关系(如图9中的AFI三个单元)即为“远单元”。
其次，对于“近单元”调度使用在其各自的实际采集投射点处所获得的全景图(如图9中单元BCDEFGH就需要使用他们各自共计7张全景图)，而对于“远单元”，以及漫游可达范围外的其他模型部分，均调度使用当前漫游者所在单元的实际采集投射点处所获得的全景图(如图9中单元AFI以及非漫游可达范围模型就使用漫游者所在单元D的实际采集投射点处全景图)。
最后，对上述调度结果，即若干对“模型+全景图”，自动进行各单元模型纹理贴图的逆向投射生成，即每对中的全景图(如图8中的球面)从其采集投影点V’，向四周投射全景图中的像素，投射至相应的模型表面(如图8中将图中像素W1’-W6’投射到模型的W1-W6位置，其余像素与位置亦然)，成为其纹理贴图。最终获得一系列带有纹理贴图的单元三维模型。
2)渲染一系列带纹理的单元三维模型(这是一个与“模型方法”中漫游部分相同的过程)。它以上述过程动态提供的“一系列带纹理的单元三维模型”为输入，通过计算机实时渲染计算技术，直接获得漫游者观看到的两眼画面。过程和采用的方法手段由于都是成熟技术，不再赘述。
在步骤3、步骤4中除了使用的三维数字模型、全景相机拍摄全景图、两者对准的方法，也可以使用带有可见光捕捉的三维扫描仪来替代完成。但在这一流程中，本方法提出的第2、5步骤依然不变，即关键创新点不变。
作为实施例，步骤5中使用了一个“自投影半径r”参数来将各个单元分为两种情况(近单元与远单元)分别对待，而如果使用多个此类参数，将所有单元划分出更多更细情况而予以分别对待，以优化和适应不同应用的漫游效果，视作本发明技术方案的延申和扩展应用。
本发明的关键创新点小结：
1、步骤2：划分空间体验单元轮廓与设定采集投射点
是一种对任意建筑场景提出的基于建筑三维对象遮挡特征的空间分划方法。运用该方法可以为各种虚拟建筑场景搭建工作，提供一种既保存空间特征与遮挡关系，又分解连续大型空间以降低单次处理对象复杂度的方法。
2、步骤5：实时调度空间体验单元模型上的全景图并实现漫游
是一种根据可调节的观察距离，而实时进行“模型+全景图”配对调度的方法。它充分利用了近大远小的透视原理，对大型连续空间中的近景与远景分别对待，从而在一定的硬件条件下，达到最流畅的逼真效果。
它定义了“自投影半径r”参数，来根据给定的计算能力，可调节任意时刻全景图的加载数量，从而在漫游流畅程度与可视信息完善度之间取得平衡:
当“自投影半径r”被设为超出整个模型的范围时，即所有单元均变成“近单元”，均使用各自的采集投影点处获得的全景图进行回投，计算需求最高；
当“自投影半径r”设为一个极小值时，即所有单元均变成“远单元”，使用当前所在单元采集投影点处获得的那一张全景图进行回投，计算需求最低。
通过调节“自投影半径r”的值，就可以很方便的找到一个当前计算能力下的最大半径。在该半径r内，所有三维物体的各个面的自动投影贴图都保持正确；超出这一半径r的三维物体，可能在三维物体的背后存在一些局部的贴图空白(当前所在单元采集投影点的全景图因三维物体的遮挡不可能采集到)。但是，由于近大远小的透视原理，且当前观察位置与所在单元采集投影点距离有限，所以能够观察到或留意到远处被三维物体遮挡的贴图空白的概率将会很低，即能够满足漫游的实际需要。
本发明实施效果小结：
本发明提出的方法兼有模型方法与图像方法的优点，且克服了他们各自的缺点：
1、在逼真程度上优于模型方法，而与图像方法相同——都采用了全景图保留细节；
2、在应对超大场景的能力上优于模型方法，而与图像方法相近——仅需在任一时刻加载可观察范围内有限数量个低细节水平模型、可控数量个全景图，做到任意时刻的实时计算荷载可控，且不随场景规模显著改变；
3、在连续三维体验上优于图像方法，而与模型方法相同——能够提供连续的三维立体遮挡与漫游体验；
4、搭建效率介于两者之间，更接近于图像方法——由于需要建立低细节水平数字模型与进行全景图对准，但无需手动为全景图添加“热区”，所以其效率与图像方法更为接近，而相比模型方法的高细节水平模型搭建、局部逐个贴图要快很多，特别在超大型虚拟场景的应用中更为明显。
本发明实施参考文献：
[1]Frey A,Hartig J,Ketzel A,et al.The use of virtual environmentsbased on a modification of the computer game Quake III
Figure BDA0002542515180000131
in psychologicalexperimenting[J].Computers in Human Behavior,2007,23(4):2026-2039.
[2]苑思楠,张玉坤."基于虚拟现实技术的城市街道网络空间认知实验."天津大学学报(社会科学版)14.3(2012):228-234.
[3]胡映东,沈百琦."VR虚拟技术在建筑设计研究中的应用初探——以交通枢纽过渡空间研究为例."建筑科学12(2017):165-171.
[4]Meilinger T,Knauff M,Bülthoff H H.Working memory in wayfinding—Adual task experiment in a virtual city[J].Cognitive Science,2008,32(4):755-770.
[5]BrunyéT T,Gardony A L,Holmes A,et al.Spatial decision dynamicsduring wayfinding:Intersections prompt the decision-making process[J].Cognitive research:principles and implications,2018,3(1):13.
[6]徐磊青,张玮娜,汤众.地铁站中标识布置特征对寻路效率影响的虚拟研究[J].建筑学报,2010,1.
[7]杨阳,孙澄,刘莹.虚拟现实结合眼动追踪的技术方法研究——以商业综合体寻路实验为例[J].共享·协同——2019全国建筑院系建筑数字技术教学与研究学术研讨会论文集,2019.
[8]Kuliga S F,Thrash T,Dalton R C,et al.Virtual reality as anempirical research tool—Exploring user experience in a real building and acorresponding virtual model[J].Computers,environment and urban systems,2015,54:363-375.
[9]Miller M S,Clawson D M,Sebrechts M M.Long-term retention ofspatial knowledge acquired in virtual reality[C]//Proceedings of the HumanFactors and Ergonomics Society Annual Meeting.Sage CA:Los Angeles,CA:SAGEPublications,1999,43(22):1243-1246.
[10]Baran P K,Tabrizian P,Zhai Y,et al.An exploratory study ofperceived safety in a neighborhood park using immersive virtual environments[J].Urban forestry&urban greening,2018,35:72-81.
[11]Luis P S,González W I G.Three-Dimensional InteractiveVirtualization of University Buildings and Spaces[J].Procedia ComputerScience,2013,25:411-419.
《基于Unity3D的地铁三维虚拟漫游设计》
《基于VRML的虚拟楼房漫游系统的设计与实现》
《基于虚拟现实技术的图书馆全景漫游场景的设计与实现》(ISSN1009-3044Computer Knowledge and Technology电脑知识与技术，Vol.13,No.32,Nov.2017)
《基于全景技术的实验与实训中心漫游系统设计与实现》(第30卷第4期苏州市职业大学学报Vol.30，No.4 2019年12月)
2017年第4期青岛远洋船员职业学院学报VOL.38NO.4Qingdao Yuan Yang ChuanYuan Zhi Ye Xue Yuan Xue Bao
百度百科.词条“三维全景实景混杂现实技术”.https://baike.baidu.com
维基百科.词条“virtual reality photography”.https://en.wikipedia.org

Claims (4)

1.一种虚拟建筑空间搭建与漫游方法，其特征在于：
在搭建阶段，搭建出低细节水平模型，将其按漫游空间的几何特征划分出若干空间体验单元，并逐一为其采集、对准一幅全景图；
在漫游阶段，根据漫游者所在的视点位置，按照特定的调度算法，实时为各单元分配一副全景图并被从单元内的采集位置实时逆向投影回单元的三维模型表面来充当其纹理贴图；然后通过对所有单元的三维模型及其纹理贴图进行实时渲染计算，来得到双目立体视野中的动态画面及建筑空间的虚拟场景；
包括四大步骤，具体：
步骤一：在漫游区域内划分空间体验单元轮廓与设定采集投射点；
划分出若干空间体验单元，设每个单元的轮廓为封闭平面曲线S，其内有一个且只有一个用于后续采集与投射全景图的空间位置点V，V的地面投影为点O，前者位于后者正上方人视高度距离h处；
步骤二：搭建三维低细节水平数字模型；
首先，为整个建筑空间搭建低细节水平三维数字模型，描述与漫游者视线遮挡有关的建筑对象，然后，根据步骤一的单元划分，将上述整体模型划分为一系列独立的局部三维模型，以便于其独立承接全景图的逆向纹理贴图投射；
步骤三：采集每个单元的全景图并与其模型对准；
1)采集环节
为步骤二产生的每个独立空间体验单元，在其全景图采集与投射点V处采集全景图；实际采集时,周围建筑空间的各种细节特征均被投射到一个以V’为球心的承影球面上形成带色彩的点阵列，每个单元的实际采集点V’与步骤一划分时设定的点V之间，会因采集方式的不同，出现完全重合，或误差；
2)对准环节
对于通过计算机渲染获得的全景图，其在步骤一中设定的点V与实际采集点V’的位置与朝向完全吻合，无需对准；
对于通过现场采集获得的全景图，其在步骤一中设定的点V与实际点V’的位置存在操作误差，需要对准；
步骤四：实时调度空间体验单元模型上的全景图并实现漫游；
1)为每个空间体验单元模型实时调度一幅全景图充当起其纹理贴图：
首先，根据漫游者位置实时区分“近单元”与“远单元”，即以一个可调节的“自投影半径r”参数，计算出以当前漫游者所在位置P为圆心的圆形范围内，与哪些单元具有包含或相交关系即为“近单元”，哪些不具有上述关系即为“远单元”；
其次，对于“近单元”调度使用在其各自的实际采集投射点V’处获得的全景图，而对于“远单元”，以及漫游可达范围以外的其他模型部分，均调度使用当前漫游者所在单元的实际采集投射点V’处获得的全景图；
最后，对上述调度结果，即若干对“模型+全景图”，自动进行各单元模型纹理贴图的逆向投射生成，即每对中的全景图从其采集投影点V’，向四周投射全景图中的像素，投射至相应的模型表面，成为其纹理贴图；最终获得一系列带有纹理贴图的单元三维模型；
2)渲染一系列带纹理的单元三维模型；
所述带纹理的单元三维模型作为输入，通过计算机实时渲染计算技术，直接获得漫游者观看到的两眼动态画面，实现漫游。
2.根据权利要求1所述的虚拟建筑空间搭建与漫游方法，其特征在于：对于空间体验单元及采集投射点应满足四个条件：
1)采集投射点的地面投影点O对单元地面轮廓S的无遮挡原则；
每个空间体验单元的采集投射点在地面上的投影点O到轮廓S上任意点的连线不与轮廓的其他部分相交，即确保了在该单元中，以V点采集或投射全景图时，单元不会出现三维模型的自身相互遮挡；
2)单元轮廓S的线段产生原则；
每个空间体验单元轮廓S中的线段与建筑空间中附近的主要对象应保持重合、平行、垂直关系；
3)单元轮廓S的均匀原则；
每个空间体验单元轮廓S的长与宽应相近，且多个单元之间的面积大小也应相近；
4)所有空间体验单元组合在一起时，完全覆盖、不超漫游区域范围，且各自之间不存在重合。
3.根据权利要求1所述的虚拟建筑空间搭建与漫游方法，其特征在于：还包括开始步骤，先进行划定漫游可达范围，以形成符合实际应用的漫游区域，具体指收集拟建建筑空间的信息，划定允许漫游者踏足的地面范围作为漫游可达区域。
4.根据权利要求1所述的虚拟建筑空间搭建与漫游方法，其特征在于：步骤一所述划分方式，以下四个子步骤进行：
子步骤2-1：将整个建筑空间在地面以上的一般人视点高度分为墙地面与墙顶棚两部分；
子步骤2-2：对于墙地面与墙顶棚两者，根据能够对漫游者观察起到遮挡作用的对象的边界进行初次划分；其中墙地面部分的划分一般参考结构构件、墙地面突出构件、墙面悬挂构件、地面布设装置、高度与转折变化；墙顶棚部分的划分一般参考结构构件、墙面顶棚突出构件、墙面顶棚悬挂构件、高差与转折变化；
对于柱子、立杆、突出的拐角归类为“点”状对象，从“点”状的中心处向邻近的边缘或分割线，作垂线或连接直线段，以此获得新的单元边界；
对于板状标识、短墙面可以归类为“线”状对象，向两端延长其在地面上的投影线至邻近的其他边缘或分割线，从而产生新的单元边界；
得初次划分出的空间体验单元；
子步骤2-3：将墙顶棚和墙地面分别初次划分出的空间体验单元在平面上叠合，两者的单元边界可能存在包含或相交的情况，取重叠后的最小单元来作为最终的空间体验单元；
得最终划分出的空间体验单元；
子步骤2-4：将每个最终划分出的空间体验单元地面轮廓内的一点确定为其采集投射点V在地面上的投影点O；点O既确保其离单元地面轮廓的各条线段距离相近，又便于现场定位。
CN202010552065.2A 2020-06-17 2020-06-17 一种虚拟建筑空间搭建与漫游方法 Active CN111798562B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010552065.2A CN111798562B (zh) 2020-06-17 2020-06-17 一种虚拟建筑空间搭建与漫游方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010552065.2A CN111798562B (zh) 2020-06-17 2020-06-17 一种虚拟建筑空间搭建与漫游方法

Publications (2)

Publication Number Publication Date
CN111798562A CN111798562A (zh) 2020-10-20
CN111798562B true CN111798562B (zh) 2022-07-08

Family

ID=72803108

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010552065.2A Active CN111798562B (zh) 2020-06-17 2020-06-17 一种虚拟建筑空间搭建与漫游方法

Country Status (1)

Country Link
CN (1) CN111798562B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112541968B (zh) * 2020-12-17 2022-11-22 中国航空工业集团公司成都飞机设计研究所 一种基于网格的三维效果增强可视化方法
CN112802206B (zh) * 2021-02-07 2022-10-14 北京字节跳动网络技术有限公司 漫游视图的生成方法、装置、设备和存储介质
CN113822936A (zh) * 2021-09-29 2021-12-21 北京市商汤科技开发有限公司 数据处理方法、装置、计算机设备及存储介质
CN115830199B (zh) * 2022-07-29 2023-08-29 深圳职业技术学院 基于xr技术的泛在实训校园构建方法、系统及存储介质
CN116310152A (zh) * 2023-05-24 2023-06-23 南京维赛客网络科技有限公司 基于unity平台的步进式虚拟场景搭建、漫游方法及虚拟场景

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106294918A (zh) * 2015-06-10 2017-01-04 中国科学院宁波材料技术与工程研究所 一种虚拟透明化办公系统的设计方法
CN106548516A (zh) * 2015-09-23 2017-03-29 腾讯科技（深圳）有限公司 三维漫游方法和装置
CN110728755A (zh) * 2018-07-16 2020-01-24 阿里巴巴集团控股有限公司 场景间漫游、模型拓扑创建、场景切换方法及系统

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2011331972B2 (en) * 2010-11-24 2016-07-07 Google Llc Rendering and navigating photographic panoramas with depth information in a geographic information system
CN103456043B (zh) * 2012-05-29 2016-05-11 深圳市腾讯计算机系统有限公司 一种基于全景图的视点间漫游方法和装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106294918A (zh) * 2015-06-10 2017-01-04 中国科学院宁波材料技术与工程研究所 一种虚拟透明化办公系统的设计方法
CN106548516A (zh) * 2015-09-23 2017-03-29 腾讯科技（深圳）有限公司 三维漫游方法和装置
CN110728755A (zh) * 2018-07-16 2020-01-24 阿里巴巴集团控股有限公司 场景间漫游、模型拓扑创建、场景切换方法及系统

Also Published As

Publication number Publication date
CN111798562A (zh) 2020-10-20

Similar Documents

Publication Publication Date Title
CN111798562B (zh) 一种虚拟建筑空间搭建与漫游方法
CN109934914B (zh) 一种嵌入式城市设计场景仿真方法及系统
CN106485785B (zh) 一种基于室内三维建模和定位的场景生成方法及系统
CN107025685A (zh) 拓扑感知下的机载建筑屋顶点云建模方法
CN1322474C (zh) 将多个输入图像混合为输出图像的方法
WO2020192355A1 (zh) 一种城市观山可视域的测量方法及系统
CN108550190A (zh) 增强现实数据处理方法、装置、计算机设备和存储介质
CN107993282A (zh) 一种动态的可量测实景地图制作方法
CN104318605B (zh) 矢量实线与三维地形的并行贴合渲染方法
JP2011523110A (ja) ３次元サイトモデルと２次元画像とを相互に関連付けて同期させるシステム及び方法
CN107705364A (zh) 一种基于三维地理信息的沉浸式虚拟展示系统
Pylvanainen et al. Automatic alignment and multi-view segmentation of street view data using 3d shape priors
WO2022166681A1 (zh) 一种虚拟场景生成方法、装置、设备和存储介质
CN104463970B (zh) 一种基于遥感影像确定城市三维重心的方法及其应用
CN101872492A (zh) 三维仿真城市的多角度地图实现方法
Xie et al. Automatic simplification and visualization of 3D urban building models
KR101591427B1 (ko) 3차원 지형 영상 가시화에서의 적응형 렌더링 방법
CN103606188A (zh) 基于影像点云的地理信息按需采集方法
CN115937461B (zh) 多源融合模型构建及纹理生成方法、装置、介质及设备
CN110910501A (zh) 基于全景地图的网络分析模型构建及路径分析方法
CN108959434A (zh) 一种多地理信息平台下的场景融合可视化方法
JP6682984B2 (ja) 自由視点映像表示装置
CN113706715A (zh) 一种随机可控城市生成方法
JP6212398B2 (ja) 景観定量化装置
CN110751616B (zh) 室内外全景看房视频融合方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant