CN111667591B - 基于全景摄影的虚拟现实融合方法 - Google Patents

基于全景摄影的虚拟现实融合方法 Download PDF

Info

Publication number
CN111667591B
CN111667591B CN202010543794.1A CN202010543794A CN111667591B CN 111667591 B CN111667591 B CN 111667591B CN 202010543794 A CN202010543794 A CN 202010543794A CN 111667591 B CN111667591 B CN 111667591B
Authority
CN
China
Prior art keywords
panoramic image
current scene
panoramic
virtual reality
design result
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010543794.1A
Other languages
English (en)
Other versions
CN111667591A (zh
Inventor
吴昊
黄勇
褚婷
黄刚
戴丹骅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
CHANGZHOU CITY PLANNING AND DESIGN INSTITUTE
Original Assignee
CHANGZHOU CITY PLANNING AND DESIGN INSTITUTE
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by CHANGZHOU CITY PLANNING AND DESIGN INSTITUTE filed Critical CHANGZHOU CITY PLANNING AND DESIGN INSTITUTE
Priority to CN202010543794.1A priority Critical patent/CN111667591B/zh
Publication of CN111667591A publication Critical patent/CN111667591A/zh
Application granted granted Critical
Publication of CN111667591B publication Critical patent/CN111667591B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/006Mixed reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/20Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Architecture (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明公开了一种基于全景摄影的虚拟现实融合方法;其中,在通过设计成果模型和现状场景全景影像形成虚拟现实融合全景影像的过程中,保持设计成果模型所在的虚拟三维场景中的视点位置和现状场景全景影像的视点位置一致,并最终以该视点位置输出虚拟现实融合全景影像。通过该方法提高了设计成果和现场全景影像的融合精度。

Description

基于全景摄影的虚拟现实融合方法
技术领域
本发明涉及一种基于全景摄影的虚拟现实融合方法。
背景技术
目前,现有规划设计项目中,设计成果可视化表达的常规技术体系包括:AutoCAD二维平立面方案设计——3Dmaxs三维建模渲染——Photoshop图像后期修饰,成果形式是中心投影形式的静帧透视效果图。在此基础上,一些新颖的渲染工具软件在最终成果输出形式上新增了虚拟漫游和全景影像输出功能,但要运用这些功能需要大规模的详细三维建模,这一方面依赖基础档案资料的完备,另一方面针对基地周边本底环境的再现需要付出大量额外的手工建模劳作。
近年来依托航空(无人机)摄影测量为主的数字孪生技术,通过大规模三维重建的自动化部分解决了效率问题,但仍然存在成果文件兼容性、易用性方面的障碍,且对硬件设备的性能有较高要求,导致应用普及性不高。
全景摄影技术在民用导航、地产销售、规划设计现场调研、室内设计领域正在得到迅速的普及应用。其本质是一种基于球形投影原理的、虚拟的空间影像全记录方式,对于现状空间的再现效果非常好,且不需要常规的三维重建效率非常高;但也正由于缺少真正的三维建模过程,球形全景是非中心透视不符合常规视觉经验,没法直接通过常规图像软件处理,与设计成果的融合成为最大障碍。目前有限的全景影像融合技术,一般是将球形投影的全景影像通过投影转换,转变为立方体片面,再逐一修整单片图像,最后转换回球形投影全景图。这种方式的局限性在于:逐一处理各片面时的色调、透视变形同一性难以保证;且为了实现一个单点虚拟现实就可能需要同时处理6幅图像,而一个项目往往需要3个甚至更多点位的融合全景影像连续呈现,才能取得良好的虚拟漫游效果,效率就成为最大制约因素。
发明内容
本发明所要解决的技术问题是克服现有技术的缺陷,提供一种基于全景摄影的虚拟现实融合方法,通过该方法提高了设计成果和现场全景影像的融合精度。
解决本发明的技术问题的技术方案是:一种基于全景摄影的虚拟现实融合方法;其中,在通过设计成果模型和现状场景全景影像形成虚拟现实融合全景影像的过程中,保持设计成果模型所在的虚拟三维场景中的视点位置和现状场景全景影像的视点位置一致,并最终以该视点位置输出虚拟现实融合全景影像。
进一步,方法的步骤具体为:
S10:获取现状场景全景影像,得到现状场景全景影像的视点位置,在设计成果模型所在的虚拟三维场景中标记现状场景全景影像的视点位置;
S20:将现状场景全景影像作为环境贴图导入渲染工具中,与设计成果模型位置拟合后进行渲染,以步骤S10标记的视点位置输出虚拟现实融合全景影像。
进一步,提供了一种保证现状场景的取景视点与设计成果的视点之间的相对位置关系一致,以能够实现两者无缝融合的方式,在步骤S10中,在获取现状场景全景影像时,通过定位设备获取采集设备的光心位置对应的经纬坐标;
将所述经纬坐标转换为平面投影坐标;
依据所述平面投影坐标在标准地形图上标记相应点位,所述点位即为现状场景全景影像的视点位置;
将标记了现状场景全景影像的视点位置的标准地形图导入载有设计成果模型的三维建模软件中,并将设计成果模型准确移动至标准地形图上对应位置,即完成在设计成果模型所在的虚拟三维场景中标记现状场景全景影像的视点位置。
进一步,提供了一种获得标准地形图的方式,通过航拍器对现状场景进行应急航空摄影测量以获得基地正射影像图;
通过带有空间位置信息的基地正射影像图制备得到所述标准地形图。
进一步,提供了另外一种保证现状场景的取景视点与设计成果的视点之间的相对位置关系一致,以能够实现两者无缝融合的方式,在步骤S10中,在三维建模软件中对所述设计成果模型和所述现状场景全景影像进行同名点标记,并通过同名点交会还原得到现状场景全景影像的视点位置,即完成在设计成果模型所在的虚拟三维场景中标记现状场景全景影像的视点位置。
进一步,为了使得融合后的全景影像能够与现状采集全景影像光场一致,在步骤S20中,将所述现状场景全景影像作为环境贴图;
对设计成果模型和现状场景全景影像进行位置拟合;
获取所述现状场景全景影像的光场分布;
以所述现状场景全景影像的光场分布协调叠合后的全景影像,再以步骤S10标记的视点位置输出虚拟现实融合全景影像。
进一步,为了增强所述现状场景全景影像作为环境贴图反应光场分布时的效果,在步骤S10中,在获取现状场景全景影像时,采用包围曝光逐一获取影像;
在所述影像拼接处理时采用色调映射或曝光融合或混合图层方式,得到高动态范围(HDR)的现状场景全景影像。
进一步,还包括步骤S30:以所述现状场景全景影像为参照调整虚拟现实融合全景影像的前后景遮挡关系。
进一步,还包括步骤:将虚拟现实融合全景影像进行可视化演示。
进一步,将成序列虚拟现实融合全景影像进行交互编辑后实现交互演示。
采用了上述技术方案后,本发明具有以下的有益效果:
1、本发明通过将设计成果输出成单个或一系列融入虚拟现场环境的全景影像图,达成了更好的实效性、逼真性、互动性。有利于城市更新类规划设计项目的建设主体更直观、充分地理解设计内容。
2、相对于依赖完整三维重建(不论是纯手工三维建模,还是基于序列影像的自动三维重建)来实现虚拟现实的传统方式,本发明只需要针对项目中涉及改造的局部物体进行精细的建模,周边环境的再现只需靠现场采集的全景影像,节省大量人力物力;
3、相对于通过投影转换来实现球形全景影像与设计成果融合的传统方式,本发明在融合精度(重合度、边缘无缝、光场一致性)方面大幅提升,且充分发挥现有成熟技术优势(专用实时渲染引擎、虚拟现实集成系统与现有规划设计工作流程无缝衔接),大幅减少人力成本。
附图说明
图1为本发明的实施例二中的实景空间示意图;
图2为本发明的实施例二中的模型空间示意图。
具体实施方式
本发明提供了一种基于全景摄影的虚拟现实融合方法,本领域技术人员可以借鉴本文内容,适当改进工艺参数实现。特别需要指出的是,所有类似的替换和改动对本领域技术人员来说是显而易见的,它们都属于本发明保护的范围。本发明的方法及应用已经通过较佳实施例进行了描述,相关人员明显能在不脱离本发明内容、精神和范围内对本文的方法和应用进行改动或适当变更与组合,来实现和应用本发明技术。
为了使本发明的内容更容易被清楚地理解,下面根据具体实施例,对本发明作进一步详细的说明。
实施例一
本实施例介绍了一种基于全景摄影的虚拟现实融合方法,方法的步骤中包括:
S10:获取现状场景全景影像,得到现状场景全景影像的视点位置,在设计成果模型所在的虚拟三维场景中标记现状场景全景影像的视点位置;
S20:将现状场景全景影像作为环境贴图导入渲染工具中,与设计成果模型位置拟合后进行渲染,以步骤S10标记的视点位置输出虚拟现实融合全景影像。
在本实施例中,标记视点位置可以通过添加虚拟相机的方式实现。
具体地,为了保证现状场景的取景视点与设计成果的视点之间的相对位置关系一致,以能够实现两者无缝融合的方式,在步骤S10中,在获取现状场景全景影像时,通过定位设备获取采集设备的光心位置对应的经纬坐标;将所述经纬坐标转换为平面投影坐标;依据所述平面投影坐标在标准地形图上标记相应点位,所述点位即为现状场景全景影像的视点位置;将标记了现状场景全景影像的视点位置的标准地形图导入载有设计成果模型的三维建模软件中,并将设计成果模型准确移动至标准地形图上对应位置,即完成在设计成果模型所在的虚拟三维场景中标记现状场景全景影像的视点位置。
在本实施例中,获取视点经纬坐标的方式包括但不限于以下两种:
第一,针对近地面小场景采集的全景影像,场景越小融合精度要求越高,用cm级精度的RTK设备(采用载波相位差分技术的定位设备)进行定位数据采集;
第二,针对空中采集的全景影像(视点高度5米以上),融合时容差较大,普通精度的定位数据就能满足要求,一般航拍器采集的图像EXIF信息中自带的定位数据即可。
以上两种方式中,视点经纬坐标均来源于定位数据。
具体地,标准地形图具体项目时一般会自带,如果具体项目不具备标准地形图时,可通过以下方式临时获取标准地形图,具体为:
通过航拍器对现状场景进行应急航空摄影测量以获得基地正射影像图;
将带有空间位置信息的基地正射影像图通过“InsertRasterToCAD”插件导入CAD即可完成应急标准地形图的制备。
具体地,,为了使得融合后的全景影像能够与现状采集全景影像的光场一致,在步骤S20中,将所述现状场景全景影像作为环境贴图;
对设计成果模型和现状场景全景影像进行位置拟合;
获取所述现状场景全景影像的光场分布;
以所述现状场景全景影像的光场分布协调叠合后的全景影像,再以步骤S10标记的视点位置输出虚拟现实融合全景影像。
具体地,渲染工具可以采用ENSCAPE实时渲染器,具体操作如下:
在“视觉预设(Visual Settings)”对话框中选择“环境(Atmosphere)”选项卡,在“天际线(Skyline)”栏中,预置(Preset)选择“Skybox”,点击下方出现的文件夹图标,打开现状采集制作的现状场景全景影像,即可将其作为环境贴图导入场景,调节滑杆设置水平偏转角度,直至设计成果与背景图中相应物体轮廓重合,即完成位置拟合,勾选下方“最亮点作为太阳方向”即可准确再现全景影像采集时的光场分布,协调最终输出成果中的明暗、光影、色调关系,最后以全景影像输出渲染成果。
在本实施例中,现状场景全景影像采集时日照过于强烈导致场景中明暗对比过大,而最终输出的虚拟现实融合全景影像需要表现均匀光照条件下的情况,这就需要增强所述现状场景全景影像作为环境贴图反应光场分布时的效果,在步骤S10中,在获取现状场景全景影像时,采用包围曝光逐一获取影像;该步骤可以通过数码相机(如NIKON D850)的点测光和自动包围曝光实现。
在所述影像拼接处理时采用色调映射方式,得到高动态范围(HDR)的现状场景全景影像;该步骤可以通过色调映射软件(如Photomatix)实现。
具体地,,还包括步骤S30:以所述现状场景全景影像为参照调整现实融合全景影像的前后景遮挡关系;该步骤可以通过影像编辑软件(如Photoshop)实现。
具体地,还包括步骤S40:将虚拟现实融合全景影像进行可视化演示。
可视化演示包括如下几种:
1、单点虚拟现实融合全景影像演示,通过PTGui Viewer软件实现;
2、成序列虚拟现实融合全景影像的交互演示,通过IE浏览器实现;
更具体地,成序列虚拟现实融合全景影像需要进行交互编辑后才可实现交互演示;交互编辑可以采用Pano2VR软件实现。
实施例二
本实施例的方法与实施例一基本相同,不同的是:本实施例在步骤S10中,不需要借助定位设备现场测定的方式得到现状场景全景影像的视点位置,而是在三维建模软件中对所述设计成果模型和所述现状场景全景影像进行同名点标记,通过同名点交会还原得到现状场景全景影像的视点位置,标记现状场景全景影像的视点位置。
具体地,如图1、2所示,将现状场景全景影像作为背景置入三维建模软件,将现状实体上的点A、B、C在球形现状场景全景影像M上的成像点a、b、c,与设计成果模型中对应的同名点A’B’C’建立连线,三线交会于点P’即为现状采集时镜头位置P所处位置,即为现状场景全景影像的视点位置;此时,作为背景置入的现状场景全景影像已可成为P’位置虚拟相机的环境贴图使用。
考虑到现状场景全景影像拼接时可进行严格的水平与垂直矫正,仅需标注2个同名点即可完成交会。现状采集时相机光心水准面可通过手持激光测距仪测得,则所需标注的同名点可减少到1个。
以上所述的具体实施例,对本发明的目的、技术方案和有益效果进行了进一步详细说明,所应理解的是,以上所述仅为本发明的具体实施例而已,并不用于限制本发明,凡在本发明的精神和原则之内,所做的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

Claims (4)

1.一种基于全景摄影的虚拟现实融合方法,其特征在于,
在通过设计成果模型和现状场景全景影像形成虚拟现实融合全景影像的过程中,保持设计成果模型所在的虚拟三维场景中的视点位置和现状场景全景影像的视点位置一致,并最终以该视点位置输出虚拟现实融合全景影像;
方法的步骤具体为:
S10:获取现状场景全景影像,得到现状场景全景影像的视点位置,在设计成果模型所在的虚拟三维场景中标记现状场景全景影像的视点位置;
S20:将现状场景全景影像作为环境贴图导入渲染工具中,与设计成果模型位置拟合后进行渲染,以步骤S10标记的视点位置输出虚拟现实融合全景影像;
S30:以所述现状场景全景影像为参照调整虚拟现实融合全景影像的前后景遮挡关系;
在步骤S20中,将所述现状场景全景影像作为环境贴图;
对设计成果模型和现状场景全景影像进行位置拟合;
获取所述现状场景全景影像的光场分布;
以所述现状场景全景影像的光场分布协调叠合后的全景影像,再以步骤S10标记的视点位置输出虚拟现实融合全景影像;
渲染工具采用ENSCAPE实时渲染器,具体操作如下:打开现状采集制作的现状场景全景影像,即可将其作为环境贴图导入场景,调节滑杆设置水平偏转角度,直至设计成果与背景图中相应物体轮廓重合,即完成位置拟合,再现全景影像采集时的光场分布,协调最终输出成果中的明暗、光影、色调关系,最后以全景影像输出渲染成果;
在步骤S10中,标记现状场景全景影像的视点位置的方式如下:
在获取现状场景全景影像时,通过定位设备获取采集设备的光心位置对应的经纬坐标;
将所述经纬坐标转换为平面投影坐标;
依据所述平面投影坐标在标准地形图上标记相应点位,所述点位即为现状场景全景影像的视点位置;
将标记现状场景全景影像的视点位置的标准地形图导入载有设计成果模型的三维建模软件中,并将设计成果模型准确移动至标准地形图上对应位置,即完成在设计成果模型所在的虚拟三维场景中标记现状场景全景影像的视点位置;
或者是:在步骤S10中,在三维建模软件中对所述设计成果模型和所述现状场景全景影像进行同名点标记,并通过同名点交会还原得到现状场景全景影像的视点位置,即完成在设计成果模型所在的虚拟三维场景中标记现状场景全景影像的视点位置;具体为:将现状场景全景影像作为背景置入三维建模软件,将现状实体上的点A、B、C在球形现状场景全景影像M上的成像点a、b、c,与设计成果模型中对应的同名点A’B’C’建立连线,三线交会于点P’即为现状采集时镜头位置P所处位置,即为现状场景全景影像的视点位置,此时,作为背景置入的现状场景全景影像已可成为P’位置虚拟相机的环境贴图使用;考虑到现状场景全景影像拼接时进行严格的水平与垂直矫正,仅需标注2个同名点即可完成交会;现状采集时相机光心水准面通过手持激光测距仪测得,则所需标注的同名点减少到1个;
在步骤S10中,在获取现状场景全景影像时,采用包围曝光逐一获取影像;
在所述影像拼接处理时采用色调映射或曝光融合或混合图层方式,得到高动态范围的现状场景全景影像。
2.根据权利要求1所述的基于全景摄影的虚拟现实融合方法,其特征在于,
通过航拍器对现状场景进行应急航空摄影测量以获得基地正射影像图;
通过带有空间位置信息的基地正射影像图制备得到所述标准地形图。
3.根据权利要求1所述的基于全景摄影的虚拟现实融合方法,其特征在于,还包括步骤:将虚拟现实融合全景影像进行可视化演示。
4.根据权利要求3所述的基于全景摄影的虚拟现实融合方法,其特征在于,
将成序列虚拟现实融合全景影像进行交互编辑后实现交互演示。
CN202010543794.1A 2020-06-15 2020-06-15 基于全景摄影的虚拟现实融合方法 Active CN111667591B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010543794.1A CN111667591B (zh) 2020-06-15 2020-06-15 基于全景摄影的虚拟现实融合方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010543794.1A CN111667591B (zh) 2020-06-15 2020-06-15 基于全景摄影的虚拟现实融合方法

Publications (2)

Publication Number Publication Date
CN111667591A CN111667591A (zh) 2020-09-15
CN111667591B true CN111667591B (zh) 2024-02-27

Family

ID=72388089

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010543794.1A Active CN111667591B (zh) 2020-06-15 2020-06-15 基于全景摄影的虚拟现实融合方法

Country Status (1)

Country Link
CN (1) CN111667591B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112598776B (zh) * 2020-12-29 2021-08-17 江苏星月测绘科技股份有限公司 基于全息数据处理的三维地理模型可视化系统
CN114895796B (zh) * 2022-07-15 2022-11-11 杭州易绘科技有限公司 一种基于全景图的空间交互方法、装置及应用

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102052916A (zh) * 2009-11-04 2011-05-11 沈阳隆惠科技有限公司 一种全景实景立体测量方法
CN102483859A (zh) * 2009-09-29 2012-05-30 索尼计算机娱乐公司 全景图像显示装置和全景图像显示方法
CN103141078A (zh) * 2010-10-05 2013-06-05 索尼电脑娱乐公司 图像显示装置及图像显示方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102483859A (zh) * 2009-09-29 2012-05-30 索尼计算机娱乐公司 全景图像显示装置和全景图像显示方法
CN102052916A (zh) * 2009-11-04 2011-05-11 沈阳隆惠科技有限公司 一种全景实景立体测量方法
CN103141078A (zh) * 2010-10-05 2013-06-05 索尼电脑娱乐公司 图像显示装置及图像显示方法

Also Published As

Publication number Publication date
CN111667591A (zh) 2020-09-15

Similar Documents

Publication Publication Date Title
CN109934914B (zh) 一种嵌入式城市设计场景仿真方法及系统
US4970666A (en) Computerized video imaging system for creating a realistic depiction of a simulated object in an actual environment
CN103249142B (zh) 一种定位方法、系统及移动终端
CN101000461B (zh) 一种鱼眼图像生成立方体全景的方法
CN100432836C (zh) 实现二维全景真实成像的方法
CN110610540B (zh) 一种基于bim和gis的城市实景三维模型的快速渲染出图方法
CN107492069B (zh) 基于多镜头传感器的图像融合方法
CN102368810B (zh) 一种半自动化对齐的视频融合系统和方法
CN111667591B (zh) 基于全景摄影的虚拟现实融合方法
US20060165310A1 (en) Method and apparatus for a virtual scene previewing system
CN108537890A (zh) 一种融合bim建模和实景建模的全景图片移动终端展示方法
CN109903382B (zh) 点云数据的融合方法及装置
CN106899782A (zh) 一种实现交互式全景视频流地图的方法
CN110660125B (zh) 用于电力配网系统的三维建模装置
CN115641401A (zh) 一种三维实景模型的构建方法及相关装置
CN102202159B (zh) 无人机航摄像片数字拼接方法
JP4272966B2 (ja) 3dcg合成装置
CN109685893A (zh) 空间一体化建模方法及装置
CN115982806A (zh) 基于倾斜摄影的矮塔斜拉转体桥bim建模方法、设备及介质
JP2004265396A (ja) 映像生成システム及び映像生成方法
CN116129064A (zh) 电子地图生成方法、装置、设备及存储介质
JP4008686B2 (ja) テクスチャ編集装置、テクスチャ編集システムおよび方法
CN114332422A (zh) 一种基于ar技术的虚拟空间互动方法、编辑更新方法、系统、电子设备和可读存储介质
CN114332383B (zh) 一种基于全景视频的场景三维建模方法及装置
CN112509133A (zh) 一种基于gis的三维水库高清实景展示方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant