CN115760667A - 一种弱约束条件下3D WebGIS视频融合方法 - Google Patents

一种弱约束条件下3D WebGIS视频融合方法 Download PDF

Info

Publication number
CN115760667A
CN115760667A CN202211507805.6A CN202211507805A CN115760667A CN 115760667 A CN115760667 A CN 115760667A CN 202211507805 A CN202211507805 A CN 202211507805A CN 115760667 A CN115760667 A CN 115760667A
Authority
CN
China
Prior art keywords
video
model
projection
matrix
view
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211507805.6A
Other languages
English (en)
Inventor
范俊甫
陈政
时宗闻
左吉伟
张志锟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong University of Technology
Original Assignee
Shandong University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong University of Technology filed Critical Shandong University of Technology
Priority to CN202211507805.6A priority Critical patent/CN115760667A/zh
Publication of CN115760667A publication Critical patent/CN115760667A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Processing Or Creating Images (AREA)

Abstract

一种弱约束条件下3D WebGIS视频融合方法，属于虚拟视频融合技术领域。其特征在于：包括如下步骤：S1，三维模型构建；S2，三维模型优化调整；S3，3DWebGIS平台搭建；S4，接入视频流数据；S5，模型视图矩阵与投影矩阵计算；S6，视锥体构造与遮挡检测；S7，基于WebGL片元着色器渲染；S8，视频图像动态纹理映射；S9，视频投射边缘羽化；S10，动态调参。本弱约束条件下3D WebGIS视频融合方法一定程度解决了视频投射遮挡问题，实现了弱约束条件下的视频融合，提高了视频融合效果，同时本发明具有较高实用性、适用性和自适应性。

Description

一种弱约束条件下3D WebGIS视频融合方法
技术领域
一种弱约束条件下3D WebGIS视频融合方法，属于虚拟视频融合技术领域。
背景技术
传统地理空间信息的表达是地理信息科学领域重要的研究内容，是将地理空间信息再现的过程。随着计算机图形学的发展，视频与3D(3Dimensional)GIS的结合成为了地理信息表达的新方式。目前虽然已实现利用投影纹理映射原理将视频以纹理形式映射至三维模型视频区域，但纹理映射中会出现视频画面被三维模型构筑物所遮挡的现象，且存在视频与3DGIS结合所需相机位置、方向和视野等参数难以精准计算等问题，导致视频信息与三维空间场景的融合效果不佳。
发明内容
本发明要解决的技术问题是：克服现有技术的不足，提供一种解决了视频投射遮挡问题，实现了弱约束条件下的视频融合，提高了视频融合效果的弱约束条件下3D WebGIS视频融合方法。
本发明解决其技术问题所采用的技术方案是：该弱约束条件下3D WebGIS视频融合方法，其特征在于：包括如下步骤：
S1，三维模型构建；
S2，三维模型优化调整；
S3，3DWebGIS平台搭建；
S4，接入视频流数据；
S5，模型视图矩阵与投影矩阵计算；
S6，视锥体构造与遮挡检测；
S7，基于WebGL片元着色器渲染；
S8，视频图像动态纹理映射；
S9，视频投射边缘羽化；
S10，动态调参。
优选的，所述三维模型构建包括如下步骤：
S1.1，采用无人机航拍倾斜摄影建模的方法，根据视频区域规划无人机飞行路线和高度，确保飞行范围覆盖视频投射区域，完成空中三角测量；
S1.2，利用无人机按照规定路线飞行，采集建模区域地面多角度照片，其中照片的格式为JPG格式；
S1.3，利用模型生成工具Context Capture 2018建立重建工程，导入整个照片文件资料，提交空中三角测量，使用Context Capture引擎处理，选择空间参考系统，与空中三角测量控制点的空间参考一致，选择规则平面网格进行构建和分块，自动纹理映射及三维建模输出obj格式模型数据。
优选的，所述三维模型优化调整包括如下步骤：
S2.1，对构建好的三维模型进行模型表面优化，在不影响模型整体效果前提下，对三维模型视频区域中出现的影响投射效果的因素剔除；
步骤2.2：利用Cesiumlab格式转换工具将模型文件obj格式转换成Cesium引擎所支持的3DTiles格式。
优选的，所述方法还包括，选择开源Cecium数字地球引擎搭建3D WebGIS虚拟地理环境，加载卫星影像数据至Cesium作为虚拟环境底图，将3DTiles格式模型数据加载至Cesium中形成虚拟三维地理场景，调整虚拟环境中三维模型空间位置，使三维模型与卫星影像中真实地理位置重合。
优选的，所述方法还包括，视频支持接入本地视频文件和HTTP协议网络视频数据，Web环境下利用HTML5的<Video>标签读取本地视频数据。
优选的，所述方法还包括，利用视点坐标、方位角、俯仰角、横滚角计算得到Camera类视图矩阵和逆视图矩阵；
将所得结果反转并与逆视图矩阵相乘得到逆视图投影矩阵；
逆视图投影矩阵反转得到视图投影矩阵；
利用投射距离和矩阵生成平面标准模型矩阵；
将平面标准模型矩阵与逆视图矩阵相乘得到变换所需模型矩阵。
优选的，所述的视锥体构造与遮挡检测包括如下步骤：
S6.1，利用视场角、焦距、投射距离等参数创建视锥体，首先确定相机位置、方向，生成视锥几何体，然后进行视锥体俯仰角、偏航角参数设置，最后绘制视锥体；
S6.2开启深度缓存，三维模型进行遮挡检测，裁剪当前被遮挡不可见的模型区域。
优选的，所述方法还包括，在GPU片元着色器中通过投影纹理映射计算纹理坐标，包括如下步骤：
S7.1，将三维模型顶点从模型坐标系经过模型视图矩阵转换到摄像机坐标系；
S7.2，通过相机视图逆矩阵转换到世界坐标系；
S 7.3，根据投影视图矩阵将其转换到投影坐标系；
S 7.4，通过投影矩阵转换到剪裁坐标系；
S 7.5，将获取的投影顶点坐标归一化到[0，1]区间，得到投影纹理坐标。
优选的，所述方法还包括，将三维模型表面的静态纹理与动态视频纹理进行融合，并使得动态视频纹理覆盖为最上层纹理，将虚拟场景中摄像机视图矩阵与逆视图投影矩阵相乘得到立方体模型视图，同理得到逆立方体模型视图，并将两个模型视图赋予分类基元类的一致性映射参数便实现视频图像在三维场景投射。
优选的，所述方法还包括，
通过输入视频数据地址将视频接入Web环境；
控制虚拟三维环境中相机位置，可通过鼠标点击选择相机位置获得视点坐标、按当前视角投射和输入相机地理位置坐标信息三种方式；
动态调整视频画面投射区域，通过动态调整水平角、垂直角、偏航角、俯仰角和投射距离等参数调整所投射视频画面大小、方向和距离，使视频与三维模型达到高度融合。
与现有技术相比，本发明所具有的有益效果是：
本弱约束条件下3D WebGIS视频融合方法进行三维模型构建，在不影响模型整体效果前提下，对三维模型视频区域中出现的可移动车辆、树木等可能影响投射效果的因素剔除，优化视频覆盖区域的三维模型表面，为视频与三维模型融合提供基础，然后利用投影纹理映射将接入的视频帧投射至三维地理场景中视频模型区域，最后利用Web端动态调参对视频画面投射进行优化处理，实现了监控的视频流数据与监控场景的三维模型数据的有效融合，视频流的实时性与3D GIS的空间性互为补充，实现视频场景和三维模型在时空上的一致性，一定程度解决了视频投射遮挡问题，实现了弱约束条件下的视频融合，提高了视频融合效果，同时本发明具有较高实用性、适用性和自适应性。
附图说明
图1为本发明提供方法的技术流程图。
具体实施方式
图1是本发明的最佳实施例，下面结合附图1对本发明做进一步说明。
一种弱约束条件下3D WebGIS视频融合方法，包括如下步骤：
S1，三维模型构建。
三维模型的构件包括如下步骤：
S1.1，采用无人机航拍倾斜摄影建模的方法，根据视频区域规划无人机飞行路线和高度，确保飞行范围覆盖视频投射区域；；
S 1.2，利用大疆Air2无人机按照规定路线飞行，采集建模区域地面多角度照片(JPG格式)；
S 1.3，利用模型生成工具Context Capture 2018建立重建工程，导入整个照片文件资料，提交空中三角测量，使用Context Capture引擎处理，选择空间参考系统，与控制点的空间参考一致，选择规则平面网格进行构建和分块，自动纹理映射及三维建模输出obj格式模型数据。
S2，三维模型优化调整。
三维模型优化调整包括如下步骤：
S2.1，使用Dp Modeler V2.3软件对三维模型进行细部的修正，对构建好的模型进行模型表面优化，在不影响模型整体效果前提下，对三维模型视频区域中出现的可移动车辆、树木等可能影响投射效果的因素剔除；本实施案例中，剔除模型视频区域内树木和车辆面积466.2平方米。
S2.2，进行格式转换，利用转换工具Cesiumlab转换工具将模型文件obj格式转换为Cesium所支持的3DTiles格式。具体为，将包含几何、语义信息的glTF、json文件组转化为一个整体三维数据文件，即b3dm；添加数据说明文件tileset.json,与b3dm转为3DTiles数据。
S3，3DWebGIS平台搭建。
具体的，选择开源Cecium数字地球引擎搭建3DWebGIS虚拟地理环境，加载卫星正视影像数据至Cesium作为基础图层，将3DTiles格式模型数据加载至Cesium中形成虚拟三维地理场景，视角固定至视频投射区域。
S4，接入视频流数据。
具体的，所使用视频支持接入本地视频文件和HTTP协议网络视频数据，Web环境下利用HTML5的<Video>标签读取本地视频数据，所需视频数据是利用无人机定点拍摄。
S5，模型视图矩阵与投影矩阵计算。
具体的，利用视点坐标、方位角、俯仰角、横滚角计算得到Camera类视图矩阵和逆视图矩阵；将所得结果反转并与逆视图矩阵相乘得到逆视图投影矩阵；逆视图投影矩阵反转得到视图投影矩阵；利用投射距离和矩阵生成平面标准模型矩阵；将平面标准模型矩阵与逆视图矩阵相乘得到变换所需模型矩阵。
S6，视锥体构造与遮挡检测。
视锥体构造与遮挡检测包括如下步骤：
S6.1，利用视场角、焦距、投射距离等参数创建视锥体，首先确定相机位置、方向，生成视锥几何体，然后进行视锥体俯仰角、偏航角参数设置，最后绘制视锥体，本实施案例各参数为：地理坐标(经度：117.9931246°，纬度：36.8081395°，高度：56m)、偏航角(98.5°)、俯仰角(-37.8°)、横滚角(24.4°)、投射距离(65m)、视场角(34.1°)；
S6.2，开启深度缓存，三维模型进行遮挡检测，裁剪当前被遮挡不可见的模型区域。
S7，基于WebGL片元着色器渲染。
具体的，基于WebGL片元着色器渲染即计算片元纹理坐标，在GPU片元着色器中通过投影纹理映射计算纹理坐标，具体包括以下步骤：
S7.1，将模型顶点从模型坐标系经过模型视图矩阵转换到摄像机坐标系；
S 7.2，通过相机视图逆矩阵转换到世界坐标系；
S 7.3，根据投影视图矩阵将其转换到投影坐标系；
S 7.4，通过投影矩阵转换到剪裁坐标系；
S 7.5，将获取的投影顶点坐标归一化到[0，1]区间，得到投影纹理坐标。
S8，视频图像动态纹理映射。
具体的，将三维模型表面的静态纹理与动态视频纹理进行融合，并使得动态视频纹理覆盖为最上层纹理，实现三维模型定位和展示实时场景视频影像，即将虚拟场景中摄像机视图矩阵与逆视图投影矩阵相乘得到立方体模型视图，同理得到逆立方体模型视图，并将两个模型视图赋予分类基元类的一致性映射参数便实现视频图像在三维场景投射。
S9，视频投射边缘羽化。
具体的，开启softShadows(Percentage-Closer-Filtering，简称PCF，是常用于柔化ShadowMap边缘)和优化着色器(视频投射边界区域采用三维模型纹理坐标)弱化视频投射边缘痕迹。
S10，动态调参。
输入视频数据地址将视频接入Web环境；输入相机地理位置坐标信息(经度、纬度和高度)；动态调整视点位置、水平角、垂直角、偏航角、俯仰角和投射距离等参数控制所投射视频画面大小、方向和距离，使视频与三维模型达到高度融合将视频画面与虚拟三维地理场景空间位置进行优化匹配。
以上所述，仅是本发明的较佳实施例而已，并非是对本发明作其它形式的限制，任何熟悉本专业的技术人员可能利用上述揭示的技术内容加以变更或改型为等同变化的等效实施例。但是凡是未脱离本发明技术方案内容，依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与改型，仍属于本发明技术方案的保护范围。

Claims (10)

1.一种弱约束条件下3D WebGIS视频融合方法，其特征在于：包括如下步骤：
S1，三维模型构建；
S2，三维模型优化调整；
S3，3DWebGIS平台搭建；
S4，接入视频流数据；
S5，模型视图矩阵与投影矩阵计算；
S6，视锥体构造与遮挡检测；
S7，基于WebGL片元着色器渲染；
S8，视频图像动态纹理映射；
S9，视频投射边缘羽化；
S10，动态调参。
2.根据权利要求1所述的弱约束条件下3D WebGIS视频融合方法，其特征在于：所述三维模型构建包括如下步骤：
S1.1，采用无人机航拍倾斜摄影建模的方法，根据视频区域规划无人机飞行路线和高度，确保飞行范围覆盖视频投射区域，完成空中三角测量；
S1.2，利用无人机按照规定路线飞行，采集建模区域地面多角度照片，其中照片的格式为JPG格式；
S1.3，利用模型生成工具Context Capture 2018建立重建工程，导入整个照片文件资料，提交空中三角测量，使用Context Capture引擎处理，选择空间参考系统，与空中三角测量控制点的空间参考一致，选择规则平面网格进行构建和分块，自动纹理映射及三维建模输出obj格式模型数据。
3.根据权利要求1所述的弱约束条件下3D WebGIS视频融合方法，其特征在于：所述三维模型优化调整包括如下步骤：
S2.1，对构建好的三维模型进行模型表面优化，在不影响模型整体效果前提下，对三维模型视频区域中出现的影响投射效果的因素剔除；
步骤2.2：利用Cesiumlab格式转换工具将模型文件obj格式转换成Cesium引擎所支持的3DTiles格式。
4.根据权利要求1所述的弱约束条件下3D WebGIS视频融合方法，其特征在于：所述方法还包括，选择开源Cecium数字地球引擎搭建3D WebGIS虚拟地理环境，加载卫星影像数据至Cesium作为虚拟环境底图，将3DTiles格式模型数据加载至Cesium中形成虚拟三维地理场景，调整虚拟环境中三维模型空间位置，使三维模型与卫星影像中真实地理位置重合。
5.根据权利要求1所述的弱约束条件下3D WebGIS视频融合方法，其特征在于：所述方法还包括，视频支持接入本地视频文件和HTTP协议网络视频数据，Web环境下利用HTML5的<Video>标签读取本地视频数据。
6.根据权利要求1所述的弱约束条件下3D WebGIS视频融合方法，其特征在于：所述方法还包括，利用视点坐标、方位角、俯仰角、横滚角计算得到Camera类视图矩阵和逆视图矩阵；
将所得结果反转并与逆视图矩阵相乘得到逆视图投影矩阵；
逆视图投影矩阵反转得到视图投影矩阵；
利用投射距离和矩阵生成平面标准模型矩阵；
将平面标准模型矩阵与逆视图矩阵相乘得到变换所需模型矩阵。
7.根据权利要求1所述的弱约束条件下3D WebGIS视频融合方法，其特征在于：所述的视锥体构造与遮挡检测包括如下步骤：
S6.1，利用视场角、焦距、投射距离等参数创建视锥体，首先确定相机位置、方向，生成视锥几何体，然后进行视锥体俯仰角、偏航角参数设置，最后绘制视锥体；
S6.2开启深度缓存，三维模型进行遮挡检测，裁剪当前被遮挡不可见的模型区域。
8.根据权利要求1所述的弱约束条件下3D WebGIS视频融合方法，其特征在于：所述方法还包括，在GPU片元着色器中通过投影纹理映射计算纹理坐标，包括如下步骤：
S7.1，将三维模型顶点从模型坐标系经过模型视图矩阵转换到摄像机坐标系；
S7.2，通过相机视图逆矩阵转换到世界坐标系；
S 7.3，根据投影视图矩阵将其转换到投影坐标系；
S 7.4，通过投影矩阵转换到剪裁坐标系；
S 7.5，将获取的投影顶点坐标归一化到[0，1]区间，得到投影纹理坐标。
9.根据权利要求1所述的弱约束条件下3D WebGIS视频融合方法，其特征在于：所述方法还包括，将三维模型表面的静态纹理与动态视频纹理进行融合，并使得动态视频纹理覆盖为最上层纹理，将虚拟场景中摄像机视图矩阵与逆视图投影矩阵相乘得到立方体模型视图，同理得到逆立方体模型视图，并将两个模型视图赋予分类基元类的一致性映射参数便实现视频图像在三维场景投射。
10.根据权利要求1所述的弱约束条件下3D WebGIS视频融合方法，其特征在于：所述方法还包括，
通过输入视频数据地址将视频接入Web环境；
控制虚拟三维环境中相机位置，可通过鼠标点击选择相机位置获得视点坐标、按当前视角投射和输入相机地理位置坐标信息三种方式；
动态调整视频画面投射区域，通过动态调整水平角、垂直角、偏航角、俯仰角和投射距离等参数调整所投射视频画面大小、方向和距离，使视频与三维模型达到高度融合。
CN202211507805.6A 2022-11-25 2022-11-25 一种弱约束条件下3D WebGIS视频融合方法 Pending CN115760667A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211507805.6A CN115760667A (zh) 2022-11-25 2022-11-25 一种弱约束条件下3D WebGIS视频融合方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211507805.6A CN115760667A (zh) 2022-11-25 2022-11-25 一种弱约束条件下3D WebGIS视频融合方法

Publications (1)

Publication Number Publication Date
CN115760667A true CN115760667A (zh) 2023-03-07

Family

ID=85339848

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211507805.6A Pending CN115760667A (zh) 2022-11-25 2022-11-25 一种弱约束条件下3D WebGIS视频融合方法

Country Status (1)

Country Link
CN (1) CN115760667A (zh)

Similar Documents

Publication Publication Date Title
CN107966693B (zh) 一种基于深度渲染的车载激光雷达仿真方法
CN108919944B (zh) 一种基于数字城市模型实现在显示端进行数据无损交互的虚拟漫游方法
US9024947B2 (en) Rendering and navigating photographic panoramas with depth information in a geographic information system
EP2973422B1 (en) Overlaying two-dimensional map data on a three-dimensional scene
CN109242966B (zh) 一种基于激光点云数据的3d全景模型建模方法
CN104778744B (zh) 基于Lidar数据的大规模三维森林可视化场景建立方法
CN115690336B (zh) 一种卫星波束覆盖区域可视化方法、服务器及存储介质
CN110852952B (zh) 一种基于gpu的大规模地形实时绘制方法
CN104463959A (zh) 一种生成立方体环境贴图的方法
Masood et al. High‐performance virtual globe GPU terrain rendering using game engine
Dorffner et al. Generation and visualization of 3D photo-models using hybrid block adjustment with assumptions on the object shape
CN111197986A (zh) 一种无人机三维路径实时预警避障方法
CN114140593B (zh) 数字地球和全景图融合显示方法和装置
CN114494563B (zh) 航拍视频在数字地球上的融合显示方法和装置
CN115760667A (zh) 一种弱约束条件下3D WebGIS视频融合方法
CN114972672A (zh) 输电线路实景三维模型构建方法、装置、设备和存储介质
Dong et al. Quality inspection and analysis of three-dimensional geographic information model based on oblique photogrammetry
Hua et al. Review of 3D GIS Data Fusion Methods and Progress
Liu et al. Fusing multiscale charts into 3D ENC systems based on underwater topography and remote sensing image
Liang et al. Solar3D: A 3D Extension of GRASS GIS r. sun for Estimating Solar Radiation in Urban Environments
Zhang et al. Virtual modeling of vision sensor on smart cars
CN116912437A (zh) 一种基于语义点云的实景三维可视化方法及系统
CN117934675A (zh) 虚拟场景的雾效处理方法、装置、设备、介质和程序产品
Stødle et al. High-Performance Visualization of Uas Sensor and Image Data With Raster Maps and Topography in 3D
Segerström Automating 3D graphics generation using GIS data-Terrain and Road reproduction

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination