CN113269819A - 一种面向视频投射场景的遮挡物动态隐藏方法及装置 - Google Patents

一种面向视频投射场景的遮挡物动态隐藏方法及装置 Download PDF

Info

Publication number
CN113269819A
CN113269819A CN202110200279.8A CN202110200279A CN113269819A CN 113269819 A CN113269819 A CN 113269819A CN 202110200279 A CN202110200279 A CN 202110200279A CN 113269819 A CN113269819 A CN 113269819A
Authority
CN
China
Prior art keywords
video
polygon
projection
video camera
matrix
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110200279.8A
Other languages
English (en)
Other versions
CN113269819B (zh
Inventor
胡斌
胡佳贝
孙瑞
张宇航
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing Normal University
Original Assignee
Nanjing Normal University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing Normal University filed Critical Nanjing Normal University
Priority to CN202110200279.8A priority Critical patent/CN113269819B/zh
Publication of CN113269819A publication Critical patent/CN113269819A/zh
Application granted granted Critical
Publication of CN113269819B publication Critical patent/CN113269819B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Processing Or Creating Images (AREA)
  • Image Generation (AREA)

Abstract

本发明公开一种面向视频投射场景的遮挡物动态隐藏方法及装置，首先，根据视频投射区域定义空间多边形作为承影多边形，承影多边形完全覆盖遮挡物隐藏后的视频投射区，在遮挡物隐藏后接收视频投影；其次，根据承影多边形创建视频相机，设置视频相机观察矩阵、投影矩阵和视口矩阵；然后，使用视频相机生成承影多边形深度图；最后，在GPU的片元着色器中，判断承影多边形与片元的包含和前后关系，将处于视频投射路径上的遮挡物动态消除。本发明具有更好的视觉效果和修改显示的实时性；在保证三维模型完整性的基础上，解决视频投射时遮挡物带来的投射变形问题；也可方便用户更加便捷的查看视频增强场景效果，参与实时交互。

Description

一种面向视频投射场景的遮挡物动态隐藏方法及装置
技术领域
本发明属于空间信息领域，具体涉及一种面向视频投射场景的遮挡物动态隐藏方法及装置。
背景技术
三维可视化是实现智慧城市的核心技术，已经得到广泛应用。视频增强三维场景是对三维可视化技术的进一步发展和增强，通过将视频无缝嵌入三维虚拟场景，实现虚实融合、动静互补的增强效果。视频投射是实现视频增强三维场景常用的方法，然而该方法要求虚拟场景和实际场景完全一致。三维场景实景建模，一般采用精细建模和倾斜摄影建模两种方法。精细建模一般采用人工或lidar方法，但由于生产成本较高，一般只应用于重点目标建模，对于过于细小零散的目标(如树木，电杆等)，一般采用与实际场景不一致的简单替代物代替或直接忽略。倾斜摄影建模是全要素三维建模方法，可以实现整个场景包含几何结构和纹理的三维重建，但是受目前技术的限制，难以实现细小目标的精细建模。这些与实际场景不一致的细小零散遮挡物，若存在于视频投射路径中，将导致严重的视频投射变形，严重影响视觉效果。
尽管通过修模操作可以移除影响视频投射的遮挡物，但随之带来另外的问题：(1)修模需要专业用户专门操作，除了增加额外的工作量，对于视频增强三维场景应用的普通受众基本不可行；(2)修模本质上是对三维模型的物理破坏，导致虚拟场景和实际场景新的不一致，虽然提高了视频投射质量，但在关闭视频投射后反而降低了实际视觉效果。
发明内容
发明目的：本发明提出一种面向视频投射场景的遮挡物动态隐藏方法及装置，在用户开启\关闭视频投射功能时动态隐藏\恢复视频投射路径中的遮挡物，不但解决了遮挡物带来的投射变形问题，而且不会对三维模型造成实际破坏，满足了用户多样化的需求。
技术方案：本发明提出一种面向视频投射场景的遮挡物动态隐藏方法，具体包括以下步骤：
(1)根据视频投射区域定义空间多边形作为承影多边形：承影多边形完全覆盖遮挡物隐藏后的视频投射区，在遮挡物隐藏后接收视频投影；
(2)根据真实相机创建视频相机，设置视频相机观察矩阵、投影矩阵和视口矩阵；
(3)使用视频相机生成承影多边形深度图；
(4)在GPU的片元着色器中，判断承影多边形与片元的包含和前后关系，将处于视频投射路径上的遮挡物动态消除。
进一步地，所述步骤(2)实现过程如下：
(21)设置视频相机观察矩阵：以真实相机所在位置为原点，真实相机视线方向为Z轴，用真实相机姿态确定X轴、Y轴，建立视频相机观察坐标系，进而根据观察坐标系设置视频相机观察矩阵；
(22)设置视频相机投影矩阵：根据真实相机张角、像片宽高比设置视频相机的投影矩阵；
(23)设置视频相机视口矩阵：设置视频相机的视口宽度和高度分别为像片的水平像素分辨率和垂直像素分辨率；根据视口宽度和高度设置视频相机的视口矩阵。
进一步地，所述步骤(3)实现过程如下：
(31)将承影多边形分解为三角网：根据承影多边形的顶点分布，确定一个参考平面，使各顶点到参考平面的距离的平方和最小；将承影多边形投影到参考平面形成一个平面多边形，对该平面多边形进行三角化；根据点的对应关系，把三角化的结果映射到承影多边形，得到承影多边形的分解表示；
(32)输出承影多边形深度图：关闭颜色缓存，开启深度缓存，仅渲染分解后的承影多边形，生成承影多边形深度图。
进一步地，所述步骤(4)包括以下步骤：
(41)在GPU片元着色器中，根据渲染相机观察矩阵、渲染相机投影矩阵、视频相机观察矩阵和视频相机投影矩阵，将片元变换到视频相机空间，获得片元在视频相机空间的归一化投影坐标(u,v,d1)，d1表示片元在视频相机空间的深度值，通过坐标(u,v)采样承影多边形深度图得到深度值d2；
(42)若d2<1，表示处于承影多边形内，进一步判断d1与d2；若d1＝d2，输出(u,v)处的视频纹理颜色；否则，输出模型本身的纹理颜色；
(43)若d2＝＝1，表示处于承影多边形外，输出模型本身的纹理颜色。
基于相同的发明构思，本发明还提供一种面向视频投射场景的遮挡物动态隐藏装置，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述计算机程序被加载至处理器时实现所述的面向视频投射场景的遮挡物动态隐藏方法。
有益效果：与现有技术相比，本发明的有益效果：与传统的修改模型文件的方式相比，该发明具有更好的视觉效果和修改显示的实时性；在保证三维模型完整性的基础上，解决视频投射时遮挡物带来的投射变形问题；也可方便用户更加便捷的查看视频增强场景效果，参与实时交互。
附图说明
图1为本发明的流程图；
图2为三维场景原始可视化效果图；
图3为隐藏前的视频投射效果图；
图4为造成视频投射变形的电杆示意图；
图5为电杆隐藏后的视频投射效果图。
具体实施方式
下面结合附图对本发明作进一步详细说明。
本发明提供一种基于压平包围球的三维场景局部区域动态压平方法，如图1所示，具体包括以下步骤：
步骤1：根据视频投射区域定义空间多边形作为承影多边形：承影多边形完全覆盖遮挡物隐藏后的视频投射区，在遮挡物隐藏后接收视频投影。
如图4所示，用屏幕取点方式获得承影多边形顶点的屏幕坐标，然后借助于渲染相机视点下的视口矩阵、投影矩阵和视图矩阵，将屏幕坐标变换到用户坐标系。在3D渲染引擎库OpenGL中，可以使用gluUnProject函数实现。
步骤2：根据真实相机创建视频相机，设置视频相机观察矩阵、投影矩阵和视口矩阵。
(2.1)设置视频相机观察矩阵：以真实相机所在位置为原点，真实相机视线方向为Z轴，用真实相机姿态确定X轴、Y轴，建立视频相机观察坐标系，进而根据观察坐标系设置视频相机观察矩阵。在3D渲染引擎库OpenGL中，可以使用gluLookAt函数根据观察坐标系信息自动设置观察矩阵。
(2.2)设置视频相机投影矩阵：根据真实相机内参，如张角、像片宽高比设置视频相机的投影矩阵。在3D渲染引擎库OpenGL中，可以使用gluPerspective函数设置投影矩阵。
(2.3)设置视频相机视口矩阵：设置视频相机的视口宽度和高度分别为像片的水平像素分辨率和垂直像素分辨率；根据视口宽度和高度设置视频相机的视口矩阵。在3D渲染引擎库OpenGL中，可以使用glViewport函数自动设置视口矩阵。
步骤3：使用视频相机生成承影多边形深度图。
(31)将承影多边形分解为三角网：首先根据承影多边形的顶点分布，确定一个参考平面，使各顶点到参考平面的距离的平方和最小。然后将承影多边形投影到参考平面形成一个平面多边形，对该平面多边形进行三角化。最后根据点的对应关系，把三角化的结果映射到承影多边形，得到承影多边形的分解表示。
(32)输出承影多边形深度图：关闭颜色缓存，开启深度缓存，仅渲染分解后的承影多边形,利用FBO技术生成深度图，最后输出到纹理作为步骤4的输入.
步骤4：在GPU的片元着色器中，判断承影多边形与片元的包含和前后关系，将处于视频投射路径上的遮挡物动态消除。
(4.1)在片元着色器中，根据渲染相机观察矩阵、渲染相机投影矩阵、视频相机观察矩阵和视频相机投影矩阵，将片元变换到视频相机空间，获得片元在视频相机空间的归一化投影坐标(u,v,d1)，d1表示片元在视频相机空间的深度值，通过坐标(u,v)采样承影多边形深度图得到深度值d2。
(4.2)若d2<1，表示处于承影多边形内，进一步判断d1与d2：若d1＝d2，说明处于承影多边形上，输出(u,v)处的视频纹理颜色；否则，说明遮挡物在视频投射路径上，输出模型本身的纹理颜色；
(4.3)若d2＝＝1，表示处于承影多边形外，直接输出模型纹理颜色。
图2为三维场景原始可视化效果图，图3为隐藏前的视频投射效果图，经过上述步骤后，如图5所示，处于视频投射路径上的遮挡物已动态消除，不再影响视频投射效果。
本发明还提供一种面向视频投射场景的遮挡物动态隐藏装置，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述计算机程序被加载至处理器时实现所述的面向视频投射场景的遮挡物动态隐藏方法。

Claims (5)

1.一种面向视频投射场景的遮挡物动态隐藏方法，其特征在于，包括以下步骤：
(1)根据视频投射区域定义空间多边形作为承影多边形：承影多边形完全覆盖遮挡物隐藏后的视频投射区，在遮挡物隐藏后接收视频投影；
(2)根据真实相机创建视频相机，设置视频相机观察矩阵、投影矩阵和视口矩阵；
(3)使用视频相机生成承影多边形深度图；
(4)在GPU的片元着色器中，判断承影多边形与片元的包含和前后关系，将处于视频投射路径上的遮挡物动态消除。
2.根据权利要求1所述的面向视频投射场景的遮挡物动态隐藏方法，其特征在于，所述步骤(2)实现过程如下：
(21)设置视频相机观察矩阵：以真实相机所在位置为原点，真实相机视线方向为Z轴，用真实相机姿态确定X轴、Y轴，建立视频相机观察坐标系，进而根据观察坐标系设置视频相机观察矩阵；
(22)设置视频相机投影矩阵：根据真实相机张角、像片宽高比设置视频相机的投影矩阵；
(23)设置视频相机视口矩阵：设置视频相机的视口宽度和高度分别为像片的水平像素分辨率和垂直像素分辨率；根据视口宽度和高度设置视频相机的视口矩阵。
3.根据权利要求1所述的面向视频投射场景的遮挡物动态隐藏方法，其特征在于，所述步骤(3)实现过程如下：
(31)将承影多边形分解为三角网：根据承影多边形的顶点分布，确定一个参考平面，使各顶点到参考平面的距离的平方和最小；将承影多边形投影到参考平面形成一个平面多边形，对该平面多边形进行三角化；根据点的对应关系，把三角化的结果映射到承影多边形，得到承影多边形的分解表示；
(32)输出承影多边形深度图：关闭颜色缓存，开启深度缓存，仅渲染分解后的承影多边形，生成承影多边形深度图。
4.根据权利要求1所述的面向视频投射场景的遮挡物动态隐藏方法，其特征在于，所述步骤(4)包括以下步骤：
(41)在GPU片元着色器中，根据渲染相机观察矩阵、渲染相机投影矩阵、视频相机观察矩阵和视频相机投影矩阵，将片元变换到视频相机空间，获得片元在视频相机空间的归一化投影坐标(u,v,d1)，d1表示片元在视频相机空间的深度值；通过坐标(u,v)采样承影多边形深度图得到深度值d2；
(42)若d2<1，表示处于承影多边形内，进一步判断d1与d2；若d1＝d2，输出(u,v)处的视频纹理颜色；否则，输出模型本身的纹理颜色；
(43)若d2＝＝1，表示处于承影多边形外，输出模型本身的纹理颜色。
5.一种面向视频投射场景的遮挡物动态隐藏装置，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述计算机程序被加载至处理器时实现根据权利要求1-4任一项所述的面向视频投射场景的遮挡物动态隐藏方法。
CN202110200279.8A 2021-02-23 2021-02-23 一种面向视频投射场景的遮挡物动态隐藏方法及装置 Active CN113269819B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110200279.8A CN113269819B (zh) 2021-02-23 2021-02-23 一种面向视频投射场景的遮挡物动态隐藏方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110200279.8A CN113269819B (zh) 2021-02-23 2021-02-23 一种面向视频投射场景的遮挡物动态隐藏方法及装置

Publications (2)

Publication Number Publication Date
CN113269819A true CN113269819A (zh) 2021-08-17
CN113269819B CN113269819B (zh) 2024-03-26

Family

ID=77228204

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110200279.8A Active CN113269819B (zh) 2021-02-23 2021-02-23 一种面向视频投射场景的遮挡物动态隐藏方法及装置

Country Status (1)

Country Link
CN (1) CN113269819B (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103400409A (zh) * 2013-08-27 2013-11-20 华中师范大学 一种基于摄像头姿态快速估计的覆盖范围3d可视化方法
CN109544671A (zh) * 2018-11-12 2019-03-29 浙江大学 一种基于屏幕空间的视频在三维场景中投影映射方法
KR20190067070A (ko) * 2017-12-06 2019-06-14 노소영 가상 공간에서의 프로젝션 맵핑 시스템 및 방법

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103400409A (zh) * 2013-08-27 2013-11-20 华中师范大学 一种基于摄像头姿态快速估计的覆盖范围3d可视化方法
KR20190067070A (ko) * 2017-12-06 2019-06-14 노소영 가상 공간에서의 프로젝션 맵핑 시스템 및 방법
CN109544671A (zh) * 2018-11-12 2019-03-29 浙江大学 一种基于屏幕空间的视频在三维场景中投影映射方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
郭文普;孙继银;王鹏;: "导弹投射区域可视化中的坐标变换研究", 计算机技术与发展, no. 04, 10 April 2010 (2010-04-10) *

Also Published As

Publication number Publication date
CN113269819B (zh) 2024-03-26

Similar Documents

Publication Publication Date Title
CN108648269B (zh) 三维建筑物模型的单体化方法和系统
Wang et al. View-dependent displacement mapping
CN111968215B (zh) 一种体积光渲染方法、装置、电子设备及存储介质
US6940508B2 (en) Method and apparatus for modeling and real-time rendering of surface detail
US20050041024A1 (en) Method and apparatus for real-time global illumination incorporating stream processor based hybrid ray tracing
CN108257204B (zh) 运用于Unity引擎的顶点色绘制烘焙方法及系统
Xu et al. Stylized rendering of 3D scanned real world environments
Liu et al. Real-Time Neural Rasterization for Large Scenes
CN109544671B (zh) 一种基于屏幕空间的视频在三维场景中投影映射方法
Döllner Non-photorealistic 3D geovisualization
CN116385619B (zh) 对象模型渲染方法、装置、计算机设备和存储介质
Schäfer et al. Real-Time Deformation of Subdivision Surfaces from Object Collisions.
CN113269819B (zh) 一种面向视频投射场景的遮挡物动态隐藏方法及装置
CN112927352A (zh) 基于压平多边形的三维场景局部区域动态压平方法及装置
US20220392121A1 (en) Method for Improved Handling of Texture Data For Texturing and Other Image Processing Tasks
CN114419219A (zh) 基于三维虚拟场景的渲染装置和方法
Xu et al. PointWorks: Abstraction and Rendering of Sparsely Scanned Outdoor Environments.
Zhang et al. Virtual modeling of vision sensor on smart cars
US20240046546A1 (en) Method and system for creating virtual spaces
CN107330965A (zh) 一种利用局部保守光栅化方法实现硬阴影反走样的方法
Shihan et al. Adaptive volumetric light and atmospheric scattering
Chen et al. Appearance-driven conversion of polygon soup building models with level of detail control for 3D geospatial applications
Ning-ning et al. Virtual Modeling of Vision Sensor on Smart Cars
Öhrn Different mapping techniques for realistic surfaces
Mihut et al. Lighting and Shadow Techniques for Realistic 3D Synthetic Object Compositing in Images

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant