CN113269819B - 一种面向视频投射场景的遮挡物动态隐藏方法及装置 - Google Patents

一种面向视频投射场景的遮挡物动态隐藏方法及装置 Download PDF

Info

Publication number
CN113269819B
CN113269819B CN202110200279.8A CN202110200279A CN113269819B CN 113269819 B CN113269819 B CN 113269819B CN 202110200279 A CN202110200279 A CN 202110200279A CN 113269819 B CN113269819 B CN 113269819B
Authority
CN
China
Prior art keywords
shadow
video
polygon
projection
video camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110200279.8A
Other languages
English (en)
Other versions
CN113269819A (zh
Inventor
胡斌
胡佳贝
孙瑞
张宇航
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing Normal University
Original Assignee
Nanjing Normal University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing Normal University filed Critical Nanjing Normal University
Priority to CN202110200279.8A priority Critical patent/CN113269819B/zh
Publication of CN113269819A publication Critical patent/CN113269819A/zh
Application granted granted Critical
Publication of CN113269819B publication Critical patent/CN113269819B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Generation (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明公开一种面向视频投射场景的遮挡物动态隐藏方法及装置，首先，根据视频投射区域定义空间多边形作为承影多边形，承影多边形完全覆盖遮挡物隐藏后的视频投射区，在遮挡物隐藏后接收视频投影；其次，根据承影多边形创建视频相机，设置视频相机观察矩阵、投影矩阵和视口矩阵；然后，使用视频相机生成承影多边形深度图；最后，在GPU的片元着色器中，判断承影多边形与片元的包含和前后关系，将处于视频投射路径上的遮挡物动态消除。本发明具有更好的视觉效果和修改显示的实时性；在保证三维模型完整性的基础上，解决视频投射时遮挡物带来的投射变形问题；也可方便用户更加便捷的查看视频增强场景效果，参与实时交互。

Description

一种面向视频投射场景的遮挡物动态隐藏方法及装置
技术领域
本发明属于空间信息领域，具体涉及一种面向视频投射场景的遮挡物动态隐藏方法及装置。
背景技术
三维可视化是实现智慧城市的核心技术，已经得到广泛应用。视频增强三维场景是对三维可视化技术的进一步发展和增强，通过将视频无缝嵌入三维虚拟场景，实现虚实融合、动静互补的增强效果。视频投射是实现视频增强三维场景常用的方法，然而该方法要求虚拟场景和实际场景完全一致。三维场景实景建模，一般采用精细建模和倾斜摄影建模两种方法。精细建模一般采用人工或lidar方法，但由于生产成本较高，一般只应用于重点目标建模，对于过于细小零散的目标(如树木，电杆等)，一般采用与实际场景不一致的简单替代物代替或直接忽略。倾斜摄影建模是全要素三维建模方法，可以实现整个场景包含几何结构和纹理的三维重建，但是受目前技术的限制，难以实现细小目标的精细建模。这些与实际场景不一致的细小零散遮挡物，若存在于视频投射路径中，将导致严重的视频投射变形，严重影响视觉效果。
尽管通过修模操作可以移除影响视频投射的遮挡物，但随之带来另外的问题：(1)修模需要专业用户专门操作，除了增加额外的工作量，对于视频增强三维场景应用的普通受众基本不可行；(2)修模本质上是对三维模型的物理破坏，导致虚拟场景和实际场景新的不一致，虽然提高了视频投射质量，但在关闭视频投射后反而降低了实际视觉效果。
发明内容
发明目的：本发明提出一种面向视频投射场景的遮挡物动态隐藏方法及装置，在用户开启\关闭视频投射功能时动态隐藏\恢复视频投射路径中的遮挡物，不但解决了遮挡物带来的投射变形问题，而且不会对三维模型造成实际破坏，满足了用户多样化的需求。
技术方案：本发明提出一种面向视频投射场景的遮挡物动态隐藏方法，具体包括以下步骤：
(1)根据视频投射区域定义空间多边形作为承影多边形：承影多边形完全覆盖遮挡物隐藏后的视频投射区，在遮挡物隐藏后接收视频投影；
(2)根据真实相机创建视频相机，设置视频相机观察矩阵、投影矩阵和视口矩阵；
(3)使用视频相机生成承影多边形深度图；
(4)在GPU的片元着色器中，判断承影多边形与片元的包含和前后关系，将处于视频投射路径上的遮挡物动态消除。
进一步地，所述步骤(2)实现过程如下：
(21)设置视频相机观察矩阵：以真实相机所在位置为原点，真实相机视线方向为Z轴，用真实相机姿态确定X轴、Y轴，建立视频相机观察坐标系，进而根据观察坐标系设置视频相机观察矩阵；
(22)设置视频相机投影矩阵：根据真实相机张角、像片宽高比设置视频相机的投影矩阵；
(23)设置视频相机视口矩阵：设置视频相机的视口宽度和高度分别为像片的水平像素分辨率和垂直像素分辨率；根据视口宽度和高度设置视频相机的视口矩阵。
进一步地，所述步骤(3)实现过程如下：
(31)将承影多边形分解为三角网：根据承影多边形的顶点分布，确定一个参考平面，使各顶点到参考平面的距离的平方和最小；将承影多边形投影到参考平面形成一个平面多边形，对该平面多边形进行三角化；根据点的对应关系，把三角化的结果映射到承影多边形，得到承影多边形的分解表示；
(32)输出承影多边形深度图：关闭颜色缓存，开启深度缓存，仅渲染分解后的承影多边形，生成承影多边形深度图。
进一步地，所述步骤(4)包括以下步骤：
(41)在GPU片元着色器中，根据渲染相机观察矩阵、渲染相机投影矩阵、视频相机观察矩阵和视频相机投影矩阵，将片元变换到视频相机空间，获得片元在视频相机空间的归一化投影坐标(u,v,d1)，d1表示片元在视频相机空间的深度值，通过坐标(u,v)采样承影多边形深度图得到深度值d2；
(42)若d2<1，表示处于承影多边形内，进一步判断d1与d2；若d1＝d2，输出(u,v)处的视频纹理颜色；否则，输出模型本身的纹理颜色；
(43)若d2＝＝1，表示处于承影多边形外，输出模型本身的纹理颜色。
基于相同的发明构思，本发明还提供一种面向视频投射场景的遮挡物动态隐藏装置，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述计算机程序被加载至处理器时实现所述的面向视频投射场景的遮挡物动态隐藏方法。
有益效果：与现有技术相比，本发明的有益效果：与传统的修改模型文件的方式相比，该发明具有更好的视觉效果和修改显示的实时性；在保证三维模型完整性的基础上，解决视频投射时遮挡物带来的投射变形问题；也可方便用户更加便捷的查看视频增强场景效果，参与实时交互。
附图说明
图1为本发明的流程图；
图2为三维场景原始可视化效果图；
图3为隐藏前的视频投射效果图；
图4为造成视频投射变形的电杆示意图；
图5为电杆隐藏后的视频投射效果图。
具体实施方式
下面结合附图对本发明作进一步详细说明。
本发明提供一种基于压平包围球的三维场景局部区域动态压平方法，如图1所示，具体包括以下步骤：
步骤1：根据视频投射区域定义空间多边形作为承影多边形：承影多边形完全覆盖遮挡物隐藏后的视频投射区，在遮挡物隐藏后接收视频投影。
如图4所示，用屏幕取点方式获得承影多边形顶点的屏幕坐标，然后借助于渲染相机视点下的视口矩阵、投影矩阵和视图矩阵，将屏幕坐标变换到用户坐标系。在3D渲染引擎库OpenGL中，可以使用gluUnProject函数实现。
步骤2：根据真实相机创建视频相机，设置视频相机观察矩阵、投影矩阵和视口矩阵。
(2.1)设置视频相机观察矩阵：以真实相机所在位置为原点，真实相机视线方向为Z轴，用真实相机姿态确定X轴、Y轴，建立视频相机观察坐标系，进而根据观察坐标系设置视频相机观察矩阵。在3D渲染引擎库OpenGL中，可以使用gluLookAt函数根据观察坐标系信息自动设置观察矩阵。
(2.2)设置视频相机投影矩阵：根据真实相机内参，如张角、像片宽高比设置视频相机的投影矩阵。在3D渲染引擎库OpenGL中，可以使用gluPerspective函数设置投影矩阵。
(2.3)设置视频相机视口矩阵：设置视频相机的视口宽度和高度分别为像片的水平像素分辨率和垂直像素分辨率；根据视口宽度和高度设置视频相机的视口矩阵。在3D渲染引擎库OpenGL中，可以使用glViewport函数自动设置视口矩阵。
步骤3：使用视频相机生成承影多边形深度图。
(31)将承影多边形分解为三角网：首先根据承影多边形的顶点分布，确定一个参考平面，使各顶点到参考平面的距离的平方和最小。然后将承影多边形投影到参考平面形成一个平面多边形，对该平面多边形进行三角化。最后根据点的对应关系，把三角化的结果映射到承影多边形，得到承影多边形的分解表示。
(32)输出承影多边形深度图：关闭颜色缓存，开启深度缓存，仅渲染分解后的承影多边形,利用FBO技术生成深度图，最后输出到纹理作为步骤4的输入.
步骤4：在GPU的片元着色器中，判断承影多边形与片元的包含和前后关系，将处于视频投射路径上的遮挡物动态消除。
(4.1)在片元着色器中，根据渲染相机观察矩阵、渲染相机投影矩阵、视频相机观察矩阵和视频相机投影矩阵，将片元变换到视频相机空间，获得片元在视频相机空间的归一化投影坐标(u,v,d1)，d1表示片元在视频相机空间的深度值，通过坐标(u,v)采样承影多边形深度图得到深度值d2。
(4.2)若d2<1，表示处于承影多边形内，进一步判断d1与d2：若d1＝d2，说明处于承影多边形上，输出(u,v)处的视频纹理颜色；否则，说明遮挡物在视频投射路径上，输出模型本身的纹理颜色；
(4.3)若d2＝＝1，表示处于承影多边形外，直接输出模型纹理颜色。
图2为三维场景原始可视化效果图，图3为隐藏前的视频投射效果图，经过上述步骤后，如图5所示，处于视频投射路径上的遮挡物已动态消除，不再影响视频投射效果。
本发明还提供一种面向视频投射场景的遮挡物动态隐藏装置，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述计算机程序被加载至处理器时实现所述的面向视频投射场景的遮挡物动态隐藏方法。

Claims (2)

1.一种面向视频投射场景的遮挡物动态隐藏方法，其特征在于，包括以下步骤：
(1)根据视频投射区域定义空间多边形作为承影多边形：承影多边形完全覆盖遮挡物隐藏后的视频投射区，在遮挡物隐藏后接收视频投影；
(2)根据真实相机创建视频相机，设置视频相机观察矩阵、投影矩阵和视口矩阵；
(3)使用视频相机生成承影多边形深度图；
(4)在GPU的片元着色器中，判断承影多边形与片元的包含和前后关系，将处于视频投射路径上的遮挡物动态消除；
所述步骤(2)实现过程如下：
(21)设置视频相机观察矩阵：以真实相机所在位置为原点，真实相机视线方向为Z轴，用真实相机姿态确定X轴、Y轴，建立视频相机观察坐标系，进而根据观察坐标系设置视频相机观察矩阵；
(22)设置视频相机投影矩阵：根据真实相机张角、像片宽高比设置视频相机的投影矩阵；
(23)设置视频相机视口矩阵：设置视频相机的视口宽度和高度分别为像片的水平像素分辨率和垂直像素分辨率；根据视口宽度和高度设置视频相机的视口矩阵；
所述步骤(3)实现过程如下：
(31)将承影多边形分解为三角网：根据承影多边形的顶点分布，确定一个参考平面，使各顶点到参考平面的距离的平方和最小；将承影多边形投影到参考平面形成一个平面多边形，对该平面多边形进行三角化；根据点的对应关系，把三角化的结果映射到承影多边形，得到承影多边形的分解表示；
(32)输出承影多边形深度图：关闭颜色缓存，开启深度缓存，仅渲染分解后的承影多边形，生成承影多边形深度图；
所述步骤(4)包括以下步骤：
(41)在GPU片元着色器中，根据渲染相机观察矩阵、渲染相机投影矩阵、视频相机观察矩阵和视频相机投影矩阵，将片元变换到视频相机空间，获得片元在视频相机空间的归一化投影坐标(u,v,d1)，d1表示片元在视频相机空间的深度值；通过坐标(u,v)采样承影多边形深度图得到深度值d2；
(42)若d2<1，表示处于承影多边形内，进一步判断d1与d2；若d1＝d2，输出(u,v)处的视频纹理颜色；否则，输出模型本身的纹理颜色；
(43)若d2＝＝1，表示处于承影多边形外，输出模型本身的纹理颜色。
2.一种面向视频投射场景的遮挡物动态隐藏装置，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述计算机程序被加载至处理器时实现根据权利要求1所述的面向视频投射场景的遮挡物动态隐藏方法。
CN202110200279.8A 2021-02-23 2021-02-23 一种面向视频投射场景的遮挡物动态隐藏方法及装置 Active CN113269819B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110200279.8A CN113269819B (zh) 2021-02-23 2021-02-23 一种面向视频投射场景的遮挡物动态隐藏方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110200279.8A CN113269819B (zh) 2021-02-23 2021-02-23 一种面向视频投射场景的遮挡物动态隐藏方法及装置

Publications (2)

Publication Number Publication Date
CN113269819A CN113269819A (zh) 2021-08-17
CN113269819B true CN113269819B (zh) 2024-03-26

Family

ID=77228204

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110200279.8A Active CN113269819B (zh) 2021-02-23 2021-02-23 一种面向视频投射场景的遮挡物动态隐藏方法及装置

Country Status (1)

Country Link
CN (1) CN113269819B (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103400409A (zh) * 2013-08-27 2013-11-20 华中师范大学 一种基于摄像头姿态快速估计的覆盖范围3d可视化方法
CN109544671A (zh) * 2018-11-12 2019-03-29 浙江大学 一种基于屏幕空间的视频在三维场景中投影映射方法
KR20190067070A (ko) * 2017-12-06 2019-06-14 노소영 가상 공간에서의 프로젝션 맵핑 시스템 및 방법

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103400409A (zh) * 2013-08-27 2013-11-20 华中师范大学 一种基于摄像头姿态快速估计的覆盖范围3d可视化方法
KR20190067070A (ko) * 2017-12-06 2019-06-14 노소영 가상 공간에서의 프로젝션 맵핑 시스템 및 방법
CN109544671A (zh) * 2018-11-12 2019-03-29 浙江大学 一种基于屏幕空间的视频在三维场景中投影映射方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
导弹投射区域可视化中的坐标变换研究;郭文普;孙继银;王鹏;;计算机技术与发展;20100410(04);全文 *

Also Published As

Publication number Publication date
CN113269819A (zh) 2021-08-17

Similar Documents

Publication Publication Date Title
CN108648269B (zh) 三维建筑物模型的单体化方法和系统
Nguyen-Phuoc et al. Rendernet: A deep convolutional network for differentiable rendering from 3d shapes
CN111968215B (zh) 一种体积光渲染方法、装置、电子设备及存储介质
US7348989B2 (en) Preparing digital images for display utilizing view-dependent texturing
US6437782B1 (en) Method for rendering shadows with blended transparency without producing visual artifacts in real time applications
US7212207B2 (en) Method and apparatus for real-time global illumination incorporating stream processor based hybrid ray tracing
CN108257204B (zh) 运用于Unity引擎的顶点色绘制烘焙方法及系统
CN107330964B (zh) 一种复杂三维物体的显示方法及系统
EP3792876A1 (en) Apparatus, method and computer program for rendering a visual scene
WO2012037863A1 (zh) 三维模型数据化简、渐进传输方法及装置
JP2002520749A (ja) 完全にテクスチャリングされた３次元モデルを発生する方法及びシステム
JPH11511875A (ja) テクスチャマップを作成し、画質を高めるためのコンピュータグラフィックスシステム
CN107610225B (zh) 一种倾斜摄影实景三维模型单体化方法
US6791544B1 (en) Shadow rendering system and method
WO2024120151A1 (zh) 一种图像渲染方法、装置、设备、存储介质及产品
JP2024508457A (ja) ３ｄモデリングを強化するために一時的なテクスチャアプリケーションを提供する方法及びシステム
CN109544671B (zh) 一种基于屏幕空间的视频在三维场景中投影映射方法
CN109461197B (zh) 一种基于球面uv和重投影的云实时绘制优化方法
CN114022349A (zh) 一种基于透视投影的平面图像处理方法及装置
Wang et al. Bidirectional shadow rendering for interactive mixed 360° videos
CN116385619B (zh) 对象模型渲染方法、装置、计算机设备和存储介质
CN113269819B (zh) 一种面向视频投射场景的遮挡物动态隐藏方法及装置
Nicolet et al. Repurposing a relighting network for realistic compositions of captured scenes
CN111369654A (zh) 一种2d cg动画混制方法
US20220392121A1 (en) Method for Improved Handling of Texture Data For Texturing and Other Image Processing Tasks

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant