CN110418127B - 一种Web环境下基于像素模板的虚实融合装置的操作方法 - Google Patents

Abstract

本发明公开了一种Web环境下基于像素模板的虚实融合装置及方法。本发明属于计算机图形学领域；本发明对虚实融合流程进行重构，采用前后端协同绘制架构，平衡前后端的计算能力，减轻了网络带宽压力；基于绘制模板，客户端无需GPU即可进行虚实融合，极大地提高了绘制效率，降低了客户端硬件配置要求；在客户端采用JS进行无插件式绘制，避免了浏览器与插件不兼容的问题，提高了效率与兼容性。

Description

一种Web环境下基于像素模板的虚实融合装置的操作方法

技术领域

本发明涉及计算机图形学领域，尤其涉及一种Web环境下基于像素模板的虚实融合装置的操作方法。

背景技术

目前，虚实融合是典型的数据和计算密集应用，需要较高的硬件支持。在Web环境下，现有虚实融合技术有三种：基于插件、基于远程绘制和基于WebGL的方式。

基于插件的方式能充分发挥客户端的计算能力，但在Web环境下，廉价客户端普遍存在，难以满足所需的软硬件配置。此外由于需要下载和安装插件，客户体验差，存在安全性风险，跨平台性也差。

基于远程绘制的虚实融合方法，视频在服务端接入，在服务端融合后再以视频流方式推送到客户端，传输量很大。由于绝大部分工作均在服务端处理，客户端的计算能力基本没发挥，服务端容易成为性能瓶颈，难以应对多路视频接入和多用户并发访问。

目前兴起的基于WebGL的虚实融合方法属于无插件式方法，能平衡服务器和客户端的计算能力，用户体验好，但由于需要传输三维场景数据，以及WebGL本身的效率问题，只适合于小场景。

但是，其缺点在于，网络带宽受限、廉价客户端和多用户并发访问是Web应用需要面对的现实问题，针对Web环境的上述特点，如何平衡服务端和客户端的计算能力，减少网络数据传输量和提高融合效率是面向Web的虚实融合方法需要解决的关键问题。

发明内容

本发明的目的在于提供一种Web环境下基于像素模板的虚实融合装置的操作方法。

本发明的技术方案是：一种Web环境下基于像素模板的虚实融合装置的操作方法，所述虚实融合装置包括客户端和服务端，其具体操作步骤如下：

(1)、所述客户端向服务端提交请求；

(2)、所述服务端根据客户端请求按需绘制生成融合数据；

(3)、所述服务端将融合数据返回给客户端；

(4)、所述客户端根据返回的融合数据和视频进行自主绘制；

其中，所述服务端根据客户端请求按需绘制生成融合数据具体包括：

(2.1)、客户端请求参数分析：接受客户端用户请求，获取主视点、视点操作类型和摄像头名称的信息，然后把三维引擎的主视点重置为获取的主视点，并根据视点操作类型修改三维引擎的主视点作为新的主视点；

(2.2)、计算主视点背景图各像素在摄像头空间的深度值和视频纹理坐标：获取主视点、摄像头视图投影矩阵、主视点背景图、主视点深度图和摄像头深度图，计算主视点背景图各像素在摄像头空间的深度值和视频纹理坐标；

(2.3)、开辟一个和主视点背景图等大的二维数组作为像素模板；根据步骤(2.2)中计算的摄像头空间的深度值，与摄像头深度图中对应像素的深度值进行比较，确定在视频覆盖范围内的主视点背景图的像素，若深度值相等，则该像素在视频覆盖范围内，在像素模板对应位置记录视频纹理坐标；

(2.4)、把主视点、主视点背景图和像素模板作为融合数据返回给请求的客户端。

进一步的，所述客户端和服务端相互间用于交互信息：所述客户端向服务端传输的请求信息包括主视点、视点操作类型及摄像头名称，所述服务端向客户端传输的融合数据包括主视点、主视点背景图和像素模板，

其中主视点包括位置、朝向和向上方向三个矢量，所述像素模板为一个记录了视频覆盖范围视频纹理坐标的二维数组，主视点背景图和像素模板采用压缩或非压缩格式。

进一步的，所述客户端的自主绘制的具体步骤如下：

(4.1)、服务端数据解释：获取服务端传来的融合数据，获取主视点、主视点背景图和像素模板；

(4.2)、视频帧融合：对像素模板中确定的视频覆盖范围内的所有像素，用该像素的视频纹理坐标采样视频帧作为该像素颜色，不在覆盖区的像素直接使用主视点背景图像素颜色。

本发明的有益效果是：本发明对虚实融合流程进行重构，采用前后端协同绘制架构，平衡前后端的计算能力，减轻了网络带宽压力；基于像素模板，客户端无需GPU即可进行虚实融合，极大地提高了绘制效率，降低了客户端硬件配置要求；在客户端采用JS进行无插件式绘制，避免了浏览器与插件不兼容的问题，提高了效率与兼容性。

附图说明

图1是本发明的技术路线图；

图2是本发明中主视点的视域模型图；

图3是本发明中摄像头的视域示意图；

图4是本发明中主视点和摄像头视域融合图；

图5是本发明中纹理坐标计算步骤结构示意图。

具体实施方式

本发明如图所述；一种Web环境下基于像素模板的虚实融合装置的操作方法，所述虚实融合装置包括客户端和服务端，其具体操作步骤如下：

(1)、所述客户端向服务端提交请求；

(2)、所述服务端根据客户端请求按需绘制生成融合数据；

(3)、所述服务端将融合数据返回给客户端；

(4)、所述客户端根据返回的融合数据和视频进行自主绘制；

其中，所述服务端根据客户端请求按需绘制生成融合数据具体包括：

(2.1)、客户端请求参数分析：接受客户端用户请求，获取主视点、视点操作类型和摄像头名称的信息，然后把三维引擎的主视点重置为获取的主视点，并根据视点操作类型修改三维引擎的主视点作为新的主视点；

(2.2)、计算主视点背景图各像素在摄像头空间的深度值和视频纹理坐标：获取主视点、摄像头视图投影矩阵、主视点背景图、主视点深度图和摄像头深度图，计算主视点背景图各像素在摄像头空间的深度值和视频纹理坐标；

(2.3)、开辟一个和主视点背景图等大的二维数组作为像素模板；根据步骤(2.2)中计算的摄像头空间的深度值，与摄像头深度图中对应像素的深度值进行比较，确定在视频覆盖范围内的主视点背景图的像素，若深度值相等，则该像素在视频覆盖范围内，在像素模板对应位置记录视频纹理坐标；

(2.4)、把主视点、主视点背景图和像素模板作为融合数据返回给请求的客户端。

进一步的，所述客户端和服务端相互间用于交互信息：所述客户端向服务端传输的请求信息包括主视点、视点操作类型及摄像头名称，所述服务端向客户端传输的融合数据包括主视点、主视点背景图和像素模板，

其中主视点包括位置、朝向和向上方向三个矢量，所述像素模板为一个记录了视频覆盖范围视频纹理坐标的二维数组，主视点背景图和像素模板采用压缩或非压缩格式。

进一步的，所述客户端的自主绘制的具体步骤如下：

(4.1)、服务端数据解释：获取服务端传来的融合数据，获取主视点、主视点背景图和像素模板；

(4.2)、视频帧融合：对像素模板中确定的视频覆盖范围内的所有像素，用该像素的视频纹理坐标采样视频帧作为该像素颜色，不在覆盖区的像素直接使用主视点背景图像素颜色。

本发明对虚实融合流程进行重构，采用前后端协同绘制架构，平衡前后端的计算能力，减轻了网络带宽压力；基于绘制模板，客户端无需GPU即可进行虚实融合，极大地提高了绘制效率，降低了客户端硬件配置要求；在客户端采用JS进行无插件式绘制，避免了浏览器与插件不兼容的问题，提高了效率与兼容性。

Claims (3)

1.一种Web环境下基于像素模板的虚实融合装置的操作方法，其特征在于，所述虚实融合装置包括客户端和服务端，其具体操作步骤如下：

(1)、所述客户端向服务端提交请求；

(2)、所述服务端根据客户端请求按需绘制生成融合数据；

(3)、所述服务端将融合数据返回给客户端；

(4)、所述客户端根据返回的融合数据和视频进行自主绘制；

其中，所述服务端根据客户端请求按需绘制生成融合数据具体包括：

(2.1)、客户端请求参数分析：接受客户端用户请求，获取主视点、视点操作类型和摄像头名称的信息，然后把三维引擎的主视点重置为获取的主视点，并根据视点操作类型修改三维引擎的主视点作为新的主视点；

(2.2)、计算主视点背景图各像素在摄像头空间的深度值和视频纹理坐标：获取主视点、摄像头视图投影矩阵、主视点背景图、主视点深度图和摄像头深度图，计算主视点背景图各像素在摄像头空间的深度值和视频纹理坐标；

(2.3)、开辟一个和主视点背景图等大的二维数组作为像素模板；根据步骤(2.2)中计算的摄像头空间的深度值，与摄像头深度图中对应像素的深度值进行比较，确定在视频覆盖范围内的主视点背景图的像素，若深度值相等，则该像素在视频覆盖范围内，在像素模板对应位置记录视频纹理坐标；

(2.4)、把主视点、主视点背景图和像素模板作为融合数据返回给请求的客户端。

2.根据权利要求1所述的一种Web环境下基于像素模板的虚实融合装置的操作方法，其特征在于，所述客户端和服务端相互间用于交互信息：所述客户端向服务端传输的请求信息包括主视点、视点操作类型及摄像头名称，所述服务端向客户端传输的融合数据包括主视点、主视点背景图和像素模板，

其中主视点包括位置、朝向和向上方向三个矢量，所述像素模板为一个记录了视频覆盖范围视频纹理坐标的二维数组，主视点背景图和像素模板采用压缩或非压缩格式。

3.如权利要求1或2所述的一种Web环境下基于像素模板的虚实融合装置的操作方法，其特征在于，所述客户端的自主绘制的具体步骤如下：

(4.1)、服务端数据解释：获取服务端传来的融合数据，获取主视点、主视点背景图和像素模板；

(4.2)、视频帧融合：对像素模板中确定的视频覆盖范围内的所有像素，用该像素的视频纹理坐标采样视频帧作为该像素颜色，不在覆盖区的像素直接使用主视点背景图像素颜色。

Images