CN112437276B - 一种基于WebGL的三维视频融合方法及系统 - Google Patents

一种基于WebGL的三维视频融合方法及系统 Download PDF

Info

Publication number
CN112437276B
CN112437276B CN202011316504.6A CN202011316504A CN112437276B CN 112437276 B CN112437276 B CN 112437276B CN 202011316504 A CN202011316504 A CN 202011316504A CN 112437276 B CN112437276 B CN 112437276B
Authority
CN
China
Prior art keywords
video
camera
depth
texture
scene
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011316504.6A
Other languages
English (en)
Other versions
CN112437276A (zh
Inventor
张帅
平红燕
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Airlook Aviation Technology Beijing Co ltd
Original Assignee
Airlook Aviation Technology Beijing Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Airlook Aviation Technology Beijing Co ltd filed Critical Airlook Aviation Technology Beijing Co ltd
Priority to CN202011316504.6A priority Critical patent/CN112437276B/zh
Publication of CN112437276A publication Critical patent/CN112437276A/zh
Application granted granted Critical
Publication of CN112437276B publication Critical patent/CN112437276B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/005—General purpose rendering architectures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/04—Texture mapping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G06T15/205—Image-based rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/80—Geometric correction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2624—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects for obtaining an image which is composed of whole input images, e.g. splitscreen
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Graphics (AREA)
  • Computing Systems (AREA)
  • Geometry (AREA)
  • Processing Or Creating Images (AREA)
  • Image Generation (AREA)

Abstract

本发明提供一种基于WebGL的三维视频融合方法及系统，不用对视频源做处理，接入HTTP视频流，基于WebGL更新视频纹理对象，更新设置观察相机视锥体近裁剪面、远裁剪面、相机位置及朝向，然后更新观察视角的场景深度，投射还原到观察者相机坐标系统下，与实景模型融合，并对摄像头做畸变校正，最后采用蒙版实现视频区域裁剪效果。本发明解决了现有技术存在的问题，基于WebGL实现了三维视频融合，对投射区域进行了裁剪，可以使相邻视频避免重合显示，并对摄像头做了畸变校正，使得畸变较大的摄像头及安装位置较低的情况能够取得很好的显示效果。

Description

一种基于WebGL的三维视频融合方法及系统
技术领域
本发明涉及视频融合技术领域，尤其涉及一种基于WebGL的三维视频融合方法及系统。
背景技术
目前，在传统视频监控系统中，监管人员很难将摄像头视频与其实际地理位置对应，无法对大场景进行全局实时监测，三维视频融合(也称为全景视频融合或全时空动态视频融合)技术，可以将摄像头实时画面投射到实景模型上，可以更好的对全局大场景进行监控，可以很方便的跨境头协同追踪车辆或人员；由于投射到三维场景中，所以可以看到每个视频在空间中的实际位置，通过旋转三维场景，可以从不同角度查看视频，为实战指挥带来便利。现有的视频融合方案虽然实现了模型的融合，但没对摄像头做畸变校正，适应场合较窄，只适合摄像头安装较高并且镜头畸变小的场景，否则显示效果较差。
发明内容
有鉴于此，本公开提供一种基于WebGL的三维视频融合方法及系统，技术方案如下：
一方面，本发明提供了一种基于WebGL的三维视频融合方法，包括如下步骤：
步骤1：接入视频流；
步骤2：基于WebGL更新视频纹理对象；
步骤3：设置观察相机的参数；
步骤4：更新观察视角的场景深度；
步骤5：根据深度图计算投影纹理坐标；
步骤6：摄像头畸变校正；
步骤7：根据蒙版控制显示区域，步骤7执行完成后返回步骤2循环。
进一步地，所述的步骤1，接入视频流支持接入本地视频文件和HTTP协议网络视频数据，使用HTML5的Video标签HTMLVideoElement存放视频对像。
进一步地，所述的步骤2，基于WebGL每帧循环使用canvas拷贝HTMLVideoElement视频单帧图像，使用canvas值更新渲染到场景的视频纹理对象。
进一步地，所述的步骤3设置观察相机的参数包括：
步骤3.1：根据投影距离设置观察相机视锥体近裁剪面和远裁剪面；
步骤3.2：根据相机的水平视角和垂直视角设置视锥体的视角及横纵比，设置观察相机的位置和朝向。
进一步地，所述的步骤4更新观察视角的场景深度，包括如下步骤：
步骤4.1：由视锥体的投影矩阵与相机视图矩阵相乘后求逆矩阵再乘以深度相机的视图矩阵，得到纹理的视图矩阵；
步骤4.2：纹理投影矩阵取深度相机的投影矩阵，清除深度值，遍历场景中绘制信息，将深度信息写入深度纹理。
进一步地，所述的步骤5根据深度图计算投影纹理坐标，包括如下步骤：
步骤5.1：还原到观察者相机坐标系统下；
步骤5.2：根据纹理坐标值对应场景深度图的深度值，将纹理坐标值及深度值，由0～1投影坐标，换算到-1～1坐标；
步骤5.3：构成三维坐标位置点，再乘以视图投影矩阵，单位化后还原到0～1坐标；
步骤5.4：计算最远距离的深度值，深度值的范围在中心点到最远深度值之间。
进一步地，所述的步骤6摄像头畸变校正，包括如下步骤：
步骤6.1：使用工具软件根据摄像头的内参及畸变参数生成的uv纹理校正图；
步骤6.2：渲染时着色器取出步骤6.1所述的uv纹理校正图的uv值，使用此图投射坐标对应的校正后的像素坐标，转换为纹理坐标，在视频纹理对象取对应颜色值，达到畸变校正效果。
进一步地，所述的步骤7根据蒙版控制显示区域，包括如下步骤：
步骤7.1：根据需要显示区域范围，用制图软件，生成透明度图片；
步骤7.2：根据蒙版图片的alpha通道值，0或1，在着色器中设置视频相应位置是否显示，实现对视频区域裁剪效果。
另一方面，本发明提供一种基于WebGL的三维视频融合系统，包括：视频接入及存储模块、视频融合处理模块、摄像头畸变校正模块、蒙版显示模块。视频接入及存储模块，用于接入视频并存储视频对象；视频融合处理模块,基于WebGL将视频与场景的融合处理；摄像头畸变校正模块,用于依据摄像头的内参和畸变参数对视频融合处理后的视频进行畸变校正；蒙版显示模块，用于根据需要显示的区域范围，基于蒙版图片选择性显示畸变校正后的融合视频，实现对视频区域的裁剪显示。
进一步地，所述的视频融合处理模块，包括纹理数据子模块、相机参数设置子模块、场景深度子模块、投影计算子模块，纹理数据子模块，基于WebGL每帧循环使用canvas拷贝HTMLVideoElement视频单帧图像，使用canvas值更新渲染到场景的视频纹理对象；相机参数设置子模块，根据投影距离设置观察相机视锥体近裁剪面和远裁剪面，根据相机的水平视角和垂直视角设置视锥体的视角及横纵比，设置观察相机的位置和朝向；场景深度子模块，由视锥体的投影矩阵与相机视图矩阵相乘后求逆矩阵再乘以深度相机的视图矩阵，得到纹理的视图矩阵，纹理投影矩阵取深度相机的投影矩阵，清除深度值，遍历场景中绘制信息，将深度信息写入深度纹理；投影计算子模块，还原到观察者相机坐标系统下，根据纹理坐标值对应场景深度图的深度值，将纹理坐标值及深度值，由0～1投影坐标，换算到-1～1坐标，构成三维坐标位置点，再乘以视图投影矩阵，单位化后还原到0～1坐标，计算最远距离的深度值，深度值的范围在中心点到最远深度值之间。
本发明提供一种基于WebGL的三维视频融合方法及系统，本发明解决了现有技术存在的问题，基于WebGL实现了三维视频融合，对投射区域进行了裁剪，可以使相邻视频避免重合显示，并对摄像头做了畸变校正，使得畸变较大的摄像头及安装位置较低的情况能够取得很好的显示效果。
附图说明
构成本申请的一部分的附图用来提供对本申请的进一步理解，使得本申请的其它特征、目的和优点变得更明显。本申请的示意性实施例附图及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
图1为本发明提供的一种基于WebGL的三维视频融合方法示意图；
图2为本发明提供的一种基于WebGL的三维视频融合系统的结构组成示意图；
图3为本发明基于WebGL的三维视频融合效果示意图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分的实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。
需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
在本申请中，术语“上”、“下”、“左”、“右”、“前”、“后”、“顶”、“底”、“内”、“外”、“中”、“竖直”、“水平”、“横向”、“纵向”等指示的方位或位置关系为基于附图所示的方位或位置关系。这些术语主要是为了更好地描述本申请及其实施例，并非用于限定所指示的装置、元件或组成部分必须具有特定方位，或以特定方位进行构造和操作。
并且，上述部分术语除了可以用于表示方位或位置关系以外，还可能用于表示其他含义，例如术语“上”在某些情况下也可能用于表示某种依附关系或连接关系。对于本领域普通技术人员而言，可以根据具体情况理解这些术语在本申请中的具体含义。
另外，术语“多个”的含义应为两个以及两个以上。
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
实施例一
本发明实施例一，提供了一种基于WebGL的三维视频融合方法，如图1所示，包括如下步骤：
步骤1：接入视频流。
具体实施时，接入视频流，支持接入本地视频文件和HTTP协议网络视频数据，使用HTML5的Video标签HTMLVideoElement存放视频对像。
步骤2：基于WebGL更新视频纹理对象。
具体实施时，基于3D绘图协议WebGL标准，图形渲染的效率较高，浏览器上直接访问，方便快捷。对步骤一接入的视频源每帧循环使用canvas拷贝HTMLVideoElement视频单帧图像，使用canvas值更新渲染到场景的视频纹理对象。针对视频每帧图像，WebGL纹理对象。
步骤3：设置观察相机的参数。包括如下分步骤：
步骤3.1：根据投影距离设置观察相机视锥体近裁剪面和远裁剪面；观察相机是在实景模型环境下，模拟的拍摄相机位置等。
步骤3.2：根据相机的水平视角和垂直视角设置视锥体的视角及横纵比，设置观察相机的位置和朝向。
步骤4：更新观察视角的场景深度。包括如下分步骤：
步骤4.1：由视锥体的投影矩阵与相机视图矩阵相乘后求逆矩阵再乘以深度相机的视图矩阵，得到纹理的视图矩阵；
步骤4.2：纹理投影矩阵取深度相机的投影矩阵，清除深度值，遍历场景中绘制信息，将深度信息写入深度纹理。
步骤5：根据深度图计算投影纹理坐标。包括如下分步骤：
步骤5.1：将当前坐标系还原到观察者相机坐标系统下；
步骤5.2：根据纹理坐标值对应场景深度图的深度值，将纹理坐标值及深度值，由0～1投影坐标，换算到-1～1坐标；
具体实施时，根据视频图像上的纹理坐标值，取场景深度图像的颜色值，与vec4(1.0,1.0/255.0,1.0/65025.0,1.0/16581375.0)求点乘，得出深度值。将深度值由0～1，转换为投影坐标的z值，范围为-1～1。投影坐标的x、y值为纹理坐标转化到-1～1坐标。
步骤5.3：构成三维坐标位置点，再乘以视图投影矩阵，单位化后还原到0～1坐标；
具体实施时，纹理视图矩阵乘以上步得出的投影坐标，得出的纹理视图坐标，纹理视图坐标乘以纹理投影矩阵得出，纹理投影坐标，将此坐标每个分量从-1～1还原到0～1坐标。
步骤5.4：计算最远距离的深度值，深度值的范围在中心点到最远深度值之间。
具体实施时，纹理坐标z值小于最远距离深度值，即显示视频纹理。
步骤6：摄像头畸变校正。包括如下分步骤：
步骤6.1：使用工具软件根据摄像头的内参及畸变参数生成的uv纹理校正图；
步骤6.2：渲染时着色器取出步骤6.1所述的uv纹理校正图的uv值，使用此图投射坐标对应的校正后的像素坐标，转换为纹理坐标，在视频纹理对象取对应颜色值，达到畸变校正效果。
步骤7：根据蒙版控制显示区域，步骤7执行完成后返回步骤2循环。步骤7包括如下分步骤：
步骤7.1：根据视频需要显示区域范围，用制图软件，生成透明度图片；
步骤7.2：根据步骤7.1生成的蒙版图片的alpha通道值即透明度值，0或1，在着色器中设置视频相应位置是否显示，实现对视频区域裁剪效果。
视频纹理坐标的w值，即取的蒙版图片的w值(0或1)，决定是否显示此像素点，达到控制视频纹理显示区域的目的。蒙版图片对应视频图像大小，透明度1的不显示，0的显示。多个摄像头通过各自设置的蒙版图片，避免重叠区域都显示。
实施例二
本发明实施例二，如图2所示，提供了一种基于WebGL的三维视频融合系统，包括：视频接入及存储模块、视频融合处理模块、摄像头畸变校正模块、蒙版显示模块。视频接入及存储模块，用于接入视频并存储视频对象；视频融合处理模块,基于WebGL将视频与场景的融合处理；摄像头畸变校正模块,用于依据摄像头的内参和畸变参数对视频融合处理后的视频进行畸变校正；蒙版显示模块，用于根据需要显示的区域范围，基于蒙版图片选择性显示畸变校正后的融合视频，实现对视频区域的裁剪显示。
具体实施时，所述的视频融合处理模块，包括纹理数据子模块、相机参数设置子模块、场景深度子模块、投影计算子模块，纹理数据子模块，基于WebGL每帧循环使用canvas拷贝HTMLVideoElement视频单帧图像，使用canvas值更新渲染到场景的视频纹理对象；相机参数设置子模块，根据投影距离设置观察相机视锥体近裁剪面和远裁剪面，根据相机的水平视角和垂直视角设置视锥体的视角及横纵比，设置观察相机的位置和朝向；场景深度子模块，由视锥体的投影矩阵与相机视图矩阵相乘后求逆矩阵再乘以深度相机的视图矩阵，得到纹理的视图矩阵，纹理投影矩阵取深度相机的投影矩阵，清除深度值，遍历场景中绘制信息，将深度信息写入深度纹理；投影计算子模块，还原到观察者相机坐标系统下，根据纹理坐标值对应场景深度图的深度值，将纹理坐标值及深度值，由0～1投影坐标，换算到-1～1坐标，构成三维坐标位置点，再乘以视图投影矩阵，单位化后还原到0～1坐标，计算最远距离的深度值，深度值的范围在中心点到最远深度值之间。
如图3所示，为本发明具体实施的基于WebGL的三维视频融合效果示意图，楼房及底图等为场景，四条斑马线以及两辆车为视频，融合效果良好。
以上所述仅为本申请的优选实施例而已，并不用于限制本申请，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (6)

1.一种基于WebGL的三维视频融合方法，其特征在于，包括如下步骤：
步骤1：接入视频流；
步骤2：基于WebGL更新视频纹理对象；
步骤3：设置观察相机的参数；
步骤4：更新观察视角的场景深度；
步骤5：根据深度图计算投影纹理坐标；
步骤6：摄像头畸变校正；
步骤7：根据蒙版控制显示区域，步骤7执行完成后返回步骤2循环；
所述的步骤3设置观察相机的参数包括：
步骤3.1：根据投影距离设置观察相机视锥体近裁剪面和远裁剪面；观察相机是在实景模型环境下，模拟的拍摄相机位置；
步骤3.2：根据相机的水平视角和垂直视角设置视锥体的视角及横纵比，设置观察相机的位置和朝向；
所述的步骤4更新观察视角的场景深度，包括如下步骤：
步骤4.1：由视锥体的投影矩阵与相机视图矩阵相乘后求逆矩阵再乘以深度相机的视图矩阵，得到纹理的视图矩阵；
步骤4.2：纹理投影矩阵取深度相机的投影矩阵，清除深度值，遍历场景中绘制信息，将深度信息写入深度纹理；
所述的步骤6摄像头畸变校正，包括如下步骤：
步骤6.1：使用工具软件根据摄像头的内参及畸变参数生成的uv纹理校正图；
步骤6.2：渲染时着色器取出步骤6.1所述的uv纹理校正图的uv值，使用此图投射坐标对应的校正后的像素坐标，转换为纹理坐标，在视频纹理对象取对应颜色值，达到畸变校正效果。
2.根据权利要求1所述的一种基于WebGL的三维视频融合方法，其特征在于，所述的步骤1，接入视频流支持接入本地视频文件和HTTP协议网络视频数据，使用HTML5的Video标签HTMLVideoElement存放视频对象。
3.根据权利要求1所述的一种基于WebGL的三维视频融合方法，其特征在于，所述的步骤2，基于WebGL每帧循环使用canvas拷贝HTMLVideoElement视频单帧图像，使用canvas值更新渲染到场景的视频纹理对象。
4.根据权利要求1所述的一种基于WebGL的三维视频融合方法，其特征在于，所述的步骤5根据深度图计算投影纹理坐标，包括如下步骤：
步骤5.1：还原到观察者相机坐标系统下；
步骤5.2：根据纹理坐标值对应场景深度图的深度值，将纹理坐标值及深度值，由0~1投影坐标，换算到-1~1坐标；
步骤5.3：构成三维坐标位置点，再乘以视图投影矩阵，单位化后还原到0~1坐标；
步骤5.4：计算最远距离的深度值，深度值的范围在中心点到最远深度值之间。
5.根据权利要求1所述的一种基于WebGL的三维视频融合方法，其特征在于，所述的步骤7根据蒙版控制显示区域，包括如下步骤：
步骤7.1：根据需要显示区域范围，用制图软件，生成透明度图片；
步骤7.2：根据蒙版图片的alpha通道值,0或1，在着色器中设置视频相应位置是否显示，实现对视频区域裁剪效果。
6.一种基于WebGL的三维视频融合系统，其特征在于，包括：视频接入及存储模块、视频融合处理模块、摄像头畸变校正模块、蒙版显示模块；视频接入及存储模块，用于接入视频并存储视频对象；视频融合处理模块,基于WebGL将视频与场景的融合处理；摄像头畸变校正模块,用于依据摄像头的内参和畸变参数对视频融合处理后的视频进行畸变校正；蒙版显示模块，用于根据需要显示的区域范围，基于蒙版图片选择性显示畸变校正后的融合视频，实现对视频区域的裁剪显示；
所述的视频融合处理模块，包括纹理数据子模块、相机参数设置子模块、场景深度子模块、投影计算子模块，纹理数据子模块，基于WebGL每帧循环使用canvas拷贝HTMLVideoElement视频单帧图像，使用canvas值更新渲染到场景的视频纹理对象；相机参数设置子模块，根据投影距离设置观察相机视锥体近裁剪面和远裁剪面，观察相机是在实景模型环境下，模拟的拍摄相机位置；根据相机的水平视角和垂直视角设置视锥体的视角及横纵比，设置观察相机的位置和朝向；场景深度子模块，由视锥体的投影矩阵与相机视图矩阵相乘后求逆矩阵再乘以深度相机的视图矩阵，得到纹理的视图矩阵，纹理投影矩阵取深度相机的投影矩阵，清除深度值，遍历场景中绘制信息，将深度信息写入深度纹理；投影计算子模块，还原到观察者相机坐标系统下，根据纹理坐标值对应场景深度图的深度值，将纹理坐标值及深度值，由0~1投影坐标，换算到-1~1坐标，构成三维坐标位置点，再乘以视图投影矩阵，单位化后还原到0~1坐标，计算最远距离的深度值，深度值的范围在中心点到最远深度值之间。
CN202011316504.6A 2020-11-20 2020-11-20 一种基于WebGL的三维视频融合方法及系统 Active CN112437276B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011316504.6A CN112437276B (zh) 2020-11-20 2020-11-20 一种基于WebGL的三维视频融合方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011316504.6A CN112437276B (zh) 2020-11-20 2020-11-20 一种基于WebGL的三维视频融合方法及系统

Publications (2)

Publication Number Publication Date
CN112437276A CN112437276A (zh) 2021-03-02
CN112437276B true CN112437276B (zh) 2023-04-07

Family

ID=74693360

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011316504.6A Active CN112437276B (zh) 2020-11-20 2020-11-20 一种基于WebGL的三维视频融合方法及系统

Country Status (1)

Country Link
CN (1) CN112437276B (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115129191B (zh) * 2021-03-26 2023-08-15 北京新氧科技有限公司 三维对象拾取方法、装置、设备及存储介质
CN113205599B (zh) * 2021-04-25 2022-06-14 武汉大学 一种视频三维融合时gpu加速的视频纹理更新方法
CN113283543B (zh) * 2021-06-24 2022-04-15 北京优锘科技有限公司 一种基于WebGL的图像投影融合方法、装置、存储介质和设备
CN115761188A (zh) * 2022-11-07 2023-03-07 四川川云智慧智能科技有限公司 一种基于WebGL的多媒体与三维场景融合的方法和系统
CN116996742B (zh) * 2023-07-18 2024-08-13 数元科技(广州)有限公司 一种基于三维场景的视频融合方法及系统
CN117311708B (zh) * 2023-09-18 2024-04-05 中教畅享科技股份有限公司 一种网页端3d场景内资源展示页面动态修改方法及装置
CN117114978B (zh) * 2023-10-24 2024-03-29 深圳软牛科技集团股份有限公司 基于iOS的图片裁剪与还原方法、装置及其相关介质
CN117152400B (zh) * 2023-10-30 2024-03-19 武汉苍穹融新科技有限公司 交通道路上多路连续视频与三维孪生场景融合方法及系统

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103226830A (zh) * 2013-04-25 2013-07-31 北京大学 三维虚实融合环境中视频纹理投影的自动匹配校正方法
CN105872353A (zh) * 2015-12-15 2016-08-17 乐视网信息技术（北京）股份有限公司 一种在移动设备上实现播放全景视频的系统和方法
WO2017092307A1 (zh) * 2015-12-01 2017-06-08 乐视控股（北京）有限公司 模型渲染方法及装置
CN107835436A (zh) * 2017-09-25 2018-03-23 北京航空航天大学 一种基于WebGL的实时虚实融合直播系统及方法
CN111294580A (zh) * 2020-03-12 2020-06-16 佳都新太科技股份有限公司 基于gpu的摄像头视频投影方法、装置、设备及存储介质
CN111640181A (zh) * 2020-05-14 2020-09-08 佳都新太科技股份有限公司 一种交互式视频投影方法、装置、设备及存储介质
CN111836012A (zh) * 2020-06-28 2020-10-27 航天图景（北京）科技有限公司 基于三维场景的视频融合与视频联动方法及电子设备

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9930315B2 (en) * 2015-04-29 2018-03-27 Lucid VR, Inc. Stereoscopic 3D camera for virtual reality experience

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103226830A (zh) * 2013-04-25 2013-07-31 北京大学 三维虚实融合环境中视频纹理投影的自动匹配校正方法
WO2017092307A1 (zh) * 2015-12-01 2017-06-08 乐视控股（北京）有限公司 模型渲染方法及装置
CN105872353A (zh) * 2015-12-15 2016-08-17 乐视网信息技术（北京）股份有限公司 一种在移动设备上实现播放全景视频的系统和方法
CN107835436A (zh) * 2017-09-25 2018-03-23 北京航空航天大学 一种基于WebGL的实时虚实融合直播系统及方法
CN111294580A (zh) * 2020-03-12 2020-06-16 佳都新太科技股份有限公司 基于gpu的摄像头视频投影方法、装置、设备及存储介质
CN111640181A (zh) * 2020-05-14 2020-09-08 佳都新太科技股份有限公司 一种交互式视频投影方法、装置、设备及存储介质
CN111836012A (zh) * 2020-06-28 2020-10-27 航天图景（北京）科技有限公司 基于三维场景的视频融合与视频联动方法及电子设备

Also Published As

Publication number Publication date
CN112437276A (zh) 2021-03-02

Similar Documents

Publication Publication Date Title
CN112437276B (zh) 一种基于WebGL的三维视频融合方法及系统
CN112053446B (zh) 一种基于三维gis的实时监控视频与三维场景融合方法
US10096157B2 (en) Generation of three-dimensional imagery from a two-dimensional image using a depth map
CN108564527B (zh) 基于神经网络的全景图内容补全和修复的方法及装置
CN103763479B (zh) 实时高速高清全景视频的拼接装置及其方法
US5329310A (en) Method and apparatus for controlling distortion of a projected image
US20200358996A1 (en) Real-time aliasing rendering method for 3d vr video and virtual three-dimensional scene
CN107705241B (zh) 一种基于瓦片地形建模和投影校正的沙盘构建方法
CN103198488B (zh) Ptz监控摄像机实时姿态快速估算方法
CN107705364A (zh) 一种基于三维地理信息的沉浸式虚拟展示系统
CN106780629A (zh) 一种三维全景数据采集、建模方法
CN103716586A (zh) 一种基于三维空间场景的监控视频融合系统和方法
CN108805807B (zh) 环景图像的拼接方法及其系统
CN110648274A (zh) 鱼眼图像的生成方法及装置
CN113436559B (zh) 一种沙盘动态景观实时显示系统及显示方法
CN112446939A (zh) 三维模型动态渲染方法、装置、电子设备及存储介质
CN109685879A (zh) 多视影像纹理分布的确定方法、装置、设备和存储介质
EP3057316B1 (en) Generation of three-dimensional imagery to supplement existing content
CN108509173A (zh) 图像展示系统及方法、存储介质、处理器
CN109461197B (zh) 一种基于球面uv和重投影的云实时绘制优化方法
CN114782648A (zh) 图像处理方法、装置、电子设备及存储介质
CN111327886B (zh) 3d光场渲染方法及装置
CN114928718A (zh) 视频监控方法、装置、电子设备及存储介质
CN110428361A (zh) 一种基于人工智能的多路图像采集方法
JP2005063041A (ja) ３次元モデリング装置、方法、及びプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant