CN105872496A - 一种超高清视频融合方法 - Google Patents
一种超高清视频融合方法 Download PDFInfo
- Publication number
- CN105872496A CN105872496A CN201610501834.XA CN201610501834A CN105872496A CN 105872496 A CN105872496 A CN 105872496A CN 201610501834 A CN201610501834 A CN 201610501834A CN 105872496 A CN105872496 A CN 105872496A
- Authority
- CN
- China
- Prior art keywords
- video
- ultra high
- definition
- image
- request
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000007500 overflow downdraw method Methods 0.000 title claims abstract description 27
- 230000004927 fusion Effects 0.000 claims abstract description 23
- 238000012544 monitoring process Methods 0.000 claims description 33
- 238000000034 method Methods 0.000 claims description 20
- 238000009877 rendering Methods 0.000 claims description 20
- 230000008569 process Effects 0.000 claims description 15
- 238000005516 engineering process Methods 0.000 claims description 13
- 230000006978 adaptation Effects 0.000 claims description 6
- 230000006835 compression Effects 0.000 claims description 6
- 238000007906 compression Methods 0.000 claims description 6
- 238000011217 control strategy Methods 0.000 claims description 6
- 238000003384 imaging method Methods 0.000 claims description 6
- 230000000007 visual effect Effects 0.000 claims description 5
- 230000005540 biological transmission Effects 0.000 claims description 4
- 230000007812 deficiency Effects 0.000 claims description 3
- 230000000694 effects Effects 0.000 abstract description 3
- 230000003044 adaptive effect Effects 0.000 abstract description 2
- 238000012545 processing Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 5
- 238000011161 development Methods 0.000 description 4
- 208000031481 Pathologic Constriction Diseases 0.000 description 1
- 230000002547 anomalous effect Effects 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 238000007630 basic procedure Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000009885 systemic effect Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 210000001215 vagina Anatomy 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
- H04N13/211—Image signal generators using stereoscopic image cameras using a single 2D image sensor using temporal multiplexing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
- H04N13/218—Image signal generators using stereoscopic image cameras using a single 2D image sensor using spatial multiplexing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/25—Image signal generators using stereoscopic image cameras using two or more image sensors with different characteristics other than in their location or field of view, e.g. having different resolutions or colour pickup characteristics; using image signals from one sensor to control the characteristics of another sensor
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/261—Image signal generators with monoscopic-to-stereoscopic image conversion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Closed-Circuit Television Systems (AREA)
Abstract
本发明涉及一种超高清视频融合方法，其包括如下流程：1），通过前端超高清视频采集装置获取监控场景的超高清视频；2），对获取的超高清视频进行视频流分级智能化管理；3），根据融合端用户实际观察目标的情况，运用视频流自适应请求策略向视频流分级智能化管理模块发出具体的视频流请求；4），视频流分级智能化管理模块再将相应的视频流通过编码模块进行编码通过网络发送给解码端，解码模块将其进行解码后输入融合端，融合端根据之前离线处理形成的虚实配准参数和规则，实现实时的配准渲染显示。本发明能够有效的解决投资大、难度高、建设周期长的问题，并显著提升了融合后图像的整体效果和系统分辨率。
Description
【技术领域】
本发明涉及一种视频融合方法，具体涉及一种运用超高清摄像机的视频融合方法，属于视频监控技术领域。
【背景技术】
监控系统是一种利用视频监控技术探测、监视设防区域，实时显示、记录现场图像，检索和显示历史图像的电子系统或网络系统。视频监控具有悠久的历史，在传统上广泛应用于安防领域，是协助公共安全部门打击犯罪、维持社会安定的重要手段。随着宽带的普及，计算机技术的发展，图像处理技术的提高，视频监控正越来越广泛地渗透到教育、政府、娱乐、医疗、酒店、运动等其他各种领域。随着安防视频监控系统的大量建设，监控的范围会越来越广泛。智能化技术的发展将使监控系统的功能从事后追查为主转为以预防为主，有效地提高监控系统本身的功能和效率。
为适应更为复杂和多变的场景，能够快速识别和分析更多的行为和异常事件。目前在监控系统中采用视频融合技术已成为了一种发展方向。
视频融合技术是虚拟现实技术的一个分支，也可以说是虚拟现实的一个发展阶段。视频融合技术指将一个或多个由视频采集设备采集的关于某个场景或模型的图像序列视频与一个与之相关的虚拟场景进行配准融合，以生成一个新的关于此场景的虚拟场景或模型。
视频融合技术一般可以分为三个层次，即预处理、信息融合与应用层。预处理技术主要用来对视频图像进行几何校正、噪声消除、色彩；亮度调整及配准等等。视频图像配准是指找到视频图像与三维虚拟场景的最大相关，以消除图像在空间、相位和分辨率等方向的信息差异，达到融合更真实，信息更准确的目的。信息融合层即视频图像与三维虚拟场景的融合。
超高清是指国际电信联盟最新批准的信息显示“4K分辨率(3840×2160 像素)”的正式名称，被定为“超高清 Ultra HD(Ultra High-Definition)”。随着技术的发展，目前，这个名称同样适用于分辨率大于4K分辨率的图像，主要分辨率类型有1600万像素、2000万像素、3000万像素等的视频图像。
然而，现有技术多以1080P分辨率为代表的高清视频融合，与采用超高清视频相比，为实现同一区域视频全覆盖，需要的像机设备数量多，硬件成本高且对现场安装的点位选择有较高要求，难以大范围推广。
同时，视频细节信息不足，无法满足监控实战中既能看全景，又能看细节的要求。200、500万像素摄像机视频融合在三维场景中后，会出现明显的细节模糊现象，无法满足高清监控需要。
因此，为解决上述技术问题，确有必要提供一种创新的超高清视频融合方法，以克服现有技术中的所述缺陷。
【发明内容】
本发明的目的在于提供一种引入视频流分级智能化管理和视频流自适应请求策略模块来实现超高清视频的融合的超高清视频融合方法，其能够有效的解决投资大、难度高、建设周期长的问题，并显著提升了了融合后图像的整体效果和系统分辨率。
为实现上述目的，本发明采取的技术方案为：一种超高清视频融合方法，其包括如下流程：
1），通过前端超高清视频采集装置获取监控场景的超高清视频；
2），对获取的超高清视频进行视频流分级智能化管理，具体包括图像分层处理和图像分块处理；
3），根据融合端用户实际观察目标的情况，运用视频流自适应请求策略向视频流分级智能化管理模块发出具体的视频流请求，具体包括全局层级化请求和局部分块化请求；
4），视频流分级智能化管理模块再将相应的视频流通过编码模块进行编码通过网络发送给解码端，解码模块将其进行解码后输入融合端，融合端根据之前离线处理形成的虚实配准参数和规则，实现实时的配准渲染显示；
其中，所述编码模块对融合端需要请求的视频流进行编码和网络发送，同时，对视频流分析智能化管理模块产生的所有视频流进行编码和存储，用于后期回放。
本发明的超高清视频融合方法进一步为：步骤1）中的超高清视频采集装置采集分辨率高于1080P的视频信号的摄像机。
本发明的超高清视频融合方法进一步为：步骤2）中，所述图像分层处理将超高清视频流中的图像根据实际需求处理成Ⅰ、Ⅱ、Ⅲ、Ⅳ质量等级，且成倒金字塔结构；Ⅰ级是超高清视频流的原始图像分辨率大小，为金字塔最顶层，Ⅱ级是在Ⅰ级图像的基础上宽高各减少1/3所得的分辨率，Ⅲ级和Ⅳ级图像以此类推。
本发明的超高清视频融合方法进一步为：步骤2）中，所述图像分块处理将超高清视频流中的图像根据实际的监控场景分割成为不同大小的矩形区域分别进行压缩管理。
本发明的超高清视频融合方法进一步为：步骤3）中，全局层级化请求指当渲染端用户的视点较高，观察范围较大，甚至包含了整个监控系统部署区域的时候，向视频流分级智能化管理模块请求不同质量级别视频流的请求控制策略；局部分块化请求指当渲染端用户的视点较低，观察范围较小，一般只占一个超高清摄像机覆盖范围的一部分的时候，向视频流分级智能化管理模块请求不同子模块视频流的请求控制策略。
本发明的超高清视频融合方法进一步为：步骤4）中，所述编码模块需要对超高清视频流进行编码压缩，视频流分级智能化管理输出的所有分层视频流和分块视频流，具体分为实时在线编码发送和离线编码存储；实时在线编码发送是针对渲染端请求对应的分层视频流或者分块视频流进行编码，并通过网络发送出去；离线编码存储是指将视频流分级智能化管理输出的所有分层视频流和分块视频流分别进行编码存储，以用于后期渲染端的回放请求。
本发明的超高清视频融合方法进一步为：步骤4）中，所述虚实配准包括如下步骤：
a.对摄像机摄取的图像进行视觉识别,找到各标志点在图像显示坐标系中的二维坐标值;
b.通过各个标志点在世界坐标系中的三维坐标值和在显示坐标系中的二维坐标值,实时计算出摄像机的焦距、成像屏幕大小等内部参数、在世界坐标系中的位置和方向角的外部参数；
c.根据实时计算出摄像机的焦距、成像屏幕大小等内部参数、在世界坐标系中的位置和方向角等外部参数设定虚拟相机。
本发明的超高清视频融合方法还为：步骤4）中，所述实时配准渲染过程包括使用OpenGL三维渲染技术，根据虚拟相机的位置、投影角度，物体的坐标，求出每个顶点所对应的纹理坐标，然后依据纹理坐标去查询纹理值。
与现有技术相比，本发明具有如下有益效果：
1. 本发明的超高清视频融合方法利用多台超高清摄像机视频分别与三维立体地理信息系统模型进行无缝融合，形成大范围三维全景视频。根据监控目标需求形成以三维街景模型与视频采集图像相互融合叠加的虚拟现实的最终展示效果。同时随着调用者在三维GIS系统中不同位置、不同视角的变化，三维模型的位置、大小和方向与视频信号的分辨率将随着观测点与被观测目标的远近关系和观测角度进行运算叠加。观测点与目标越紧模型放大越大，调用的视频分辨率也越高，反之亦然。
2. 本发明的超高清视频融合方法较现有的标高清视频融合技术，能够减少融合所需的摄像机数量，减少建设和开发的工作量，大大降低视频图像融合的难度；其次，由于采用视频信号为超高清信号，故在虚拟现实中图像分辨率能够有效得到提高，更能接近现实，从中观测到目标的细节；最后，本发明能实现根据用户的观察范围进行图像分辨率分级动态切换，即满足人眼视觉的分辨率动态自适应。
【附图说明】
图1是本发明的超高清视频融合方法的原理图。
图2是本发明步骤2）中的图像分层处理的示意图。
图3是本发明步骤3）中的图像分块处理的示意图。
图4是本发明步骤4）中的局部分块化请求的示意图。
【具体实施方式】
请参阅说明书附图1至附图4所示，本发明为一种超高清视频融合方法，其包括如下流程：
1），通过前端超高清视频采集装置获取监控场景的超高清视频；
2），对获取的超高清视频进行视频流分级智能化管理，具体包括图像分层处理和图像分块处理；
3），根据融合端用户实际观察目标的情况，运用视频流自适应请求策略向视频流分级智能化管理模块发出具体的视频流请求，具体包括全局层级化请求和局部分块化请求；
4），视频流分级智能化管理模块再将相应的视频流通过编码模块进行编码通过网络发送给解码端，解码模块将其进行解码后输入融合端，融合端根据之前离线处理形成的虚实配准参数和规则，实现实时的配准渲染显示；
其中，所述编码模块对融合端需要请求的视频流进行编码和网络发送，同时，对视频流分析智能化管理模块产生的所有视频流进行编码和存储，用于后期回放。
进一步的，所述超高清视频采集设备采集分辨率高于1080P的视频信号的摄像机，用于获取对监控场景的大范围超高清的视频流。目前产生超高清视频信号的主要设备类型有4K高清，1600万像素、2000万像素、3000万像素摄像机等。
所述视频流分级智能化管理，是对超高清视频采集设备采集的视频流进行分级的智能化管理，以应对融合端多样化自适应的视频流请求策略,可以总体降低网络负载。
其中，图像分层处理是指将超高清视频流中的图像根据实际需求处理成多个质量等级（不同分辨率）的图像分别进行压缩管理。在这里我们将单个超高清视频流的图像处理为Ⅰ、Ⅱ、Ⅲ、Ⅳ质量等级，且成倒金字塔结构。Ⅰ级是超高清视频流的原始图像分辨率大小，为金字塔最顶层，Ⅱ级是在Ⅰ级图像的基础上宽高各减少1/3所得的分辨率，Ⅲ级和Ⅳ级图像以此类推。具体见图2所示。图像分层处理针对每一级视频流采用逐帧压缩技术，其会对各级视频流中的每个帧应用压缩算法。由此得到的视频包含一系列单独压缩的帧，各帧均不需要其他帧的信息。因此，可单独访问每个帧，使得能够实现视频流的快速请求与访问。
图像分块处理是指将超高清视频流中的图像根据实际的监控场景分割成为不同大小的矩形区域分别进行压缩管理。超高清的图像覆盖范围广泛，但分辨率比较大，而有时候渲染端用户只需对监控的某一处细节进行漫游查看，那就仅需要对该特定区域的视频进行融合渲染，没必要对整个超高清图像进行融合，所以这里需对超高清视频流进行分块处理，以达到实时性和细节性的要求。在这里我们将单个超高清视频按照子监控目标的场景完整性为原则分割为几个子视频，如A、B、C、D、E等。每个子视频对应一个较为完整的监控目标的场景，便于渲染端在观察子监控目标细节的时候出现画面缺失，具体见图3所示。例如我们将1号超高清视频进行了图像分块处理之后形成1-A、1-B、1-C、1-D和1-E 子视频流，它们作为1号超高清视频的子节点，相应的，1号超高清视频就是这些子视频流的父节点，并附带生成一个用于查找管理的索引表。
所述编码模块是指需要对超高清视频流进行编码压缩，输入是视频流分级智能化管理输出的所有分层视频流和分块视频流，具体分为实时在线编码发送和离线编码存储。实时在线编码发送是针对渲染端请求对应的分层视频流或者分块视频流进行编码，并通过网络发送出去；离线编码存储是指将视频流分级智能化管理输出的所有分层视频流和分块视频流分别进行编码存储，以用于后期渲染端的回放请求。
所述解码模块是指对编码模块通过网络传输过来的视频流进行解码，以输入到渲染端进行视频融合。
所述视频流自适应请求策略模块，是对渲染端用户实际查看监控场景具体情况所实施的一个视频流请求策略，以实现在有限带宽的情况下达到流畅的帧率，保证监控渲染端足够的细节清晰度，满足不同颗粒度视频流的自适应请求。具体包括全局层级化请求和局部分块化请求。
其中，全局层级化请求是指当渲染端用户的视点较高，观察范围较大，甚至包含了整个监控系统部署区域的时候，向视频流分级智能化管理模块请求不同质量级别视频流的请求控制策略。与视频流分级智能化管理模块中的图像分层处理对应，我们这里的层级化请求也分为4个等级，具体是根据用户实际的监控场景的可视高度来划分。当渲染端用户在整个监控系统的最高点时，一般可以观察到所有超高清摄像机覆盖的监控范围，所以这时请求所有Ⅳ质量等级的超高清视频流；当渲染端用户在监控系统中降低视点，可观看到1-2个超高清摄像机副高的监控范围的时候，便请求对应的Ⅲ质量等级的超高清视频流；以此类推。渲染端用户的全局视点越低，我们请求的层级图像的质量等级就越高。
局部分块化请求是指当渲染端用户的视点较低，观察范围较小，一般只占一个超高清摄像机覆盖范围的一部分的时候，向视频流分级智能化管理模块请求不同子模块视频流的请求控制策略。与视频流分级智能化管理模块中图像分块处理对应，我们这里的分块化请求是根据用户观察子监控目标区域的具体位置信息，在视频流分级智能化管理模块中图像分块处理产生的索引表中查找并请求对应的子模块视频流。这里根据实际的视点范围可以请求1个子视频流，也可以请求相邻的多个子视频流，甚至是请求跨摄像头的多个子视频流，具体见图4所示。
所述虚实配准模块是指通过精准的相机标定与三维注册,使虚拟物体可以与真实世界进行无缝融合。在真实世界中交互设定世界坐标系的原点、X坐标、Y坐标、Z坐标,并测量出多个标志点的三维坐标值。对摄像机摄取的图像进行视觉识别,找到各标志点在图像显示坐标系中的二维坐标值。
通过各个标志点在世界坐标系中的三维坐标值和在显示坐标系中的二维坐标值,实时计算出摄像机的焦距、成像屏幕大小等内部参数、在世界坐标系中的位置和方向角等外部参数。
根据实时计算出摄像机的焦距、成像屏幕大小等内部参数、在世界坐标系中的位置和方向角等外部参数设定虚拟相机。
所述实时渲染模块是指使用OpenGL三维渲染技术，根据上述虚拟配准模块输出的参数，来决定图像在何种位置以何种方式显示在屏幕上，基本流程是：根据虚拟相机的位置、投影角度，物体的坐标，求出每个顶点所对应的纹理坐标，然后依据纹理坐标去查询纹理值。
虚拟相机对三维虚拟场景进行变换的方法如下:
1)将变换后的虚拟场景的影像叠加到实际场景的影像中,实现虚实融合。将虚实融合后的图像通过头蓝或投影机显示出来,观察者看到的是虚实融合后的场景。
2)将现实环境的标识物上存在渲染三维的虚拟动画,实现增强现实的效果。
当渲染虚拟摄像机视角内容时，只有与目标物相关的像素部分由从监控摄像机中获取的图像进行投影照亮，并且能看到动态视频纹理的投影。
以上的具体实施方式仅为本创作的较佳实施例，并不用以限制本创作，凡在本创作的精神及原则之内所做的任何修改、等同替换、改进等，均应包含在本创作的保护范围之内。
Claims (8)
1.一种超高清视频融合方法，其特征在于：包括如下流程：
1），通过前端超高清视频采集装置获取监控场景的超高清视频；
2），对获取的超高清视频进行视频流分级智能化管理，具体包括图像分层处理和图像分块处理；
3），根据融合端用户实际观察目标的情况，运用视频流自适应请求策略向视频流分级智能化管理模块发出具体的视频流请求，具体包括全局层级化请求和局部分块化请求；
4），视频流分级智能化管理模块再将相应的视频流通过编码模块进行编码通过网络发送给解码端，解码模块将其进行解码后输入融合端，融合端根据之前离线处理形成的虚实配准参数和规则，实现实时的配准渲染显示；
其中，所述编码模块对融合端需要请求的视频流进行编码和网络发送，同时，对视频流分析智能化管理模块产生的所有视频流进行编码和存储，用于后期回放。
2.如权利要求1所述的超高清视频融合方法，其特征在于：步骤1）中的超高清视频采集设备采集分辨率高于1080P的视频信号的摄像机。
3.如权利要求1所述的超高清视频融合方法，其特征在于：步骤2）中，所述图像分层处理将超高清视频流中的图像根据实际需求处理成Ⅰ、Ⅱ、Ⅲ、Ⅳ质量等级，且成倒金字塔结构；Ⅰ级是超高清视频流的原始图像分辨率大小，为金字塔最顶层，Ⅱ级是在Ⅰ级图像的基础上宽高各减少1/3所得的分辨率，Ⅲ级和Ⅳ级图像以此类推。
4.如权利要求1所述的超高清视频融合方法，其特征在于：步骤2）中，所述图像分块处理将超高清视频流中的图像根据实际的监控场景分割成为不同大小的矩形区域分别进行压缩管理。
5.如权利要求1所述的超高清视频融合方法，其特征在于：步骤3）中，全局层级化请求指当渲染端用户的视点较高，观察范围较大，甚至包含了整个监控系统部署区域的时候，向视频流分级智能化管理模块请求不同质量级别视频流的请求控制策略；局部分块化请求指当渲染端用户的视点较低，观察范围较小，一般只占一个超高清摄像机覆盖范围的一部分的时候，向视频流分级智能化管理模块请求不同子模块视频流的请求控制策略。
6.如权利要求1所述的超高清视频融合方法，其特征在于：步骤4）中，所述编码模块需要对超高清视频流进行编码压缩，视频流分级智能化管理输出的所有分层视频流和分块视频流，具体分为实时在线编码发送和离线编码存储；实时在线编码发送是针对渲染端请求对应的分层视频流或者分块视频流进行编码，并通过网络发送出去；离线编码存储是指将视频流分级智能化管理输出的所有分层视频流和分块视频流分别进行编码存储，以用于后期渲染端的回放请求。
7.如权利要求1所述的超高清视频融合方法，其特征在于：步骤4）中，所述虚实配准包括如下步骤：
a.对摄像机摄取的图像进行视觉识别,找到各标志点在图像显示坐标系中的二维坐标值;
b.通过各个标志点在世界坐标系中的三维坐标值和在显示坐标系中的二维坐标值,实时计算出摄像机的焦距、成像屏幕大小等内部参数、在世界坐标系中的位置和方向角的外部参数；
c.根据实时计算出摄像机的焦距、成像屏幕大小等内部参数、在世界坐标系中的位置和方向角等外部参数设定虚拟相机。
8.如权利要求1所述的超高清视频融合方法，其特征在于：步骤4）中，所述实时配准渲染过程包括使用OpenGL三维渲染技术，根据虚拟相机的位置、投影角度，物体的坐标，求出每个顶点所对应的纹理坐标，然后依据纹理坐标去查询纹理值。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610501834.XA CN105872496B (zh) | 2016-07-01 | 2016-07-01 | 一种超高清视频融合方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610501834.XA CN105872496B (zh) | 2016-07-01 | 2016-07-01 | 一种超高清视频融合方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN105872496A true CN105872496A (zh) | 2016-08-17 |
| CN105872496B CN105872496B (zh) | 2019-07-09 |
Family
ID=56655611
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201610501834.XA Expired - Fee Related CN105872496B (zh) | 2016-07-01 | 2016-07-01 | 一种超高清视频融合方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN105872496B (zh) |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107835436A (zh) * | 2017-09-25 | 2018-03-23 | 北京航空航天大学 | 一种基于WebGL的实时虚实融合直播系统及方法 |
| CN108693953A (zh) * | 2017-02-28 | 2018-10-23 | 华为技术有限公司 | 一种增强现实ar投影方法及云端服务器 |
| CN109618134A (zh) * | 2018-12-10 | 2019-04-12 | 北京智汇云舟科技有限公司 | 一种无人机动态视频三维地理信息实时融合系统及方法 |
| CN109672897A (zh) * | 2018-12-26 | 2019-04-23 | 北京数码视讯软件技术发展有限公司 | 全景视频编码方法及装置 |
| CN111147801A (zh) * | 2019-12-31 | 2020-05-12 | 视联动力信息技术股份有限公司 | 一种视联网终端的视频数据处理方法和装置 |
| CN111770363A (zh) * | 2020-07-10 | 2020-10-13 | 陕西师范大学 | 基于情景感知的低延迟高分辨率移动增强现实系统 |
| CN112348967A (zh) * | 2020-10-29 | 2021-02-09 | 国网浙江省电力有限公司 | 一种电力设备三维模型与实时视频无缝融合的方法 |
| CN116055700A (zh) * | 2023-03-23 | 2023-05-02 | 北京清扬通信有限公司 | 一种降低网络流量的多路视频处理方法、设备及介质 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1564203A (zh) * | 2004-04-12 | 2005-01-12 | 浙江大学 | 一种分级层次化组装式深度拼图集的快速绘制森林方法 |
| JP2010140517A (ja) * | 2008-12-09 | 2010-06-24 | Panasonic Corp | 録画装置 |
| CN103136739A (zh) * | 2011-11-29 | 2013-06-05 | 北京航天长峰科技工业集团有限公司 | 一种复杂场景下可控摄像机监控视频与三维模型配准方法 |
| CN103226838A (zh) * | 2013-04-10 | 2013-07-31 | 福州林景行信息技术有限公司 | 地理场景中移动监控目标的实时空间定位方法 |
| CN104616243A (zh) * | 2015-01-20 | 2015-05-13 | 北京大学 | 一种高效的gpu三维视频融合绘制方法 |
| CN104954769A (zh) * | 2015-06-15 | 2015-09-30 | 中国科学院自动化研究所 | 一种浸入式超高清视频处理系统及方法 |
| CN104966283A (zh) * | 2015-05-22 | 2015-10-07 | 北京邮电大学 | 图像分层配准方法 |
| CN105141940A (zh) * | 2015-08-18 | 2015-12-09 | 太原科技大学 | 一种分区域的3d视频编码方法 |
-
2016
- 2016-07-01 CN CN201610501834.XA patent/CN105872496B/zh not_active Expired - Fee Related
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1564203A (zh) * | 2004-04-12 | 2005-01-12 | 浙江大学 | 一种分级层次化组装式深度拼图集的快速绘制森林方法 |
| JP2010140517A (ja) * | 2008-12-09 | 2010-06-24 | Panasonic Corp | 録画装置 |
| CN103136739A (zh) * | 2011-11-29 | 2013-06-05 | 北京航天长峰科技工业集团有限公司 | 一种复杂场景下可控摄像机监控视频与三维模型配准方法 |
| CN103226838A (zh) * | 2013-04-10 | 2013-07-31 | 福州林景行信息技术有限公司 | 地理场景中移动监控目标的实时空间定位方法 |
| CN104616243A (zh) * | 2015-01-20 | 2015-05-13 | 北京大学 | 一种高效的gpu三维视频融合绘制方法 |
| CN104966283A (zh) * | 2015-05-22 | 2015-10-07 | 北京邮电大学 | 图像分层配准方法 |
| CN104954769A (zh) * | 2015-06-15 | 2015-09-30 | 中国科学院自动化研究所 | 一种浸入式超高清视频处理系统及方法 |
| CN105141940A (zh) * | 2015-08-18 | 2015-12-09 | 太原科技大学 | 一种分区域的3d视频编码方法 |
Cited By (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108693953A (zh) * | 2017-02-28 | 2018-10-23 | 华为技术有限公司 | 一种增强现实ar投影方法及云端服务器 |
| CN107835436A (zh) * | 2017-09-25 | 2018-03-23 | 北京航空航天大学 | 一种基于WebGL的实时虚实融合直播系统及方法 |
| CN107835436B (zh) * | 2017-09-25 | 2019-07-26 | 北京航空航天大学 | 一种基于WebGL的实时虚实融合直播系统及方法 |
| CN109618134A (zh) * | 2018-12-10 | 2019-04-12 | 北京智汇云舟科技有限公司 | 一种无人机动态视频三维地理信息实时融合系统及方法 |
| CN109672897A (zh) * | 2018-12-26 | 2019-04-23 | 北京数码视讯软件技术发展有限公司 | 全景视频编码方法及装置 |
| CN109672897B (zh) * | 2018-12-26 | 2021-03-16 | 北京数码视讯软件技术发展有限公司 | 全景视频编码方法及装置 |
| CN111147801A (zh) * | 2019-12-31 | 2020-05-12 | 视联动力信息技术股份有限公司 | 一种视联网终端的视频数据处理方法和装置 |
| CN111770363A (zh) * | 2020-07-10 | 2020-10-13 | 陕西师范大学 | 基于情景感知的低延迟高分辨率移动增强现实系统 |
| CN111770363B (zh) * | 2020-07-10 | 2022-02-11 | 陕西师范大学 | 基于情景感知的低延迟高分辨率移动增强现实系统 |
| CN112348967A (zh) * | 2020-10-29 | 2021-02-09 | 国网浙江省电力有限公司 | 一种电力设备三维模型与实时视频无缝融合的方法 |
| CN116055700A (zh) * | 2023-03-23 | 2023-05-02 | 北京清扬通信有限公司 | 一种降低网络流量的多路视频处理方法、设备及介质 |
| CN116055700B (zh) * | 2023-03-23 | 2023-06-20 | 北京清扬通信有限公司 | 一种降低网络流量的多路视频处理方法、设备及介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN105872496B (zh) | 2019-07-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN105872496A (zh) | 一种超高清视频融合方法 | |
| CN104301677B (zh) | 面向大场景的全景视频监控的方法及装置 | |
| US11202086B2 (en) | Apparatus, a method and a computer program for volumetric video | |
| CN107483920B (zh) | 一种基于多层级质量因子的全景视频评估方法及系统 | |
| US10499033B2 (en) | Apparatus, a method and a computer program for coding and rendering volumetric video | |
| Zheng et al. | Segmented spherical projection-based blind omnidirectional image quality assessment | |
| Lai et al. | Real-time panoramic depth maps from omni-directional stereo images for 6 dof videos in virtual reality | |
| US20220394226A1 (en) | Free viewpoint video generation and interaction method based on deep convolutional neural network | |
| CN103828359A (zh) | 使用织锦编码的多视图图像的表现和代码化 | |
| JP5845123B2 (ja) | ３次元モデル−インテグラル画像変換装置およびそのプログラム | |
| JP2014505917A (ja) | ３ｄヒューマンマシンインターフェースのためのハイブリッドリアリティ | |
| TWI527434B (zh) | 利用光場相機產生立體影像的方法及光場相機 | |
| CN111325693A (zh) | 一种基于单视点rgb-d图像的大尺度全景视点合成方法 | |
| CN112446939A (zh) | 三维模型动态渲染方法、装置、电子设备及存储介质 | |
| CN107005689B (zh) | 数字视频渲染 | |
| CN105472308A (zh) | 多视角裸眼3d视频会议系统 | |
| DE102007021518A1 (de) | Verfahren zum Verarbeiten eines Videodatensatzes | |
| CN113436130B (zh) | 一种非结构光场智能感知系统与装置 | |
| WO2015185537A1 (en) | Method and device for reconstruction the face of a user wearing a head mounted display | |
| CN116860112B (zh) | 一种基于xr技术的组合场景体验生成方法、系统及介质 | |
| WO2019122504A1 (en) | Method for encoding and decoding volumetric video data | |
| Cooke et al. | Multi-view synthesis: A novel view creation approach for free viewpoint video | |
| WO2018109265A1 (en) | A method and technical equipment for encoding media content | |
| CN114339191B (zh) | 一种基于多视点重建的裸眼三维显示方法 | |
| Tseng et al. | A theoretical study on an accurate reconstruction of multiview images based on the Viterbi algorithm |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20190709 Termination date: 20210701 |
|
| CF01 | Termination of patent right due to non-payment of annual fee |