CN112634468B - 基于SpPccs的虚拟场景和实景视频融合算法 - Google Patents
基于SpPccs的虚拟场景和实景视频融合算法 Download PDFInfo
- Publication number
- CN112634468B CN112634468B CN202110242921.9A CN202110242921A CN112634468B CN 112634468 B CN112634468 B CN 112634468B CN 202110242921 A CN202110242921 A CN 202110242921A CN 112634468 B CN112634468 B CN 112634468B
- Authority
- CN
- China
- Prior art keywords
- virtual scene
- real video
- sparse
- real
- scene
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000004927 fusion Effects 0.000 title claims abstract description 18
- 238000012549 training Methods 0.000 claims abstract description 7
- 230000000903 blocking effect Effects 0.000 claims abstract description 4
- 238000012545 processing Methods 0.000 claims abstract description 4
- 239000013598 vector Substances 0.000 claims description 18
- 238000004364 calculation method Methods 0.000 claims description 8
- 239000011159 matrix material Substances 0.000 claims description 6
- 230000006870 function Effects 0.000 claims description 3
- 230000017105 transposition Effects 0.000 claims description 3
- 238000013507 mapping Methods 0.000 abstract 1
- 238000005516 engineering process Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000007526 fusion splicing Methods 0.000 description 1
- 238000000034 method Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
Landscapes
- Engineering & Computer Science (AREA)
- Computer Graphics (AREA)
- Computer Hardware Design (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
Abstract
本发明提出了基于SpPccs的虚拟场景和实景视频融合算法。该算法首先以虚拟场景和实景视频为样本并作均匀分块处理，训练出稀疏表达基，然后以稀疏表达基为投影空间利用子空间追踪算法分别对虚拟场景和实景视频进行稀疏映射，最后使用计算各个块的皮尔逊积矩相关系数，建立了以SP算法为核心的SpPccs的视频融合算法，对虚拟场景和真实视频场景进行有效融合。
Description
技术领域
本发明涉及虚拟场景和实景视频融合，特别设计基于SpPccs的虚拟场景和实景视频融合算法。
背景技术
近年来，随着字典学习技术与空间投影技术的不断进步，空间投影技术已经被应用到了诸多领域。随着科学发展，虚拟场景和实景视频融合技术在诸多领域中得到了广泛的应用，例如视频特效渲染，AR技术等。但虚拟场景和实景视频融合技术在复杂视频的融合拼接环境下仍然面临着巨大的挑战。融合错误将给用户带来差的体验。
因此，亟待提出一种虚拟场景和实景视频融合技术，来突破目前虚拟场景和实景视频融合技术瓶颈。
发明内容
为了解决上述存在问题。本发明提出基于SpPccs的虚拟场景和实景视频融合算法，对虚拟场景和实景视频进行皮尔逊积矩相关系数的度量，能够实现虚拟场景与实景视频的高精度融合，为达此目的：
本发明提出基于SpPccs的虚拟场景和实景视频融合算法，具体步骤如下：
步骤1：对虚拟场景和真实视频的单帧图像进行均匀分块处理；
步骤2：以虚拟场景和真实视频图像为训练数据集，使用字典学习算法训练出数据的稀疏基Ψ；
步骤3：以稀疏基Ψ为投影空间，使用子空间追踪算法，计算虚拟场景和真实视频图像帧的稀疏系数；
步骤4：对虚拟场景和真实视频图像的稀疏系数计算皮尔逊积矩相关系数；
步骤5：找到虚拟场景和真实视频图像的稀疏系数的相关系数最大处，进行虚拟场景和实景视频融合。
作为本发明进一步改进，所述步骤1中，虚拟场景和真实视频的单帧图像进行均匀分块的尺寸与虚拟场景的尺寸有关计算公式为
其中，floor(•)是向下取整函数，N是单个虚拟场景的方形图像尺寸，M代表虚拟场景和真实视频均匀分块的尺寸，虚拟场景和真实视频被分为M×M的均匀块，且被拉伸为一维向量，向量尺寸为MM×1。
作为本发明进一步改进，所述步骤2中使用字典学习算法是K-SVD，稀疏基初始值是离散余弦变换字典。
作为本发明进一步改进，所述步骤4中皮尔逊积矩相关系数计算公式为
其中，x是虚拟场景的均匀分块列向量的稀疏系数，x 0 是向量x的均值，y是实景视频的均匀分块列向量的稀疏系数，y 0是向量y的均值，(•)T是求矩阵转置，||•|| F 是求矩阵Frobenius范数。
作为本发明进一步改进，所述步骤5中虚拟场景和真实视频图像的稀疏系数的皮尔逊积矩相关系数计算公式为
其中，R i 是虚拟场景和真实视频图像的第i块稀疏系数的皮尔逊积矩相关系数值，|•|代表去绝对值，N是单个虚拟场景的方形图像尺寸，M代表虚拟场景和真实视频均匀分块的尺寸，S值越接近1，说明虚拟场景块和真实视频越匹配。
本发明基于SpPccs的虚拟场景和实景视频融合算法，有益效果在于：
1. 本发明建立了SpPccs算法，能够对虚拟场景和实景视频进行有效融合。
2. 本发明利用K-SVD的强大学习能力，能够迅速找到视频数据的最优稀疏基。
3. 本发明算法复杂度低，实现简单。
附图说明
图1是系统架构图。
具体实施方式
本发明提出基于SpPccs的虚拟场景和实景视频融合算法，对虚拟场景和实景视频进行皮尔逊积矩相关系数的度量，能够实现虚拟场景与实景视频的高精度融合，如图1是系统架构图。
首先，对虚拟场景和真实视频的单帧图像进行均匀分块处理。
虚拟场景和真实视频的单帧图像进行均匀分块的尺寸与虚拟场景的尺寸有关计算公式为
其中，floor(•)是向下取整函数，N是单个虚拟场景的方形图像尺寸，M代表虚拟场景和真实视频均匀分块的尺寸，虚拟场景和真实视频被分为M×M的均匀块，且被拉伸为一维向量，向量尺寸为MM×1。
然后，以虚拟场景和真实视频图像为训练数据集，以稀疏基Ψ为投影空间，使用子空间追踪算法，计算虚拟场景和真实视频图像帧的稀疏系数；使用字典学习算法训练出数据的稀疏基Ψ；使用字典学习算法是K-SVD，稀疏基初始值是离散余弦变换字典。
接着，对虚拟场景和真实视频图像的稀疏系数计算皮尔逊积矩相关系数。
皮尔逊积矩相关系数计算公式为
其中，x是虚拟场景的均匀分块列向量的稀疏系数，x 0 是向量x的均值，y是实景视频的均匀分块列向量的稀疏系数，y 0是向量y的均值，(•)T是求矩阵转置，||•|| F 是求矩阵Frobenius范数。
最后，找到虚拟场景和真实视频图像的稀疏系数的相关系数最大处，进行虚拟场景和实景视频融合。
虚拟场景和真实视频图像的稀疏系数的皮尔逊积矩相关系数计算公式为
其中，R i 是虚拟场景和真实视频图像的第i块稀疏系数的皮尔逊积矩相关系数值，|•|代表去绝对值，N是单个虚拟场景的方形图像尺寸，M代表虚拟场景和真实视频均匀分块的尺寸，S值越接近1，说明虚拟场景块和真实视频越匹配。
以上所述，仅是本发明的较佳实施例而已，并非是对本发明作任何其他形式的限制，而依据本发明的技术实质所作的任何修改或等同变化，仍属于本发明所要求保护的范围。
Claims (1)
1.基于SpPccs的虚拟场景和实景视频融合算法，具体步骤如下，其特征在于,
步骤1：对虚拟场景和真实视频的单帧图像进行均匀分块处理；
所述步骤1中，虚拟场景和真实视频的单帧图像进行均匀分块的尺寸与虚拟场景的尺寸有关计算公式为
其中，floor(•)是向下取整函数，N是单个虚拟场景的方形图像尺寸，M代表虚拟场景和真实视频均匀分块的尺寸，虚拟场景和真实视频被分为M×M的均匀块，且被拉伸为一维向量，向量尺寸为MM×1；
步骤2：以虚拟场景和真实视频图像为训练数据集，使用字典学习算法训练出数据的稀疏基Ψ；
所述步骤2中使用字典学习算法是K-SVD，稀疏基初始值是离散余弦变换字典；
步骤3：以稀疏基Ψ为投影空间，使用子空间追踪算法，计算虚拟场景和真实视频图像帧的稀疏系数；
步骤4：对虚拟场景和真实视频图像的稀疏系数计算皮尔逊积矩相关系数；
所述步骤4中皮尔逊积矩相关系数计算公式为
其中，x是虚拟场景的均匀分块列向量的稀疏系数，x 0 是向量x的均值，y是实景视频的均匀分块列向量的稀疏系数，y 0是向量y的均值，(•)T是求矩阵转置，||•|| F 是求矩阵Frobenius范数；
步骤5：找到虚拟场景和真实视频图像的稀疏系数的相关系数最大处，进行虚拟场景和实景视频融合；
所述步骤5中虚拟场景和真实视频图像的稀疏系数的皮尔逊积矩相关系数计算公式为
其中，R i 是虚拟场景和真实视频图像的第i块稀疏系数的皮尔逊积矩相关系数值，|•|代表去绝对值，N是单个虚拟场景的方形图像尺寸，M代表虚拟场景和真实视频均匀分块的尺寸，S值越接近1，说明虚拟场景块和真实视频越匹配。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110242921.9A CN112634468B (zh) | 2021-03-05 | 2021-03-05 | 基于SpPccs的虚拟场景和实景视频融合算法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110242921.9A CN112634468B (zh) | 2021-03-05 | 2021-03-05 | 基于SpPccs的虚拟场景和实景视频融合算法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112634468A CN112634468A (zh) | 2021-04-09 |
| CN112634468B true CN112634468B (zh) | 2021-05-18 |
Family
ID=75297567
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110242921.9A Active CN112634468B (zh) | 2021-03-05 | 2021-03-05 | 基于SpPccs的虚拟场景和实景视频融合算法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112634468B (zh) |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102427527A (zh) * | 2011-09-27 | 2012-04-25 | 西安电子科技大学 | 基于分布式视频压缩感知系统非关键帧的重构方法 |
| CN104463801A (zh) * | 2014-12-04 | 2015-03-25 | 河西学院 | 一种基于自适应字典学习的多传感信息融合方法 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109257591A (zh) * | 2017-07-12 | 2019-01-22 | 天津大学 | 基于稀疏表示的无参考立体视频质量客观评价方法 |
| CN107483920B (zh) * | 2017-08-11 | 2018-12-21 | 北京理工大学 | 一种基于多层级质量因子的全景视频评估方法及系统 |
-
2021
- 2021-03-05 CN CN202110242921.9A patent/CN112634468B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102427527A (zh) * | 2011-09-27 | 2012-04-25 | 西安电子科技大学 | 基于分布式视频压缩感知系统非关键帧的重构方法 |
| CN104463801A (zh) * | 2014-12-04 | 2015-03-25 | 河西学院 | 一种基于自适应字典学习的多传感信息融合方法 |
Non-Patent Citations (2)
| Title |
|---|
| 三维虚拟与实景视频的融合平台研究及设计;曹惠龙;《电脑知识与技术》;20090430;第5卷(第11期);第2984-2985,2990页 * |
| 局部密度峰聚类耦合字典学习的图像融合算法;吴亮等;《计算机工程与设计》;20180731;第39卷(第7期);第2008-2014页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112634468A (zh) | 2021-04-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Liao et al. | DR-GAN: Automatic radial distortion rectification using conditional GAN in real-time | |
| CN110751649B (zh) | 视频质量评估方法、装置、电子设备及存储介质 | |
| WO2020155614A1 (zh) | 图像处理方法及装置 | |
| WO2023035531A1 (zh) | 文本图像超分辨率重建方法及其相关设备 | |
| TW202040986A (zh) | 視頻圖像處理方法及裝置 | |
| EP2712453B1 (en) | Image topological coding for visual search | |
| CN106815854B (zh) | 一种基于正则误差建模的在线视频前景背景分离方法 | |
| CN110060286A (zh) | 一种单目深度估计方法 | |
| CN106997381B (zh) | 向目标用户推荐影视的方法及装置 | |
| CN116468919A (zh) | 图像局部特征匹配方法及系统 | |
| JP2023525462A (ja) | 特徴を抽出するための方法、装置、電子機器、記憶媒体およびコンピュータプログラム | |
| CN114641998A (zh) | 用于机器视频编码的方法和装置 | |
| Yun et al. | Panoramic vision transformer for saliency detection in 360∘ videos | |
| CN112767480A (zh) | 一种基于深度学习的单目视觉slam定位方法 | |
| CN113837047B (zh) | 一种视频质量评估方法、系统、计算机设备及存储介质 | |
| CN108319983A (zh) | 一种局部非线性对齐的非线性数据降维方法 | |
| CN112634468B (zh) | 基于SpPccs的虚拟场景和实景视频融合算法 | |
| Xiong et al. | ψ-net: Point structural information network for no-reference point cloud quality assessment | |
| CN118260432A (zh) | 一种基于多模态知识图谱的图像认知语义通信系统和方法 | |
| KR102667039B1 (ko) | 영상 처리 장치 및 그 동작방법 | |
| WO2021223747A1 (zh) | 视频处理方法、装置、电子设备、存储介质及程序产品 | |
| Chen et al. | Lightweight text spotting for interactive user experience in mixed reality | |
| CN114449294A (zh) | 运动估计方法、装置、设备、存储介质和计算机程序产品 | |
| CN114511445A (zh) | 一种图像处理方法、装置、电子设备和存储介质 | |
| CN113807251A (zh) | 一种基于外观的视线估计方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |