CN112634468B - 基于SpPccs的虚拟场景和实景视频融合算法 - Google Patents

基于SpPccs的虚拟场景和实景视频融合算法 Download PDF

Info

Publication number
CN112634468B
CN112634468B CN202110242921.9A CN202110242921A CN112634468B CN 112634468 B CN112634468 B CN 112634468B CN 202110242921 A CN202110242921 A CN 202110242921A CN 112634468 B CN112634468 B CN 112634468B
Authority
CN
China
Prior art keywords
virtual scene
real video
sparse
real
scene
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110242921.9A
Other languages
English (en)
Other versions
CN112634468A (zh
Inventor
韩宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing Moyu Interactive Intelligent Technology Co ltd
Original Assignee
Nanjing Moyu Interactive Intelligent Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing Moyu Interactive Intelligent Technology Co ltd filed Critical Nanjing Moyu Interactive Intelligent Technology Co ltd
Priority to CN202110242921.9A priority Critical patent/CN112634468B/zh
Publication of CN112634468A publication Critical patent/CN112634468A/zh
Application granted granted Critical
Publication of CN112634468B publication Critical patent/CN112634468B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本发明提出了基于SpPccs的虚拟场景和实景视频融合算法。该算法首先以虚拟场景和实景视频为样本并作均匀分块处理，训练出稀疏表达基，然后以稀疏表达基为投影空间利用子空间追踪算法分别对虚拟场景和实景视频进行稀疏映射，最后使用计算各个块的皮尔逊积矩相关系数，建立了以SP算法为核心的SpPccs的视频融合算法，对虚拟场景和真实视频场景进行有效融合。

Description

基于SpPccs的虚拟场景和实景视频融合算法
技术领域
本发明涉及虚拟场景和实景视频融合，特别设计基于SpPccs的虚拟场景和实景视频融合算法。
背景技术
近年来，随着字典学习技术与空间投影技术的不断进步，空间投影技术已经被应用到了诸多领域。随着科学发展，虚拟场景和实景视频融合技术在诸多领域中得到了广泛的应用，例如视频特效渲染，AR技术等。但虚拟场景和实景视频融合技术在复杂视频的融合拼接环境下仍然面临着巨大的挑战。融合错误将给用户带来差的体验。
因此，亟待提出一种虚拟场景和实景视频融合技术，来突破目前虚拟场景和实景视频融合技术瓶颈。
发明内容
为了解决上述存在问题。本发明提出基于SpPccs的虚拟场景和实景视频融合算法，对虚拟场景和实景视频进行皮尔逊积矩相关系数的度量，能够实现虚拟场景与实景视频的高精度融合，为达此目的：
本发明提出基于SpPccs的虚拟场景和实景视频融合算法，具体步骤如下：
步骤1：对虚拟场景和真实视频的单帧图像进行均匀分块处理；
步骤2：以虚拟场景和真实视频图像为训练数据集，使用字典学习算法训练出数据的稀疏基Ψ；
步骤3：以稀疏基Ψ为投影空间，使用子空间追踪算法，计算虚拟场景和真实视频图像帧的稀疏系数；
步骤4：对虚拟场景和真实视频图像的稀疏系数计算皮尔逊积矩相关系数；
步骤5：找到虚拟场景和真实视频图像的稀疏系数的相关系数最大处，进行虚拟场景和实景视频融合。
作为本发明进一步改进，所述步骤1中，虚拟场景和真实视频的单帧图像进行均匀分块的尺寸与虚拟场景的尺寸有关计算公式为
Figure 109051DEST_PATH_IMAGE001
其中，floor(•)是向下取整函数，N是单个虚拟场景的方形图像尺寸，M代表虚拟场景和真实视频均匀分块的尺寸，虚拟场景和真实视频被分为M×M的均匀块，且被拉伸为一维向量，向量尺寸为MM×1。
作为本发明进一步改进，所述步骤2中使用字典学习算法是K-SVD，稀疏基初始值是离散余弦变换字典。
作为本发明进一步改进，所述步骤4中皮尔逊积矩相关系数计算公式为
Figure 557350DEST_PATH_IMAGE002
其中，x是虚拟场景的均匀分块列向量的稀疏系数，x 0 是向量x的均值，y是实景视频的均匀分块列向量的稀疏系数，y 0是向量y的均值，(•)T是求矩阵转置，||•|| F 是求矩阵Frobenius范数。
作为本发明进一步改进，所述步骤5中虚拟场景和真实视频图像的稀疏系数的皮尔逊积矩相关系数计算公式为
Figure DEST_PATH_IMAGE003
其中，R i 是虚拟场景和真实视频图像的第i块稀疏系数的皮尔逊积矩相关系数值，|•|代表去绝对值，N是单个虚拟场景的方形图像尺寸，M代表虚拟场景和真实视频均匀分块的尺寸，S值越接近1，说明虚拟场景块和真实视频越匹配。
本发明基于SpPccs的虚拟场景和实景视频融合算法，有益效果在于：
1. 本发明建立了SpPccs算法，能够对虚拟场景和实景视频进行有效融合。
2. 本发明利用K-SVD的强大学习能力，能够迅速找到视频数据的最优稀疏基。
3. 本发明算法复杂度低，实现简单。
附图说明
图1是系统架构图。
具体实施方式
本发明提出基于SpPccs的虚拟场景和实景视频融合算法，对虚拟场景和实景视频进行皮尔逊积矩相关系数的度量，能够实现虚拟场景与实景视频的高精度融合，如图1是系统架构图。
首先，对虚拟场景和真实视频的单帧图像进行均匀分块处理。
虚拟场景和真实视频的单帧图像进行均匀分块的尺寸与虚拟场景的尺寸有关计算公式为
Figure 274770DEST_PATH_IMAGE001
其中，floor(•)是向下取整函数，N是单个虚拟场景的方形图像尺寸，M代表虚拟场景和真实视频均匀分块的尺寸，虚拟场景和真实视频被分为M×M的均匀块，且被拉伸为一维向量，向量尺寸为MM×1。
然后，以虚拟场景和真实视频图像为训练数据集，以稀疏基Ψ为投影空间，使用子空间追踪算法，计算虚拟场景和真实视频图像帧的稀疏系数；使用字典学习算法训练出数据的稀疏基Ψ；使用字典学习算法是K-SVD，稀疏基初始值是离散余弦变换字典。
接着，对虚拟场景和真实视频图像的稀疏系数计算皮尔逊积矩相关系数。
皮尔逊积矩相关系数计算公式为
Figure 76504DEST_PATH_IMAGE004
其中，x是虚拟场景的均匀分块列向量的稀疏系数，x 0 是向量x的均值，y是实景视频的均匀分块列向量的稀疏系数，y 0是向量y的均值，(•)T是求矩阵转置，||•|| F 是求矩阵Frobenius范数。
最后，找到虚拟场景和真实视频图像的稀疏系数的相关系数最大处，进行虚拟场景和实景视频融合。
虚拟场景和真实视频图像的稀疏系数的皮尔逊积矩相关系数计算公式为
Figure 422035DEST_PATH_IMAGE005
其中，R i 是虚拟场景和真实视频图像的第i块稀疏系数的皮尔逊积矩相关系数值，|•|代表去绝对值，N是单个虚拟场景的方形图像尺寸，M代表虚拟场景和真实视频均匀分块的尺寸，S值越接近1，说明虚拟场景块和真实视频越匹配。
以上所述，仅是本发明的较佳实施例而已，并非是对本发明作任何其他形式的限制，而依据本发明的技术实质所作的任何修改或等同变化，仍属于本发明所要求保护的范围。

Claims (1)

1.基于SpPccs的虚拟场景和实景视频融合算法，具体步骤如下，其特征在于,
步骤1：对虚拟场景和真实视频的单帧图像进行均匀分块处理；
所述步骤1中，虚拟场景和真实视频的单帧图像进行均匀分块的尺寸与虚拟场景的尺寸有关计算公式为
Figure 369885DEST_PATH_IMAGE002
其中，floor(•)是向下取整函数，N是单个虚拟场景的方形图像尺寸，M代表虚拟场景和真实视频均匀分块的尺寸，虚拟场景和真实视频被分为M×M的均匀块，且被拉伸为一维向量，向量尺寸为MM×1；
步骤2：以虚拟场景和真实视频图像为训练数据集，使用字典学习算法训练出数据的稀疏基Ψ；
所述步骤2中使用字典学习算法是K-SVD，稀疏基初始值是离散余弦变换字典；
步骤3：以稀疏基Ψ为投影空间，使用子空间追踪算法，计算虚拟场景和真实视频图像帧的稀疏系数；
步骤4：对虚拟场景和真实视频图像的稀疏系数计算皮尔逊积矩相关系数；
所述步骤4中皮尔逊积矩相关系数计算公式为
Figure DEST_PATH_IMAGE004
其中，x是虚拟场景的均匀分块列向量的稀疏系数，x 0 是向量x的均值，y是实景视频的均匀分块列向量的稀疏系数，y 0是向量y的均值，(•)T是求矩阵转置，||•|| F 是求矩阵Frobenius范数；
步骤5：找到虚拟场景和真实视频图像的稀疏系数的相关系数最大处，进行虚拟场景和实景视频融合；
所述步骤5中虚拟场景和真实视频图像的稀疏系数的皮尔逊积矩相关系数计算公式为
Figure DEST_PATH_IMAGE006
其中，R i 是虚拟场景和真实视频图像的第i块稀疏系数的皮尔逊积矩相关系数值，|•|代表去绝对值，N是单个虚拟场景的方形图像尺寸，M代表虚拟场景和真实视频均匀分块的尺寸，S值越接近1，说明虚拟场景块和真实视频越匹配。
CN202110242921.9A 2021-03-05 2021-03-05 基于SpPccs的虚拟场景和实景视频融合算法 Active CN112634468B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110242921.9A CN112634468B (zh) 2021-03-05 2021-03-05 基于SpPccs的虚拟场景和实景视频融合算法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110242921.9A CN112634468B (zh) 2021-03-05 2021-03-05 基于SpPccs的虚拟场景和实景视频融合算法

Publications (2)

Publication Number Publication Date
CN112634468A CN112634468A (zh) 2021-04-09
CN112634468B true CN112634468B (zh) 2021-05-18

Family

ID=75297567

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110242921.9A Active CN112634468B (zh) 2021-03-05 2021-03-05 基于SpPccs的虚拟场景和实景视频融合算法

Country Status (1)

Country Link
CN (1) CN112634468B (zh)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102427527A (zh) * 2011-09-27 2012-04-25 西安电子科技大学 基于分布式视频压缩感知系统非关键帧的重构方法
CN104463801A (zh) * 2014-12-04 2015-03-25 河西学院 一种基于自适应字典学习的多传感信息融合方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109257591A (zh) * 2017-07-12 2019-01-22 天津大学 基于稀疏表示的无参考立体视频质量客观评价方法
CN107483920B (zh) * 2017-08-11 2018-12-21 北京理工大学 一种基于多层级质量因子的全景视频评估方法及系统

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102427527A (zh) * 2011-09-27 2012-04-25 西安电子科技大学 基于分布式视频压缩感知系统非关键帧的重构方法
CN104463801A (zh) * 2014-12-04 2015-03-25 河西学院 一种基于自适应字典学习的多传感信息融合方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
三维虚拟与实景视频的融合平台研究及设计;曹惠龙;《电脑知识与技术》;20090430;第5卷(第11期);第2984-2985,2990页 *
局部密度峰聚类耦合字典学习的图像融合算法;吴亮等;《计算机工程与设计》;20180731;第39卷(第7期);第2008-2014页 *

Also Published As

Publication number Publication date
CN112634468A (zh) 2021-04-09

Similar Documents

Publication Publication Date Title
CN110751649B (zh) 视频质量评估方法、装置、电子设备及存储介质
WO2020155614A1 (zh) 图像处理方法及装置
CN109218629B (zh) 视频生成方法、存储介质和装置
EP2712453B1 (en) Image topological coding for visual search
CN106815854B (zh) 一种基于正则误差建模的在线视频前景背景分离方法
WO2023035531A1 (zh) 文本图像超分辨率重建方法及其相关设备
CN115761734A (zh) 基于模板匹配和概率分布的物体位姿估计方法
US20180137334A1 (en) Method for correction of the eyes image using machine learning and method for machine learning
CN106997381B (zh) 向目标用户推荐影视的方法及装置
CN114641998A (zh) 用于机器视频编码的方法和装置
JP2023525462A (ja) 特徴を抽出するための方法、装置、電子機器、記憶媒体およびコンピュータプログラム
Yun et al. Panoramic vision transformer for saliency detection in 360∘ videos
CN112767480A (zh) 一种基于深度学习的单目视觉slam定位方法
CN112634468B (zh) 基于SpPccs的虚拟场景和实景视频融合算法
CN108319983A (zh) 一种局部非线性对齐的非线性数据降维方法
CN108492275B (zh) 基于深度神经网络的无参考立体图像质量评价方法
Xiong et al. ψ-Net: Point Structural Information Network for No-Reference Point Cloud Quality Assessment
CN114827567B (zh) 视频质量分析方法、设备和可读介质
CN113837047B (zh) 一种视频质量评估方法、系统、计算机设备及存储介质
CN114449294A (zh) 运动估计方法、装置、设备、存储介质和计算机程序产品
CN114511445A (zh) 一种图像处理方法、装置、电子设备和存储介质
CN114048349A (zh) 一种推荐视频封面的方法、装置及电子设备
Jiang et al. Analyzing and Optimizing Virtual Reality Classroom Scenarios: A Deep Learning Approach.
Chen et al. Lightweight text spotting for interactive user experience in mixed reality
CN114586056A (zh) 图像处理方法及装置、设备、视频处理方法及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant