CN113706673A - 一种应用于虚拟增强现实技术的云渲染框架平台 - Google Patents

一种应用于虚拟增强现实技术的云渲染框架平台 Download PDF

Info

Publication number
CN113706673A
CN113706673A CN202110864241.0A CN202110864241A CN113706673A CN 113706673 A CN113706673 A CN 113706673A CN 202110864241 A CN202110864241 A CN 202110864241A CN 113706673 A CN113706673 A CN 113706673A
Authority
CN
China
Prior art keywords
video frame
video
sampling
local
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110864241.0A
Other languages
English (en)
Inventor
谢超
蒋龙
李小平
刘莉
宋冬冬
邓曲然
吴清泉
梁俊
李阮昭
甘鹏
李德荣
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Super High Transmission Co of China South Electric Net Co Ltd
Original Assignee
Super High Transmission Co of China South Electric Net Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Super High Transmission Co of China South Electric Net Co Ltd filed Critical Super High Transmission Co of China South Electric Net Co Ltd
Priority to CN202110864241.0A priority Critical patent/CN113706673A/zh
Publication of CN113706673A publication Critical patent/CN113706673A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/005—General purpose rendering architectures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/80—Geometric correction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G06T2207/10021—Stereoscopic video; Stereoscopic image sequence

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明提出一种应用于虚拟增强现实技术的云渲染框架平台以及基于该平台的云渲染系统与云渲染方法。方法包括获取本地视频帧数据、匹配出至少一个视频帧VR模型输出至少一个视频VR图像、对所述视频VR图像进行采样后输出多个采样VR图像、将所述多个采样VR图像发送至云端渲染、将云端渲染结果与所述本地视频帧以及所述视频VR图像执行融合计算，输出虚拟增强现实图像等步骤；系统包括本地视频子系统、本地VR子系统、采样VR子系统以及AR增强云渲染子系统。云渲染平台与包含视频捕捉装置的可穿戴设备通信，视频采样处理终端和视频显示终端。本发明的技术方案能够利用云端渲染能力实现视频的虚拟现实增强同时确保视频完整对齐。

Description

一种应用于虚拟增强现实技术的云渲染框架平台
技术领域
本发明属于虚拟现实与视频增强技术领域，尤其涉及一种应用于虚拟增强现实技术的云渲染框架平台、基于该平台的云渲染系统与云渲染方法、以及实现该方法的计算机可读介质。
背景技术
随着用户虚拟现实(VR)体验需求日益增长，VR内容的质量越来越高，这对VR数据传输和处理提出了更高的要求；另一方面，目前市面上大多数VR头显设备只能连接到WiFi，过度依赖本地PC渲染，不能像手机一样直接连接到移动网络，VR应用成本过高的同时也给VR体验带来了空间上的限制。
增强现实(AR)技术是随着虚拟现实技术的发展而产生的，增强现实与虚拟现实在沉浸感的要求上是有明显区别的：虚拟现实系统强调用户在虚拟环境中视觉、听觉等感官的完全浸没，强调将用户的感官与现实世界绝缘而沉浸在一个完全由计算机所控制的信息空间里面。通常要借助能够将用户视觉与环境隔离的设备，常用的设备有封闭式头盔显示器等。与此相反，增强现实系统不仅不隔离周围的真实环境，而且强调用户在现实世界中的存在性并努力维持其感官效果的不变性。
近年来，随着科学技术不断发展，智能移动设备和网络技术也在迅速普及，增强现实技术在教育、社交娱乐等方面的需求日渐增长，并慢慢渗透到人们的日常生活中，为增强现实技术的普及提供了新的途径。申请号202010275984.X的中国发明专利申请提出一种基于云渲染的AR眼镜系统及方法，所述方法包括以下步骤：AR眼镜实时摄录现实世界3D光影视觉信号、虚拟模型信息，并将所摄录的所述3D光影视觉信号、虚拟模型信息发送给云桌面APP；云桌面APP将所述3D光影视觉信号、虚拟模型信息发送给云端服务器；云端服务器上的云渲染系统根据所述3D光影视觉信号、虚拟模型信息，进行计算、渲染，并生成实时VR视频渲染信息；云端服务器将所述实时VR视频渲染信息发送给云桌面APP；云桌面APP将所述实时VR视频渲染信息发送给AR眼镜APP，AR眼镜将所述实时VR视频渲染信息呈现给用户。该发明通过云渲染系统进行实时渲染、计算，实现3D光影视觉信号和虚拟模型信息的同步，极大的提升了景深的逼真程度。
云渲染能够保证给终端提供高帧率与高刷新率的高精度画面，甚至可以完成大规模的虚拟实时人机互动，以低成本实现真正的沉浸式的交互体验。然而，大量的数据交互下，尤其是在AR和VR并存的视频帧处理场景下，在与云端的数据交互频繁并且数据量较大时，会出现明显的不同步和视频不对齐问题，影响了虚拟增强现实体验。
发明内容
为解决上述技术问题，本发明提出一种应用于虚拟增强现实技术的云渲染框架平台、基于该平台的云渲染系统与云渲染方法、以及实现该方法的计算机可读介质。
在本发明的第一个方面，提出一种应用于虚拟增强现实技术的云渲染方法，所述方法包括如下步骤：
S100：获取本地视频帧数据，所述本地视频帧数据包括视频帧率和视频帧大小；
S200：基于所述本地视频帧数据，匹配出至少一个视频帧VR模型；
S300：基于所述视频帧VR模型，输出至少一个视频VR图像；
作为本方法的改进部分，所述方法进一步包括如下步骤：
S400：对所述视频VR图像进行采样后，输出多个采样VR图像，将所述多个采样VR图像发送至云端渲染；
S500：接收云端渲染结果，将所述云端渲染结果与所述本地视频帧以及所述视频VR图像执行融合计算，输出虚拟增强现实图像；
其中，在输出所述视频VR图像的同时保持对所述视频VR图像的采样操作，并且，在接收所述云端渲染结果的同时，持续输出所述视频VR图像。
第一个方面的所述方法可以通过包含处理器和存储器的终端设备，尤其是图像处理终端设备，包括移动终端、桌面终端、服务器以及服务器集群等，通过程序指令自动化的执行，因此，在本发明的第二个方面，还提供一种计算机可读存储介质，其上存储有计算机程序指令；通过包含处理器和存储器的图像终端处理设备，执行所述程序指令，用于实现所述数据交换方法的全部或者部分步骤。所述处理器和存储器通过总线连接，构成终端设备的内部通信。
为实现上述方法，在本发明的第三个方面，提供一种云渲染平台，所述云渲染平台与包含视频捕捉装置的可穿戴设备通信。
所述云渲染平台还包括视频采样处理终端和视频显示终端；
所述视频采样处理终端与所述可穿戴设备通信；
所述可穿戴设备通过所述视频捕捉装置获取本地视频帧数据，并将所述本地视频帧数据的第一子部分发送至所述视频显示终端，将所述本地视频帧数据的第二子部分发送至所述视频采样处理终端；
所述视频显示终端获取所述第一子部分的视频帧数据的第一视频帧率和第一视频帧大小，并将所述第一视频帧率和第一视频帧大小作为采样参考参数发送至所述视频采样处理终端；
所述视频采样处理终端基于所述采样参考参数生成采样参数，并对所述第二子部分的本地视频帧数据执行采样操作，得到多个采样图像帧；
将所述多个采样图像帧发送至云端渲染，并将云端渲染结果发送至所述视频显示终端；
所述视频显示终端将所述第一子部分的视频帧数据与所述云端渲染结果执行融合计算后，显示融合后的视频帧图像。
为实现上述方法，在本发明的第四个方面，提供一种应用于虚拟增强现实技术的云渲染系统，所述系统包括本地视频子系统、本地VR子系统、采样VR子系统以及AR增强云渲染子系统；
所述本地视频子系统按照第一频率获取本地视频帧数据，并将所述本地视频帧数据的第一子部分发送至所述本地VR子系统，同时将所述本地视频帧数据的第二子部分发送至所述采样VR子系统；
所述本地VR子系统基于所述第一子部分的本地视频帧数据，输出第一VR视频图像；
所述采样VR子系统对所述第二子部分的本地视频帧数据执行采样后，输出多个采样VR图像，并将所述多个采样VR图像发送至AR增强云渲染子系统；
所述AR增强云渲染子系统基于所述多个采样VR图像执行AR增强后，输出第二AR增强视频帧；
将所述第一VR视频图像、第二AR增强视频帧以及所述本地视频帧数据的第三子部分执行融合计算，输出虚拟增强现实图像。
本发明的技术方案能够利用云端渲染能力实现视频的虚拟现实增强同时确保视频完整对齐，同时，避免与云端产生大量的直接数据交互，减少了视频延迟。
本发明的进一步优点将结合说明书附图在具体实施例部分进一步详细体现。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明一个实施例的一种应用于虚拟增强现实技术的云渲染方法的主体流程图
图2是图1所述方法中视频数据流的处理示意图
图3是图1所述方法中输出虚拟增强现实图像的控制数据流示意图
图4是本发明一个实施例的一种应用于虚拟增强现实技术的云渲染系统的结构示意图
图5是本发明一个实施例的一种云渲染平台的结构示意图
图6是实现图1所述方法的终端设备的架构示意图
具体实施方式
下面，结合附图以及具体实施方式，对发明做出进一步的描述。
参照图1，是本发明一个实施例的一种应用于虚拟增强现实技术的云渲染方法的主体流程图。
参照图1，所述一种应用于虚拟增强现实技术的云渲染方法包括步骤S100-S500，各个步骤具体实现如下：
S100：获取本地视频帧数据，所述本地视频帧数据包括视频帧率和视频帧大小；
S200：基于所述本地视频帧数据，匹配出至少一个视频帧VR模型；
S300：基于所述视频帧VR模型，输出至少一个视频VR图像；
S400：对所述视频VR图像进行采样后，输出多个采样VR图像，将所述多个采样VR图像发送至云端渲染；
S500：接收云端渲染结果，将所述云端渲染结果与所述本地视频帧以及所述视频VR图像执行融合计算，输出虚拟增强现实图像。
尤其需要指出的是，作为本发明的改进之一，为了确保视频帧的连续性以及非迟延，在该实施例中，在输出所述视频VR图像的同时保持对所述视频VR图像的采样操作；同时，为了确保视频的对齐，在接收所述云端渲染结果的同时，持续输出所述视频VR图像。
在该实施例中，不同的视频帧VR模型输出的视频VR图像的视频帧率不同；
与此相对应的，所述步骤S200具体包括：
基于所述本地视频帧数据的视频帧率，匹配出所述至少一个视频帧VR模型。
这里的视频帧VR模型，可以完成普通视频的VR化，视频的VR化处理，将本地视频帧数据的一部分输入至视频帧VR模型后，即可输出视频VR图像。JP特许第5047798B2专利、CN100470452C专利等均给出了相应的视频VR处理技术，本发明将上述现有技术全部引入作为参考。
更进一步的，所述步骤S400对所述视频VR图像进行采样，具体包括：
设定采样大小，所述采样大小由所述本地视频帧数据的视频帧率和视频帧大小确定。
在采样之后，云端将所述多个采样VR图像按照第一周期执行视频渲染，得出渲染视频帧，所述渲染视频帧的视频帧率与所述本地视频帧数据的视频帧率相同。
这里的视频渲染，又称之为视频增强。在本实施例中，采用增强现实(AR)技术实现。
增强现实技术(Augmented Reality，AR)把现实世界的一定时间空间范围内难以体验到的实体信息，通过计算机系统特殊处理后将生成的虚拟三维模型动画、视频、图片、文字等数字信息实时叠加显示到真实场景中，将虚拟的信息应用到真实世界，对真实世界进行填补，在虚实结合的交互中不断加强用户对真实世界图像或空间的视觉、听觉、触觉等感官方面的体验，从而使人们感受到超越现实的感官体验。
增强现实技术一般通过计算机模拟仿真实体信息后叠加多个虚拟图像，然后将其放入现实场景或图像中。相应的介绍可参见如下现有技术：
王延可.增强现实几何一致性相关问题研究[D].山东大学,2014；
陈伟雄.基于增强现实的城市小区规划系统研究与设计[D].华中科技大学,2007.
图2是图1所述方法中视频数据流的处理示意图.
图2中，将所述云端渲染结果与所述本地视频帧以及所述视频VR图像执行融合计算，输出虚拟增强现实图像。
在本实施例中，融合计算指将一个或多个由视频采集设备采集的关于某场景或模型的图像序列视频与一个与之相关的虚拟场景加以融合，以生成一个新的关于此场景的虚拟场景或模型。
该视频融合计算分为三个层次，即预处理、信息融合与应用层。预处理技术主要用来对视频图像进行几何校正、噪声消除、色彩；亮度调整及配准等等。视频图像配准是指找到视频图像与三维虚拟场景的最大相关，以消除图像在空间、相位和分辨率等方向的信息差异，达到融合更真实，信息更准确的目的。信息融合层即视频图像的融合。视频图像融合由智能度由低向高可以分为像素级、特征级、决策级融合等。像素级融合指基于图像像素进行拼接融合，是两个或两个以上的图像融合成为一个整体。特征级融合以图形的明显特征，如线条、建筑等特征为基础进行图像的拼接与融合。决策级融合使用贝叶斯法、D-S证据法等数学算法进行概率决策，依此进行视频或图像融合，更适应于主观要求。
对应于图2，图3给出了图1所述方法中输出虚拟增强现实图像的控制数据流示意图。
在图3中，首先获取本地视频帧数据，并将所述本地视频帧数据的第一子部分发送至所述本地VR子系统，同时将所述本地视频帧数据的第二子部分发送至所述采样VR子系统。
本地VR子系统基于所述第一子部分的本地视频帧数据，匹配出视频帧VR模型后，输出第一VR视频图像；
采样VR子系统对所述第二子部分的本地视频帧数据执行采样后，输出多个采样VR图像，并将所述多个采样VR图像发送至AR增强云渲染子系统；
AR增强云渲染子系统基于所述多个采样VR图像执行AR增强后，输出第二AR增强视频帧；
将所述第一VR视频图像、第二AR增强视频帧以及所述本地视频帧数据的第三子部分执行融合计算，输出虚拟增强现实图像。
作为一个示意性的例子，可将所述本地视频帧数据进行切分，得到主体内容部分、前序部分以及后序部分。
作为举例，前序部分可以是开场白视频、开场字幕视频或者前序无动作介绍视频，后序部分可以是结尾视频、动作结束后的简单复述视频等；除此之外的部分才是主体内容部分，动作多样、富于变化等。
在本发明的上述实施例中，第一子部分和第二子部分均来自于所述主体内容部分；第三子部分可以是前序部分和/或后序部分。
基于关键帧识别技术，或者动作帧识别技术，或者参考帧识别技术，或者时间流识别技术结合声音识别等，可识别出本地现场教学视频的前序部分、主体内容部分以及后序部分。
作为优选，所述本地视频帧数据的第三子部分是指所述本地视频子系统每次获取的本地视频帧数据中除所述第一子部分和所述第二子部分的其他部分；并且，所述第一子部分和所述第二子部分的帧长度均大于所述第三子部分。
接下来参见图4。图4是本发明一个实施例的一种应用于虚拟增强现实技术的云渲染系统的结构示意图。
在图4中，所述系统包括本地视频子系统、本地VR子系统、采样VR子系统以及AR增强云渲染子系统；
所述本地视频子系统按照第一频率获取本地视频帧数据，并将所述本地视频帧数据的第一子部分发送至所述本地VR子系统，同时将所述本地视频帧数据的第二子部分发送至所述采样VR子系统；
所述本地VR子系统基于所述第一子部分的本地视频帧数据，输出第一VR视频图像；
所述采样VR子系统对所述第二子部分的本地视频帧数据执行采样后，输出多个采样VR图像，并将所述多个采样VR图像发送至AR增强云渲染子系统；
所述AR增强云渲染子系统基于所述多个采样VR图像执行AR增强后，输出第二AR增强视频帧；
将所述第一VR视频图像、第二AR增强视频帧以及所述本地视频帧数据的第三子部分执行融合计算，输出虚拟增强现实图像。
作为优选，所述本地VR子系统包含至少一个VR视频输出模型。
VR视频输出模型可对视频执行VR处理，即将本地视频帧数据的一部分输入至所述VR视频输出模型，转化为第一VR视频图像。
作为优选，所述本地视频帧数据具有第一视频帧率和第一视频帧大小；
基于所述第一视频帧率和第一视频帧大小，确定所述采样VR子系统对所述第二子部分的本地视频帧数据执行采样的采样参数。
接下来，参见图5，图5示出一种云渲染平台，所述云渲染平台与包含视频捕捉装置的可穿戴设备通信。
所述云渲染平台还包括视频采样处理终端和视频显示终端；
所述视频采样处理终端与所述可穿戴设备通信；
所述可穿戴设备通过所述视频捕捉装置获取本地视频帧数据，并将所述本地视频帧数据的第一子部分发送至所述视频显示终端，将所述本地视频帧数据的第二子部分发送至所述视频采样处理终端；
所述视频显示终端获取所述第一子部分的视频帧数据的第一视频帧率和第一视频帧大小，并将所述第一视频帧率和第一视频帧大小作为采样参考参数发送至所述视频采样处理终端；
所述视频采样处理终端基于所述采样参考参数生成采样参数，并对所述第二子部分的本地视频帧数据执行采样操作，得到多个采样图像帧；
将所述多个采样图像帧发送至云端渲染，并将云端渲染结果发送至所述视频显示终端；所述视频显示终端将所述第一子部分的视频帧数据与所述云端渲染结果执行融合计算后，显示融合后的视频帧图像。
所述视频显示终端为VR终端，所述融合后的视频帧图像为虚拟增强现实图像。
最后，图1上述方法可以通过包含处理器和存储器的终端设备，尤其是图像处理终端设备，包括移动终端、桌面终端、服务器以及服务器集群等，通过程序指令自动化的执行，因此，本发明还提供一种计算机可读存储介质，其上存储有计算机程序指令；通过包含处理器和存储器的图像终端处理设备，执行所述程序指令，用于实现所述数据交换方法的全部或者部分步骤。所述处理器和存储器通过总线连接，构成终端设备的内部通信，参见图6。
本发明的技术方案，执行视频增强操作之前对关键帧视频执行了自适应的采样操作，从而避免与云端的大量数据传输；将切分出来的关键视频帧执行VR化操作以及视频增强操作，从而获得融合的虚拟增强现实视频。
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

Claims (10)

1.一种应用于虚拟增强现实技术的云渲染方法，所述方法包括如下步骤：
S100：获取本地视频帧数据，所述本地视频帧数据包括视频帧率和视频帧大小；
S200：基于所述本地视频帧数据，匹配出至少一个视频帧VR模型；
S300：基于所述视频帧VR模型，输出至少一个视频VR图像；
其特征在于：
S400：对所述视频VR图像进行采样后，输出多个采样VR图像，将所述多个采样VR图像发送至云端渲染；
S500：接收云端渲染结果，将所述云端渲染结果与所述本地视频帧以及所述视频VR图像执行融合计算，输出虚拟增强现实图像；
其中，在输出所述视频VR图像的同时保持对所述视频VR图像的采样操作，并且，在接收所述云端渲染结果的同时，持续输出所述视频VR图像。
2.如权利要求1所述的一种应用于虚拟增强现实技术的云渲染方法，其特征在于：
不同的视频帧VR模型输出的视频VR图像的视频帧率不同；
所述步骤S200具体包括：
基于所述本地视频帧数据的视频帧率，匹配出所述至少一个视频帧VR模型。
3.如权利要求1所述的一种应用于虚拟增强现实技术的云渲染方法，其特征在于：
所述步骤S400对所述视频VR图像进行采样，具体包括：
设定采样大小，所述采样大小由所述本地视频帧数据的视频帧率和视频帧大小确定。
4.如权利要求1所述的一种应用于虚拟增强现实技术的云渲染方法，其特征在于：
所述步骤S500接收云端渲染结果，具体包括：
云端将所述多个采样VR图像按照第一周期执行视频渲染，得出渲染视频帧，所述渲染视频帧的视频帧率与所述本地视频帧数据的视频帧率相同。
5.一种云渲染平台，所述云渲染平台与包含视频捕捉装置的可穿戴设备通信，其特征在于：
所述云渲染平台还包括视频采样处理终端和视频显示终端；
所述视频采样处理终端与所述可穿戴设备通信；
所述可穿戴设备通过所述视频捕捉装置获取本地视频帧数据，并将所述本地视频帧数据的第一子部分发送至所述视频显示终端，将所述本地视频帧数据的第二子部分发送至所述视频采样处理终端；
所述视频显示终端获取所述第一子部分的视频帧数据的第一视频帧率和第一视频帧大小，并将所述第一视频帧率和第一视频帧大小作为采样参考参数发送至所述视频采样处理终端；
所述视频采样处理终端基于所述采样参考参数生成采样参数，并对所述第二子部分的本地视频帧数据执行采样操作，得到多个采样图像帧；
将所述多个采样图像帧发送至云端渲染，并将云端渲染结果发送至所述视频显示终端；
所述视频显示终端将所述第一子部分的视频帧数据与所述云端渲染结果执行融合计算后，显示融合后的视频帧图像。
6.如权利要求5所述的一种云渲染平台，其特征在于：
所述视频显示终端为VR终端，所述融合后的视频帧图像为虚拟增强现实图像。
7.一种应用于虚拟增强现实技术的云渲染系统，所述系统包括本地视频子系统、本地VR子系统、采样VR子系统以及AR增强云渲染子系统；
其特征在于：
所述本地视频子系统按照第一频率获取本地视频帧数据，并将所述本地视频帧数据的第一子部分发送至所述本地VR子系统，同时将所述本地视频帧数据的第二子部分发送至所述采样VR子系统；
所述本地VR子系统基于所述第一子部分的本地视频帧数据，输出第一VR视频图像；
所述采样VR子系统对所述第二子部分的本地视频帧数据执行采样后，输出多个采样VR图像，并将所述多个采样VR图像发送至AR增强云渲染子系统；
所述AR增强云渲染子系统基于所述多个采样VR图像执行AR增强后，输出第二AR增强视频帧；
将所述第一VR视频图像、第二AR增强视频帧以及所述本地视频帧数据的第三子部分执行融合计算，输出虚拟增强现实图像。
8.如权利要求7所述的一种应用于虚拟增强现实技术的云渲染系统，其特征在于：
所述本地视频帧数据的第三子部分是指所述本地视频子系统每次获取的本地视频帧数据中除所述第一子部分和所述第二子部分的其他部分；
并且，所述第一子部分和所述第二子部分均大于所述第三子部分。
9.如权利要求7所述的一种应用于虚拟增强现实技术的云渲染系统，其特征在于：
所述本地VR子系统包含至少一个VR视频输出模型。
10.如权利要求7所述的一种应用于虚拟增强现实技术的云渲染系统，其特征在于：
所述本地视频帧数据具有第一视频帧率和第一视频帧大小；
基于所述第一视频帧率和第一视频帧大小，确定所述采样VR子系统对所述第二子部分的本地视频帧数据执行采样的采样参数。
CN202110864241.0A 2021-07-29 2021-07-29 一种应用于虚拟增强现实技术的云渲染框架平台 Pending CN113706673A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110864241.0A CN113706673A (zh) 2021-07-29 2021-07-29 一种应用于虚拟增强现实技术的云渲染框架平台

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110864241.0A CN113706673A (zh) 2021-07-29 2021-07-29 一种应用于虚拟增强现实技术的云渲染框架平台

Publications (1)

Publication Number Publication Date
CN113706673A true CN113706673A (zh) 2021-11-26

Family

ID=78650917

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110864241.0A Pending CN113706673A (zh) 2021-07-29 2021-07-29 一种应用于虚拟增强现实技术的云渲染框架平台

Country Status (1)

Country Link
CN (1) CN113706673A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114302125A (zh) * 2021-12-30 2022-04-08 展讯通信（上海）有限公司 图像处理方法及装置、计算机可读存储介质

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114302125A (zh) * 2021-12-30 2022-04-08 展讯通信（上海）有限公司 图像处理方法及装置、计算机可读存储介质

Similar Documents

Publication Publication Date Title
CN111340711B (zh) 一种超分辨率重建方法、装置、设备和存储介质
US11706484B2 (en) Video processing method, electronic device and computer-readable medium
CN113099204B (zh) 一种基于vr头戴显示设备的远程实景增强现实方法
CN111654746B (zh) 视频的插帧方法、装置、电子设备和存储介质
CN112543317B (zh) 高分辨率单目2d视频到双目3d视频的转制方法
CN111464834B (zh) 一种视频帧处理方法、装置、计算设备及存储介质
CN106919248A (zh) 应用于虚拟现实的内容传输方法以及设备
CN111507997B (zh) 图像分割方法、装置、设备及计算机存储介质
CN111402399A (zh) 人脸驱动和直播方法、装置、电子设备及存储介质
CN110827380A (zh) 图像的渲染方法、装置、电子设备及计算机可读介质
CN114630057B (zh) 确定特效视频的方法、装置、电子设备及存储介质
CN114463470A (zh) 虚拟空间浏览方法、装置、电子设备和可读存储介质
JP2024506014A (ja) 動画生成方法、装置、機器及び可読記憶媒体
CN112492231A (zh) 远程交互方法、装置、电子设备和计算机可读存储介质
CN113706673A (zh) 一种应用于虚拟增强现实技术的云渲染框架平台
CN112785669B (zh) 一种虚拟形象合成方法、装置、设备及存储介质
CN113989717A (zh) 视频图像处理方法、装置、电子设备及存储介质
CN111696034A (zh) 图像处理方法、装置及电子设备
CN116156218A (zh) 视频插帧模型的确定方法及装置、视频插帧方法及装置
CN114445529A (zh) 一种基于动作及语音特征的人脸图像动画方法和系统
CN113823133B (zh) 一种将虚拟现实技术与教育培训结合的数据交换系统
CN114938461A (zh) 视频处理方法、装置、设备及可读存储介质
CN113920023A (zh) 图像处理方法及装置、计算机可读介质和电子设备
CN118154820A (zh) 基于实时虚实融合与实时虚实的互动演播方法
US20240144620A1 (en) Visual effects and content enhancements for vr

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination