CN116433823A - 虚拟拍摄系统、方法、装置、设备、存储介质及程序产品 - Google Patents
虚拟拍摄系统、方法、装置、设备、存储介质及程序产品 Download PDFInfo
- Publication number
- CN116433823A CN116433823A CN202310498090.0A CN202310498090A CN116433823A CN 116433823 A CN116433823 A CN 116433823A CN 202310498090 A CN202310498090 A CN 202310498090A CN 116433823 A CN116433823 A CN 116433823A
- Authority
- CN
- China
- Prior art keywords
- virtual
- node
- shooting
- asset
- rendering
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 32
- 238000003860 storage Methods 0.000 title claims description 13
- 238000009877 rendering Methods 0.000 claims abstract description 270
- 230000003190 augmentative effect Effects 0.000 claims abstract description 46
- 238000001514 detection method Methods 0.000 claims description 34
- 230000015654 memory Effects 0.000 claims description 22
- 230000015572 biosynthetic process Effects 0.000 claims description 20
- 238000003786 synthesis reaction Methods 0.000 claims description 20
- 238000004590 computer program Methods 0.000 claims description 16
- 230000002194 synthesizing effect Effects 0.000 claims description 8
- 238000003384 imaging method Methods 0.000 claims description 7
- 238000010586 diagram Methods 0.000 description 22
- 230000003993 interaction Effects 0.000 description 14
- 230000005540 biological transmission Effects 0.000 description 9
- 230000000694 effects Effects 0.000 description 8
- 238000005516 engineering process Methods 0.000 description 8
- 230000006870 function Effects 0.000 description 7
- 238000004891 communication Methods 0.000 description 6
- 230000035807 sensation Effects 0.000 description 6
- 230000006835 compression Effects 0.000 description 5
- 238000007906 compression Methods 0.000 description 5
- 238000012545 processing Methods 0.000 description 5
- 230000009471 action Effects 0.000 description 3
- 230000004044 response Effects 0.000 description 3
- 230000008054 signal transmission Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000013515 script Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000005304 joining Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 230000016776 visual perception Effects 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/005—General purpose rendering architectures
Landscapes
- Engineering & Computer Science (AREA)
- Computer Graphics (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Processing Or Creating Images (AREA)
Abstract
本申请提供了一种虚拟拍摄系统、方法、装置、设备、存储介质及程序产品;系统包括:控制节点、渲染节点以及显示节点;控制节点用于当接收到虚拟制作拍摄指令时,发送虚拟摄像资产至渲染节点;渲染节点用于渲染虚拟摄像资产,得到第一虚拟场景画面;控制节点还用于当接收到拓展现实拍摄指令时,基于虚拟摄像资产、虚拟前景资产和虚拟拓展资产,渲染得到第二虚拟场景画面;或者,控制节点还用于当接收到拓展现实拍摄指令时,渲染虚拟前景资产,得到前景画面,并发送前景画面、虚拟摄像资产和虚拟拓展资产至渲染节点;渲染节点还用于基于前景画面、虚拟摄像资产和虚拟拓展资产,生成第二虚拟场景画面;通过本申请,能够提高虚拟拍摄效率。
Description
技术领域
本申请涉及虚拟拍摄技术领域,尤其涉及一种虚拟拍摄系统、方法、装置、设备、存储介质及程序产品。
背景技术
相关技术中的虚拟拍摄,往往需要针对虚拟制作(Virtual Production,VP)拍摄和拓展现实(Extended Reality,XR)拍摄,分别部署所需的设备并搭建相应的拍摄场地。如此,导致虚拟拍摄的成本高且效率低。
发明内容
本申请实施例提供一种虚拟拍摄系统、方法、装置、电子设备、计算机可读存储介质及计算机程序产品,能够保证虚拟拍摄精度,降低虚拟拍摄成本并提高虚拟拍摄效率。
本申请实施例的技术方案是这样实现的:
本申请实施例提供一种虚拟拍摄系统,所述虚拟拍摄系统包括:控制节点、渲染节点以及显示节点;其中,
所述控制节点,用于当接收到虚拟制作拍摄指令时,发送虚拟引擎中待渲染的虚拟摄像资产至所述渲染节点;所述渲染节点,用于渲染所述虚拟摄像资产,得到第一虚拟场景画面,并发送所述第一虚拟场景画面至所述显示节点;
所述控制节点,还用于当接收到拓展现实拍摄指令时,确定虚拟引擎中待渲染的虚拟摄像资产、虚拟前景资产和虚拟拓展资产;
所述控制节点,还用于基于所述虚拟摄像资产、虚拟前景资产和虚拟拓展资产,渲染得到第二虚拟场景画面,并发送所述第二虚拟场景画面至所述渲染节点;所述渲染节点,还用于转发所述第二虚拟场景画面至所述显示节点;
或者,所述控制节点,还用于渲染所述虚拟前景资产,得到前景画面,并发送所述前景画面、虚拟摄像资产和虚拟拓展资产至所述渲染节点;所述渲染节点,还用于基于所述前景画面、虚拟摄像资产和虚拟拓展资产,生成第二虚拟场景画面,并发送所述第二虚拟场景画面至所述显示节点;
所述显示节点,用于显示虚拟场景画面,所述虚拟场景画面为所述第一虚拟场景画面和所述第二虚拟场景画面中之一。
本申请实施例提供一种虚拟拍摄方法,应用于虚拟拍摄系统,所述虚拟拍摄系统包括控制节点、渲染节点以及显示节点;所述方法包括:
所述控制节点接收所述拍摄节点采集的拍摄信息;
所述控制节点接收到虚拟制作拍摄指令时,发送虚拟引擎中待渲染的虚拟摄像资产至所述渲染节点,以使所述渲染节点渲染所述虚拟摄像资产,并将渲染得到的第一虚拟场景画面发送至所述显示节点;
所述控制节点接收到拓展现实拍摄指令时,确定虚拟引擎中待渲染的虚拟摄像资产、虚拟前景资产和虚拟拓展资产;
基于所述虚拟摄像资产、虚拟前景资产和虚拟拓展资产,渲染得到第二虚拟场景画面,并发送所述第二虚拟场景画面至所述渲染节点,以使所述渲染节点转发所述第二虚拟场景画面至所述显示节点;
或者,渲染所述虚拟前景资产,得到前景画面,并发送所述前景画面、虚拟摄像资产和虚拟拓展资产至所述渲染节点,以使
所述渲染节点基于所述前景画面、虚拟摄像资产和虚拟拓展资产,生成第二虚拟场景画面,并发送所述第二虚拟场景画面至所述显示节点。
本申请实施例还提供一种虚拟拍摄装置,应用于虚拟拍摄系统,所述虚拟拍摄系统包括控制节点、渲染节点以及显示节点;所述装置包括:
第一接收模块,用于接收到虚拟制作拍摄指令时,发送虚拟引擎中待渲染的虚拟摄像资产至所述渲染节点,以使所述渲染节点渲染所述虚拟摄像资产,并将渲染得到的第一虚拟场景画面发送至所述显示节点;
第二接收模块,用于接收到拓展现实拍摄指令时,确定虚拟引擎中待渲染的虚拟摄像资产、虚拟前景资产和虚拟拓展资产;
渲染模块,用于基于所述虚拟摄像资产、虚拟前景资产和虚拟拓展资产,渲染得到第二虚拟场景画面,并发送所述第二虚拟场景画面至所述渲染节点,以使所述渲染节点转发所述第二虚拟场景画面至所述显示节点;
或者,渲染所述虚拟前景资产,得到前景画面,并发送所述前景画面、虚拟摄像资产和虚拟拓展资产至所述渲染节点,以使
所述渲染节点基于所述前景画面、虚拟摄像资产和虚拟拓展资产,生成第二虚拟场景画面,并发送所述第二虚拟场景画面至所述显示节点。
本申请实施例还提供一种电子设备,包括:
存储器,用于存储计算机可执行指令;
处理器,用于执行所述存储器中存储的计算机可执行指令时,实现本申请实施例提供的虚拟拍摄方法。
本申请实施例还提供一种计算机可读存储介质,存储有计算机可执行指令或计算机程序,所述计算机可执行指令或计算机程序被处理器执行时,实现本申请实施例提供的虚拟拍摄方法。
本申请实施例还提供一种计算机程序产品,包括计算机可执行指令或计算机程序,所述计算机可执行指令或计算机程序被处理器执行时,实现本申请实施例提供的虚拟拍摄方法。
本申请实施例具有以下有益效果:
应用本申请上述实施例提供的虚拟拍摄系统,(1)控制节点在接收到虚拟制作拍摄指令时,发送虚拟引擎中待渲染的虚拟摄像资产至渲染节点,渲染节点渲染虚拟摄像资产,并发送渲染得到的第一虚拟场景画面至显示节点进行显示。如此,则可以在通过虚拟制作生成的第一虚拟场景画面中进行虚拟拍摄,实现基于虚拟制作的虚拟拍摄。
(2)控制节点在接收到拓展现实拍摄指令时,确定虚拟引擎中待渲染的虚拟摄像资产、虚拟前景资产和虚拟拓展资产;然后1)控制节点可以基于虚拟摄像资产、虚拟前景资产和虚拟拓展资产,渲染得到第二虚拟场景画面,并发送第二虚拟场景画面至渲染节点,以使渲染节点转发第二虚拟场景画面至显示节点进行显示。如此,则可以在通过拓展现实生成的第二虚拟场景画面中进行虚拟拍摄,实现基于拓展现实的虚拟拍摄。
或者2)控制节点可以仅渲染虚拟前景资产,得到前景画面,并发送前景画面、虚拟摄像资产和虚拟拓展资产至渲染节点;从而渲染节点可以基于前景画面、虚拟摄像资产和虚拟拓展资产,生成第二虚拟场景画面,并发送第二虚拟场景画面至显示节点进行显示。如此,a)则可以在通过拓展现实生成的第二虚拟场景画面中进行虚拟拍摄,实现基于拓展现实的虚拟拍摄;b)在进行拓展现实的虚拟拍摄时,将虚拟摄像资产和虚拟拓展资产的渲染部署于渲染节点,既提高了渲染节点的硬件资源利用率,还降低了控制节点的硬件资源占用,两者能够平衡且更快地进行第二虚拟场景画面的生成,提高虚拟拍摄效率。
综上,应用本申请实施例提供的虚拟拍摄系统,1)可以在一个虚拟拍摄系统下,既能够基于虚拟制作实现虚拟拍摄,还能够基于拓展现实实现虚拟拍摄,从而降低了虚拟拍摄成本,提高了虚拟拍摄效率;2)不同方式的虚拟拍摄的实现,通过不同的渲染管线来完成,能够保证生成的虚拟场景画面的精度,从而提高了虚拟拍摄效果。
附图说明
图1是本申请实施例提供的虚拟拍摄系统的架构示意图;
图2是本申请实施例提供的实施虚拟拍摄方法的电子设备的结构示意图;
图3是本申请实施例提供的虚拟拍摄系统中各节点之间的交互流程示意图;
图4是本申请实施例提供的虚拟拍摄系统中各节点之间的交互流程示意图;
图5是本申请实施例提供的虚拟拍摄系统中各节点之间的交互流程示意图;
图6是本申请实施例提供的虚拟拍摄系统中各节点之间的交互流程示意图;
图7是本申请实施例提供的显示节点的组成示意图;
图8是本申请实施例提供的虚拟拍摄系统的架构示意图;
图9是本申请实施例提供的虚拟拍摄系统的架构示意图;
图10是本申请实施例提供的虚拟拍摄方法的流程示意图;
图11A是本申请实施例提供的虚拟拍摄的渲染链路示意图;
图11B是本申请实施例提供的虚拟拍摄的渲染链路示意图;
图12是本申请实施例提供的多用户编辑虚拟资产的示意图。
具体实施方式
为了使本申请的目的、技术方案和优点更加清楚,下面将结合附图对本申请作进一步地详细描述,所描述的实施例不应视为对本申请的限制,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例,都属于本申请保护的范围。
在以下的描述中,涉及到“一些实施例”,其描述了所有可能实施例的子集,但是可以理解,“一些实施例”可以是所有可能实施例的相同子集或不同子集,并且可以在不冲突的情况下相互结合。
在以下的描述中,所涉及的术语“第一\第二\第三”仅仅是是区别类似的对象,不代表针对对象的特定排序,可以理解地,“第一\第二\第三”在允许的情况下可以互换特定的顺序或先后次序,以使这里描述的本申请实施例能够以除了在这里图示或描述的以外的顺序实施。
除非另有定义,本申请实施例所使用的所有的技术和科学术语与所属技术领域的技术人员通常理解的含义相同。本申请实施例中所使用的术语只是为了描述本申请实施例的目的,不是旨在限制本申请。
对本申请实施例进行进一步详细说明之前,对本申请实施例中涉及的名词和术语进行说明,本申请实施例中涉及的名词和术语适用于如下的解释。
1)响应于,用于表示所执行的操作所依赖的条件或状态,当满足所依赖的条件或状态时,所执行的一个或多个操作可以是实时的,也可以具有设定的延迟;在没有特别说明的情况下,所执行的多个操作不存在执行先后顺序的限制。
2)虚拟制作(Virtual Production,VP),即上述虚拟制作拍摄方式。VP是将虚拟现实和增强现实与计算机图形接口标准(Computer Graphics Interface,CGI)和游戏引擎技术相结合,使制作人员能够看到场景在面前展开。在实际实施时,通常借助于超大型LED屏环幕搭建完整的虚拟背景,配合LED天幕及地面的实景,利用VP技术专为电影拍摄、MV制作、广告录制等大型影视项目服务。通过大型LED屏环幕搭建完整的虚拟背景,所拍即所得,摄像机的拍摄范围限于屏幕之内,由屏幕完成真实感的搭建,提高拍摄体验。
3)拓展现实(Extended Reality,XR),即上述拓展现实拍摄方式。XR是指聚合虚拟现实(Virtual Reality,VR)、增强现实(Augmented Reality,AR)和混合现实(MixedReality,MR)等技术的3D视觉交互系统。这里,XR是指对实景进行扩展的虚拟拍摄技术。在实际实施时,通常会使用恰当尺寸的LED屏幕,在有效的空间内结合人与虚拟背景,并通过渲染服务器扩展相机视锥之外的虚拟空间,来展现一个完整的场景。一般用于演播室、展览展厅、网络直播间、电竞直播、游戏发布会等场景。XR结合了LED屏幕及相机位置检测技术,实时生成内容,增强现实并制作了虚拟空间,可将物理空间无缝扩展到虚拟世界。LED屏幕与XR技术相结合,使表演者在LED屏幕构建的虚拟空间中进行表演,取代常规的绿幕,以减少拍摄过程中对绿幕的使用和降低拍摄成本。
4)虚拟引擎(Unreal Engine,UE),也称虚幻引擎。
5)虚拟场景(或虚拟场景画面),利用设备输出的区别于现实世界的场景,通过裸眼或设备的辅助能够形成对虚拟场景的视觉感知,例如通过显示屏幕输出的二维影像,通过立体投影、虚拟现实和增强现实技术等立体显示技术来输出的三维影像;此外,还可以通过各种可能的硬件形成听觉感知、触觉感知、嗅觉感知和运动感知等各种模拟现实世界的感知。
本申请实施例提供一种虚拟拍摄方法、装置、电子设备、计算机可读存储介质及计算机程序产品,能够提高保证虚拟拍摄精度,降低虚拟拍摄成本并提高虚拟拍摄效率。接下来分别进行说明。
需要说明的是,本申请书中相关数据收集处理在实例应用时应该严格根据相关国家法律法规的要求,获取个人信息主体的知情同意或单独同意,并在法律法规及个人信息主体的授权范围内,开展后续数据使用及处理行为。
下面说明本申请实施例提供的虚拟拍摄系统。参见图1,图1是本申请实施例提供的虚拟拍摄系统的架构示意图。本申请实施例提供的虚拟拍摄系统100包括:控制节点200、渲染节点400以及显示节点600。为实现支撑一个示例性应用,控制节点200、渲染节点400以及显示节点600之间通过网络连接,网络可以是广域网或者局域网,又或者是二者的组合,使用无线或有线链路实现数据传输。
在一些实施例中,控制节点200,用于当接收到虚拟制作拍摄指令时,发送虚拟引擎中待渲染的虚拟摄像资产至渲染节点400;渲染节点400,用于渲染虚拟摄像资产,得到第一虚拟场景画面,并发送第一虚拟场景画面至显示节点600;控制节点200,还用于当接收到拓展现实拍摄指令时,确定虚拟引擎中待渲染的虚拟摄像资产、虚拟前景资产和虚拟拓展资产;控制节点200,还用于基于虚拟摄像资产、虚拟前景资产和虚拟拓展资产,渲染得到第二虚拟场景画面,并发送第二虚拟场景画面至渲染节点400;渲染节点400,还用于转发第二虚拟场景画面至显示节点600;显示节点600,用于显示虚拟场景画面,该虚拟场景画面为第一虚拟场景画面和第二虚拟场景画面中之一。如此,在一个虚拟拍摄系统中,既能够通过虚拟制作生成第一虚拟场景画面,以供实现虚拟制作拍摄,还能够通过拓展现实生成第二虚拟场景画面,以供实现拓展现实拍摄。
在一些实施例中,控制节点200,用于当接收到虚拟制作拍摄指令时,发送虚拟引擎中待渲染的虚拟摄像资产至渲染节点400;渲染节点400,用于渲染虚拟摄像资产,得到第一虚拟场景画面,并发送第一虚拟场景画面至显示节点600;控制节点200,还用于当接收到拓展现实拍摄指令时,确定虚拟引擎中待渲染的虚拟摄像资产、虚拟前景资产和虚拟拓展资产;控制节点200,还用于渲染虚拟前景资产,得到前景画面,并发送前景画面、虚拟摄像资产和虚拟拓展资产至渲染节点400;渲染节点400,还用于基于前景画面、虚拟摄像资产和虚拟拓展资产,生成第二虚拟场景画面,并发送第二虚拟场景画面至显示节点600;显示节点600,用于显示虚拟场景画面,该虚拟场景画面为第一虚拟场景画面和第二虚拟场景画面中之一。如此,在一个虚拟拍摄系统中,既能够通过虚拟制作生成第一虚拟场景画面,以供实现虚拟制作拍摄,还能够通过拓展现实生成第二虚拟场景画面,以供实现拓展现实拍摄。
在一些实施例中,本申请实施例提供的虚拟拍摄系统中的控制节点(或者渲染节点)可以是终端,也可以是服务器。例如,控制节点200(或者渲染节点400)可以是独立的物理服务器,也可以是多个物理服务器构成的服务器集群或者分布式系统,还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、内容分发网络(Content Delivery Network,CDN)、以及大数据和人工智能平台等基础云计算服务的云服务器;再例如,控制节点200(或者渲染节点400)还可以是笔记本电脑、台式计算机等终端。显示节点600可以是LED屏幕等具有显示功能的显示设备。本申请实施例提供的虚拟拍摄系统可应用于各种场景,包括但不限于游戏竞技赛事、综艺拍摄、广告拍摄、演播室、直播、影视剧制作、电视台、线上发布会、展览展厅等。
在一些实施例中,本申请实施例提供的实施虚拟拍摄方法的电子设备可以。终端(例如终端400-1)可以是笔记本电脑、平板电脑、台式计算机、智能手机、智能语音交互设备(例如智能音箱)、智能家电(例如智能电视)、智能手表、车载终端、可穿戴设备、虚拟现实(Virtual Reality,VR)设备等,但并不局限于此。终端和服务器可以通过有线或无线通信方式进行直接或间接地连接,本申请实施例对此不做限制。
下面说明本申请实施例提供的实施虚拟拍摄方法的电子设备。参见图2,图2是本申请实施例提供的实施虚拟拍摄方法的电子设备的结构示意图。本申请实施例提供的电子设备500可以是上述控制节点。本申请实施例提供的电子设备500包括:至少一个处理器510、存储器550、至少一个网络接口520和用户接口530。电子设备500中的各个组件通过总线系统540耦合在一起。可理解,总线系统540用于实现这些组件之间的连接通信。总线系统540除包括数据总线之外,还包括电源总线、控制总线和状态信号总线。但是为了清楚说明起见,在图2中将各种总线都标为总线系统540。
处理器510可以是一种集成电路芯片,具有信号的处理能力,例如通用处理器、数字信号处理器(Digital Signal Processor,DSP),或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等,其中,通用处理器可以是微处理器或者任何常规的处理器等。
用户接口530包括使得能够呈现媒体内容的一个或多个输出装置531,包括一个或多个扬声器和/或一个或多个视觉显示屏。用户接口530还包括一个或多个输入装置532,包括有助于用户输入的用户接口部件,比如键盘、鼠标、麦克风、触屏显示屏、摄像头、其他输入按钮和控件。
存储器550可以是可移除的,不可移除的或其组合。存储器550可以包括在物理位置上远离处理器510的一个或多个存储设备。存储器550包括易失性存储器或非易失性存储器,也可包括易失性存储器和非易失性存储器两者。非易失性存储器可以是只读存储器(Read Only Memory,ROM),易失性存储器可以是随机存取存储器(Random Access Memory,RAM)。本申请实施例描述的存储器550旨在包括任意适合类型的存储器。
在一些实施例中,存储器550能够存储数据以支持各种操作,这些数据的示例包括程序、模块和数据结构或者其子集或超集,下面示例性说明。
操作系统551,包括用于处理各种基本系统服务和执行硬件相关任务的系统程序,例如框架层、核心库层、驱动层等,用于实现各种基础业务以及处理基于硬件的任务;
网络通信模块552,用于经由一个或多个(有线或无线)网络接口520到达其他电子设备,示例性的网络接口520包括:蓝牙、无线相容性认证(WiFi)、和通用串行总线(Universal Serial Bus,USB)等;
呈现模块553,用于经由一个或多个与用户接口530相关联的输出装置531(例如,显示屏、扬声器等)使得能够呈现信息(例如,用于操作外围设备和显示内容和信息的用户接口);
输入处理模块554,用于对一个或多个来自一个或多个输入装置532之一的一个或多个用户输入或互动进行检测以及翻译所检测的输入或互动。
在一些实施例中,本申请实施例提供的虚拟拍摄装置可以采用软件方式实现,图2示出了存储在存储器550中的虚拟拍摄装置555,其可以是程序和插件等形式的软件,包括以下软件模块:第一接收模块5551、第二接收模块5552和渲染模块5553,这些模块是逻辑上的,因此根据所实现的功能可以进行任意的组合或进一步拆分,将在下文中说明各个模块的功能。
下面继续说明本申请实施例提供的虚拟拍摄系统。本申请实施例提供的虚拟拍摄系统包括控制节点、渲染节点以及显示节点。参见图3,图3是本申请实施例提供的虚拟拍摄系统中各节点之间的交互流程示意图,本申请实施例提供的虚拟拍摄系统中各节点之间的交互流程包括:
步骤101:控制节点当接收到虚拟制作拍摄指令时,发送虚拟引擎中待渲染的虚拟摄像资产至渲染节点。
这里,当需要进行虚拟制作拍摄时,可以在控制节点进行操作。该控制节点可以设置有支持虚拟拍摄的应用程序,用户可以在运行的应用程序上触发虚拟制作拍摄指令。此时,控制节点当接收到虚拟制作拍摄指令时,则响应于该虚拟制作拍摄指令,发送虚拟引擎中待渲染的虚拟摄像资产至渲染节点。该虚拟引擎运行于该控制节点,可以为该应用程序,也可以集成于该应用程序中。
在一些实施例中,虚拟拍摄系统还包括摄像节点和摄像位置检测节点;控制节点,还用于当接收到虚拟制作拍摄指令时,发送摄像位置获取请求至摄像位置检测节点;摄像位置检测节点,用于响应于摄像位置获取请求,采集摄像节点的摄像位置,并发送摄像位置至控制节点;控制节点,用于基于摄像位置,确定虚拟引擎中的虚拟摄像资产;发送虚拟摄像资产至渲染节点。
在一些实施例中,系统还包括第一交换节点;基于此,摄像位置检测节点还用于发送摄像位置至第一交换节点;第一交换节点用于转发摄像位置至控制节点。
这里,该摄像节点可以是具有摄像功能的相机等设备,可以用于采集虚拟拍摄现场的摄像数据,该摄像数据为在虚拟拍摄现场实时捕捉的画面。该摄像位置检测节点用于采集该摄像节点的摄像位置。为使摄像位置检测节点所获取的摄像位置更精确,该摄像位置检测节点可以通过连接件和摄像节点进行连接;或者该摄像位置检测节点设置于摄像节点上。在实际应用中,控制节点在接收到虚拟制作拍摄指令时,可以发送摄像位置获取请求至摄像位置检测节点;摄像位置检测节点在接收到摄像位置获取请求之后,响应于摄像位置获取请求,实时采集摄像节点的摄像位置,并发送摄像位置至控制节点;基于此,控制节点可以获取摄像节点的摄像位置,即真实相机的摄像位置;此时,控制节点可以根据摄像节点的摄像位置,确定虚拟引擎中的虚拟摄像资产。
在实际应用中,控制节点用于运行虚拟引擎,因此,控制节点可以基于摄像位置,确定生成第一虚拟场景画面所需的虚拟摄像资产。该虚拟摄像资产实际为:虚拟引擎中的用于生成第一虚拟场景画面的虚拟资产,该虚拟资产可以是用户在虚拟引擎中预先配置和编辑的。从而控制节点将虚拟摄像资产发送至渲染节点。在一些实施例中,该系统还包括第二交换节点;基于此,控制节点还用于发送虚拟摄像资产至第二交换节点;第二交换节点用于转发虚拟摄像资产至渲染节点。如此,渲染节点则可以接收到控制节点发送的虚拟摄像资产,以对虚拟摄像资产进行渲染,得到第一虚拟场景画面。
在一些实施例中,控制节点,还用于调整虚拟引擎中虚拟摄像节点的位置为摄像位置;将调整位置后的虚拟摄像节点所拍摄的虚拟资产,作为虚拟摄像资产。这里,该虚拟引擎中设置有一个虚拟摄像节点(也可以称为虚拟相机,与现实中的真实相机的位置相匹配)。该虚拟摄像节点的位置应该和摄像节点的位置保持一致。因此,在确定虚拟摄像资产时,可以根据摄像节点的位置,调整虚拟引擎中虚拟摄像节点的位置,以使得虚拟摄像节点的位置和摄像节点的摄像位置保持一致。如此,调整位置后的虚拟摄像节点所拍摄的虚拟资产,即为虚拟摄像资产。
步骤102:渲染节点渲染虚拟摄像资产,得到第一虚拟场景画面,并发送第一虚拟场景画面至显示节点。
这里,渲染节点接收控制节点发送的虚拟摄像资产,并对虚拟摄像资产进行渲染,得到第一虚拟场景画面。渲染节点在得到第一虚拟场景画面之后,将虚拟场景画面发送至显示节点,以在显示节点显示第一虚拟场景画面。如此,当显示节点显示第一虚拟场景画面之后,则可以在无需布置与虚拟场景画面相同的真实场景画面的情况下,实现虚拟制作拍摄。
参见图4,图4是本申请实施例提供的虚拟拍摄系统中各节点之间的交互流程示意图,包括:步骤201,摄像位置检测节点发送摄像位置至控制节点;步骤202,控制节点调整虚拟引擎中虚拟摄像节点的位置为摄像位置;步骤203,控制节点将调整位置后的虚拟摄像节点所拍摄的虚拟资产,作为虚拟摄像资产,并发送虚拟摄像资产至渲染节点;步骤204,渲染节点对虚拟摄像资产进行渲染,得到第一虚拟场景画面;步骤205,渲染节点发送第一虚拟场景画面至显示节点;步骤206,显示节点显示第一虚拟场景画面。如此,实现通过虚拟制作生成并显示第一虚拟场景画面,基于此能够支持虚拟制作拍摄。
步骤103:控制节点当接收到拓展现实拍摄指令时,确定虚拟引擎中待渲染的虚拟摄像资产、虚拟前景资产和虚拟拓展资产。
这里,当需要进行拓展显示拍摄时,也可以在控制节点进行操作。该控制节点可以设置有支持虚拟拍摄的应用程序,用户可以在运行的应用程序上触发拓展现实拍摄指令。此时,控制节点当接收到拓展现实拍摄指令时,则响应于该拓展现实拍摄指令,确定虚拟引擎中待渲染的虚拟摄像资产、虚拟前景资产和虚拟拓展资产。在实际应用中,该虚拟引擎可以设置于控制节点。该虚拟摄像资产、虚拟前景资产和虚拟拓展资产共同用于生成第二虚拟场景画面,该虚拟摄像资产、虚拟前景资产和虚拟拓展资产均可以是用户在虚拟引擎中预先配置和编辑的。
在一些实施例中,系统还包括摄像节点和摄像位置检测节点;控制节点,还用于当接收到拓展现实拍摄指令时,发送摄像位置获取请求至摄像位置检测节点,并发送摄像数据获取请求至摄像节点;摄像位置检测节点,用于响应于摄像位置获取请求,采集摄像节点的摄像位置,并发送摄像位置至控制节点;摄像节点,用于响应于摄像数据获取请求,采集摄像数据,并发送摄像数据至控制节点。
这里,该摄像节点可以是具有摄像功能的相机等设备,可以用于采集虚拟拍摄现场的摄像数据,该摄像数据为在虚拟拍摄现场实时捕捉的画面。该摄像位置检测节点用于采集该摄像节点的摄像位置。为使摄像位置检测节点所获取的摄像位置更精确,该摄像位置检测节点可以通过连接件和摄像节点进行连接;或者该摄像位置检测节点设置于摄像节点上。需要说明的是,该摄像数据可以为摄像节点拍摄的画面数据,通过该摄像数据,可以确定摄像节点所拍摄画面的摄像画面尺寸。在实际应用中,控制节点在接收到拓展现实拍摄指令时,可以发送摄像位置获取请求至摄像位置检测节点,并发送摄像数据获取请求至摄像节点;摄像位置检测节点在接收到摄像位置获取请求之后,响应于摄像位置获取请求,实时采集摄像节点的摄像位置,并发送摄像位置至控制节点;以及,摄像节点在接收到摄像数据获取请求之后,响应于摄像数据获取请求,实时采集摄像数据,并发送摄像数据至控制节点。基于此,控制节点则可以获取到摄像节点的摄像数据、以及摄像节点的摄像位置。此时,控制节点则可以基于摄像位置和摄像数据,确定虚拟引擎中待渲染的虚拟摄像资产、虚拟前景资产和虚拟拓展资产。
在实际应用中,摄像位置检测节点可以通过第一交换节点,将摄像位置转发至控制节点;同样的,摄像节点也可以通过第一交换节点,将摄像数据转发至控制节点,当然,摄像节点也可以直接将摄像数据发送至控制节点。
在一些实施例中,控制节点,还用于接收摄像位置和摄像数据;基于摄像数据,确定虚拟引擎中虚拟摄像节点的摄像画面尺寸;控制节点,还用于基于摄像位置和摄像画面尺寸,确定虚拟摄像节点所拍摄的第一虚拟资产;以及,将第一虚拟资产处于前景部分的虚拟资产作为虚拟前景资产,并将第一虚拟资产中除虚拟前景资产外的虚拟资产,作为虚拟摄像资产;以及,从预设虚拟资产中抠除第一虚拟资产,得到虚拟拓展资产。
这里,控制节点在接收到摄像位置和摄像数据之后,则首先基于摄像数据,确定虚拟引擎中虚拟摄像节点的摄像画面尺寸,从而基于该摄像位置和摄像画面尺寸,确定虚拟摄像节点所拍摄的第一虚拟资产。在实际应用中,控制节点可以根据摄像位置,将控制节点中运行的虚拟引擎中的虚拟摄像节点(即虚拟相机)的位置,调整为该摄像位置,实现真实相机和虚拟相机的位置匹配;然后根据摄像数据,确定摄像节点所拍摄画面的摄像画面尺寸(或称画幅)。基于此,根据摄像画面尺寸,确定调整位置后的虚拟摄像节点所拍摄的第一虚拟资产。如此,则可以将第一虚拟资产处于前景部分(可以是预先人为设置的)的虚拟资产作为虚拟前景资产,并将第一虚拟资产中除虚拟前景资产外的虚拟资产,作为虚拟摄像资产。在实际应用中,针对待生成的第二虚拟场景画面,可以预先设置所需的预设虚拟资产,即虚拟摄像资产、虚拟前景资产和虚拟拓展资产,因此,在确定虚拟摄像资产和虚拟前景资产之后,则可以从预设虚拟资产中抠除第一虚拟资产,得到该虚拟拓展资产。
在一些实施例中,控制节点包括前景控制节点、拓展控制节点和合成控制节点;基于此,在进行摄像位置和摄像数据的发送时,可以分别发送至前景控制节点、拓展控制节点和合成控制节点。如此,前景控制节点可以基于摄像数据,确定虚拟引擎中虚拟摄像节点的摄像画面尺寸,然后基于摄像位置和摄像画面尺寸,确定虚拟摄像节点所拍摄的第一虚拟资产,从而将第一虚拟资产处于前景部分的虚拟资产作为虚拟前景资产。合成控制节点则可以也通过前景控制节点的处理方式,确定第一虚拟资产和虚拟前景资产,然后将第一虚拟资产中除虚拟前景资产外的虚拟资产,作为虚拟摄像资产。拓展控制节点则可以也通过前景控制节点的处理方式,确定第一虚拟资产,从而从预设虚拟资产中抠除第一虚拟资产,得到虚拟拓展资产。
步骤104:执行步骤1041或者步骤1042。
步骤1041:控制节点基于虚拟摄像资产、虚拟前景资产和虚拟拓展资产,渲染得到第二虚拟场景画面,并发送第二虚拟场景画面至渲染节点;渲染节点转发第二虚拟场景画面至显示节点;
步骤1042:控制节点渲染虚拟前景资产,得到前景画面,并发送前景画面、虚拟摄像资产和虚拟拓展资产至渲染节点;渲染节点基于前景画面、虚拟摄像资产和虚拟拓展资产,生成第二虚拟场景画面,并发送第二虚拟场景画面至显示节点。
首先说明步骤1041。这里,控制节点在响应于拓展现实拍摄指令确定虚拟摄像资产、虚拟前景资产和虚拟拓展资产之后,则基于虚拟摄像资产、虚拟前景资产和虚拟拓展资产,渲染得到第二虚拟场景画面;同时,发送第二虚拟场景画面至渲染节点。
在一些实施例中,控制节点包括前景控制节点、拓展控制节点和合成控制节点;前景控制节点,用于当接收到拓展现实拍摄指令时,确定虚拟引擎中的虚拟前景资产;渲染虚拟前景资产,得到前景画面;发送前景画面至合成控制节点;拓展控制节点,用于当接收到拓展现实拍摄指令时,确定虚拟引擎中的虚拟拓展资产;渲染虚拟拓展资产,得到拓展画面;发送拓展画面至合成控制节点;合成控制节点,用于当接收到拓展现实拍摄指令时,确定虚拟引擎中的虚拟摄像资产;渲染虚拟摄像资产,得到摄像画面;合成摄像画面、前景画面和拓展画面,得到第二虚拟场景画面;发送第二虚拟场景画面至渲染节点。
这里,基于拓展现实生成的第二虚拟场景画面是由前景画面、摄像画面和拓展画面合成得到的,因此,需要先渲染得到每个画面:前景画面、摄像画面和拓展画面。在本申请实施例中,是针对摄像画面、前景画面和拓展画面分别部署相应的控制节点进行渲染,即,通过前景控制节点实现前景画面的渲染,通过拓展控制节点实现拓展画面的渲染;通过合成控制节点实现摄像画面的渲染、以及前景画面、摄像画面和拓展画面的合成。
如此,将生成的第二虚拟场景画面发送至渲染节点。在一些实施例中,系统还包括交换节点;控制节点,还用于发送第二虚拟场景画面至交换节点;交换节点,用于转发第二虚拟场景画面至渲染节点。在一些实施例中,该虚拟拍摄系统还包括交换节点,该交换节点用于将第二虚拟场景画面转发至显示节点。如此,保证第二虚拟场景画面无需压缩传输,提高第二虚拟场景画面的显示效果,从而提高虚拟拍摄效果。
在一些实施例中,系统还包括摄像节点;控制节点,还用于根据摄像节点的视锥范围,确定第二虚拟场景画面中待显示的目标虚拟场景画面;发送目标虚拟场景画面至渲染节点;渲染节点,还用于转发目标虚拟场景画面至显示节点。这里,在基于拓展现实生成第二虚拟场景画面时,由于拓展画面的存在且受制于显示节点的硬件条件,因此显示节点显示第二虚拟场景画面时,仅显示拍摄节点的视锥范围的目标虚拟场景画面即可,即显示节点的部署条件能够达到显示目标虚拟场景画面的条件即可,从而既可以节省显示资源以及场地的占用,还降低了虚拟拍摄的成本。
需要说明的是,该前景画面是属于摄像节点的视锥范围内的,且需要与摄像画面中对象发生交互的虚拟资产,例如,摄像画面中的人需要骑行一辆摩托车,而真实场景中并不存在该摩托车,所以需要在虚拟场景中设置该摩托车的虚拟资产,该虚拟资产则为前景部分的虚拟资产。该拓展画面是属于摄像节点的视锥范围外的。
参见图5,图5是本申请实施例提供的虚拟拍摄系统中各节点之间的交互流程示意图。这里,控制节点包括前景控制节点、拓展控制节点和合成控制节点。因此,本申请实施例提供的虚拟拍摄系统中各节点之间的交互流程包括:步骤301,摄像节点发送摄像数据至控制节点,以及摄像位置检测节点发送摄像位置至控制节点;步骤302,前景控制节点当接收到拓展现实拍摄指令时,基于摄像位置和摄像数据,确定虚拟引擎中的虚拟前景资产;步骤303,前景控制节点对虚拟前景资产进行渲染,得到前景画面,并发送前景画面至合成控制节点;步骤304,拓展控制节点当接收到拓展现实拍摄指令时,基于摄像位置和摄像数据,确定虚拟引擎中的虚拟拓展资产;步骤305,拓展控制节点对虚拟拓展资产进行渲染,得到拓展画面,并发送拓展画面至合成控制节点;步骤306,合成控制节点当接收到拓展现实拍摄指令时,基于摄像位置和摄像数据,确定虚拟引擎中的虚拟摄像资产,并渲染虚拟摄像资产,得到摄像画面;步骤307,合成控制节点对摄像画面、前景画面以及拓展画面进行合成,得到第二虚拟场景画面,并发送第二虚拟场景画面至渲染节点;步骤308,渲染节点转发第二虚拟场景画面至显示节点;步骤309,显示节点显示第二虚拟场景画面。如此,实现通过拓展现实生成第二虚拟场景画面,基于此能够支持拓展现实拍摄。
然后说明步骤1042。这里,控制节点渲染虚拟前景资产,得到前景画面,并发送前景画面、虚拟摄像资产和虚拟拓展资产至渲染节点;渲染节点基于前景画面、虚拟摄像资产和虚拟拓展资产,生成第二虚拟场景画面,并发送第二虚拟场景画面至显示节点。
这里,控制节点渲染虚拟前景资产,得到前景画面,并发送前景画面、虚拟摄像资产和虚拟拓展资产至渲染节点;渲染节点首先对虚拟摄像资产进行渲染,得到摄像画面,并对虚拟拓展资产进行渲染,得到拓展画面;然后对前景画面、摄像画面以及拓展画面进行合成,得到第二虚拟场景画面;同时,发送第二虚拟场景画面至显示节点。如此,拓展画面可以通过渲染节点(即虚拟制作拍摄方式下的渲染节点)实现,即在进行拓展现实拍摄时,渲染节点可以对虚拟拓展资产以及虚拟摄像资产进行渲染。如此,可以提高渲染节点的硬件资源的利用率,减少再次部署一个渲染设备所导致的成本浪费,从而提高虚拟拍摄的拍摄效率。
在一些实施例中,控制节点包括前景控制节点和摄像控制节点;前景控制节点,用于当接收到拓展现实拍摄指令时,确定虚拟引擎中的虚拟前景资产;对虚拟前景资产进行渲染,得到前景画面;发送前景画面至渲染节点;摄像控制节点,用于当接收到拓展现实拍摄指令时,确定虚拟引擎中的虚拟摄像资产和虚拟拓展资产;发送虚拟摄像资产和虚拟拓展资产至渲染节点;渲染节点,还用于渲染虚拟拓展资产,得到拓展画面;渲染虚拟摄像资产,得到摄像画面;合成摄像画面、前景画面和拓展画面,得到第二虚拟场景画面。
基于拓展现实生成的第二虚拟场景画面是由前景画面、摄像画面和拓展画面合成得到的,因此,需要先渲染得到每个画面:前景画面、摄像画面和拓展画面。在本申请实施例中,是由前景控制节点在接收到拓展现实拍摄指令时,确定虚拟引擎中的虚拟前景资产,并对虚拟前景资产进行渲染,得到前景画面;同时,还将前景画面发送至渲染节点。而虚拟拓展资产和虚拟摄像资产的渲染则由渲染节点实现,即:摄像控制节点当接收到拓展现实拍摄指令时,确定虚拟引擎中的虚拟摄像资产和虚拟拓展资产,并发送虚拟摄像资产和虚拟拓展资产至渲染节点;渲染节点对虚拟拓展资产进行渲染,得到拓展画面,并渲染虚拟摄像资产,得到摄像画面。基于此,渲染节点还可以将摄像画面、前景画面和拓展画面进行合成,得到第二虚拟场景画面。
在一些实施例中,系统还包括交换节点;控制节点,还用于发送前景画面、虚拟摄像资产和虚拟拓展资产至交换节点;交换节点,还用于转发前景画面、虚拟摄像资产和虚拟拓展资产至渲染节点。
在一些实施例中,系统还包括摄像节点;渲染节点,还用于根据摄像节点的视锥范围,确定第二虚拟场景画面中待显示的目标虚拟场景画面;发送目标虚拟场景画面至显示节点;显示节点,用于显示目标虚拟场景画面。这里,在基于拓展现实生成第二虚拟场景画面时,由于拓展画面的存在且受制于显示节点的硬件条件,因此显示节点显示第二虚拟场景画面时,仅显示拍摄节点的视锥范围的目标虚拟场景画面即可,即显示节点的部署条件能够达到显示目标虚拟场景画面的条件即可,从而既可以节省显示资源以及场地的占用,还降低了虚拟拍摄的成本。
参见图6,图6是本申请实施例提供的虚拟拍摄系统中各节点之间的交互流程示意图。这里,控制节点包括前景控制节点和摄像控制节点。因此,本申请实施例提供的虚拟拍摄系统中各节点之间的交互流程包括:步骤401,摄像节点发送摄像数据至控制节点,以及摄像位置检测节点发送摄像位置至控制节点;步骤402,前景控制节点当接收到拓展现实拍摄指令时,基于摄像位置和摄像数据,确定虚拟引擎中的虚拟前景资产;步骤403,前景控制节点对虚拟前景资产进行渲染,得到前景画面,并发送前景画面至渲染节点;步骤404,摄像控制节点当接收到拓展现实拍摄指令时,基于摄像位置和摄像数据,确定虚拟引擎中的虚拟摄像资产和虚拟拓展资产,并发送虚拟摄像资产和虚拟拓展资产至渲染节点;步骤405,渲染节点对虚拟拓展资产进行渲染,得到拓展画面;步骤406,渲染节点对虚拟摄像资产进行渲染,得到摄像画面;步骤407,渲染节点对摄像画面、前景画面以及拓展画面进行合成,得到第二虚拟场景画面;步骤408,渲染节点发送第二虚拟场景画面至显示节点;步骤409,显示节点显示第二虚拟场景画面。如此,实现通过拓展现实生成第二虚拟场景画面,基于此能够支持拓展现实拍摄。
步骤105:显示节点显示虚拟场景画面。
其中,虚拟场景画面为第一虚拟场景画面和第二虚拟场景画面中之一。
这里,显示节点接收虚拟场景画面。即,当显示节点接收到第一虚拟场景画面时,显示第一虚拟场景画面,当显示节点接收到第二虚拟场景画面时,显示第二虚拟场景画面。
在一些实施例中,虚拟拍摄系统还包括显示控制节点;渲染节点,还用于发送第一虚拟场景画面的数字信号至显示控制节点;显示控制节点,用于将第一虚拟场景画面的数字信号转换为图像信号,并发送图像信号至显示节点;显示节点,还用于基于图像信号,显示第一虚拟场景画面。这里,虚拟拍摄系统还包括显示控制节点,该显示控制节点能够第一虚拟场景画面的数字信号,转换为显示节点能够显示的图像信号,便于显示节点进行显示。
在一些实施例中,上述显示节点实际是由多个子显示节点组成的,作为示例,参见图7,图7是本申请实施例提供的显示节点的组成示意图。这里,该显示节点的形状为弧形,由多个子显示节点拼接而成。因此,第一虚拟场景画面也包括多个子虚拟场景画面,且子虚拟场景画面和子显示节点一一对应。当虚拟拍摄系统还包括显示控制节点时,渲染节点还用于确定各子虚拟场景画面对应的子虚拟摄像资产,并渲染各子虚拟摄像资产,得到各子虚拟场景画面;发送各子虚拟场景画面至显示控制节点;显示控制节点,用于按照子显示节点和子虚拟场景画面之间的对应关系,将各子虚拟场景画面,分别发送至相应的子显示节点;子显示节点,用于显示显示控制节点发送的子虚拟场景画面。如此,各子显示节点显示各自的子虚拟场景画面,从而使得由多个子显示节点组成的显示节点成功显示该第一虚拟场景画面。
在实际应用中,当显示节点显示第二虚拟场景画面时,也可以是通过显示控制节点控制的,即:将第二虚拟场景画面发送至显示控制节点,显示控制节点转发第二虚拟场景画面至显示节点。同样的,可以发送第二虚拟场景画面的数字信号至显示控制节点;显示控制节点将第二虚拟场景画面的数字信号转换为图像信号,并发送图像信号至显示节点;显示节点基于图像信号,显示第二虚拟场景画面。在实际应用中,第二虚拟场景画面也可以是多个子虚拟场景画面组成的,因此也可以通过显示控制节点,将各个子虚拟场景画面分别发送至相应的子显示节点,从而通过子显示节点显示该子虚拟场景画面。
在一些实施例中,控制节点,还用于运行第一拍摄功能单元,并通过第一拍摄功能单元,接收到虚拟拍摄指令;其中,当第一拍摄功能单元为虚拟制作功能单元时,虚拟拍摄指令为虚拟制作拍摄指令;当第一拍摄功能单元为拓展现实功能单元时,虚拟拍摄指令为拓展现实拍摄指令;控制节点,还用于响应于拍摄切换指令,从运行第一拍摄功能单元切换为运行第二拍摄功能单元;其中,第二拍摄功能单元不同于第一拍摄功能单元,第二拍摄功能单元,为虚拟制作功能单元和拓展现实功能单元中之一。这里,实现虚拟制作拍摄是通过虚拟制作功能单元,实现拓展现实拍摄是通过拓展现实功能单元。该两个功能单元之间可以互相切换,通过切换至不同的功能单元,实现不同的虚拟拍摄。
接下来对本申请实施例提供的虚拟摄像系统进行示例性说明。作为示例,参见图8,图8是本申请实施例提供的虚拟拍摄系统的架构示意图。这里,虚拟拍摄系统包括控制节点(即VP控制节点和XR控制节点,其中,XR控制节点包括前景控制节点(前景机)、拓展控制节点(拓展机)和合成控制节点(合成机))、交换节点1(即交换机1)、交换节点2(即交换机2)、渲染节点(即渲染机)、显示控制节点(即LED控制机)、显示节点(即LED屏幕)、摄像节点(即摄像机)以及摄像位置检测节点(即Tracker)。在实际应用中,虚拟拍摄系统中各节点可以处于一个局域网内,传输画面数据的各节点之间(比如渲染机和LED控制器之间)可通过高清多媒体接口(High Definition MultimediaInterface,HDMI)连接,以避免画面数据传输时进行画面压缩,提高最终显示的画面效果。这里,VP控制节点和XR控制节点是分开部署的。
当VP控制节点接收到VP拍摄指令时,从摄像位置检测节点通过交换节点1获取摄像节点的摄像位置;VP控制节点基于摄像位置,确定虚拟引擎中的虚拟摄像资产,并将虚拟摄像资产依次通过交换节点1和交换节点2传输至渲染节点;渲染节点对虚拟摄像资产进行渲染,得到第一虚拟场景画面,并发送第一虚拟场景画面至显示控制节点;显示控制节点将第一虚拟场景画面转发至显示节点;显示节点显示第一虚拟场景画面。
当XR控制节点接收到XR拍摄指令时,从摄像位置检测节点通过交换节点1获取摄像位置,并从摄像节点获取摄像数据。前景控制节点基于摄像位置和摄像数据,确定虚拟引擎中的虚拟前景资产,并对虚拟前景资产进行渲染,得到前景画面,发送前景画面至合成控制节点;拓展控制节点基于摄像位置和摄像数据,确定虚拟引擎中的虚拟拓展资产,并对虚拟拓展资产进行渲染,得到拓展画面,发送拓展画面至合成控制节点;合成控制节点基于摄像位置和摄像数据,确定虚拟摄像资产,并对虚拟摄像资产进行渲染,得到摄像画面;对摄像画面、前景画面以及拓展画面进行合成,得到第二虚拟场景画面;合成控制节点依次通过交换节点1、交换节点2以及渲染节点,发送第二虚拟场景画面至显示控制节点;显示控制节点将第二虚拟场景画面转发至显示节点;显示节点显示第二虚拟场景画面。这里,渲染节点作为数据传输设备使用。
作为示例,参见图9,图9是本申请实施例提供的虚拟拍摄系统的架构示意图。这里,虚拟拍摄系统包括控制节点(包括前景控制节点(前景机)和摄像控制节点)、交换节点1(即交换机1)、交换节点2(即交换机2)、渲染节点(即渲染机)、显示控制节点(即LED控制机)、显示节点(即LED屏幕)、摄像节点(即摄像机)以及摄像位置检测节点(即Tracker)。在实际应用中,虚拟拍摄系统中各节点可以处于一个局域网内,传输画面数据的各节点之间(比如渲染机和LED控制器之间)可通过HDMI连接,以避免画面数据传输时进行画面压缩,提高最终显示的画面效果。这里,VP控制节点和XR控制节点不再分开部署,XR控制节点和VP控制节点均集成在一个控制节点上。
当VP控制节点接收到VP拍摄指令时,从摄像位置检测节点通过交换节点1获取摄像节点的摄像位置;VP控制节点基于摄像位置,确定虚拟引擎中的虚拟摄像资产,并将虚拟摄像资产依次通过交换节点1和交换节点2传输至渲染节点;渲染节点对虚拟摄像资产进行渲染,得到第一虚拟场景画面,并发送第一虚拟场景画面至显示控制节点;显示控制节点将第一虚拟场景画面转发至显示节点;显示节点显示第一虚拟场景画面。
当XR控制节点接收到XR拍摄指令时,从摄像位置检测节点通过交换节点1获取摄像位置,并从摄像节点获取摄像数据。前景控制节点基于摄像位置和摄像数据,确定虚拟引擎中的虚拟前景资产,并对虚拟前景资产进行渲染,得到前景画面,发送前景画面至渲染节点;摄像控制节点基于摄像位置和摄像数据,确定虚拟引擎中的虚拟摄像资产和虚拟拓展资产,并发送虚拟摄像资产和虚拟拓展资产至渲染节点;渲染节点对虚拟拓展资产进行渲染,得到拓展画面,并对虚拟摄像资产进行渲染,得到摄像画面;然后对摄像画面、前景画面以及拓展画面进行合成,得到第二虚拟场景画面;渲染节点发送第二虚拟场景画面至显示控制节点;显示控制节点将第二虚拟场景画面转发至显示节点;显示节点显示第二虚拟场景画面。这里,渲染节点用作拓展画面的渲染,提高了渲染节点的资源利用率,更进一步减低虚拟拍摄成本,提高虚拟拍摄效率。
应用本申请上述实施例提供的虚拟拍摄系统,(1)控制节点在接收到虚拟制作拍摄指令时,发送虚拟引擎中待渲染的虚拟摄像资产至渲染节点,渲染节点渲染虚拟摄像资产,并发送渲染得到的第一虚拟场景画面至显示节点进行显示。如此,则可以在通过虚拟制作生成的第一虚拟场景画面中进行虚拟拍摄,实现基于虚拟制作的虚拟拍摄。
(2)控制节点在接收到拓展现实拍摄指令时,确定虚拟引擎中待渲染的虚拟摄像资产、虚拟前景资产和虚拟拓展资产;然后1)控制节点可以基于虚拟摄像资产、虚拟前景资产和虚拟拓展资产,渲染得到第二虚拟场景画面,并发送第二虚拟场景画面至渲染节点,以使渲染节点转发第二虚拟场景画面至显示节点进行显示。如此,则可以在通过拓展现实生成的第二虚拟场景画面中进行虚拟拍摄,实现基于拓展现实的虚拟拍摄。
或者,2)控制节点可以仅渲染虚拟前景资产,得到前景画面,并发送前景画面、虚拟摄像资产和虚拟拓展资产至渲染节点;从而渲染节点可以基于前景画面、虚拟摄像资产和虚拟拓展资产,生成第二虚拟场景画面,并发送第二虚拟场景画面至显示节点进行显示。如此,a)则可以在通过拓展现实生成的第二虚拟场景画面中进行虚拟拍摄,实现基于拓展现实的虚拟拍摄;b)在进行拓展现实的虚拟拍摄时,将虚拟摄像资产和虚拟拓展资产的渲染部署于渲染节点,既提高了渲染节点的硬件资源利用率,还降低了控制节点的硬件资源占用,两者能够平衡且更快地进行第二虚拟场景画面的生成,提高虚拟拍摄效率。
综上,应用本申请实施例提供的虚拟拍摄系统,1)可以在一个虚拟拍摄系统下,既能够基于虚拟制作实现虚拟拍摄,还能够基于拓展现实实现虚拟拍摄,从而降低了虚拟拍摄成本,提高了虚拟拍摄效率;2)不同方式的虚拟拍摄的实现,通过不同的渲染管线来完成,能够保证生成的虚拟场景画面的精度,从而提高了虚拟拍摄效果。
下面说明本申请实施例提供的虚拟拍摄方法。本申请实施例提供的虚拟拍摄方法应用于虚拟拍摄系统,该虚拟拍摄系统包括控制节点、渲染节点以及显示节点。本申请实施例提供的虚拟拍摄方法由控制节点实施。参见图10,图10是本申请实施例提供的虚拟拍摄方法的流程示意图,本申请实施例提供的虚拟拍摄方法包括:
步骤601:控制节点接收到虚拟制作拍摄指令时,发送虚拟引擎中待渲染的虚拟摄像资产至渲染节点,以使渲染节点渲染虚拟摄像资产,并将渲染得到的第一虚拟场景画面发送至显示节点。
这里,显示节点可以显示第一虚拟场景画面,以供实现基于虚拟制作的虚拟拍摄。
步骤602:控制节点接收到拓展现实拍摄指令时,确定虚拟引擎中待渲染的虚拟摄像资产、虚拟前景资产和虚拟拓展资产。
步骤603:基于虚拟摄像资产、虚拟前景资产和虚拟拓展资产,渲染得到第二虚拟场景画面,并发送第二虚拟场景画面至渲染节点,以使渲染节点转发第二虚拟场景画面至显示节点;
或者,渲染虚拟前景资产,得到前景画面,并发送前景画面、虚拟摄像资产和虚拟拓展资产至渲染节点,以使渲染节点基于前景画面、虚拟摄像资产和虚拟拓展资产,生成第二虚拟场景画面,并发送第二虚拟场景画面至显示节点。
这里,显示节点可以显示第二虚拟场景画面,以供实现基于拓展现实的虚拟拍摄。
应用本申请上述实施例,(1)控制节点在接收到虚拟制作拍摄指令时,发送虚拟引擎中待渲染的虚拟摄像资产至渲染节点,渲染节点渲染虚拟摄像资产,并发送渲染得到的第一虚拟场景画面至显示节点进行显示。(2)控制节点在接收到拓展现实拍摄指令时,确定虚拟引擎中待渲染的虚拟摄像资产、虚拟前景资产和虚拟拓展资产;然后1)控制节点可以基于虚拟摄像资产、虚拟前景资产和虚拟拓展资产,渲染得到第二虚拟场景画面,并发送第二虚拟场景画面至渲染节点,以使渲染节点转发第二虚拟场景画面至显示节点进行显示;或者2)控制节点可以仅渲染虚拟前景资产,得到前景画面,并发送前景画面、虚拟摄像资产和虚拟拓展资产至渲染节点;从而渲染节点可以基于前景画面、虚拟摄像资产和虚拟拓展资产,生成第二虚拟场景画面,并发送第二虚拟场景画面至显示节点进行显示,从而降低了控制节点的硬件资源占用。
如此,1)可以在一个虚拟拍摄系统下,既能够基于虚拟制作实现虚拟拍摄,还能够基于拓展现实实现虚拟拍摄,从而降低了虚拟拍摄成本,提高了虚拟拍摄效率;2)不同方式的虚拟拍摄的实现,通过不同的渲染管线来完成,能够保证生成的虚拟场景画面的精度,从而提高了虚拟拍摄效果。
下面将说明本申请实施例在一个实际的应用场景中的示例性应用。相关技术中的虚拟拍摄,往往需要针对VP虚拟拍摄和XR虚拟拍摄,分别部署所需的设备并搭建相应的拍摄场地,导致虚拟拍摄的成本高且效率低。
基于此,本申请实施例提供一种虚拟拍摄系统,以至少解决上述存在的问题。本申请实施例提供的虚拟拍摄系统,既能够支持VP虚拟拍摄,还能够支持XR虚拟拍摄,并且能够在VP虚拟拍摄和XR虚拟拍摄之间互相切换,虚拟拍摄成本,并提高了虚拟拍摄效率。接下来说明对本申请实施例涉及的名词进行解释,包括:
1)LED(light-emitting diode)幕墙(即上述显示节点),用于通过显示虚拟场景画面。LED幕墙由多个LED屏幕组成,部署于虚拟拍摄现场中。
2)摄像位置检测器(即Tracker),能够实时提供摄像机的在一个空间维度下的位置(包括位移与旋转方向)。
3)渲染机(即上述渲染节点),用于对投放至LED屏幕上的虚拟资产、以及拓展出去LED屏幕外的虚拟资产进行渲染;
4)画面合成机,用于对摄像机的捕捉画面、以及UE资产遮罩过捕捉画面的部分进行合成,并将合成信号传送出去;
5)控制机(即上述控制节点),用于在VP中对渲染机同步渲染信号。
在实际应用中,本申请实施例提供的虚拟拍摄系统可以通过如下途经进行应用,包括:1)搭建虚拟拍摄影棚以供需求方使用。2)为需求方提供虚拟拍摄技术搭建服务,如电视台、广告公司等。3)提供实验室搭建服务。4)将VP和XR的分别软件融合化,针对C端或B端进行产品化,减少对硬件的依赖。
参见图11A,为VP拍摄的渲染管线以及硬件链路的示意图。这里,1)将上屏的虚拟资产对11台设备(包括控制机和10个渲染机)进行同步,保证控制机和渲染机都能读取到此资产。2)打开控制机,将多用户编辑(multi-user)配置到需要上屏的资产中,保证资产修改能够实时反馈到屏幕上。具体地,参见图12,1.多用户编辑由Multi-User Editing server来管理session会话,然后其他的机器通过加入会话来进行多人协同工作;2.在会话工作空间内时,每个用户都可以通过虚幻编辑器实例支持的任意方式,与项目内容互动;3.每当有任何连接的用户更改项目中的虚拟资产或保存虚拟资产时,虚幻编辑器实例会自动将更改的信息转发到服务器;4.服务器负责记录更改记录,并将更改事务发送到所有其他连接的客户端;5.每个客户端在自己的环境内部本地应用相同的更改。3)对于虚拟引擎实例处理的各设备,其在同一3D虚拟场景中渲染单个视点。通过设置此类视点,使其在3D虚拟场景中的位置与现实世界中屏幕表面的物理位置相匹配,可给观众营造身处3D虚拟场景中的感觉。主节点还负责通过虚拟现实外围网络(VRPN)的连接来接收Tracker及控制器的输入,然后将该输入复制到其他所有连接的设备,从而保证映射的准确性,保证摄像机的捕捉画面正好是渲染的视锥,再通过摄像机拍摄。
如此,整个渲染链路没有实时画面传输和压缩,每一块LED都是一个单独的渲染节点,通过控制机的信号指示将对应渲染机控制部分投射至LED上,再通过摄像机拍摄,以实现VP拍摄。
参见图11B,为XR拍摄的渲染管线以及硬件链路的示意图。这里,1)在合成软件中设置一块跟现实LED一模一样的LED模型作为虚拟资产的投影画布;2)通过摄像机的实时位置传输,合成机可以获取到此时摄像机的捕捉画面的大小以及相对位置,并通过NDI画面传输协议将摄像机拍摄的画面实时传送给合成机,同时,因为虚拟相机和真实相机的位置是一致的,需要投射到LED上的拍摄画幅内的资产也是能够知道的,LED上显示画面是通过合成机获取到UE资产的实时渲染画面,再通过NDI画面传输协议传输到LED上去的;3)合成机同时也会将位置信息同步至拓展画面的渲染机,拓展画面是基于LED模型以及摄像机的位置实时进行扣像而获取的UE资产画面,这个画面同时也会实时传送给合成机进行合成,以输出最后画面。
参见图8,为实现VP拍摄和X拍摄的双链路硬件示意图,其既能实现XR拍摄又能实现VP拍摄,并能在VP资产配置完成且XR标定完成的情况下,快速实现切换,大大提升了虚拟拍摄效率,节约了不必要的硬件投入成本。这里,LED作为显示端,从交换机接收两路显示信号(VP输出的显示信号和XR输出的显示信号)进行显示。当虚拟拍摄系统内传输的是XR显示信号时,VP的渲染机将作为数据传输设备使用;当虚拟拍摄系统内传输的是VP显示信号时,VP的渲染机则维持VP渲染管线,作为渲染节点进行LED控制,实时接收Tr acker的位置信号进行渲染,保证中间无视频信号传输压缩。在实际实施时,虚拟拍摄系统内的硬件设备处于同一局域网内,保证网络信号传输的联通性,以实现双系统的实时切换和支持。
在另外一些实施例中,可以将VP控制和XR控制作为不同的两个功能模块进行产品化;或者还可以基于VP的渲染管线实现拓展画面的渲染功能,在保证精度的情况下实现拓展大景别的镜头。
应用本申请上述实施例,1)VP虚拟拍摄的优点是高精度,通过网络信号传输保证整个渲染链路实时的、并且每个渲染机单独对自己负责的一块LED区域进行渲染,再通过同步卡进行同步,保证渲染的高精度和无损,能够更好地被使用于影视制作等虚拟拍摄项目中;2)考虑到单靠VP无法实现大景别镜头需求(LED的物理高度严重限制了运镜的空间),布局了双系统硬件链路,如此,既能够支持VP虚拟拍摄,还能够支持XR虚拟拍摄,并且能够在VP虚拟拍摄和XR虚拟拍摄之间互相切换,大幅提升虚拟拍摄能力,无需后期合成大景别镜头,能更好地保证所见即所得。
下面继续说明本申请实施例提供的虚拟拍摄装置555的实施为软件模块的示例性结构。本申请实施例提供的虚拟拍摄装置应用于虚拟拍摄系统,所述虚拟拍摄系统包括控制节点、渲染节点以及显示节点;在一些实施例中,如图2所示,存储在存储器550的虚拟拍摄装置555中的软件模块可以包括:第一接收模块5551,用于接收到虚拟制作拍摄指令时,发送虚拟引擎中待渲染的虚拟摄像资产至所述渲染节点,以使所述渲染节点渲染所述虚拟摄像资产,并将渲染得到的第一虚拟场景画面发送至所述显示节点;第二接收模块5552,用于接收到拓展现实拍摄指令时,确定虚拟引擎中待渲染的虚拟摄像资产、虚拟前景资产和虚拟拓展资产;渲染模块5553,用于基于所述虚拟摄像资产、虚拟前景资产和虚拟拓展资产,渲染得到第二虚拟场景画面,并发送所述第二虚拟场景画面至所述渲染节点,以使所述渲染节点转发所述第二虚拟场景画面至所述显示节点;或者,渲染所述虚拟前景资产,得到前景画面,并发送所述前景画面、虚拟摄像资产和虚拟拓展资产至所述渲染节点,以使所述渲染节点基于所述前景画面、虚拟摄像资产和虚拟拓展资产,生成第二虚拟场景画面,并发送所述第二虚拟场景画面至所述显示节点。
应用本申请上述实施例,(1)控制节点在接收到虚拟制作拍摄指令时,发送虚拟引擎中待渲染的虚拟摄像资产至渲染节点,渲染节点渲染虚拟摄像资产,并发送渲染得到的第一虚拟场景画面至显示节点进行显示。(2)控制节点在接收到拓展现实拍摄指令时,确定虚拟引擎中待渲染的虚拟摄像资产、虚拟前景资产和虚拟拓展资产;然后1)控制节点可以基于虚拟摄像资产、虚拟前景资产和虚拟拓展资产,渲染得到第二虚拟场景画面,并发送第二虚拟场景画面至渲染节点,以使渲染节点转发第二虚拟场景画面至显示节点进行显示;或者2)控制节点可以仅渲染虚拟前景资产,得到前景画面,并发送前景画面、虚拟摄像资产和虚拟拓展资产至渲染节点;从而渲染节点可以基于前景画面、虚拟摄像资产和虚拟拓展资产,生成第二虚拟场景画面,并发送第二虚拟场景画面至显示节点进行显示,从而降低了控制节点的硬件资源占用。
如此,1)可以在一个虚拟拍摄系统下,既能够基于虚拟制作实现虚拟拍摄,还能够基于拓展现实实现虚拟拍摄,从而降低了虚拟拍摄成本,提高了虚拟拍摄效率;2)不同方式的虚拟拍摄的实现,通过不同的渲染管线来完成,能够保证生成的虚拟场景画面的精度,从而提高了虚拟拍摄效果。
本申请实施例还提供一种计算机程序产品,该计算机程序产品包括计算机可执行指令或计算机程序,该计算机可执行指令或计算机程序存储在计算机可读存储介质中。电子设备的处理器从计算机可读存储介质读取该计算机可执行指令或计算机程序,处理器执行该计算机可执行指令或计算机程序,使得该电子设备执行本申请实施例提供的虚拟拍摄方法。
本申请实施例还提供一种计算机可读存储介质,该计算机可读存储介质中存储有计算机可执行指令或计算机程序,当该计算机可执行指令或计算机程序被处理器执行时,将引起处理器执行本申请实施例提供的虚拟拍摄方法。
在一些实施例中,计算机可读存储介质可以是RAM、ROM、闪存、磁表面存储器、光盘、或CD-ROM等存储器;也可以是包括上述存储器之一或任意组合的各种设备。
在一些实施例中,计算机可执行指令可以采用程序、软件、软件模块、脚本或代码的形式,按任意形式的编程语言(包括编译或解释语言,或者声明性或过程性语言)来编写,并且其可按任意形式部署,包括被部署为独立的程序或者被部署为模块、组件、子例程或者适合在计算环境中使用的其它单元。
作为示例,计算机可执行指令可以但不一定对应于文件系统中的文件,可以可被存储在保存其它程序或数据的文件的一部分,例如,存储在超文本标记语言(Hyper TextMarkup Language,HTML)文档中的一个或多个脚本中,存储在专用于所讨论的程序的单个文件中,或者,存储在多个协同文件(例如,存储一个或多个模块、子程序或代码部分的文件)中。
作为示例,计算机可执行指令可被部署为在一个电子设备上执行,或者在位于一个地点的多个电子设备上执行,又或者,在分布在多个地点且通过通信网络互连的多个电子设备上执行。
以上所述,仅为本申请的实施例而已,并非用于限定本申请的保护范围。凡在本申请的精神和范围之内所作的任何修改、等同替换和改进等,均包含在本申请的保护范围之内。
Claims (19)
1.一种虚拟拍摄系统,其特征在于,所述虚拟拍摄系统包括:控制节点、渲染节点以及显示节点;其中,
所述控制节点,用于当接收到虚拟制作拍摄指令时,发送虚拟引擎中待渲染的虚拟摄像资产至所述渲染节点;所述渲染节点,用于渲染所述虚拟摄像资产,得到第一虚拟场景画面,并发送所述第一虚拟场景画面至所述显示节点;
所述控制节点,还用于当接收到拓展现实拍摄指令时,确定虚拟引擎中待渲染的虚拟摄像资产、虚拟前景资产和虚拟拓展资产;
所述控制节点,还用于基于所述虚拟摄像资产、虚拟前景资产和虚拟拓展资产,渲染得到第二虚拟场景画面,并发送所述第二虚拟场景画面至所述渲染节点;所述渲染节点,还用于转发所述第二虚拟场景画面至所述显示节点;
或者,所述控制节点,还用于渲染所述虚拟前景资产,得到前景画面,并发送所述前景画面、虚拟摄像资产和虚拟拓展资产至所述渲染节点;所述渲染节点,还用于基于所述前景画面、虚拟摄像资产和虚拟拓展资产,生成第二虚拟场景画面,并发送所述第二虚拟场景画面至所述显示节点;
所述显示节点,用于显示虚拟场景画面,所述虚拟场景画面为所述第一虚拟场景画面和所述第二虚拟场景画面中之一。
2.如权利要求1所述的系统,其特征在于,
所述控制节点,还用于运行第一拍摄功能单元,并通过所述第一拍摄功能单元,接收到虚拟拍摄指令;
其中,当所述第一拍摄功能单元为虚拟制作功能单元时,所述虚拟拍摄指令为所述虚拟制作拍摄指令;当所述第一拍摄功能单元为拓展现实功能单元时,所述虚拟拍摄指令为所述拓展现实拍摄指令;
所述控制节点,还用于响应于拍摄切换指令,从运行所述第一拍摄功能单元切换为运行第二拍摄功能单元;
其中,所述第二拍摄功能单元不同于所述第一拍摄功能单元,所述第二拍摄功能单元,为所述虚拟制作功能单元和所述拓展现实功能单元中之一。
3.如权利要求1所述的系统,其特征在于,
所述系统还包括摄像节点和摄像位置检测节点;
所述控制节点,还用于当接收到虚拟制作拍摄指令时,发送摄像位置获取请求至所述摄像位置检测节点;
所述摄像位置检测节点,用于响应于所述摄像位置获取请求,采集所述摄像节点的摄像位置,并发送所述摄像位置至所述控制节点;
所述控制节点,用于基于所述摄像位置,确定所述虚拟引擎中的虚拟摄像资产;发送所述虚拟摄像资产至所述渲染节点。
4.如权利要求3所述的系统,其特征在于,
所述控制节点,还用于调整所述虚拟引擎中虚拟摄像节点的位置为所述摄像位置;将调整位置后的所述虚拟摄像节点所拍摄的虚拟资产,作为所述虚拟摄像资产。
5.如权利要求3所述的系统,其特征在于,
所述系统还包括第一交换节点;
所述摄像位置检测节点,还用于发送所述摄像位置至所述第一交换节点;
所述第一交换节点,用于转发所述摄像位置至所述控制节点。
6.如权利要求1所述的系统,其特征在于,
所述系统还包括第二交换节点;
所述控制节点,还用于发送所述虚拟摄像资产至所述第二交换节点;
所述第二交换节点,用于转发所述虚拟摄像资产至所述渲染节点。
7.如权利要求1所述的系统,其特征在于,
所述系统还包括摄像节点和摄像位置检测节点;
所述控制节点,还用于当接收到拓展现实拍摄指令时,发送摄像位置获取请求至所述摄像位置检测节点,并发送摄像数据获取请求至所述摄像节点;
所述摄像位置检测节点,用于响应于所述摄像位置获取请求,采集所述摄像节点的摄像位置,并发送所述摄像位置至所述控制节点;
所述摄像节点,用于响应于所述摄像数据获取请求,采集摄像数据,并发送所述摄像数据至所述控制节点。
8.如权利要求7所述的系统,其特征在于,
所述控制节点,还用于接收所述摄像位置和所述摄像数据;基于所述摄像数据,确定所述虚拟引擎中虚拟摄像节点的摄像画面尺寸;
所述控制节点,还用于基于所述摄像位置和所述摄像画面尺寸,确定所述虚拟摄像节点所拍摄的第一虚拟资产;
以及,将所述第一虚拟资产处于前景部分的虚拟资产作为所述虚拟前景资产,并将所述第一虚拟资产中除所述虚拟前景资产外的虚拟资产,作为所述虚拟摄像资产;
以及,从预设虚拟资产中抠除所述第一虚拟资产,得到所述虚拟拓展资产。
9.如权利要求1所述的系统,其特征在于,
所述控制节点包括前景控制节点和摄像控制节点;
所述前景控制节点,用于当接收到拓展现实拍摄指令时,确定所述虚拟引擎中的所述虚拟前景资产;对所述虚拟前景资产进行渲染,得到前景画面;发送所述前景画面至所述渲染节点;
所述摄像控制节点,用于当接收到拓展现实拍摄指令时,确定所述虚拟引擎中的所述虚拟摄像资产和所述虚拟拓展资产;发送所述虚拟摄像资产和所述虚拟拓展资产至所述渲染节点;
所述渲染节点,还用于渲染所述虚拟拓展资产,得到拓展画面;渲染所述虚拟摄像资产,得到摄像画面;合成所述摄像画面、所述前景画面和所述拓展画面,得到所述第二虚拟场景画面。
10.如权利要求1所述的系统,其特征在于,
所述控制节点包括前景控制节点、拓展控制节点和合成控制节点;
所述前景控制节点,用于当接收到拓展现实拍摄指令时,确定所述虚拟引擎中的所述虚拟前景资产;渲染所述虚拟前景资产,得到前景画面;发送所述前景画面至所述合成控制节点;
所述拓展控制节点,用于当接收到拓展现实拍摄指令时,确定所述虚拟引擎中的所述虚拟拓展资产;渲染所述虚拟拓展资产,得到拓展画面;发送所述拓展画面至所述合成控制节点;
所述合成控制节点,用于当接收到拓展现实拍摄指令时,确定所述虚拟引擎中的所述虚拟摄像资产;渲染所述虚拟摄像资产,得到摄像画面;合成所述摄像画面、所述前景画面和所述拓展画面,得到所述第二虚拟场景画面;发送所述第二虚拟场景画面至所述渲染节点。
11.如权利要求1所述的系统,其特征在于,
所述系统还包括交换节点;
所述控制节点,还用于发送所述第二虚拟场景画面至所述交换节点;所述交换节点,用于转发所述第二虚拟场景画面至所述渲染节点;
或者,所述控制节点,还用于发送所述前景画面、虚拟摄像资产和虚拟拓展资产至所述交换节点;所述交换节点,还用于转发所述前景画面、虚拟摄像资产和虚拟拓展资产至所述渲染节点。
12.如权利要求1所述的系统,其特征在于,
所述显示节点包括多个子显示节点,所述第一虚拟场景画面包括多个子虚拟场景画面,所述子显示节点和所述子虚拟场景画面一一对应;所述系统还包括显示控制节点;
所述渲染节点,还用于确定各所述子虚拟场景画面对应的子虚拟摄像资产,并渲染各所述子虚拟摄像资产,得到各所述子虚拟场景画面;发送各所述子虚拟场景画面至所述显示控制节点;
所述显示控制节点,用于按照所述子显示节点和所述子虚拟场景画面之间的对应关系,将各所述子虚拟场景画面,分别发送至相应的子显示节点;
所述子显示节点,用于显示所述显示控制节点发送的子虚拟场景画面。
13.如权利要求1所述的系统,其特征在于,
所述系统还包括显示控制节点;所述渲染节点,还用于发送所述第一虚拟场景画面的数字信号至所述显示控制节点;
所述显示控制节点,用于将所述第一虚拟场景画面的数字信号转换为图像信号,并发送所述图像信号至所述显示节点;
所述显示节点,还用于基于所述图像信号,显示所述第一虚拟场景画面。
14.如权利要求1所述的系统,其特征在于,
所述系统还包括摄像节点;
所述控制节点,还用于根据所述摄像节点的视锥范围,确定所述第二虚拟场景画面中待显示的目标虚拟场景画面;发送所述目标虚拟场景画面至所述渲染节点;所述渲染节点,还用于转发所述目标虚拟场景画面至所述显示节点;
或者,所述渲染节点,还用于根据所述摄像节点的视锥范围,确定所述第二虚拟场景画面中待显示的目标虚拟场景画面;发送所述目标虚拟场景画面至所述显示节点;
所述显示节点,用于显示所述目标虚拟场景画面。
15.一种虚拟拍摄方法,其特征在于,应用于虚拟拍摄系统,所述虚拟拍摄系统包括控制节点、渲染节点以及显示节点;所述方法包括:
所述控制节点接收到虚拟制作拍摄指令时,发送虚拟引擎中待渲染的虚拟摄像资产至所述渲染节点,以使所述渲染节点渲染所述虚拟摄像资产,并将渲染得到的第一虚拟场景画面发送至所述显示节点;
所述控制节点接收到拓展现实拍摄指令时,确定虚拟引擎中待渲染的虚拟摄像资产、虚拟前景资产和虚拟拓展资产;
基于所述虚拟摄像资产、虚拟前景资产和虚拟拓展资产,渲染得到第二虚拟场景画面,并发送所述第二虚拟场景画面至所述渲染节点,以使所述渲染节点转发所述第二虚拟场景画面至所述显示节点;
或者,渲染所述虚拟前景资产,得到前景画面,并发送所述前景画面、虚拟摄像资产和虚拟拓展资产至所述渲染节点,以使
所述渲染节点基于所述前景画面、虚拟摄像资产和虚拟拓展资产,生成第二虚拟场景画面,并发送所述第二虚拟场景画面至所述显示节点。
16.一种虚拟拍摄装置,其特征在于,应用于虚拟拍摄系统,所述虚拟拍摄系统包括控制节点、渲染节点以及显示节点;所述装置包括:
第一接收模块,用于接收到虚拟制作拍摄指令时,发送虚拟引擎中待渲染的虚拟摄像资产至所述渲染节点,以使所述渲染节点渲染所述虚拟摄像资产,并将渲染得到的第一虚拟场景画面发送至所述显示节点;
第二接收模块,用于接收到拓展现实拍摄指令时,确定虚拟引擎中待渲染的虚拟摄像资产、虚拟前景资产和虚拟拓展资产;
渲染模块,用于基于所述虚拟摄像资产、虚拟前景资产和虚拟拓展资产,渲染得到第二虚拟场景画面,并发送所述第二虚拟场景画面至所述渲染节点,以使所述渲染节点转发所述第二虚拟场景画面至所述显示节点;
或者,渲染所述虚拟前景资产,得到前景画面,并发送所述前景画面、虚拟摄像资产和虚拟拓展资产至所述渲染节点,以使
所述渲染节点基于所述前景画面、虚拟摄像资产和虚拟拓展资产,生成第二虚拟场景画面,并发送所述第二虚拟场景画面至所述显示节点。
17.一种电子设备,其特征在于,所述电子设备包括:
存储器,用于存储计算机可执行指令;
处理器,用于执行所述存储器中存储的计算机可执行指令时,实现权利要求15所述的虚拟拍摄方法。
18.一种计算机可读存储介质,存储有计算机可执行指令或计算机程序,其特征在于,所述计算机可执行指令或计算机程序被处理器执行时,实现权利要求15所述的虚拟拍摄方法。
19.一种计算机程序产品,包括计算机可执行指令或计算机程序,其特征在于,所述计算机可执行指令或计算机程序被处理器执行时,实现权利要求15所述的虚拟拍摄方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310498090.0A CN116433823A (zh) | 2023-05-05 | 2023-05-05 | 虚拟拍摄系统、方法、装置、设备、存储介质及程序产品 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310498090.0A CN116433823A (zh) | 2023-05-05 | 2023-05-05 | 虚拟拍摄系统、方法、装置、设备、存储介质及程序产品 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN116433823A true CN116433823A (zh) | 2023-07-14 |
Family
ID=87083301
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310498090.0A Pending CN116433823A (zh) | 2023-05-05 | 2023-05-05 | 虚拟拍摄系统、方法、装置、设备、存储介质及程序产品 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116433823A (zh) |
-
2023
- 2023-05-05 CN CN202310498090.0A patent/CN116433823A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11019259B2 (en) | Real-time generation method for 360-degree VR panoramic graphic image and video | |
JP7368886B2 (ja) | 情報処理システム、情報処理方法、および情報処理プログラム | |
CN106210861A (zh) | 显示弹幕的方法及系统 | |
CN110225224B (zh) | 虚拟形象的导播方法、装置及系统 | |
CN110176077A (zh) | 增强现实拍照的方法、装置及计算机存储介质 | |
US20230179756A1 (en) | Information processing device, information processing method, and program | |
CN113115110B (zh) | 视频合成方法、装置、存储介质与电子设备 | |
WO2024087883A1 (zh) | 视频画面渲染方法、装置、设备和介质 | |
CN107783306A (zh) | 一种基于仿真教学实训室的裸眼3d沉浸式交互方法及系统 | |
Ryskeldiev et al. | Streamspace: Pervasive mixed reality telepresence for remote collaboration on mobile devices | |
CN113382275A (zh) | 直播数据的生成方法、装置、存储介质及电子设备 | |
WO2022191070A1 (ja) | 3dオブジェクトのストリーミング方法、装置、及びプログラム | |
CN110730340A (zh) | 基于镜头变换的虚拟观众席展示方法、系统及存储介质 | |
US20240089603A1 (en) | Communication terminal, image communication system, and method of displaying image | |
CN213126145U (zh) | 一种ar-虚拟互动系统 | |
WO2024027611A1 (zh) | 视频直播方法、装置、电子设备以及存储介质 | |
KR101752691B1 (ko) | 시점 선택이 가능한 3차원 가상 콘텐츠 동영상을 제공하는 장치 및 그 방법 | |
CN113676690A (zh) | 一种视频会议的实现方法、设备及存储介质 | |
CN113315885B (zh) | 一种用于远程互动的全息演播室及系统 | |
CN116433823A (zh) | 虚拟拍摄系统、方法、装置、设备、存储介质及程序产品 | |
CN116962744A (zh) | 网络直播的连麦互动方法、装置及直播系统 | |
JP2020530218A (ja) | 没入型視聴覚コンテンツを投影する方法 | |
CN116368808A (zh) | 双向呈现数据流 | |
KR20170059310A (ko) | 텔레 프레젠스 영상 송신 장치, 텔레 프레젠스 영상 수신 장치 및 텔레 프레젠스 영상 제공 시스템 | |
CN110430454B (zh) | 一种多设备实时交互显示的方法和装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
REG | Reference to a national code |
Ref country code: HK Ref legal event code: DE Ref document number: 40089607 Country of ref document: HK |