CN113784167B - 一种基于3d渲染的互动视频制作和播放的方法及终端 - Google Patents
一种基于3d渲染的互动视频制作和播放的方法及终端 Download PDFInfo
- Publication number
- CN113784167B CN113784167B CN202111182089.4A CN202111182089A CN113784167B CN 113784167 B CN113784167 B CN 113784167B CN 202111182089 A CN202111182089 A CN 202111182089A CN 113784167 B CN113784167 B CN 113784167B
- Authority
- CN
- China
- Prior art keywords
- video
- behavior tree
- behavior
- tree data
- playing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000009877 rendering Methods 0.000 title claims abstract description 129
- 230000002452 interceptive effect Effects 0.000 title claims abstract description 110
- 238000000034 method Methods 0.000 title claims abstract description 32
- 230000003993 interaction Effects 0.000 claims abstract description 15
- 230000006399 behavior Effects 0.000 claims description 192
- 230000000875 corresponding effect Effects 0.000 claims description 50
- 230000000694 effects Effects 0.000 claims description 19
- 238000004519 manufacturing process Methods 0.000 claims description 10
- 239000000463 material Substances 0.000 claims description 10
- 230000007246 mechanism Effects 0.000 claims description 9
- 230000009471 action Effects 0.000 claims description 8
- 238000004590 computer program Methods 0.000 claims description 8
- 230000009191 jumping Effects 0.000 claims description 5
- 230000036316 preload Effects 0.000 claims description 5
- 230000008569 process Effects 0.000 description 11
- 230000003542 behavioural effect Effects 0.000 description 7
- 230000007547 defect Effects 0.000 description 7
- 230000009286 beneficial effect Effects 0.000 description 4
- 230000001960 triggered effect Effects 0.000 description 3
- 238000003825 pressing Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 1
- 230000008676 import Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/81—Monomedia components thereof
- H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/21—Server components or server architectures
- H04N21/218—Source of audio or video content, e.g. local disk arrays
- H04N21/2187—Live feed
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
- H04N21/44012—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving rendering scenes according to scene graphs, e.g. MPEG-4 scene graphs
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
- H04N21/466—Learning process for intelligent management, e.g. learning user preferences for recommending movies
- H04N21/4662—Learning process for intelligent management, e.g. learning user preferences for recommending movies characterized by learning algorithms
- H04N21/4665—Learning process for intelligent management, e.g. learning user preferences for recommending movies characterized by learning algorithms involving classification methods, e.g. Decision trees
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Databases & Information Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Processing Or Creating Images (AREA)
- Television Signal Processing For Recording (AREA)
Abstract
本发明提供的一种基于3D渲染的互动视频制作和播放的方法及终端，使用Unity Editor构建3D场景；使用行为树编辑器基于3D场景中已有的各个对象所需的表演内容及互动内容编辑行为树，并输出对应的行为树数据，互动内容为行为树的条件节点；在预渲染主机中输入行为树数据并拆解为条件节点下的每一段完整的行为树数据来进行3D实时渲染和视频录制，得到多个视频文件；将转变为视频文件的行为树数据简化为一个“播放视频”的行为，得到简化后的行为树数据；将简化后的行为树数据和视频文件输入互动视频播放器，由用户触发条件节点执行“播放视频”的行为并播放对应的视频文件，整体实现了可互动、3D实时渲染、高并发量及低成本的互动视频的制作及播放。
Description
技术领域
本发明涉及多媒体技术领域，具体涉及一种基于3D渲染的互动视频制作和播放的方法及终端。
背景技术
现有采用的3D互动视频制作方法，主要从两个方向着手：
1、互动视频的内容生成：为视频增加互动元素，使其变为互动视频；
2、3D图形渲染：基于3D图形渲染引擎，实时渲染3D画面。
其中，在互动视频的内容生成方面，存在以下缺点：
缺点1：扩展性弱。业界通常基于2D视频文件，通过在它上方叠加UI的方式，增加可交互部分，这种做法形式单一、扩展性弱，后续如果期望从2D视频扩展为基于虚拟现实的互动视频，只能是重新设计新方案；
缺点2：对互动视频的内容进行调整的代价大。由于业界的主流方案，其输入物是2D视频，因此要对内容进行增、删、改时，不得不重新制作2D视频。无法做到针对局部内容敏捷地微调。
而在3D图形渲染方面，存在以下缺点：
缺点1，播放器的引擎渲染能力要求高。业界现有方案，一般渲染和播放环节采用同一个引擎，对播放器而言，画面效果受引擎的渲染能力限制，如果引擎的渲染能力欠佳，那么无法提供理想的画面效果；
缺点2：移植性弱。使用到的资源/源代码难以从使用一个引擎的工程移植到使用不同引擎的工程；另外，在跨平台的需求上，也需要一定的代价才能移植成功；
缺点3：实时播放存在硬件门槛。实时播放画面的环节，对硬件的要求较高，通常采用的3D实时渲染方式，尤其是越期望画面效果好的情况下，硬件要求越高；
缺点4：包体积过大。越是精细、华丽的画面效果，一般来说越需要体积更为庞大的资源，从而最终客户端的包体积也更大；
缺点5：复用性低。对于已经渲染过的画面，在后续的实时渲染过程中，依然需要再次渲染，难以对硬件已经运算过的结果进行复用；
缺点6：播放器加载耗时长、用户等待久。进行3D实时渲染需要加载许多 3D资源，在磁盘I/O、内容解析、对象实例化等多个环节存在耗时。
缺点7：云渲染的并发量低、成本高、难以普及。业界存在技术方案通常通过云渲染的方式，解决上述几个缺点中的移植性、硬件门槛、包体积、加载耗时等问题，但是云渲染需要使用高性能主机提供一对一服务的方式，并发量低、成本高，导致难以普及。
发明内容
本发明所要解决的技术问题是：提供一种基于3D渲染的互动视频制作和播放的方法及终端，解决现有技术中互动视频的内容生成及3D图形渲染方面存在的问题，实现了可互动、3D实时渲染、高并发量及低成本的3D互动视频的制作及播放。
为了解决上述技术问题，本发明采用的技术方案为：
一种基于3D渲染的互动视频制作和播放的方法，包括步骤：
S1、使用Unity Editor构建3D场景；
S2、使用行为树编辑器基于所述3D场景中已有的各个对象所需的表演内容及互动内容编辑行为树，并输出对应的行为树数据，所述互动内容为所述行为树的条件节点；
S3、在预渲染主机中输入所述行为树数据，并将所述行为树数据拆解为所述条件节点下的每一段完整的所述行为树数据来进行3D实时渲染，并进行视频录制，得到多个视频文件；
S4、将所述行为树数据中每一段已经转变为所述视频文件的数据简化为一个“播放视频”的行为，其他数据不做变化，得到简化后的所述行为树数据；
S5、将简化后的所述行为树数据和所述视频文件输入互动视频播放器，由用户触发所述条件节点执行所述“播放视频”的行为并播放对应的所述视频文件。
为了解决上述技术问题，本发明提供的另一个技术方案为：
一种基于3D渲染的互动视频制作和播放的终端，包括存储器、处理器以及存储在存储器上并可在处理器上执行的计算机程序，所述处理器执行所述计算机程序时实现以下步骤：
S1、使用Unity Editor构建3D场景；
S2、使用行为树编辑器基于所述3D场景中已有的各个对象所需的表演内容及互动内容编辑行为树，并输出对应的行为树数据，所述互动内容为所述行为树的条件节点；
S3、在预渲染主机中输入所述行为树数据，并将所述行为树数据拆解为所述条件节点下的每一段完整的所述行为树数据来进行3D实时渲染，并进行视频录制，得到多个视频文件；
S4、将所述行为树数据中每一段已经转变为所述视频文件的数据简化为一个“播放视频”的行为，其他数据不做变化，得到简化后的所述行为树数据；
S5、将简化后的所述行为树数据和所述视频文件输入互动视频播放器，由用户触发所述条件节点执行所述“播放视频”的行为并播放对应的所述视频文件。
本发明的有益效果在于：本发明提供一种基于3D渲染的互动视频制作和播放的方法及终端，通过采用行为树编辑器将3D场景中需要表演的内容编写为行为树的形式，将互动内容设计为行为树的条件节点，并输出行为树数据到预渲染主机中，通过将行为树数据拆解为根据条件节点下对应的每一段完整的行为数据进行3D实时渲染及视频录制，从而得到多个视频文件，并将原行为树数据中已经转变为视频文件的数据简化一个“播放视频”的行为，通过将简化后的行为树数据和所有视频文件输入互动视频播放器，由用户在互动过程中触发条件节点执行对应的“播放视频”的行为，从而播放与“播放视频”的行为对应的视频文件。由于采用基于行为树数据的录制方式，即输入文件为数据文件，当在需要对表演内容或互动内容进行调整，则可直接修改行为树数据文件，同时在进行3D实时渲染的过程中录制视频，并使3D图形预渲染环节的输出物为视频文件，对播放环节使用的渲染引擎要求大大降低，且视频文件具有较好的通用型，可移植性强，由预渲染出的视频可以提供给多个播放器播放，相比现有采用云渲染需要实时、一对一的向播放器提供服务而言，具有更好的普及性。即整体实现了可互动、3D实时渲染、高并发量及低成本的3D互动视频的制作及播放。
附图说明
图1为本发明实施例的一种基于3D渲染的互动视频制作和播放的方法的流程图；
图2为本发明实施例的一种基于3D渲染的互动视频制作和播放的终端的结构示意图。
标号说明：
1、一种基于3D渲染的互动视频制作和播放的终端；2、存储器；3、处理器。
具体实施方式
为详细说明本发明的技术内容、所实现目的及效果，以下结合实施方式并配合附图予以说明。
请参照图1，一种基于3D渲染的互动视频制作和播放的方法，包括步骤：
S1、使用Unity Editor构建3D场景；
S2、使用行为树编辑器基于所述3D场景中已有的各个对象所需的表演内容及互动内容编辑行为树，并输出对应的行为树数据，所述互动内容为所述行为树的条件节点；
S3、在预渲染主机中输入所述行为树数据，并将所述行为树数据拆解为所述条件节点下的每一段完整的所述行为树数据来进行3D实时渲染，并进行视频录制，得到多个视频文件；
S4、将所述行为树数据中每一段已经转变为所述视频文件的数据简化为一个“播放视频”的行为，其他数据不做变化，得到简化后的所述行为树数据；
S5、将简化后的所述行为树数据和所述视频文件输入互动视频播放器，由用户触发所述条件节点执行所述“播放视频”的行为并播放对应的所述视频文件。
由上述描述可知，本发明的有益效果在于：通过采用行为树编辑器将3D场景中需要表演的内容编写为行为树的形式，将互动内容设计为行为树的条件节点，并输出行为树数据到预渲染主机中，通过将行为树数据拆解为根据条件节点下对应的每一段完整的行为数据进行3D实时渲染及视频录制，从而得到多个视频文件，并将原行为树数据中已经转变为视频文件的数据简化一个“播放视频”的行为，通过将简化后的行为树数据和所有视频文件输入互动视频播放器，由用户在互动过程中触发条件节点执行对应的“播放视频”的行为，从而播放与“播放视频”的行为对应的视频文件。由于采用基于行为树数据的录制方式，即输入文件为数据文件，当在需要对表演内容或互动内容进行调整，则可直接修改行为树数据文件，同时在进行3D实时渲染的过程中录制视频，并使3D图形预渲染环节的输出物为视频文件，对播放环节使用的渲染引擎要求大大降低，且视频文件具有较好的通用型，可移植性强，由预渲染出的视频可以提供给多个播放器播放，相比现有采用云渲染需要实时、一对一的向播放器提供服务而言，具有更好的普及性。即整体实现了可互动、3D实时渲染、高并发量及低成本的3D互动视频的制作及播放。
进一步地，所述S3中并将所述行为树数据拆解为所述条件节点下的每一段完整的所述行为树数据来进行3D实时渲染，并进行视频录制，具体为：
将每一个所述条件节点下对应的每一段完整的所述行为树数据归类为一个视频文件的录制范围，根据每一个所述录制范围在所述预渲染主机中分别模拟出每个所述条件节点被满足的所有情况，进行3D实时渲染，并采用unity引擎自带的录屏组件UnityRecorder进行视频录制，输出所述视频文件。
由上述描述可知，在预渲染主机中根据条件节点的条件内容，即互动内容，模拟出满足该条件节点的所有情况，即对该条件节点下的每一段行为树数据进行3D实时渲染，并录制视频，则一棵行为树会被拆解为若干个视频文件的录制任务，以提高渲染及录制效率，同时由于是基于条件节点进行拆解，即满足后续的互动需要，能够在用户触发互动行为时跳转到满足互动条件的视频文件进行视频播放，实现等同于3D实时渲染和可交互的效果。
进一步地，所述S5具体包括以下步骤：
S51、将简化后的所述行为树数据和多个所述视频文件输入互动视频播放器，所述互动视频播放器执行所述行为树数据对应的逻辑，并建立缓冲机制进行多个所述视频文件的预加载；
S52、当执行到某个所述条件节点时，根据用户的互动选择执行所述条件节点下对应的所述“播放视频”的行为，并跳转播放所述“播放视频”的行为对应的所述视频文件。
由上述描述可知，即通过行为树的方式实现可互动的视频播放，当用户触发满足某个条件节点的情况时，将会根据触发的“播放视频”的行为，加载对应的视频文件进行播放；其中播放的视频文件简化为“播放视频”的行为，即可通过跳转的方式加载对应的视频文件，同时配合数据缓存机制，不需要等待整个视频文件被完整加载后才能开始播放，可以边播放边加载，因此用户等待加载的时间可以大大减少。
进一步地，在所述S1之前还包括：
采用Unity Editor导入构建所述3D场景所需要的素材文件，所述素材文件包括3D模型FBX、音频、图片、视频和特效。
由上述描述可知，在构建行为树数据之前，要先确保3D场景构建完毕，以便后续基于3D场景根据表演和互动需求渲染及录制所需的视频文件。
进一步地，所述行为树编辑器为Unity引擎的行为树插件Behavior Designer。
由上述描述可知，Behavior Designer是业界内成熟的行为树编辑器，采用Behavior Designer编辑并输出行为树数据，即将互动视频的内容以数据文件的形式输入到预渲染主机中进行后续的3D实时渲染及录制，当在需要对表演内容或互动内容进行调整，则可直接修改行为树数据文件，相比于现有方案中输入物为2D视频的方式，数据的调整的代价远小于对视频的调整。
请参照图2，一种基于3D渲染的互动视频制作和播放的终端，包括存储器、处理器以及存储在存储器上并可在处理器上执行的计算机程序，所述处理器执行所述计算机程序时实现以下步骤：
S1、使用Unity Editor构建3D场景；
S2、使用行为树编辑器基于所述3D场景中已有的各个对象所需的表演内容及互动内容编辑行为树，并输出对应的行为树数据，所述互动内容为所述行为树的条件节点；
S3、在预渲染主机中输入所述行为树数据，并将所述行为树数据拆解为所述条件节点下的每一段完整的所述行为树数据来进行3D实时渲染，并进行视频录制，得到多个视频文件；
S4、将所述行为树数据中每一段已经转变为所述视频文件的数据简化为一个“播放视频”的行为，其他数据不做变化，得到简化后的所述行为树数据；
S5、将简化后的所述行为树数据和所述视频文件输入互动视频播放器，由用户触发所述条件节点执行所述“播放视频”的行为并播放对应的所述视频文件。
由上述描述可知，本发明的有益效果在于：基于同一技术构思，配合上述的一种基于3D渲染的互动视频制作和播放的方法，提供一种基于3D渲染的互动视频制作和播放的终端，通过采用行为树编辑器将3D场景中需要表演的内容编写为行为树的形式，将互动内容设计为行为树的条件节点，并输出行为树数据到预渲染主机中，通过将行为树数据拆解为根据条件节点下对应的每一段完整的行为数据进行3D实时渲染及视频录制，从而得到多个视频文件，并将原行为树数据中已经转变为视频文件的数据简化一个“播放视频”的行为，通过将简化后的行为树数据和所有视频文件输入互动视频播放器，由用户在互动过程中触发条件节点执行对应的“播放视频”的行为，从而播放与“播放视频”的行为对应的视频文件。由于采用基于行为树数据的录制方式，即输入文件为数据文件，当在需要对表演内容或互动内容进行调整，则可直接修改行为树数据文件，同时在进行3D实时渲染的过程中录制视频，并使3D图形预渲染环节的输出物为视频文件，对播放环节使用的渲染引擎要求大大降低，且视频文件具有较好的通用型，可移植性强，由预渲染出的视频可以提供给多个播放器播放，相比现有采用云渲染需要实时、一对一的向播放器提供服务而言，具有更好的普及性。即整体实现了可互动、3D实时渲染、高并发量及低成本的3D互动视频的制作及播放。
进一步地，所述S3中并将所述行为树数据拆解为所述条件节点下的每一段完整的所述行为树数据来进行3D实时渲染，并进行视频录制，具体为：
将每一个所述条件节点下对应的每一段完整的所述行为树数据归类为一个视频文件的录制范围，根据每一个所述录制范围在所述预渲染主机中分别模拟出每个所述条件节点被满足的所有情况，进行3D实时渲染，并采用unity引擎自带的录屏组件UnityRecorder进行视频录制，输出所述视频文件。
由上述描述可知，在预渲染主机中根据条件节点的条件内容，即互动内容，模拟出满足该条件节点的所有情况，即对该条件节点下的每一段行为树数据进行3D实时渲染，并录制视频，则一棵行为树会被拆解为若干个视频文件的录制任务，以提高渲染及录制效率，同时由于是基于条件节点进行拆解，即满足后续的互动需要，能够在用户触发互动行为时跳转到满足互动条件的视频文件进行视频播放，实现等同于3D实时渲染和可交互的效果。
进一步地，所述S5具体包括以下步骤：
S51、将简化后的所述行为树数据和多个所述视频文件输入互动视频播放器，所述互动视频播放器执行所述行为树数据对应的逻辑，并建立缓冲机制进行多个所述视频文件的预加载；
S52、当执行到某个所述条件节点时，根据用户的互动选择执行所述条件节点下对应的所述“播放视频”的行为，并跳转播放所述“播放视频”的行为对应的所述视频文件。
由上述描述可知，即通过行为树的方式实现可互动的视频播放，当用户触发满足某个条件节点的情况时，将会根据触发的“播放视频”的行为，加载对应的视频文件进行播放；其中播放的视频文件简化为“播放视频”的行为，即可通过跳转的方式加载对应的视频文件，同时配合数据缓存机制，不需要等待整个视频文件被完整加载后才能开始播放，可以边播放边加载，因此用户等待加载的时间可以大大减少。
进一步地，在所述S1之前还包括：
采用Unity Editor导入构建所述3D场景所需要的素材文件，所述素材文件包括3D模型FBX、音频、图片、视频和特效。
由上述描述可知，在构建行为树数据之前，要先确保3D场景构建完毕，以便后续基于3D场景根据表演和互动需求渲染及录制所需的视频文件。
进一步地，所述行为树编辑器为Unity引擎的行为树插件Behavior Designer。
由上述描述可知，Behavior Designer是业界内成熟的行为树编辑器，采用Behavior Designer编辑并输出行为树数据，即将互动视频的内容以数据文件的形式输入到预渲染主机中进行后续的3D实时渲染及录制，当在需要对表演内容或互动内容进行调整，则可直接修改行为树数据文件，相比于现有方案中输入物为2D视频的方式，数据的调整的代价远小于对视频的调整。
请参照图1，本发明的实施例一为：
一种基于3D渲染的互动视频制作和播放的方法，如图1所示，包括步骤：
S1、使用Unity Editor构建3D场景。
其中，在该步骤之前，还包括采用Unity Editor导入构建3D场景所需要的素材文件，素材文件包括3D模型FBX、音频、图片、视频和特效，即在构建行为树数据之前，要先确保3D场景构建完毕，以便后续基于3D场景根据表演和互动需求渲染及录制所需的视频文件。
S2、使用行为树编辑器基于3D场景中已有的各个对象所需的表演内容及互动内容编辑行为树，并输出对应的行为树数据，互动内容为行为树的条件节点。
其中，在本实施例中，使用业界内已经成熟的行为树编辑器，即Unity引擎的行为树插件Behavior Designer，通过将表演内容和互动内容编辑为行为树的形式，并输出行为树数据，即将互动视频的内容以数据文件的形式输入到预渲染主机中进行后续的3D实时渲染及录制，当在需要对表演内容或互动内容进行调整，则可直接修改行为树数据文件，相比于现有方案中输入物为2D视频的方式，数据的调整的代价远小于对视频的调整。
S3、在预渲染主机中输入行为树数据，并将行为树数据拆解为条件节点下的每一段完整的行为树数据来进行3D实时渲染，并进行视频录制，得到多个视频文件。
由于3D图形渲染环节的输出物时一个视频，因此对于后续的播放环节使用的渲染引擎的要求大大降低，即在播放环节只需要播放引擎支持视频播放，即可达到互动视频的目的，且视频文件在业界内具有较好的通用性，因此，在后续的播放环节不需要考虑资源/代码的跨引擎、跨平台移植的问题。同时，由于基于3D图形渲染引擎输出的内容支持多样化——可以是2D视频，也可以是360 度的全景VR视频等，因此只需要在这一环节的输出方式上，引入行业现有的 2D视频/360度全景VR视频的输出方案，即可做到敏捷地扩展，不止局限于2D 视频。
S4、将行为树数据中每一段已经转变为视频文件的数据简化为一个“播放视频”的行为，其他数据不做变化，得到简化后的行为树数据。
S5、将简化后的行为树数据和视频文件输入互动视频播放器，由用户触发条件节点执行“播放视频”的行为并播放对应的视频文件。
由于本实施例采取的是预先渲染出视频、一组预渲染视频可以提供给多个播放器播放，即“一对多”的测量，因此最大并发量理论上可与主流的Youtube、优酷等在线视频的最大并发量媲美，相比现有采用云渲染需要实时、一对一的向播放器提供服务而言，具有更高的并发量使得成本大大缩减，提高了普及性。
即整体实现了可互动、3D实时渲染、高并发量及低成本的3D互动视频的制作及播放。
本发明的实施例二为：
一种基于3D渲染的互动视频制作和播放的方法，在上述实施例一的基础上，在本实施例中，步骤S3中并将行为树数据拆解为条件节点下的每一段完整的行为树数据来进行3D实时渲染，并进行视频录制，具体为：
将每一个条件节点下对应的每一段完整的行为树数据归类为一个视频文件的录制范围，根据每一个录制范围在预渲染主机中分别模拟出每个条件节点被满足的所有情况，进行3D实时渲染，并采用unity引擎自带的录屏组件 UnityRecorder进行视频录制，输出视频文件。
即在本实施例中，在预渲染主机中根据条件节点的条件内容，即互动内容，模拟出满足该条件节点的所有情况，即对该条件节点下的每一段行为树数据进行3D实时渲染，并录制视频，则一棵行为树会被拆解为若干个视频文件的录制任务，以提高渲染及录制效率，同时由于是基于条件节点进行拆解，即满足后续的互动需要，能够在用户触发互动行为时跳转到满足互动条件的视频文件进行视频播放，实现等同于3D实时渲染和可交互的效果。
其中，在本实施例中，对该3D图形渲染的环节，没有严格要求帧率，因此在每一帧的渲染过程中不做时间限制，对于华丽的画面效果，甚至一帧的预渲染会持续数秒之久(与业界渲染CG电影的原理相同)，正是因为每帧渲染时间上不做限制，因此对于硬件门槛的要求可以放低，只要确保渲染过程中，显卡的显存够用即可，也对后续视频播放的环节采用的硬件的门槛要求也大幅降低，只需满足视频的播放即可。
同时由于3D图形渲染的环节已经进行了渲染及输出视频，因此在第二次以后的播放环节，无需再次处理“渲染”的工作，只需要按照行为树的逻辑播放视视频中的指定帧即可。
其中，S5具体包括以下步骤：
S51、将简化后的行为树数据和多个视频文件输入互动视频播放器，互动视频播放器执行行为树数据对应的逻辑，并建立缓冲机制进行多个视频文件的预加载；
S52、当执行到某个条件节点时，根据用户的互动选择执行条件节点下对应的“播放视频”的行为，并跳转播放“播放视频”的行为对应的视频文件。
即在本实施例中，通过行为树的方式实现可互动的视频播放，当用户触发满足某个条件节点的情况时，将会根据触发的“播放视频”的行为，加载对应的视频文件进行播放；其中播放的视频文件简化为“播放视频”的行为，即可通过跳转的方式加载对应的视频文件，且对播放器而言，由于以“视频文件”作为输入物，因此不需要对每个3D资源在磁盘I/O、内容解析、对象实例化等多个环节产生耗时，同时配合数据缓存机制，不需要等待整个视频文件被完整加载后才能开始播放，可以边播放边加载，因此用户等待加载的时间可以大大减少。
例如，若行为树的某个条件节点下的某个条件为“开始执行的时间为0秒”，那么在开始播放的第0秒，则会播放这个条件节点对应的“播放视频”的行为所指向的视频文件；再比如行为树的某个条件节点下的某个条件为“键盘按下了Y键”，那么在用户进行了“按下键盘上的Y键”的交互行为后，则会打断当前正在播放的视频，转而跳转“键盘按下了Y键”所指向的视频文件。
同时，对于发布给用户使用的播放器而言，由于本实施例以“视频文件”作为播放环节的输入文件，而视频的大小取决于时长、分辨率、帧率、码率、编码方案等参数，与画面的精细/华丽程度不构成正相关，因此可以避开业界内通常会遇到的“越是精细、华丽的画面效果，一般来说越需要体积更为庞大的资源”的问题。
请参照图2，本发明的实施例三为：
一种基于3D渲染的互动视频制作和播放的终端1，包括存储器2、处理器 3以及存储在存储器2上并可在处理器3上运行的计算机程序，处理器3在执行计算机程序时实现如上述实施例一或实施例二中的一种基于3D渲染的互动视频制作和播放的方法中的步骤。
综上所述，本发明提供的一种基于3D渲染的互动视频制作和播放的方法及终端，具有以下有益效果：
1、解决现有播放器的引擎渲染能力要求高的缺点：由于3D图形预渲染环节的输出物是一个视频，因此对于播放环节使用的渲染引擎的要求大大降低，在播放环节只需要播放引擎支持视频播放，即可达到目的，因此大幅降低了对播放器所采用的引擎的渲染能力的要求。
2、解决现有互动视频移植性弱的缺点：由于3D图形预渲染环节的输出物是一个视频，而视频文件在业界具有较好的通用性，因此在播放环节不需要考虑资源/代码跨引擎移植、跨平台移植的问题。
3、解决现有互动视频实时播放存在硬件门槛：对于3D图形预渲染环节，本发明没有严格要求帧率，因此在每一帧的预渲染环节不做时间限制，对于华丽的画面效果，甚至一帧的预渲染会持续数秒之久(与业界渲染CG电影的原理相同)，正是因为每帧渲染时间上不做限制，因此对于硬件门槛的要求可以放低，只要确保渲染过程中，显卡的显存够用即可；
而对于播放环节，由于采用的是播放视频的策略，因此硬件门槛大幅降低。
4、解决现有包体积过大的缺点：对于发布给用户使用的播放器而言，由于本发明以“视频文件”作为它的输入文件，而视频的大小取决于时长、分辨率、帧率、码率、编码方案等参数，与画面的精细/华丽程度不构成正相关，因此可以避开业界通常会遇到的“越是精细、华丽的画面效果，一般来说越需要体积更为庞大的资源”的问题。
5、解决现有3D渲染复用性低的缺点：由于3D图形预渲染环节已经使用计算机的CPU、GPU进行过一次渲染、输出为视频，因此在第二次以后的播放环节，无需再次处理“渲染”的工作，只需要按规则播放视频中的指定帧即可。
6、解决现有播放器加载耗时长、用户等待久的缺点：对于播放器而言，由于本发明以“视频文件”作为它的输入文件；这样不再需要对每个3D资源在磁盘I/O、内容解析、对象实例化等多个环节产生耗时；另外，视频的播放过程，可以采用业界已经成熟的视频播放方案——建立缓冲机制，不需要等待整个视频文件被完整加载后才能开始播放，可以边播放边加载，因此用户等待加载的时间可以大大减少。
7、解决现有云渲染方案的并发量低、成本高、难以普及的缺点：由于本发明采取的是预先渲染出视频、一组预渲染视频可以给多个客户端播放的“一对多”的策略，因此最大并发量理论上可与主流的Youtube、优酷等在线视频的最大并发量媲美，相比云渲染需要实时、一对一地向播放器提供服务而言，本发明通过规模效应使得成本大大缩减。
以上所述仅为本发明的实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等同变换，或直接或间接运用在相关的技术领域，均同理包括在本发明的专利保护范围内。
Claims (6)
1.一种基于3D渲染的互动视频制作和播放的方法，其特征在于，包括步骤：
S1、使用Unity Editor构建3D场景；
S2、使用行为树编辑器基于所述3D场景中已有的各个对象所需的表演内容及互动内容编辑行为树，并输出对应的行为树数据，所述互动内容为所述行为树的条件节点；
S3、在预渲染主机中输入所述行为树数据，并将所述行为树数据拆解为所述条件节点下的每一段完整的所述行为树数据来进行3D实时渲染，并进行视频录制，得到多个视频文件；
S4、将所述行为树数据中每一段已经转变为所述视频文件的数据简化为一个“播放视频”的行为，其他数据不做变化，得到简化后的所述行为树数据；
S5、将简化后的所述行为树数据和所述视频文件输入互动视频播放器，由用户触发所述条件节点执行所述“播放视频”的行为并播放对应的所述视频文件；
所述S3中并将所述行为树数据拆解为所述条件节点下的每一段完整的所述行为树数据来进行3D实时渲染，并进行视频录制，具体为：
将每一个所述条件节点下对应的每一段完整的所述行为树数据归类为一个视频文件的录制范围，根据每一个所述录制范围在所述预渲染主机中分别模拟出每个所述条件节点被满足的所有情况，进行3D实时渲染，并采用unity引擎自带的录屏组件UnityRecorder进行视频录制，输出所述视频文件；
所述S5具体包括以下步骤：
S51、将简化后的所述行为树数据和多个所述视频文件输入互动视频播放器，所述互动视频播放器执行所述行为树数据对应的逻辑，并建立缓冲机制进行多个所述视频文件的预加载；
S52、当执行到某个所述条件节点时，根据用户的互动选择执行所述条件节点下对应的所述“播放视频”的行为，并跳转播放所述“播放视频”的行为对应的所述视频文件。
2.根据权利要求1所述的一种基于3D渲染的互动视频制作和播放的方法，其特征在于，在所述S1之前还包括：
采用Unity Editor导入构建所述3D场景所需要的素材文件，所述素材文件包括3D模型FBX、音频、图片、视频和特效。
3.根据权利要求1所述的一种基于3D渲染的互动视频制作和播放的方法，其特征在于，所述行为树编辑器为Unity引擎的行为树插件Behavior Designer。
4.一种基于3D渲染的互动视频制作和播放的终端，其特征在于，包括存储器、处理器以及存储在存储器上并可在处理器上执行的计算机程序，所述处理器执行所述计算机程序时实现以下步骤：
S1、使用Unity Editor构建3D场景；
S2、使用行为树编辑器基于所述3D场景中已有的各个对象所需的表演内容及互动内容编辑行为树，并输出对应的行为树数据，所述互动内容为所述行为树的条件节点；
S3、在预渲染主机中输入所述行为树数据，并将所述行为树数据拆解为所述条件节点下的每一段完整的所述行为树数据来进行3D实时渲染，并进行视频录制，得到多个视频文件；
S4、将所述行为树数据中每一段已经转变为所述视频文件的数据简化为一个“播放视频”的行为，其他数据不做变化，得到简化后的所述行为树数据；
S5、将简化后的所述行为树数据和所述视频文件输入互动视频播放器，由用户触发所述条件节点执行所述“播放视频”的行为并播放对应的所述视频文件；
所述S3中并将所述行为树数据拆解为所述条件节点下的每一段完整的所述行为树数据来进行3D实时渲染，并进行视频录制，具体为：
将每一个所述条件节点下对应的每一段完整的所述行为树数据归类为一个视频文件的录制范围，根据每一个所述录制范围在所述预渲染主机中分别模拟出每个所述条件节点被满足的所有情况，进行3D实时渲染，并采用unity引擎自带的录屏组件UnityRecorder进行视频录制，输出所述视频文件；
所述S5具体包括以下步骤：
S51、将简化后的所述行为树数据和多个所述视频文件输入互动视频播放器，所述互动视频播放器执行所述行为树数据对应的逻辑，并建立缓冲机制进行多个所述视频文件的预加载；
S52、当执行到某个所述条件节点时，根据用户的互动选择执行所述条件节点下对应的所述“播放视频”的行为，并跳转播放所述“播放视频”的行为对应的所述视频文件。
5.根据权利要求4所述的一种基于3D渲染的互动视频制作和播放的终端，其特征在于，在所述S1之前还包括：
采用Unity Editor导入构建所述3D场景所需要的素材文件，所述素材文件包括3D模型FBX、音频、图片、视频和特效。
6.根据权利要求4所述的一种基于3D渲染的互动视频制作和播放的终端，其特征在于，所述行为树编辑器为Unity引擎的行为树插件Behavior Designer。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111182089.4A CN113784167B (zh) | 2021-10-11 | 2021-10-11 | 一种基于3d渲染的互动视频制作和播放的方法及终端 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111182089.4A CN113784167B (zh) | 2021-10-11 | 2021-10-11 | 一种基于3d渲染的互动视频制作和播放的方法及终端 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113784167A CN113784167A (zh) | 2021-12-10 |
| CN113784167B true CN113784167B (zh) | 2023-04-28 |
Family
ID=78855064
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111182089.4A Active CN113784167B (zh) | 2021-10-11 | 2021-10-11 | 一种基于3d渲染的互动视频制作和播放的方法及终端 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113784167B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114554291B (zh) * | 2022-02-17 | 2024-05-28 | 上海幻维数码创意科技股份有限公司 | 一种基于unity插件的多视频播放控制方法 |
| CN117376652B (zh) * | 2023-12-07 | 2024-04-09 | 深圳市优友互联股份有限公司 | 直播场景交互追溯的方法和装置、计算机设备、存储介质 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105005473A (zh) * | 2015-06-29 | 2015-10-28 | 乐道互动（天津）科技有限公司 | 一种用于开发3d游戏的游戏引擎系统 |
| CN108984169A (zh) * | 2017-06-01 | 2018-12-11 | 刘开元 | 一种跨平台多元集成开发系统 |
| CN109819179A (zh) * | 2019-03-21 | 2019-05-28 | 腾讯科技（深圳）有限公司 | 一种视频剪辑方法和装置 |
| CN111744200A (zh) * | 2019-03-27 | 2020-10-09 | 电子技术公司 | 由图像或视频数据生成虚拟角色 |
| CN112802091A (zh) * | 2021-01-28 | 2021-05-14 | 北京理工大学 | 一种增强现实条件下基于dqn的智能体对抗行为实现方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11276216B2 (en) * | 2019-03-27 | 2022-03-15 | Electronic Arts Inc. | Virtual animal character generation from image or video data |
-
2021
- 2021-10-11 CN CN202111182089.4A patent/CN113784167B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105005473A (zh) * | 2015-06-29 | 2015-10-28 | 乐道互动（天津）科技有限公司 | 一种用于开发3d游戏的游戏引擎系统 |
| CN108984169A (zh) * | 2017-06-01 | 2018-12-11 | 刘开元 | 一种跨平台多元集成开发系统 |
| CN109819179A (zh) * | 2019-03-21 | 2019-05-28 | 腾讯科技（深圳）有限公司 | 一种视频剪辑方法和装置 |
| CN111744200A (zh) * | 2019-03-27 | 2020-10-09 | 电子技术公司 | 由图像或视频数据生成虚拟角色 |
| CN112802091A (zh) * | 2021-01-28 | 2021-05-14 | 北京理工大学 | 一种增强现实条件下基于dqn的智能体对抗行为实现方法 |
Non-Patent Citations (2)
| Title |
|---|
| 杨旭洋 ; 景智 ; 王雨 ; 段言成 ; 刘傲然 ; .基于unity3D中国神话手机游戏的设计与制作.产业与科技论坛.2017,(第07期),全文. * |
| 董浩.跨平台三维引擎关键技术实现及游戏领域应用.中国优秀硕士学位论文全文数据库 信息科技辑.2020,I138-1148. * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113784167A (zh) | 2021-12-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113784167B (zh) | 一种基于3d渲染的互动视频制作和播放的方法及终端 | |
| CN106611435B (zh) | 动画处理方法和装置 | |
| JP7446468B2 (ja) | ビデオ特殊効果の処理方法、装置、電子機器及びコンピュータプログラム | |
| CN111193876B (zh) | 视频中添加特效的方法及装置 | |
| CN109636884A (zh) | 动画处理方法、装置及设备 | |
| WO2020125567A1 (zh) | 一种动画自动生成方法及动画自动生成系统 | |
| US11169824B2 (en) | Virtual reality replay shadow clients systems and methods | |
| US8405662B2 (en) | Generation of video | |
| US12069321B2 (en) | Data model for representation and streaming of heterogeneous immersive media | |
| CN102819851B (zh) | 一种有声图片的计算机实现方法 | |
| CN114998494A (zh) | 一种基于云渲染服务的数字孪生流推送方法 | |
| US11762716B2 (en) | Automatic animation system and method | |
| WO2018049682A1 (zh) | 一种虚拟3d场景制作方法及相关设备 | |
| Oakden et al. | Graphics processing in virtual production | |
| CN117065357A (zh) | 媒体数据处理方法、装置、计算机设备和存储介质 | |
| CN115250335A (zh) | 视频处理方法、装置、设备及存储介质 | |
| CN113082720A (zh) | 提示信息确定方法、装置及电子设备 | |
| Bao et al. | Short animation production using game engine and motion capture | |
| US20240009560A1 (en) | 3D Image Implementation | |
| Li | Summary of Computer Processing and Editing Technology for 2D Animation | |
| Hogue et al. | Volumetric kombat: a case study on developing a VR game with Volumetric Video | |
| KR20060103495A (ko) | 3차원 그래픽 표시 시스템 및 표시장치와, 전자 메시지전송 시스템 및 표시장치 | |
| Entrekin et al. | Television Graphics | |
| Vuorinen | Animated sequence rendering performance comparison: Unity and Unreal Engine | |
| CN114064043A (zh) | 基于cocos引擎的游戏优化系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |