CN117692724A - 视频数据的生成方法、装置和电子设备 - Google Patents
视频数据的生成方法、装置和电子设备 Download PDFInfo
- Publication number
- CN117692724A CN117692724A CN202311442840.9A CN202311442840A CN117692724A CN 117692724 A CN117692724 A CN 117692724A CN 202311442840 A CN202311442840 A CN 202311442840A CN 117692724 A CN117692724 A CN 117692724A
- Authority
- CN
- China
- Prior art keywords
- audience
- model
- data
- virtual
- scene
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 83
- 230000009471 action Effects 0.000 claims abstract description 109
- 230000000694 effects Effects 0.000 claims abstract description 84
- 230000033001 locomotion Effects 0.000 claims description 53
- 230000001960 triggered effect Effects 0.000 claims description 19
- 230000001815 facial effect Effects 0.000 claims description 17
- 238000003860 storage Methods 0.000 claims description 9
- 238000000605 extraction Methods 0.000 claims description 7
- 238000009877 rendering Methods 0.000 claims description 7
- 230000004044 response Effects 0.000 claims description 5
- 230000008859 change Effects 0.000 claims description 2
- 238000012163 sequencing technique Methods 0.000 claims description 2
- 239000011159 matrix material Substances 0.000 claims 1
- 239000000523 sample Substances 0.000 claims 1
- 230000002452 interceptive effect Effects 0.000 abstract description 8
- 230000003993 interaction Effects 0.000 description 20
- 210000003414 extremity Anatomy 0.000 description 11
- 238000005516 engineering process Methods 0.000 description 10
- 238000010586 diagram Methods 0.000 description 9
- 230000008569 process Effects 0.000 description 9
- 238000004422 calculation algorithm Methods 0.000 description 8
- 238000012545 processing Methods 0.000 description 7
- 230000014509 gene expression Effects 0.000 description 6
- 238000004891 communication Methods 0.000 description 5
- 238000010801 machine learning Methods 0.000 description 4
- 238000013528 artificial neural network Methods 0.000 description 3
- 230000006399 behavior Effects 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 239000002245 particle Substances 0.000 description 3
- 239000013598 vector Substances 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 241000272814 Anser sp. Species 0.000 description 2
- 230000001680 brushing effect Effects 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- SNICXCGAKADSCV-UHFFFAOYSA-N nicotine Chemical compound CN1CCCC1C1=CC=CN=C1 SNICXCGAKADSCV-UHFFFAOYSA-N 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 239000011248 coating agent Substances 0.000 description 1
- 238000000576 coating method Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000000802 evaporation-induced self-assembly Methods 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 230000037308 hair color Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 210000003127 knee Anatomy 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000000704 physical effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 210000000697 sensory organ Anatomy 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 238000002834 transmittance Methods 0.000 description 1
Landscapes
- Processing Or Creating Images (AREA)
Abstract
本发明提供了一种视频数据的生成方法、装置和电子设备；其中，该方法包括：获取观众外观数据，生成与观众外观数据匹配的虚拟观众模型；其中，观众外观数据通过终端设备采集；获取目标场景的场景数据，基于场景数据从目标场景中确定观众位置；控制虚拟观众模型显示在观众位置，接收来自终端设备的控制参数，控制虚拟观众模型执行控制参数匹配的模型动作，或者触发控制参数匹配的特效效果；基于场景数据，以及控制参数控制下的虚拟观众模型，生成视频数据。该方式使虚拟观众与节目内容或主持人具有较高的配合度和互动性，提高了节目互动效果。
Description
技术领域
本发明涉及游戏技术领域，尤其是涉及一种视频数据的生成方法、装置和电子设备。
背景技术
在节目直播或录制过程中，为了提升节目整体效果和互动体验，可以在场景中设置虚拟观众。相关技术中，可以通过视频录像或者图片的方式，在场景中呈现虚拟观众，使节目视频中出现虚拟观众。该方式呈现出的虚拟观众动作僵硬单一，虚拟观众与节目内容或者主持人的配合度较低，互动方式有限，导致节目互动效果较差。
发明内容
有鉴于此，本发明的目的在于提供一种视频数据的生成方法、装置和电子设备，以使虚拟观众与节目内容或主持人具有较高的配合度和互动性，提高节目互动效果。
第一方面，本发明实施例提供了一种视频数据的生成方法，方法包括：获取观众外观数据，生成与观众外观数据匹配的虚拟观众模型；其中，观众外观数据通过终端设备采集；获取目标场景的场景数据，基于场景数据从目标场景中确定观众位置；控制虚拟观众模型显示在观众位置，接收来自终端设备的控制参数，控制虚拟观众模型执行控制参数匹配的模型动作，或者触发控制参数匹配的特效效果；基于场景数据，以及控制参数控制下的虚拟观众模型，生成视频数据。
第二方面，本发明实施例提供了一种视频数据的生成装置，装置包括：模型生成模块，用于获取观众外观数据，生成与观众外观数据匹配的虚拟观众模型；其中，观众外观数据通过终端设备采集；位置确定模块，用于获取目标场景的场景数据，基于场景数据从目标场景中确定观众位置；模型控制模块，用于控制虚拟观众模型显示在观众位置，接收来自终端设备的控制参数，控制虚拟观众模型执行控制参数匹配的模型动作，或者触发控制参数匹配的特效效果；视频生成模块，用于基于场景数据，以及控制参数控制下的虚拟观众模型，生成视频数据。
第三方面，本发明实施例提供了一种电子设备，包括处理器和存储器，存储器存储有能够被处理器执行的计算机可执行指令，处理器执行计算机可执行指令以实现上述视频数据的生成方法。
第四方面，本发明实施例提供了一种计算机可读存储介质，计算机可读存储介质存储有计算机可执行指令，计算机可执行指令在被处理器调用和执行时，计算机可执行指令促使处理器实现上述视频数据的生成方法。
本发明实施例带来了以下有益效果：
上述视频数据的生成方法、装置和电子设备，获取观众外观数据，生成与观众外观数据匹配的虚拟观众模型；其中，观众外观数据通过终端设备采集；获取目标场景的场景数据，基于场景数据从目标场景中确定观众位置；控制虚拟观众模型显示在观众位置，接收来自终端设备的控制参数，控制虚拟观众模型执行控制参数匹配的模型动作，或者触发控制参数匹配的特效效果；基于场景数据，以及控制参数控制下的虚拟观众模型，生成视频数据。该方式中，通过观众外观数据生成虚拟观众模型，使虚拟观众的外观与真实观众相匹配；虚拟观众的模型动作以及特效效果受到控制参数的控制，该控制参数可以由真实观众通过终端设备生成，使虚拟观众与节目内容或主持人具有较高的配合度和互动性，提高了节目互动效果。
本发明的其他特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。
为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种视频数据的生成方法的流程图；
图2中的(a)为本发明实施例提供的包含真实观众的观众外观的图像数据的示意图；
图2中的(b)为本发明实施例提供的基于前述图像数据生成的虚拟观众模型的示意图；
图3为本发明实施例提供的虚拟观众模型显示在目标场景中的观众位置的示意图；
图4为本发明实施例提供的特效效果与虚拟观众模型关联显示的示意图；
图5为本发明实施例提供的目标观众模型显示在指定场景区域的示意图；
图6为本发明实施例提供的一种视频数据的生成装置的示意图；
图7为本发明实施例提供的一种电子设备的示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
在直播节目或转播节目中，节目拍摄场景中的虚拟观众、特效等能够有效地增强节目的整体效果与可交互性，提升用户观看互动体验。相关技术中，通过视频录像或者图片的方式，在节目拍摄场景中呈现虚拟观众。该方式呈现的虚拟观众，其角色形象不够丰富，与真实观众本身的形象差异大，动作僵硬，且交互体验差。尤其在电竞赛事的直播中，虚拟观众很难实现和游戏环节的配合，互动较少。同时，在节目拍摄现场，难以通过摄像机展示多角度下的虚拟观众，无法呈现最佳的拍摄效果。
基于上述，本发明实施例提供的一种视频数据的生成方法、装置和电子设备，可以应用于直播视频数据、转播视频数据等视频拍摄的过程中。
首先，参见图1所示的一种视频数据的生成方法的流程图，该方法包括如下步骤：
步骤S102，获取观众外观数据，生成与观众外观数据匹配的虚拟观众模型；其中，该观众外观数据通过终端设备采集；
该终端设备可以是手机、平板电脑、摄像设备等；该观众外观数据可以使通过终端设备的摄像装置，采集包含观众的图像数据；该观众外观数据具体可以包括观众的面部、衣着、饰品等观众外观。另外，观众外观数据还可以使终端设备采集的编辑数据，例如，对面部的五官形状的编辑数据、对发型、服饰的编辑数据等。
该观众外观数据中包含了观众的外观特征，基于该外观特征，可以生成虚拟观众模型，该虚拟观众模型的外观特征与该观众外观数据相匹配。例如，观众外观数据中，面部特征为鹅蛋脸，则虚拟观众模型的脸型也是鹅蛋脸；再如，观众外观数据中，服饰特征为衬衣和短裙，则虚拟观众模型的服饰也是衬衣和短裙。
一种方式中，可以预先建立一个默认的观众模型，然后基于观众外观数据，对该观众模型进行形变处理，例如，脸型、四肢形状等，或者变更该观众模型的服饰贴图等，生成与观众外观数据相匹配的虚拟观众模型。
步骤S104，获取目标场景的场景数据，基于场景数据从目标场景中确定观众位置；
该目标场景可以是真实场景或者虚拟场景，也可以是真实场景中增加了部分虚拟特效，即虚实结合的场景。该场景数据可以是目标场景对应的摄像机或虚拟相机拍摄的目标场景的场景画面视频，也可以是虚拟场景的三维场景数据。
该目标场景中可以包括观众区域、舞台区、大屏幕区等；该场景数据中可以包括不同区域在目标场景中的位置。通常，虚拟观众模型需要显示在观众区域。因此，从目标场景中确定观众区域后，可以从观众区域中确定观众位置。
通常，观众区域中包括多个备选位置，一种方式，可以从观众区域中随机确定一个备选位置，作为上述观众位置；如果观众区域中已有其他虚拟观众模型，可以从空闲的位置中确定观众位置。或者，还可以参考其他因素确定观众位置，例如，前述观众外观数据对应的观众账户的账户等级、消耗资源量等，还可以参考观众账户对观众位置的选择信息，从观众区域中选择观众位置。
步骤S106，控制虚拟观众模型显示在观众位置，接收来自终端设备的控制参数，控制虚拟观众模型执行控制参数匹配的模型动作，或者触发控制参数匹配的特效效果；
虚拟观众模型显示在观众位置后，目标场景中的摄像机拍摄到该观众位置时，可以在拍摄到的场景画面中显示虚拟观众模型。该虚拟观众模型受到终端设备的控制，该终端设备即采集前述观众外观数据的设备。该控制参数可以是终端设备拍摄的图像数据，该图像数据中包含真实观众，该真实观众具有表情、动作等，基于该图像数据中真实观众的表情、动作，可以生成控制参数，该控制参数包括真实观众的表情对应的表情控制参数，或者，真实观众的动作对应的动作控制参数。
基于上述控制参数，可以控制虚拟观众模型执行模型动作，该模型动作可以包括模型表情动作、模型肢体动作等，从而使虚拟观众模型的模型动作与真实观众的观众动作相匹配，由于目标场景内不同的虚拟观众模型由不同的观众的终端设备进行控制，因此，目标场景内的虚拟观众模型的动作多种多样。
另外，前述控制参数还可以通过触发终端设备的界面上显示的控件生成，例如，触发指定动作的控件，从而控制虚拟观众模型执行指定动作。控制参数还可以控制显示特效效果，例如，礼物特效、欢呼特效等。
步骤S108，基于场景数据，以及控制参数控制下的虚拟观众模型，生成视频数据。
一种实现方式中，可以将控制参数控制下的虚拟观众模型，渲染至场景数据中，得到包含虚拟观众模型的场景数据，通过相机拍摄得到视频数据。
上述视频数据的生成方法，获取观众外观数据，生成与观众外观数据匹配的虚拟观众模型；其中，观众外观数据通过终端设备采集；获取目标场景的场景数据，基于场景数据从目标场景中确定观众位置；控制虚拟观众模型显示在观众位置，接收来自终端设备的控制参数，控制虚拟观众模型执行控制参数匹配的模型动作，或者触发控制参数匹配的特效效果；基于场景数据，以及控制参数控制下的虚拟观众模型，生成视频数据。该方式中，通过观众外观数据生成虚拟观众模型，使虚拟观众的外观与真实观众相匹配；虚拟观众的模型动作以及特效效果受到控制参数的控制，该控制参数可以由真实观众通过终端设备生成，使虚拟观众与节目内容或主持人具有较高的配合度和互动性，提高了节目互动效果。
一种具体的实现方式中，上述观众外观数据包括：包含观众外观的图像数据；该图像数据可以是终端设备拍摄的图片、视频等。图像数据中可以包括局部观众外观，例如，观众脸部外观，观众肢体外观等；图像数据中可以包括多个角度下的观众外观，从而提高数据的准确性。
基于观众外观数据，生成包含虚拟人物的人物图像；其中，虚拟人物与观众外观相匹配；人物图像包括：多个视角下的虚拟人物；将人物图像转换成三维模型数据，得到虚拟观众模型。
图2作为一个示例，图2中的(a)是包含真实观众的观众外观的图像数据，图2中的(b)是基于该图像数据生成的虚拟观众模型，可知，虚拟观众模型的外观与真实观众的观众外观相似度较高，例如，服饰相似、发型相似。
该虚拟人物可以是卡通人物，该虚拟人物与观众外观相匹配；例如，该虚拟人物的发型与观众外观中的发型相同或相似；该虚拟人物的服饰与观众外观中的服饰相同或相似等。在实际实现时，可以将观众外观数据输入至卡通画算法中，输出包含虚拟人物的人物图像。
该人物图像可以包括正视、后视、侧视、俯视、仰视等多角度下的虚拟人物。可以通过建模技术，将人物图像转换成三维模型数据，得到虚拟观众模型。例如，可以使用三维计算机动画软件，利用数学算法来创建光滑、精细的曲面，以非常高的精度和精细度构建出复杂的几何形状，实现的高精度建模技术，二维的人物图像转化成三维的虚拟观众模型。
为了丰富虚拟观众的动作，可以采用更加精细的双线性蒙皮技术，通过双线性插值，计算虚拟观众模型在骨骼变形时的变形程度，从而产生更加自然和细致的动作变形效果。为了将虚拟观众模型的动作和特效适配，可以采用Niagara粒子进行特效制作。Niagara粒子特效技术是一种基于节点图编程、模块化、面向对象设计的粒子特效制作工具，其支持GPU(Graphics Processing Unit，图形处理器)加速计算，还提供可视化调试功能，使得特效制作更加高效灵活。
另外，由于目标场景中的观众位置有限，可能仅有部分观众将对应的虚拟观众模型显示在观众位置上，基于此，可以筛选得到部分观众，采集该观众的图像数据进而生效虚拟观众模型。一种方式中，服务器可以向观众对应的终端设备发送申请，如果观众同意，则开始通过终端设备采集图像数据；如果观众不同意，在不再通过终端设备采集图像数据。
进一步的，在生成人物图像时，将图像数据输入至特征提取模型中，输出观众外观的外观特征数据；生成与外观特征数据指示的外观特征相匹配的虚拟人物，得到虚拟人物的人物图像。
上述特征提取模型可以通过深度学习算法实现，可以采用卷积神经网络进行特征提取，将图像数据转化成一组特征向量，然后，将该特征向量输入到深度神经网络中进行学习和训练，以提取出图像数据中的各种外观特征数据，如人脸特征、肢体特征、服饰特征等，得到外观特征数据。该外观特征数据以向量的形式，作为卡通化算法的输入数据。卡通化算法生成卡通形象的轮廓和颜色，然后采用图像生成算法，将人脸和全身的颜色转为二维卡通形象，即前述虚拟人物。
通过上述方式，虚拟观众模型的形象可以由真实观众的外观控制，使得场景中虚拟观众的形象多变，提高了节目观众的真实性和视觉效果。
除了通过图像数据控制虚拟观众的外观之外，在生成虚拟观众模型之后，将虚拟观众模型划分为多个模型部位；接收针对多个模型部位中第一部位的编辑指令，基于编辑指令更新第一部位的部位外观。该模型部位可以包括头发、上衣部位、下装部位、脚部等。针对每个模型部位，可以提供多种外观选项，以头发为例，可以包括头发颜色选项、头发发型选项等。
观众可以通过终端设备，通过触发各个模型部位的选项，编辑该模型部位的外观，得到上述编辑指令，服务器可以根据该编辑指令包含的选项信息，更新部位外观。该方式可以使观众个性化的编辑模型外观，使虚拟观众的形象符合观众的个性化需求，提高虚拟形象的丰富程度。
一种具体的实现方式中，基于场景数据从目标场景中获取多个观众区域；获取观众外观数据对应观众账户的观众阵营，从多个观众区域中确定观众阵营匹配的目标区域；从目标区域中确定观众位置。
例如，目标场景中是多方队伍参与同一游戏对局，观众可以选择支持其中一个队伍，支持不同队伍的观众分数不同的观众阵营。在目标场景中，可以根据多方队伍的队伍数量，划分多个观众区域，每个队伍对应一个或多个观众区域。观众账户可以通过终端设备发送支持的观众阵营，服务器根据该观众阵营，确定该观众账户对应的虚拟观众模型应当位于哪个观众区域，即上述目标区域。
如果目标区域中包括多个备选位置，可以随机确定一个备选位置作为观众位置，也可以由观众通过终端设备从目标区域中选择观众位置，也可以根据观众账户的账户属性，从目标区域中确定观众位置。
图3作为一个示例，根据观众外观生成的虚拟观众模型，显示在目标场景中的观众位置上；目标场景中，每个观众位置上显示对应的虚拟观众模型。
当目标场景中包括真实的观众时，可以通过摄像机采集目标场景中各个场景位置的温度数据，通过该温度数据确定真实观众在目标场景中的位置，在确定虚拟观众模型的观众位置时，避开真实观众所在的场景位置，避免出现显示错误。
在直播场景时，可以在直播开始时，控制虚拟观众模型显示在观众位置；在直播过程中，虚拟观众模型也可以离开目标场景，也可以由新的虚拟观众模型加入至目标场景中。当虚拟观众模型出现在目标场景时，可以使用一定的出场特效，从而提高虚拟观众的出场视觉效果。当虚拟观众模型离开目标场景时，可以针对虚拟观众模型使用溶解特效，直至虚拟观众模型消失。
具体的，控制虚拟观众模型显示在观众位置之后，获取观众外观数据对应观众账户的账户标识，将账户标识与虚拟观众模型关联显示。该账户标识可以为账户名称、账户头像等，用于将虚拟观众模型与账户标识进行关联。
下述实施例描述控制虚拟观众模型执行控制参数匹配的模型动作的多种实现方式。
一种方式中，上述控制参数包括：终端设备采集的动作控制数据；该动作控制数据包括：面部动作控制数据和/或肢体动作控制数据；该动作控制数据可以仅包括面部动作控制数据或肢体动作控制数据，也可以同时包括面部动作控制数据和肢体动作控制数据。终端设备的摄像装置可以采集包含观众外观的图像数据，从该图像数据中识别观众的面部动作、肢体动作等，得到前述动作控制数据。
从虚拟观众模型中确定关键位置点；基于动作控制数据控制关键位置点的位置发生变化，以控制虚拟观众模型执行动作控制数据匹配的模型动作。
在实际实现时，前述动作控制数据中可以包括观众的多个关键位置点位置信息，例如，手部位置、脚部位置、膝盖位置；再如，眼角位置、嘴角位置等；然后从虚拟观众模型中，识别到前述关键位置点在虚拟观众模型中的位置，根据动作控制数据中关键位置点的位置信息，控制虚拟观众模型上关键位置点从当前位置移动至动作控制数据中的位置，从而使虚拟关系模型的动作与动作控制数据中的动作相同或相似。
通过上述方式，观众可以通过发送动作控制数据，控制虚拟观众模型的模型动作，使得场景中虚拟观众的动作丰富多变。
在实际实现时，前述终端设备需要能够实时识别观众的全身动作，以便在虚拟观众模型上，对观众的动作进行精准模拟和反馈。通过对人脸和身体的各个关键点进行实时追踪和动态匹配，实现高精度的观众全身识别。同时可以引用LiDAR扫描技术，实现对观众人体的3D扫描和模型重建，从而提高全身识别的准确度和稳定性。
上述终端设备需要能够适应不同光线和环境下的面部动作的捕捉和识别。为此，终端设备可以采用多层镀膜和特殊玻璃材料的TrueDepth镜头，提高光线透过率和色彩还原度，使用高动态光照渲染HDR技术，通过多次曝光和图像合成技术，提高图像的动态范围和细节展现，还采用智能算法，能够实现智能场景识别、人脸识别和光线优化等功能。在面部动作捕捉，获取面部动作控制数据方面，可以采用基于AI深度学习的人脸识别算法的UE5Live Link Face技术，与TrueDepth摄像头匹配使用，把面部动作控制数据传输到服务器中，从而实现不同环境下多角度多人脸的面部动作捕捉，得到对应的面部动作控制数据。
另一种方式中，上述控制参数包括：通过终端设备触发的指定触发事件的事件参数；该指定触发事件可以包括：指定礼物被送出，或者指定动作控件被触发。终端设备提供的界面中可以提供多种虚拟礼物，当观众控制送出指定礼物时，确定发生指定触发事件；终端设备提供的界面中还可以提供多种指定动作控件，指定动作控件用于触发对应的指定动作，例如，欢呼动作、加油动作等；当指定动作控件被触发时，确定发生指定触发事件。
确定指定触发事件对应的第一特效效果，在目标场景中显示第一特效效果；其中，第一特效效果与虚拟观众模型关联显示；该第一特效效果可以与指定触发事件相匹配，例如，指定触发时间为指定礼物被送出，则第一特效效果中可以包含指定礼物的礼物特效。指定触发事件被触发后，对应的第一特效效果与触发该指定触发事件的观众账户对应的虚拟观众模型关联显示，例如，第一特效效果显示在虚拟观众模型的头顶位置等。如图4中，第一特效效果显示在虚拟观众模型的头顶位置。
另一种方式中，确定指定触发事件对应的第一模型动作，控制虚拟观众模型执行第一模型动作。指定触发事件除了可以触发特效效果，还可以触发模型动作，观众账户触发指定触发事件后，可以控制该观众账户的虚拟观众模型执行对应的第一模型动作，例如，第一模型动作为弹跳动作、欢呼动作等。
通过上述方式，观众可以根据节目进程，通过终端设备发送各类控制参数，从而控制虚拟观众的模型动作或特效效果，使得虚拟观众的状态与节目进程配合度较高，场景内虚拟观众的互动性较强。
其他方式中，上述控制参数包括：通过终端设备发送的信息数据；在目标场景中显示信息数据；其中，该信息数据与虚拟观众模型关联显示。该信息数据也可以理解为弹幕信息，可以包括文本、图标、表情等数据。观众可以通过终端设备发送该信息数据，该信息数据显示在目标场景中，例如，显示在虚拟观众模型的顶部位置，观看视频数据的其他观众也可以看到该信息数据，可以知晓该信息数据由哪个虚拟观众模型对应的观众发送。该方式可以增加观众之间、以及观众与主播或主持人之间的互动性。
还有一种方式，上述控制参数包括：通过终端设备发送的语音数据；控制虚拟观众模型播放语音数据，或者，识别语音数据的语音内容，控制虚拟观众模型执行语音内容对应的模型动作。
终端设备可以通过麦克风或者其他音频接收装置，采集观众发出的语音数据；在目标场景中，播放该语言数据，在播放该语音数据的过程中，可以在对应的虚拟观众模型上关联显示语音标识，以代表当前语音数据由哪个虚拟观众发出。另外，还可以从语音数据中识别语音内容，从而生成控制参数，例如，语音数据包括“执行加油动作”，此时，生成加油动作的控制参数，进而控制虚拟观众模型执行加油动作。
上述方式可以丰富对虚拟观众的控制方式，也可以丰富虚拟观众的互动方式。
除了通过终端设备控制虚拟观众以外，还可以根据场景中的事件控制虚拟观众。具体的，确定目标场景中触发指定场景事件；该指定场景事件可以包括：观众外观数据对应观众账户的支持阵营队伍出现在目标场景、执行指定的对局动作、或者获得当前对局的胜利。其中，在游戏对局中，对局动作可以为成功击杀敌方的角色、成功占领某一城池等。
当触发指定场景事件后，可以控制虚拟观众模型执行指定模型动作；例如，当阵营队伍A胜利后，支持该阵营队伍A的观众对应的虚拟观众模型执行胜利动作；当阵营队伍B失败后，支持该阵营队伍B的观众对应的虚拟观众模型执行加油动作等。
一种方式中，可以预先设置指定场景事件与指定模型动作的对应关系，指定场景事件被触发后，即可查找到对应的指定模型动作，然后控制虚拟观众模型执行该指定模型动作。另外，还可以为虚拟观众模型设置机器学习模型，不断学习场景中的各类场景事件，以及对应的模型动作。当目标场景内触发指定场景事件后，将该指定场景事件输入至机器学习模型中，自动输出动作控制参数，进而基于该动作控制参数，控制虚拟观众模型执行动作。
另一种方式中，确定指定场景事件对应的指定特效效果，在目标场景中显示指定特效效果。
例如，当阵营队伍A胜利后，在支持该阵营队伍A的观众所在的区域显示胜利特效效果；当阵营队伍B失败后，支持该阵营队伍B的观众所在的区域显示加油的特效效果。
一种方式中，可以预先设置指定场景事件与指定特效效果的对应关系，指定场景事件被触发后，即可查找到对应的指定特效效果，然后在场景中显示该指定特效效果。另外，还可以设置机器学习模型，不断学习场景中的各类场景事件，以及对应的特效效果。当目标场景内触发指定场景事件后，将该指定场景事件输入至机器学习模型中，自动输出效果控制参数，进而基于该效果控制参数，显示特效效果。
该方式可以使虚拟观众的动作、特效等，与场景中的节目进程、节目内容更加匹配，使虚拟观众更加智能化，提高虚拟观众的动作拟人程度和丰富性。
在实际实现时，可以使用姿态识别技术，让观众通过身体动作控制虚拟观众的动作，从而参与到直播环节中；使用语音识别技术，让观众通过语音指令控制虚拟观众的语音或动作，从而参与到支持的战队应援环节中。通过人工神经网络实现虚拟观众模型的自我学习和自适应行为，通过训练神经网络，可以让虚拟观众模型根据直播氛围和游戏内容，自主地学习和适应，智能化的做出相应的互动方式。
为了促进观众与直播、转播节目的互动性，一种方式中，统计观众外观数据对应观众账户的资源消耗量；基于资源消耗量，控制虚拟观众模型在目标场景中的显示状态。该资源消耗量可以为，观众账户在该场景节目中打赏或送出礼物使用的虚拟货币量或其他虚拟资源量。不同的资源消耗量，对应不同的虚拟观众模型的显示状态。
一个示例中，资源消耗量越大，虚拟观众模型的模型尺寸越大；另一个示例中，资源消耗量越大，虚拟观众模型中所在的观众位置对应的优先级越高；其中，观众位置按照优先级进行先后排序。例如，观众区域中，越靠近舞台区域的观众位置，其优先级越高；当观众账户的资源消耗量较大时，观众位置为靠近舞台区域的观众位置，例如，位于观众位置的第一排；当观众账户的资源消耗量较小时，观众位置为远离舞台区域的观众位置，例如，位于观众位置的最后一排等。虚拟观众模型的观众位置可以在节目进行过程中进行实时调整。
进一步地，响应于目标场景中的对局结束，基于观众外观数据对应观众账户的资源消耗量，以及支持阵营队伍的对局结果，从目标场景中确定目标观众模型；控制目标观众模型显示在目标场景的指定场景区域。
一种方式中，可以根据对局结果，将支持对局胜利的阵营队伍的观众账户中，按照资源消耗量由高到低进行排序，然后，选取指定数量的资源消耗量较高的游戏账户，将其对应的虚拟观众模型确定为目标观众模型；将目标观众模型显示在指定场景区域；该指定场景区域可以为秀场展示位置等。
另一种方式中，还可以将全场的观众账户中，按照资源消耗量由高到低进行排序，然后，选取指定数量的资源消耗量较高的游戏账户，将其对应的虚拟观众模型确定为目标观众模型；将目标观众模型显示在指定场景区域。
还有一种方式，将支持对局胜利的阵营队伍的观众账户中，按照资源消耗量由高到低进行排序，然后，选取指定数量的资源消耗量较高的游戏账户，将其对应的虚拟观众模型确定为第一组目标观众模型；然后，将支持对局失败的阵营队伍的观众账户中，按照资源消耗量由高到低进行排序，选取指定数量的资源消耗量较高的游戏账户，将其对应的虚拟观众模型确定为第二组目标观众模型；将上述第一组目标观众模型和上述第二组目标观众模型显示在指定场景区域。
图5中的示例中，指定场景区域为目标场景中的秀场展示位置，确定出的目标观众模型显示在该指定场景区域中。
一种具体的实现方式中，上述场景数据包括：目标场景中摄像机采集的目标场景的场景视频画面；将控制参数控制下的虚拟观众模型，渲染至目标场景的场景视频画面中，生成视频数据。
该摄像机可以是处于真实场景中的摄像机，也可以使处于虚拟场景中的虚拟相机。摄像机采集目标场景的场景视频画面，得到视频流。在视频流中的视频场景画面中，渲染虚拟观众模型，该虚拟观众模型的动作在控制参数的控制下，随着时间变化而变化，因此，需要不断在场景视频画面中渲染变化中的虚拟观众模型；将渲染后的场景视频画面，作为视频数据。
在直播场景中，视频数据需要发送至观众端，具体的，确定视频数据所属的直播间，以及访问直播间的观众账户；将视频数据发送至访问直播间的观众账户对应的终端设备。在前述实施例中，虚拟观众模型对应的观众账户，可以使访问直播间的观众账户，也可以是在游戏对局内观看的观众账户。通过前述方式渲染得到视频数据后，将视频数据发送至访问直播间的观众账户对应的终端设备，从而实现节目的直播。
对于虚拟观众模型，在UE5服务器中采用实时流服务，实时流服务可以让玩家们通过观看游戏赛事直播，了解游戏进程、与虚拟观众互动，从而增加游戏的曝光度和用户黏性。同时UE5还使用GPU加速计算、使用硬件解码器和编码器等来提高视频质量和减少延迟。同时，UE5还可以根据设备性能自适应调整硬件加速的使用，确保接收多人需求的直播质量和性能的平衡。
在上述方式中，通过虚拟观众模型，将携带有观众外形特征的立体虚拟卡通观众呈现在节目场景中，提升节目现场的整体气氛，并且可以根据节目中的游戏状态和内容，触发当前环节所对应的观众的人物动作；还可以通过观众送出的礼物，触发对应的卡通云观众特效展示，将合成画面推流，增强直播或转播过程中的观众的互动效果。
在直播场景中，上述虚拟观众模型可以通过虚拟互动的方式，让更多的观众参与到直播中来，从而扩大直播节目的受众范围和影响力，增强观众的社交体验。同时通过设定线上送礼物的玩法，资源消耗排名靠前的观众可以在舞台展示虚拟观众模型，提升观众的荣耀感和互动体验。
本实施例提供的视频数据的生成方法，针对虚拟观众的角色形象单一、动作僵硬、交互体验差等问题，通过观众的外观生成对应的卡通形象、进而建立三维虚拟观众模型，实现了三维立体的虚拟角色观众的展示，并在直播过程中实现了AI卡通观众的自由互动，提升了AI卡通观众的交互体验和观看体验。
本实施例提供的视频数据的生成方法，通过AI技术对虚拟观众模型进行个性化塑造和定制，增加其与观众之间的黏性和互动性。通过获取分析观众行为和兴趣，虚拟观众模型可以自动化生成符合观众需求的模型动作、模型外观，并根据观众反馈进行智能化调整和优化，提高观众的满意度和忠诚度。
本实施例提供的视频数据的生成方法，设定线上刷礼物的玩法，通过虚拟观众模型的反馈和互动来，提升观众的荣耀感和互动体验。观众可以通过刷礼物的方式支持战队或选手，并获得与战队、选手的互动、反馈和礼物回馈等特权，增强用户的参与感和满足感，同时也促进了观众的消费行为。
本实施例提供的视频数据的生成方法，虚拟观众模型可以与其他观众或者真人主播进行互动，增加直播的趣味性和互动性。通过虚拟观众模型的参与和互动，大大增加了观众与主播之间的互动，让直播更加生动和有趣。同时，观众可以通过与虚拟观众模型的互动，结交更多志同道合的观众朋友，共同分享直播内容和互动乐趣，提升观众的社交体验和参与感。
对应于上述方法实施例，参见图6所示的一种视频数据的生成装置的示意图，装置包括：
模型生成模块60，用于获取观众外观数据，生成与观众外观数据匹配的虚拟观众模型；其中，观众外观数据通过终端设备采集；
位置确定模块62，用于获取目标场景的场景数据，基于场景数据从目标场景中确定观众位置；
模型控制模块64，用于控制虚拟观众模型显示在观众位置，接收来自终端设备的控制参数，控制虚拟观众模型执行控制参数匹配的模型动作，或者触发控制参数匹配的特效效果；
视频生成模块66，用于基于场景数据，以及控制参数控制下的虚拟观众模型，生成视频数据。
上述视频数据的生成装置，获取观众外观数据，生成与观众外观数据匹配的虚拟观众模型；其中，观众外观数据通过终端设备采集；获取目标场景的场景数据，基于场景数据从目标场景中确定观众位置；控制虚拟观众模型显示在观众位置，接收来自终端设备的控制参数，控制虚拟观众模型执行控制参数匹配的模型动作，或者触发控制参数匹配的特效效果；基于场景数据，以及控制参数控制下的虚拟观众模型，生成视频数据。该方式中，通过观众外观数据生成虚拟观众模型，使虚拟观众的外观与真实观众相匹配；虚拟观众的模型动作以及特效效果受到控制参数的控制，该控制参数可以由真实观众通过终端设备生成，使虚拟观众与节目内容或主持人具有较高的配合度和互动性，提高了节目互动效果。
上述观众外观数据包括：包含观众外观的图像数据；上述模型生成模块，还用于：基于观众外观数据，生成包含虚拟人物的人物图像；其中，虚拟人物与观众外观相匹配；人物图像包括：多个视角下的虚拟人物；将人物图像转换成三维模型数据，得到虚拟观众模型。
上述模型生成模块，还用于：将图像数据输入至特征提取模型中，输出观众外观的外观特征数据；生成与外观特征数据指示的外观特征相匹配的虚拟人物，得到虚拟人物的人物图像。
上述装置还包括外观编辑模块，用于：将虚拟观众模型划分为多个模型部位；接收针对多个模型部位中第一部位的编辑指令，基于编辑指令更新第一部位的部位外观。
上述位置确定模块，还用于：基于场景数据从目标场景中获取多个观众区域；获取观众外观数据对应观众账户的观众阵营，从多个观众区域中确定观众阵营匹配的目标区域；从目标区域中确定观众位置。
上述控制参数包括：终端设备采集的动作控制数据；动作控制数据包括：面部动作控制数据和/或肢体动作控制数据；上述模型控制模块，还用于：从虚拟观众模型中确定关键位置点；基于动作控制数据控制关键位置点的位置发生变化，以控制虚拟观众模型执行动作控制数据匹配的模型动作。
上述控制参数包括：通过终端设备触发的指定触发事件的事件参数；上述装置还包括事件处理模块，用于：确定指定触发事件对应的第一特效效果，在目标场景中显示第一特效效果；其中，第一特效效果与虚拟观众模型关联显示；和/或，确定指定触发事件对应的第一模型动作，控制虚拟观众模型执行第一模型动作。
上述指定触发事件包括：指定礼物被送出，或者指定动作控件被触发。
上述控制参数包括：通过终端设备发送的信息数据；上述装置还包括信息显示模块，用于：在目标场景中显示信息数据；其中，信息数据与虚拟观众模型关联显示。
上述控制参数包括：通过终端设备发送的语音数据；上述装置还包括语音处理模块，用于：控制虚拟观众模型播放语音数据，或者，识别语音数据的语音内容，控制虚拟观众模型执行语音内容对应的模型动作。
上述装置还包括场景事件处理模块，用于：确定目标场景中触发指定场景事件；确定指定场景事件对应的指定模型动作，控制虚拟观众模型执行指定模型动作；和/或，确定指定场景事件对应的指定特效效果，在目标场景中显示指定特效效果。
上述指定场景事件包括：观众外观数据对应观众账户的支持阵营队伍出现在目标场景、执行指定的对局动作、或者获得当前对局的胜利。
上述装置还包括显示状态控制模块，用于：统计观众外观数据对应观众账户的资源消耗量；基于资源消耗量，控制虚拟观众模型在目标场景中的显示状态。
上述资源消耗量越大，虚拟观众模型的模型尺寸越大；和/或，资源消耗量越大，虚拟观众模型中所在的观众位置对应的优先级越高；其中，观众位置按照优先级进行先后排序。
上述装置还包括模型显示模块，用于：响应于目标场景中的对局结束，基于观众外观数据对应观众账户的资源消耗量，以及支持阵营队伍的对局结果，从目标场景中确定目标观众模型；控制目标观众模型显示在目标场景的指定场景区域。
上述装置还包括标识显示模块，用于：获取观众外观数据对应观众账户的账户标识，将账户标识与虚拟观众模型关联显示。
上述场景数据包括：目标场景中摄像机采集的目标场景的场景视频画面；上述视频生成模块，还用于：将控制参数控制下的虚拟观众模型，渲染至目标场景的场景视频画面中，生成视频数据。
上述装置还包括数据发送模块，用于：确定视频数据所属的直播间，以及访问直播间的观众账户；将视频数据发送至访问直播间的观众账户对应的终端设备。
本实施例还提供一种电子设备，包括处理器和存储器，存储器存储有能够被处理器执行的计算机可执行指令，处理器执行计算机可执行指令以实现上述视频数据的生成方法。该电子设备可以是服务器，也可以是终端设备。
参见图7所示，该电子设备包括处理器100和存储器101，该存储器101存储有能够被处理器100执行的计算机可执行指令，该处理器100执行计算机可执行指令以实现上述视频数据的生成方法。
进一步地，图7所示的电子设备还包括总线102和通信接口103，处理器100、通信接口103和存储器101通过总线102连接。
其中，存储器101可能包含高速随机存取存储器(RAM，Random Access Memory)，也可能还包括非不稳定的存储器(non-volatile memory)，例如至少一个磁盘存储器。通过至少一个通信接口103(可以是有线或者无线)实现该系统网元与至少一个其他网元之间的通信连接，可以使用互联网，广域网，本地网，城域网等。总线102可以是ISA总线、PCI总线或EISA总线等。所述总线可以分为地址总线、数据总线、控制总线等。为便于表示，图7中仅用一个双向箭头表示，但并不表示仅有一根总线或一种类型的总线。
处理器100可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器100中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器100可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(DigitalSignal Processor，简称DSP)、专用集成电路(Application Specific IntegratedCircuit，简称ASIC)、现场可编程门阵列(Field-Programmable Gate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本发明实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器101，处理器100读取存储器101中的信息，结合其硬件完成前述实施例的方法的步骤。
上述电子设备中的处理器，通过执行计算机可执行指令，可以实现上述视频数据的生成方法中的下述操作：
获取观众外观数据，生成与观众外观数据匹配的虚拟观众模型；其中，观众外观数据通过终端设备采集；获取目标场景的场景数据，基于场景数据从目标场景中确定观众位置；控制虚拟观众模型显示在观众位置，接收来自终端设备的控制参数，控制虚拟观众模型执行控制参数匹配的模型动作，或者触发控制参数匹配的特效效果；基于场景数据，以及控制参数控制下的虚拟观众模型，生成视频数据。
基于观众外观数据，生成包含虚拟人物的人物图像；其中，虚拟人物与观众外观相匹配；人物图像包括：多个视角下的虚拟人物；将人物图像转换成三维模型数据，得到虚拟观众模型。
将图像数据输入至特征提取模型中，输出观众外观的外观特征数据；生成与外观特征数据指示的外观特征相匹配的虚拟人物，得到虚拟人物的人物图像。
将虚拟观众模型划分为多个模型部位；接收针对多个模型部位中第一部位的编辑指令，基于编辑指令更新第一部位的部位外观。
基于场景数据从目标场景中获取多个观众区域；获取观众外观数据对应观众账户的观众阵营，从多个观众区域中确定观众阵营匹配的目标区域；从目标区域中确定观众位置。
上述控制参数包括：终端设备采集的动作控制数据；动作控制数据包括：面部动作控制数据和/或肢体动作控制数据；从虚拟观众模型中确定关键位置点；基于动作控制数据控制关键位置点的位置发生变化，以控制虚拟观众模型执行动作控制数据匹配的模型动作。
上述控制参数包括：通过终端设备触发的指定触发事件的事件参数；确定指定触发事件对应的第一特效效果，在目标场景中显示第一特效效果；其中，第一特效效果与虚拟观众模型关联显示；和/或，确定指定触发事件对应的第一模型动作，控制虚拟观众模型执行第一模型动作。
上述指定触发事件包括：指定礼物被送出，或者指定动作控件被触发。
上述控制参数包括：通过终端设备发送的信息数据；在目标场景中显示信息数据；其中，信息数据与虚拟观众模型关联显示。
上述控制参数包括：通过终端设备发送的语音数据；控制虚拟观众模型播放语音数据，或者，识别语音数据的语音内容，控制虚拟观众模型执行语音内容对应的模型动作。
上述确定目标场景中触发指定场景事件；确定指定场景事件对应的指定模型动作，控制虚拟观众模型执行指定模型动作；和/或，确定指定场景事件对应的指定特效效果，在目标场景中显示指定特效效果。
上述指定场景事件包括：观众外观数据对应观众账户的支持阵营队伍出现在目标场景、执行指定的对局动作、或者获得当前对局的胜利。
统计观众外观数据对应观众账户的资源消耗量；基于资源消耗量，控制虚拟观众模型在目标场景中的显示状态。
资源消耗量越大，虚拟观众模型的模型尺寸越大；和/或，资源消耗量越大，虚拟观众模型中所在的观众位置对应的优先级越高；其中，观众位置按照优先级进行先后排序。
响应于目标场景中的对局结束，基于观众外观数据对应观众账户的资源消耗量，以及支持阵营队伍的对局结果，从目标场景中确定目标观众模型；控制目标观众模型显示在目标场景的指定场景区域。
获取观众外观数据对应观众账户的账户标识，将账户标识与虚拟观众模型关联显示。
上述场景数据包括：目标场景中摄像机采集的目标场景的场景视频画面；将控制参数控制下的虚拟观众模型，渲染至目标场景的场景视频画面中，生成视频数据。
确定视频数据所属的直播间，以及访问直播间的观众账户；将视频数据发送至访问直播间的观众账户对应的终端设备。
上述方式中，通过观众外观数据生成虚拟观众模型，使虚拟观众的外观与真实观众相匹配；虚拟观众的模型动作以及特效效果受到控制参数的控制，该控制参数可以由真实观众通过终端设备生成，使虚拟观众与节目内容或主持人具有较高的配合度和互动性，提高了节目互动效果。
本实施例还提供一种计算机可读存储介质，计算机可读存储介质存储有计算机可执行指令，计算机可执行指令在被处理器调用和执行时，计算机可执行指令促使处理器实现上述视频数据的生成方法。
上述计算机可读存储介质存储中的计算机可执行指令，通过执行该计算机可执行指令，可以实现上述视频数据的生成方法中的下述操作：
获取观众外观数据，生成与观众外观数据匹配的虚拟观众模型；其中，观众外观数据通过终端设备采集；获取目标场景的场景数据，基于场景数据从目标场景中确定观众位置；控制虚拟观众模型显示在观众位置，接收来自终端设备的控制参数，控制虚拟观众模型执行控制参数匹配的模型动作，或者触发控制参数匹配的特效效果；基于场景数据，以及控制参数控制下的虚拟观众模型，生成视频数据。
基于观众外观数据，生成包含虚拟人物的人物图像；其中，虚拟人物与观众外观相匹配；人物图像包括：多个视角下的虚拟人物；将人物图像转换成三维模型数据，得到虚拟观众模型。
将图像数据输入至特征提取模型中，输出观众外观的外观特征数据；生成与外观特征数据指示的外观特征相匹配的虚拟人物，得到虚拟人物的人物图像。
将虚拟观众模型划分为多个模型部位；接收针对多个模型部位中第一部位的编辑指令，基于编辑指令更新第一部位的部位外观。
基于场景数据从目标场景中获取多个观众区域；获取观众外观数据对应观众账户的观众阵营，从多个观众区域中确定观众阵营匹配的目标区域；从目标区域中确定观众位置。
上述控制参数包括：终端设备采集的动作控制数据；动作控制数据包括：面部动作控制数据和/或肢体动作控制数据；从虚拟观众模型中确定关键位置点；基于动作控制数据控制关键位置点的位置发生变化，以控制虚拟观众模型执行动作控制数据匹配的模型动作。
上述控制参数包括：通过终端设备触发的指定触发事件的事件参数；确定指定触发事件对应的第一特效效果，在目标场景中显示第一特效效果；其中，第一特效效果与虚拟观众模型关联显示；和/或，确定指定触发事件对应的第一模型动作，控制虚拟观众模型执行第一模型动作。
上述指定触发事件包括：指定礼物被送出，或者指定动作控件被触发。
上述控制参数包括：通过终端设备发送的信息数据；在目标场景中显示信息数据；其中，信息数据与虚拟观众模型关联显示。
上述控制参数包括：通过终端设备发送的语音数据；控制虚拟观众模型播放语音数据，或者，识别语音数据的语音内容，控制虚拟观众模型执行语音内容对应的模型动作。
上述确定目标场景中触发指定场景事件；确定指定场景事件对应的指定模型动作，控制虚拟观众模型执行指定模型动作；和/或，确定指定场景事件对应的指定特效效果，在目标场景中显示指定特效效果。
上述指定场景事件包括：观众外观数据对应观众账户的支持阵营队伍出现在目标场景、执行指定的对局动作、或者获得当前对局的胜利。
统计观众外观数据对应观众账户的资源消耗量；基于资源消耗量，控制虚拟观众模型在目标场景中的显示状态。
资源消耗量越大，虚拟观众模型的模型尺寸越大；和/或，资源消耗量越大，虚拟观众模型中所在的观众位置对应的优先级越高；其中，观众位置按照优先级进行先后排序。
响应于目标场景中的对局结束，基于观众外观数据对应观众账户的资源消耗量，以及支持阵营队伍的对局结果，从目标场景中确定目标观众模型；控制目标观众模型显示在目标场景的指定场景区域。
获取观众外观数据对应观众账户的账户标识，将账户标识与虚拟观众模型关联显示。
上述场景数据包括：目标场景中摄像机采集的目标场景的场景视频画面；将控制参数控制下的虚拟观众模型，渲染至目标场景的场景视频画面中，生成视频数据。
确定视频数据所属的直播间，以及访问直播间的观众账户；将视频数据发送至访问直播间的观众账户对应的终端设备。
上述方式中，通过观众外观数据生成虚拟观众模型，使虚拟观众的外观与真实观众相匹配；虚拟观众的模型动作以及特效效果受到控制参数的控制，该控制参数可以由真实观众通过终端设备生成，使虚拟观众与节目内容或主持人具有较高的配合度和互动性，提高了节目互动效果。
本发明实施例所提供的视频数据的生成方法、装置和电子设备的计算机程序产品，包括存储了程序代码的计算机可读存储介质，所述程序代码包括的指令可用于执行前面方法实施例中所述的方法，具体实现可参见方法实施例，在此不再赘述。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统和装置的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
另外，在本发明实施例的描述中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
在本发明的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。
最后应说明的是：以上实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。
Claims (21)
1.一种视频数据的生成方法，其特征在于，所述方法包括：
获取观众外观数据，生成与所述观众外观数据匹配的虚拟观众模型；其中，所述观众外观数据通过终端设备采集；
获取目标场景的场景数据，基于所述场景数据从所述目标场景中确定观众位置；
控制所述虚拟观众模型显示在所述观众位置，接收来自所述终端设备的控制参数，控制所述虚拟观众模型执行所述控制参数匹配的模型动作，或者触发所述控制参数匹配的特效效果；
基于所述场景数据，以及所述控制参数控制下的所述虚拟观众模型，生成视频数据。
2.根据权利要求1所述的方法，其特征在于，所述观众外观数据包括：包含观众外观的图像数据；所述生成与所述观众外观数据匹配的虚拟观众模型的步骤，包括：
基于所述观众外观数据，生成包含虚拟人物的人物图像；其中，所述虚拟人物与所述观众外观相匹配；所述人物图像包括：多个视角下的所述虚拟人物；
将所述人物图像转换成三维模型数据，得到虚拟观众模型。
3.根据权利要求2所述的方法，其特征在于，基于所述观众外观数据，生成包含虚拟人物的人物图像的步骤，包括：
将所述图像数据输入至特征提取模型中，输出所述观众外观的外观特征数据；
生成与所述外观特征数据指示的外观特征相匹配的虚拟人物，得到所述虚拟人物的人物图像。
4.根据权利要求1所述的方法，其特征在于，生成与所述观众外观数据匹配的虚拟观众模型的步骤之后，所述方法还包括：
将所述虚拟观众模型划分为多个模型部位；
接收针对所述多个模型部位中第一部位的编辑指令，基于所述编辑指令更新所述第一部位的部位外观。
5.根据权利要求1所述的方法，其特征在于，基于所述场景数据从所述目标场景中确定观众位置的步骤，包括：
基于所述场景数据从所述目标场景中获取多个观众区域；
获取所述观众外观数据对应观众账户的观众阵营，从多个观众区域中确定所述观众阵营匹配的目标区域；从所述目标区域中确定观众位置。
6.根据权利要求1所述的方法，其特征在于，所述控制参数包括：所述终端设备采集的动作控制数据；所述动作控制数据包括：面部动作控制数据和/或肢体动作控制数据；
所述控制所述虚拟观众模型执行所述控制参数匹配的模型动作的步骤，包括：从所述虚拟观众模型中确定关键位置点；
基于所述动作控制数据控制所述关键位置点的位置发生变化，以控制所述虚拟观众模型执行所述动作控制数据匹配的模型动作。
7.根据权利要求1所述的方法，其特征在于，所述控制参数包括：通过所述终端设备触发的指定触发事件的事件参数；所述方法还包括：
确定所述指定触发事件对应的第一特效效果，在所述目标场景中显示所述第一特效效果；其中，所述第一特效效果与所述虚拟观众模型关联显示；
和/或，确定所述指定触发事件对应的第一模型动作，控制所述虚拟观众模型执行所述第一模型动作。
8.根据权利要求7所述的方法，其特征在于，所述指定触发事件包括：指定礼物被送出，或者指定动作控件被触发。
9.根据权利要求1所述的方法，其特征在于，所述控制参数包括：通过所述终端设备发送的信息数据；所述方法还包括：在所述目标场景中显示所述信息数据；其中，所述信息数据与所述虚拟观众模型关联显示。
10.根据权利要求1所述的方法，其特征在于，所述控制参数包括：通过所述终端设备发送的语音数据；所述方法还包括：
控制所述虚拟观众模型播放所述语音数据，或者，识别所述语音数据的语音内容，控制所述虚拟观众模型执行所述语音内容对应的模型动作。
11.根据权利要求1所述的方法，其特征在于，所述方法还包括：
确定所述目标场景中触发指定场景事件；
确定所述指定场景事件对应的指定模型动作，控制所述虚拟观众模型执行所述指定模型动作；和/或，确定所述指定场景事件对应的指定特效效果，在所述目标场景中显示所述指定特效效果。
12.根据权利要求11所述的方法，其特征在于，所述指定场景事件包括：所述观众外观数据对应观众账户的支持阵营队伍出现在所述目标场景、执行指定的对局动作、或者获得当前对局的胜利。
13.根据权利要求1所述的方法，其特征在于，所述方法还包括：
统计所述观众外观数据对应观众账户的资源消耗量；
基于所述资源消耗量，控制所述虚拟观众模型在所述目标场景中的显示状态。
14.根据权利要求13所述的方法，其特征在于，
所述资源消耗量越大，所述虚拟观众模型的模型尺寸越大；
和/或，所述资源消耗量越大，所述虚拟观众模型中所在的观众位置对应的优先级越高；其中，所述观众位置按照所述优先级进行先后排序。
15.根据权利要求1所述的方法，其特征在于，所述方法还包括：
响应于所述目标场景中的对局结束，基于所述观众外观数据对应观众账户的资源消耗量，以及支持阵营队伍的对局结果，从所述目标场景中确定目标观众模型；
控制所述目标观众模型显示在所述目标场景的指定场景区域。
16.根据权利要求1所述的方法，其特征在于，控制所述虚拟观众模型显示在所述观众位置的步骤之后，所述方法还包括：
获取所述观众外观数据对应观众账户的账户标识，将所述账户标识与所述虚拟观众模型关联显示。
17.根据权利要求1所述的方法，其特征在于，所述场景数据包括：所述目标场景中摄像机采集的所述目标场景的场景视频画面；
基于所述场景数据，以及所述控制参数控制下的所述虚拟观众模型，生成视频数据的步骤，包括：
将所述控制参数控制下的所述虚拟观众模型，渲染至所述目标场景的场景视频画面中，生成视频数据。
18.根据权利要求1所述的方法，其特征在于，基于所述场景数据，以及所述控制参数控制下的所述虚拟观众模型，生成视频数据的步骤之后，所述方法还包括：
确定所述视频数据所属的直播间，以及访问所述直播间的观众账户；
将所述视频数据发送至访问所述直播间的观众账户对应的终端设备。
19.一种视频数据的生成装置，其特征在于，所述装置包括：
模型生成模块，用于获取观众外观数据，生成与所述观众外观数据匹配的虚拟观众模型；其中，所述观众外观数据通过终端设备采集；
位置确定模块，用于获取目标场景的场景数据，基于所述场景数据从所述目标场景中确定观众位置；
模型控制模块，用于控制所述虚拟观众模型显示在所述观众位置，接收来自所述终端设备的控制参数，控制所述虚拟观众模型执行所述控制参数匹配的模型动作，或者触发所述控制参数匹配的特效效果；
视频生成模块，用于基于所述场景数据，以及所述控制参数控制下的所述虚拟观众模型，生成视频数据。
20.一种电子设备，其特征在于，包括处理器和存储器，所述存储器存储有能够被所述处理器执行的计算机可执行指令，所述处理器执行所述计算机可执行指令以实现权利要求1-18任一项所述的视频数据的生成方法。
21.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令在被处理器调用和执行时，所述计算机可执行指令促使所述处理器实现权利要求1-18任一项所述的视频数据的生成方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311442840.9A CN117692724A (zh) | 2023-11-01 | 2023-11-01 | 视频数据的生成方法、装置和电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311442840.9A CN117692724A (zh) | 2023-11-01 | 2023-11-01 | 视频数据的生成方法、装置和电子设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117692724A true CN117692724A (zh) | 2024-03-12 |
Family
ID=90136036
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311442840.9A Pending CN117692724A (zh) | 2023-11-01 | 2023-11-01 | 视频数据的生成方法、装置和电子设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117692724A (zh) |
-
2023
- 2023-11-01 CN CN202311442840.9A patent/CN117692724A/zh active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11478709B2 (en) | Augmenting virtual reality video games with friend avatars | |
| US8047915B2 (en) | Character for computer game and method | |
| CN108986192B (zh) | 用于直播的数据处理方法及装置 | |
| WO2020138107A1 (ja) | 配信ユーザの動きに基づいて生成されるキャラクタオブジェクトのアニメーションを含む動画をライブ配信する動画配信システム、動画配信方法及び動画配信プログラム | |
| CN113905251A (zh) | 虚拟对象控制方法、装置、电子设备及可读存储介质 | |
| WO2013120851A1 (en) | Method for sharing emotions through the creation of three-dimensional avatars and their interaction through a cloud-based platform | |
| JP2011512054A (ja) | 模倣した演技をシーンに挿入し、同一性の評価を付与するスキーム | |
| CN111862348B (zh) | 视频显示方法、视频生成方法、装置、设备及存储介质 | |
| CN111530088B (zh) | 一种生成游戏角色的实时表情图片的方法和装置 | |
| CN114900678B (zh) | 一种vr端端云结合的虚拟演唱会渲染方法及系统 | |
| KR20110110379A (ko) | 카메라를 이용한 카드 게임 시스템 | |
| CN113453034A (zh) | 数据展示方法、装置、电子设备以及计算机可读存储介质 | |
| CN114095744A (zh) | 视频直播方法、装置、电子设备及可读存储介质 | |
| CN111768478A (zh) | 一种图像合成方法、装置、存储介质和电子设备 | |
| CN113784160A (zh) | 视频数据生成方法、装置、电子设备及可读存储介质 | |
| CN111530086A (zh) | 一种生成游戏角色的表情的方法和装置 | |
| JP2023041670A (ja) | 動画配信システム、プログラム、及び情報処理方法 | |
| JP7323751B2 (ja) | ゲームシステム及びプログラム | |
| CN115442658B (zh) | 直播方法、装置、存储介质、电子设备及产品 | |
| CN117692724A (zh) | 视频数据的生成方法、装置和电子设备 | |
| CN110446091A (zh) | 一种虚拟观众显示方法、系统、装置和存储介质 | |
| KR102169804B1 (ko) | 스크린 샷을 이용한 캐릭터의 설정정보 처리장치 및 방법 | |
| CN113643417A (zh) | 图像调整方法、装置、电子设备及存储介质 | |
| JP6754859B1 (ja) | プログラム、方法、およびコンピュータ | |
| CN113763568A (zh) | 增强现实的显示处理方法、装置、设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |