CN114630173A - 虚拟对象的驱动方法、装置、电子设备及可读存储介质 - Google Patents

虚拟对象的驱动方法、装置、电子设备及可读存储介质 Download PDF

Info

Publication number
CN114630173A
CN114630173A CN202210211134.2A CN202210211134A CN114630173A CN 114630173 A CN114630173 A CN 114630173A CN 202210211134 A CN202210211134 A CN 202210211134A CN 114630173 A CN114630173 A CN 114630173A
Authority
CN
China
Prior art keywords
virtual object
target
data
trigger event
control information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210211134.2A
Other languages
English (en)
Inventor
翟昊
顾佳祺
刘炜铖
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Zitiao Network Technology Co Ltd
Original Assignee
Beijing Zitiao Network Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Zitiao Network Technology Co Ltd filed Critical Beijing Zitiao Network Technology Co Ltd
Priority to CN202210211134.2A priority Critical patent/CN114630173A/zh
Publication of CN114630173A publication Critical patent/CN114630173A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H04N21/44016—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving splicing one content stream with another content stream, e.g. for substituting a video clip
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/8146—Monomedia components thereof involving graphical data, e.g. 3D object, 2D graphics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video

Abstract

本公开提供了一种虚拟对象的驱动方法、装置、电子设备及存储介质，该虚拟对象的驱动方法包括：获取虚拟对象的第一控制信息，第一控制信息用于驱动虚拟对象做出第一相应动作；虚拟对象由3D场景信息中包含的虚拟对象信息经渲染后生成，3D场景信息用于渲染后生成3D场景；在检测到第一触发事件的情况下，确定虚拟对象的目标部位，目标部位与触发事件匹配；将目标部位所对应的原始骨骼数据替换为目标骨骼数据；获取目标部位的第二控制信息，驱动目标骨骼数据执行目标动作；基于3D场景信息，生成视频数据。本申请实施例，可以在提升演员的演出体验的同时，使虚拟对象达到预期的驱动效果。

Description

虚拟对象的驱动方法、装置、电子设备及可读存储介质
技术领域
本公开涉及虚拟对象驱动技术领域，具体而言，涉及一种虚拟对象的驱动方法、虚拟对象的驱动装置、电子设备和计算机可读存储介质。
背景技术
相关技术中，虚拟直播的主要方法包括：通过动作捕捉设备获取关于演员(中之人)的动作表情数据的控制信号，并驱动虚拟对象动作。
然而，在一些特殊场景下，比如，需要虚拟对象需要由平脚状态变成踮脚状态的场景，此时，需要演员穿戴相应的道具(如高跟鞋)才能实现相应的效果，若演员需要长时间穿戴相应的道具，将使得演员疲惫，此外，穿戴道具的过程也比较繁琐，进而影响演员的演出体验。
发明内容
本公开实施例至少提供一种虚拟对象的驱动方法、装置、电子设备及存储介质。
本公开实施例提供了一种虚拟对象的驱动方法，包括：
获取虚拟对象的第一控制信息，所述第一控制信息用于驱动所述虚拟对象做出第一相应动作；所述虚拟对象由3D场景信息中包含的虚拟对象信息经渲染后生成，所述3D场景信息用于渲染后生成3D场景；
在检测到第一触发事件的情况下，将所述虚拟对象的目标部位所对应的原始骨骼数据替换为目标骨骼数据；其中，所述目标部位与所述触发事件匹配；
获取所述目标部位的第二控制信息，驱动所述目标骨骼数据执行目标动作；
基于所述3D场景信息，生成视频数据。
本公开实施例中，在检测到第一触发事件的情况下，将所述虚拟对象的目标部位所对应的原始骨骼数据替换为目标骨骼数据，且所述目标部位与所述触发事件匹配，如此，可以在特殊场景下，实现相应的效果，避免的演员长时间保持一个姿势或者长时间穿戴相应的道具，进而提升了演员的演出体验。此外，在所述目标部位切换成目标骨骼数据后，还可以接受第二控制信息的控制，也即，还可以受控于演员，如此，可以提升目标部位的驱动展示效果，进而可以提升用户的观赏体验。
在一种可能的实施方式中，所述第一触发事件由用户触发产生。
本公开实施例中，所述第一触发事件由用户触发产生，使得用户可以根据实际的情况而确定对哪个目标部位的骨骼进行替换，以及在什么时间对目标部位的骨骼数据进行替换，如此，可以提升该方法的适用性以及灵活性。
在一种可能的实施方式中，在所述第一控制信息和/或所述第一相应动作符合预设条件的情况下，确定检测到所述第一触发事件。
本公开实施例中，在所述第一控制信息和/或所述第一相应动作符合预设条件的情况下，确定检测到所述第一触发事件，也即，可以在一些情况下自动触发对目标部位的骨骼数据进行替换，如此，可以提升触发的效率。
在一种可能的实施方式中，所述目标部位与所述第一相应动作对应的部位匹配。
本公开实施例中，由于目标部位与第一相应动作匹配，如此，可以在做出相应动作的过程中，实现各个数据的替换，提升了骨骼切换的流畅性。
在一种可能的实施方式中，所述目标部位为脚部，所述将所述目标部位所对应的原始骨骼数据替换为目标骨骼数据，包括：
将所述脚部所对应的平脚骨骼数据替换为踮脚骨骼数据。
本公开实施例中，由于将所述脚部所对应的平脚骨骼数据替换为踮脚骨骼数据，如此，可以避免演员通过穿高跟鞋来实现踮脚的效果，降低了演员在演出过程中的疲惫感，进一步提升了演员的演出体验。
在一种可能的实施方式中，所述方法还包括：
在检测到第二触发事件的情况下，将所述目标骨骼数据替换为所述原始骨骼数据，所述第二触发事件与所述第一触发事件不同。
本公开实施例中，在检测到第二触发事件的情况下，将所述目标骨骼数据替换为所述原始骨骼数据，如此，实现了骨骼数据的复原，实现了目标骨骼数据和原始骨骼数据之间的自由切换，提升了方法的适用性。
在一种可能的实施方式中，所述基于所述3D场景信息，生成视频数据之后，所述方法还包括：
获取音频数据，并将所述视频数据与所述音频数据融合生成直播视频流；
将所述直播视频流发送至目标平台，使得所述目标平台基于所述直播视频流进行视频直播。
本公开实施例中，在生成视频数据之后，还将视频数据和音频数据融合，生成直播视频流，如此，可以使更多的用户同时观看该视频数据，提升了视频数据的展示广度。
本公开实施例提供了一种虚拟对象的驱动装置，包括：
控制信息获取模块，用于获取虚拟对象的第一控制信息，所述第一控制信息用于驱动所述虚拟对象做出第一相应动作；所述虚拟对象由3D场景信息中包含的虚拟对象信息经渲染后生成，所述3D场景信息用于渲染后生成3D场景；
骨骼数据替换模块，用于在检测到第一触发事件的情况下，将所述虚拟对象的目标部位所对应的原始骨骼数据替换为目标骨骼数据；其中，所述目标部位与所述触发事件匹配；
虚拟对象驱动模块，用于获取所述目标部位的第二控制信息，驱动所述目标骨骼数据执行目标动作；
视频数据生成模块，用于基于所述3D场景信息，生成视频数据。
在一种可能的实施方式中，所述第一触发事件由用户触发产生。
在一种可能的实施方式中，在所述第一控制信息和/或所述第一相应动作符合预设条件的情况下，确定检测到所述第一触发事件。
在一种可能的实施方式中，所述目标部位与所述第一相应动作对应的部位匹配。
在一种可能的实施方式中，所述目标部位为脚部，所述骨骼数据替换模块具体用于：
将所述脚部所对应的平脚骨骼数据替换为踮脚骨骼数据。
在一种可能的实施方式中，所述骨骼数据替换模块还用于：
在检测到第二触发事件的情况下，将所述目标骨骼数据替换为所述原始骨骼数据，所述第二触发事件与所述第一触发事件不同。
在一种可能的实施方式中，所述装置还包括音视频数据融合模块，所述音视频数据融合模块用于：
获取音频数据，并将所述视频数据与所述音频数据融合生成直播视频流；
将所述直播视频流发送至目标平台，使得所述目标平台基于所述直播视频流进行视频直播。
本公开实施例提供了一种电子设备，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当所述电子设备运行时，所述处理器与所述存储器之间通过所述总线通信，所述机器可读指令被所述处理器执行时执行如上任一可能的实施方式中所述的虚拟对象的驱动方法。
本公开实施例提供了一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行上述任一可能的实施方式中所述的虚拟对象的驱动方法。
为使本公开的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
为了更清楚地说明本公开实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，此处的附图被并入说明书中并构成本说明书中的一部分，这些附图示出了符合本公开的实施例，并与说明书一起用于说明本公开的技术方案。应当理解，以下附图仅示出了本公开的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1示出了本公开实施例所提供的一种虚拟对象的驱动方法的流程图；
图2示出了本公开实施例所提供的另一种虚拟对象的驱动方法的流程图；
图3示出了本公开实施例所提供的一种虚拟对象的驱动装置的结构示意图；
图4示出了本公开实施例所提供的另一种虚拟对象的驱动装置的结构示意图；
图5示出了本公开实施例所提供的一种电子设备的结构示意图。
具体实施方式
为使本公开实施例的目的、技术方案和优点更加清楚，下面将结合本公开实施例中附图，对本公开实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本公开一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本公开实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本公开的实施例的详细描述并非旨在限制要求保护的本公开的范围，而是仅仅表示本公开的选定实施例。基于本公开的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本公开保护的范围。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
本文中术语“和/或”，仅仅是描述一种关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中术语“至少一种”表示多种中的任意一种或多种中的至少两种的任意组合，例如，包括A、B、C中的至少一种，可以表示包括从A、B和C构成的集合中选择的任意一个或多个元素。
相关技术中，虚拟直播的主要方法包括：通过动作捕捉设备获取关于演员(中之人)的动作表情数据的控制信号，并驱动虚拟对象动作。
然而，在一些特殊场景下，比如，需要虚拟对象需要由平脚状态变成踮脚状态的场景，此时，需要演员穿戴相应的道具(如高跟鞋)才能实现相应的效果，若演员需要长时间穿戴相应的道具，将使得演员疲惫，此外，穿戴道具的过程也比较繁琐，进而影响演员的演出体验。
本公开提供了一种虚拟对象的驱动方法，包括：获取虚拟对象的第一控制信息，所述第一控制信息用于驱动所述虚拟对象做出第一相应动作；所述虚拟对象由3D场景信息中包含的虚拟对象信息经渲染后生成，所述3D场景信息用于渲染后生成3D场景；在检测到第一触发事件的情况下，将所述虚拟对象的目标部位所对应的原始骨骼数据替换为目标骨骼数据；其中，所述目标部位与所述触发事件匹配；获取所述目标部位的第二控制信息，驱动所述目标骨骼数据执行目标动作；基于所述3D场景信息，生成视频数据。
本公开实施例中，在检测到第一触发事件的情况下，将所述虚拟对象的目标部位所对应的原始骨骼数据替换为目标骨骼数据，如此，可以在特殊场景下，实现相应的效果，避免的演员长时间保持一个姿势或者长时间穿戴相应的道具，进而提升了演员的演出体验。此外，在所述目标部位切换成目标骨骼数据后，还可以接受第二控制信息的控制，也即，还可以受控于演员，如此，可以提升目标部位的驱动展示效果，进而可以提升用户的观赏体验。
本公开实施例所提供的虚拟对象的驱动方法的执行主体一般为具有一定计算能力的电子设备，该电子设备可以是终端设备、服务器或者其他处理设备。其中，终端设备可以是智能手机、台式计算机、笔记本电脑等，还可以是车载设备及可穿戴设备等。在一些可能的实施方式中，该终端设备还可以包括AR(Augmented Reality，增强现实)设备、VR(Virtual Reality，虚拟现实)设备、MR(Mixed Reality，混合现实)设备等。比如，AR设备可以是具有AR功能的手机或平板电脑，也可以是AR眼镜，在此不做限定。
该服务器可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云存储、大数据和人工智能平台等基础云计算服务的云服务器。本公开实施例中，该服务器可以为游戏平台的服务器。此外，该虚拟对象的驱动方法可以通过处理器调用存储器中存储的计算机可读指令的方式来实现。
参见图1所示，为本公开实施例提供的一种虚拟对象的驱动方法的流程图，该虚拟对象的驱动方法包括以下S101～S104：
S101，获取虚拟对象的第一控制信息，所述第一控制信息用于驱动所述虚拟对象做出第一相应动作；所述虚拟对象由3D场景信息中包含的虚拟对象信息经渲染后生成，所述3D场景信息用于渲染后生成3D场景。
其中，3D场景信息可以运行于计算机CPU(Central Processing Uni，中央处理器)、GPU(Graphics Processing Unit，图形处理器)以及存储器中，其包含网格化的模型信息以及和贴图纹理信息。相应地，作为示例，虚拟对象信息包含但不限于网格化的模型数据、体素数据及贴图纹理数据或者其组合。其中，网格包括但不限于三角形网格、四边形网格、其他多边形网格或者其组合。本公开实施例中，网格为三角形网格。
在一些实施方式中，3D场景信息在3D渲染环境下进行渲染，可以生成3D场景。3D渲染环境可以是运行于电子设备中的3D引擎，能够基于待渲染数据生成基于一个或者多个视角的影像信息。虚拟对象信息是存在于3D引擎中的角色模型，能够在渲染后生成相应的虚拟对象。本公开实施例中，虚拟对象可以包括虚拟主播或者数字人。其中，虚拟主播的形象可以是动漫形象也可以是卡通形象。
在一些实施方式中，可以通过动作捕捉设备捕捉获取演员的控制信号。其中，动作捕捉设备包括穿在演员身体上的肢体动作捕捉设备(如衣服)、戴在演员手上的手部动作捕捉设备(如手套)、面部动作捕捉设备(如摄像头)以及声音捕捉设备(比如麦克风、喉麦等)中至少一种。
具体地，可以在演员的衣服以及手套上设置多个光学标记点，该光学标记点可以由反光材料制成，然后通过摄像装置获取该多个光学标记点的位置信息，进而可以获取虚拟对象的控制信息。另外，还可以在动作捕捉设备上设置多个传感器，通过该传感器可以获取演员的位置信息以及移动速度及方向信息，进而获取虚拟对象的控制信息。
因此，本公开实施例中的第一控制信息以及第二控制信息均是由演员产生，并通过动作捕捉设备捕捉获取得到。例如，可以实时采集演员的动作数据(肢体动作和/或面部动作)以及声音数据，进而获取第一控制信息。具体地，可以通过摄像头来捕捉演员的面部表情信息以及身体动作信息，在获取到第一控制信息之后，即可基于该第一控制信息驱动虚拟对象做出第一相应动作。
其中，第一相应动作是指虚拟对象做出的动作与第一控制信息一致或者相符合。比如，若获取到演员挥手的第一控制信息，则驱动虚拟对象做出挥手的第一相应动作；若获取到演员蹲下的第一控制信息，则驱动虚拟对象做出蹲下的第一相应动作；若获取到演员嘴部动作变化的第一控制信息，则驱动虚拟形象嘴部做出相应的动作变化，比如由张嘴到闭嘴的动作变化。
在一些实施方式中，该第一控制信息和第二控制信息还可以通过麦克风来采集演员的声音信息，通过识别所采集的声音信息的内容来驱动虚拟对象做出相应的动作，比如，若演员的声音信息的内容为“请进入特定模式”，此时，则控制虚拟对象进入特定模式，其中，该特定模式可以根据实际需求而预先设定。比如，该特定模式为控制虚拟对象长期处于某个动作(如半蹲动作)的模式，此时，该虚拟对象可以向机器人一样的动作，并不受控于演员。也即，本实施方式中，第一控制信息和第二控制信息可以是语音形式的指令信息。
S102，在检测到第一触发事件的情况下，将所述虚拟对象的目标部位所对应的原始骨骼数据替换为目标骨骼数据；其中，所述目标部位与所述触发事件匹配。
示例性地，在检测到第一触发事件的情况下，将所述虚拟对象的目标部位所对应的原始骨骼数据替换为目标骨骼数据，如此，则可以通过替换骨骼数据来实现虚拟对象姿态改变的效果。
在一些实施方式中，所述第一触发事件由用户触发产生。示例性地，用户可以是导播，其中，导播是指在虚拟对象驱动过程中，可以根据虚拟对象以及虚拟对象所处场景的变化通过电子设备来对虚拟对象下发控制指令的人员。
具体地，如前述可知，3D渲染环境可以是运行于电子设备中的3D引擎，能够基于待渲染数据生成基于一个或者多个视角的影像信息，因此，在电子设备运行3D渲染环境的过程中，导播可以通过电子设备输入特定的触发指令，进而产生第一触发事件。例如，电子设备的A键对应替换手部骨骼数据，电子设备的B键对应替换脚部的骨骼数据，在A键被触发的情况下，即可产生相应的第一触发事件，此时，则将虚拟对象的手部的原始骨骼数据替换为目标骨骼数据。
需要说明的是，电子设备的A键或者B键可以是实体按键，也可以是虚拟按键，在此不做限定。另外，电子设备还可以采集用户(导播)的语音信息，通过对语音信息的识别，来产生第一触发事件。比如，若导播说出“请替换双脚的骨骼数据”，此时，则确定检测到第一触发事件。此外，本实施方式中的第一触发事件还可以由遥控器等具有控制功能的设备产生。
本公开实施例中，所述第一触发事件由用户触发产生，使得用户可以根据实际的情况而确定对哪个目标部位的骨骼进行替换，以及在什么时间对目标部位的骨骼数据进行替换，如此，可以提升该方法的适用性以及灵活性。
在一些实施方式中，还可以在所述第一控制信息和/或所述第一相应动作符合预设条件的情况下，确定检测到所述第一触发事件，如此，可以在对虚拟对象驱动的过程中自动触发对目标部位的骨骼数据进行替换，提升了事件触发的效率。
例如，若第一相应动作为虚拟对象踮脚的动作，则可以确定检测到第一触发事件，将虚拟对象的脚部的原始骨骼数据替换为目标骨骼数据。又例如，若第一控制信息指示演员脱鞋的动作，则符合预设条件，确定检测到第一触发事件，将虚拟对象的脚部的原始骨骼数据替换为目标骨骼数据，具体地，可以将虚拟对象脚部所对应的平脚骨骼数据(原始骨骼数据)替换为踮脚骨骼数据(目标骨骼数据)，如此，可以避免演员通过穿高跟鞋来实现踮脚的效果，降低了演员在演出过程中的疲惫感，进一步提升了演员的演出体验。本实施方式中，对踮脚骨骼数据的具体参数不做限定，只要能实现踮脚的效果即可。
其中踮脚骨骼数据是指能够达到提起脚跟用脚尖着地效果的骨骼数据，具体的该骨骼数据的构成并不限定，只要能达到相应的踮脚效果即可。
在另一些实施例中，若第一相应动作为虚拟对象朝向预设方向转头90度的动作或者第一控制信息指示演员戴帽子的动作，则确定检测到第一触发事件，将虚拟对象的头部的原始骨骼数据替换为目标骨骼数据，具体地，可以将虚拟对象“圆脸”的头部骨骼数据替换为“方脸”的头部骨骼数据，如此，可以在虚拟对象的表演过程中，更换虚拟对象的“长相”，提升了观众的观赏体验。
以上通过第一相应动作来确定第一触发事件的示例中，所述目标部位与所述第一相应动作对应的部位匹配，如此，可以在做出相应动作的过程中，实现各个数据的替换，提升了骨骼切换的流畅性。
另外，第一控制信息还可以是语音控制信息，若通过采集演员的语音信息，确定符合预设条件，则确定检测到第一触发事件。比如，在控制信息中包含“替换骨骼”的语音内容的情况下，则确定检测到第一触发事件，将目标部位的骨骼数据进行替换。其中，与前述电子设备采集导播的控制指令不同的是，该实施方式中，是通过动作捕捉设备(喉麦)采集演员的语音控制信息来确定是否检测到第一触发事件。
需要说明的是，目标骨骼数据的类型与第一相应动作或者第一控制信息的对应关系，可以根据实际情况而预先设定，例如，超预设方向转头90度的第一相应动作，对应第一目标骨骼数据，超预设方向转头45度的第一相应动作，对应第一目标骨骼数据，在此不做限定。
S103，获取所述目标部位的第二控制信息，驱动所述目标骨骼数据执行目标动作。
示例性地，第二控制信息与第一控制信息类似，也是由演员产生，只是第一控制信息是替换目标骨骼数据之前采集到的，而第二控制信息是替换目标骨骼数据之后采集到的。在目标部位替换成目标骨骼数据之后，还可以基于获取到的第二控制信息，驱动所述目标骨骼数据执行目标动作。
具体地，以目标部位为脚部为例，目标骨骼数据为踮脚骨骼数据，也即在虚拟对象的脚部替换成踮脚骨骼数据之后，还可以基于获取到的演员的脚部的第二控制信息，驱动虚拟对象的脚部执行目标动作，比如，站立、走路等动作。再以目标部位为头部为例，目标骨骼数据为方脸的骨骼数据，此时，还可以基于获取的演员的面部表情的第二控制信息，控制虚拟对象的脸部执行目标面部表情动作，如张嘴大笑、或者泪流满面的面部动作。
在替换目标骨骼数据之后，还可以在检测到第二触发事件的情况下，将所述目标骨骼数据替换为所述原始骨骼数据，如此，实现了骨骼数据的复原，实现了目标骨骼数据和原始骨骼数据之间的自由切换，提升了方法的适用性。
其中，所述第二触发事件与所述第一触发事件的产生方式相同，在此不再赘述，但第二触发事件的内容与第一触发事件的内容不同。以语音控制信息为例，若第一触发事件为“请替换骨骼”的语音内容，第二触发事件则为“请将替换的骨骼数据复原”的语音内容；若第一触发事件为指示演员脱鞋的动作，则第二触发事件则为指示演员穿鞋的动作，具体可以根据实际情况以及实际需求而设定，在此不做限定。
S104，基于所述3D场景信息，生成视频数据。
示例性地，由于3D渲染环境能够基于待渲染数据生成基于一个或者多个视角的影像信息(也称画面信息)，因此，将不同时刻产生的影像信息按照时间的先后顺序进行衔接融合，即可生成视频数据。
参见图2所示，为本公开实施例提供的另一种虚拟对象的驱动方法的流程图，与图1中的方法不同的是，该方法在步骤S104之后还包括以下S105～S106：
S105，获取音频数据，并将所述视频数据与所述音频数据融合生成直播视频流。
S106，将所述直播视频流发送至目标平台，使得所述目标平台基于所述直播视频流进行视频直播。
其中，直播视频流是进行连续视频直播所需要的数据流。可以理解，视频通常由画面和/或声音等组成的，画面属于视频帧，声音则属于音频帧。将获取的视频数据与音频数据按照时间戳进行融合，即可生成直播视频流。然后将直播视频流发送到目标平台(直播平台)进行视频直播，如此，可以使更多的用户同时观看该视频数据，提升了视频数据的展示广度。
在另一些实施方式中，在得到视频数据后，还可以将视频数据发送至具有立体展示功能的电子设备中进行播放。本实施方式中，所述视频数据包括多路具有特定视觉特征(比如保持特定距离的两个虚拟镜头，其他参数符合预设条件，同步采集)的视频数据。其中，具有立体展示功能的电子设备包括但不限于AR设备、VR设备及MR设备等。
本领域技术人员可以理解，在具体实施方式的上述方法中，各步骤的撰写顺序并不意味着严格的执行顺序而对实施过程构成任何限定，各步骤的具体执行顺序应当以其功能和可能的内在逻辑确定。
基于同一技术构思，本公开实施例中还提供了与虚拟对象的驱动方法对应的虚拟对象的驱动装置，由于本公开实施例中的装置解决问题的原理与本公开实施例上述虚拟对象的驱动方法相似，因此装置的实施可以参见方法的实施，重复之处不再赘述。
参照图3所示，为本公开实施例提供的一种虚拟对象的驱动装置500的示意图，所述装置包括：
控制信息获取模块501，用于获取虚拟对象的第一控制信息，所述第一控制信息用于驱动所述虚拟对象做出第一相应动作；所述虚拟对象由3D场景信息中包含的虚拟对象信息经渲染后生成，所述3D场景信息用于渲染后生成3D场景；
骨骼数据替换模块502，用于在检测到第一触发事件的情况下，将所述虚拟对象的目标部位所对应的原始骨骼数据替换为目标骨骼数据；其中，所述目标部位与所述触发事件匹配；
虚拟对象驱动模块503，用于获取所述目标部位的第二控制信息，驱动所述目标骨骼数据执行目标动作；
视频数据生成模块504，用于基于所述3D场景信息，生成视频数据。
在一种可能的实施方式中，所述第一触发事件由用户触发产生。
在一种可能的实施方式中，在所述第一控制信息和/或所述第一相应动作符合预设条件的情况下，确定检测到所述第一触发事件。
在一种可能的实施方式中，所述目标部位与所述第一相应动作对应的部位匹配。
在一种可能的实施方式中，所述目标部位为脚部，所述骨骼数据替换模块502具体用于：
将所述脚部所对应的平脚骨骼数据替换为踮脚骨骼数据。
在一种可能的实施方式中，所述骨骼数据替换模块502还用于：
在检测到第二触发事件的情况下，将所述目标骨骼数据替换为所述原始骨骼数据，所述第二触发事件与所述第一触发事件不同。
在一种可能的实施方式中，参见图4所示，所述装置还包括音视频数据融合模块505，所述音视频数据融合模块505用于：
获取音频数据，并将所述视频数据与所述音频数据融合生成直播视频流；
将所述直播视频流发送至目标平台，使得所述目标平台基于所述直播视频流进行视频直播。
关于装置中的各模块的处理流程、以及各模块之间的交互流程的描述可以参照上述方法实施例中的相关说明，这里不再详述。
基于同一技术构思，本公开实施例还提供了一种电子设备。参照图5所示，为本公开实施例提供的电子设备700的结构示意图，包括处理器701、存储器702、和总线703。其中，存储器702用于存储执行指令，包括内存7021和外部存储器7022；这里的内存7021也称内存储器，用于暂时存放处理器701中的运算数据，以及与硬盘等外部存储器7022交换的数据，处理器701通过内存7021与外部存储器7022进行数据交换。
本申请实施例中，存储器702具体用于存储执行本申请方案的应用程序代码，并由处理器701来控制执行。也即，当电子设备700运行时，处理器701与存储器702之间通过总线703通信，使得处理器701执行存储器702中存储的应用程序代码，进而执行前述任一实施例中所述的方法。
其中，存储器702可以是，但不限于，随机存取存储器(Random Access Memory，RAM)，只读存储器(Read Only Memory，ROM)，可编程只读存储器(Programmable Read－Only Memory，PROM)，可擦除只读存储器(Erasable Programmable Read－Only Memory，EPROM)，电可擦除只读存储器(Electric Erasable Programmable Read－Only Memory，EEPROM)等。
处理器701可能是一种集成电路芯片，具有信号的处理能力。上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(NetworkProcessor，NP)等；还可以是数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
可以理解的是，本申请实施例示意的结构并不构成对电子设备700的具体限定。在本申请另一些实施例中，电子设备700可以包括比图示更多或更少的部件，或者组合某些部件，或者拆分某些部件，或者不同的部件布置。图示的部件可以以硬件，软件或软件和硬件的组合实现。
本公开实施例还提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行上述方法实施例中的虚拟对象的驱动方法的步骤。其中，该存储介质可以是易失性或非易失的计算机可读取存储介质。
本公开实施例还提供一种计算机程序产品，该计算机程序产品承载有程序代码，所述程序代码包括的指令可用于执行上述方法实施例中的虚拟对象的驱动方法的步骤，具体可参见上述方法实施例，在此不再赘述。
其中，上述计算机程序产品可以具体通过硬件、软件或其结合的方式实现。在一个可选实施例中，所述计算机程序产品具体体现为计算机存储介质，在另一个可选实施例中，计算机程序产品具体体现为软件产品，例如软件开发包(Software Development Kit，SDK)等等。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统和装置的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。在本公开所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本公开各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解，本公开的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本公开各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器、随机存取存储器、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是：以上所述实施例，仅为本公开的具体实施方式，用以说明本公开的技术方案，而非对其限制，本公开的保护范围并不局限于此，尽管参照前述实施例对本公开进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本公开揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本公开实施例技术方案的精神和范围，都应涵盖在本公开的保护范围之内。因此，本公开的保护范围应所述以权利要求的保护范围为准。

Claims (10)

1.一种虚拟对象的驱动方法，其特征在于，包括：
获取虚拟对象的第一控制信息，所述第一控制信息用于驱动所述虚拟对象做出第一相应动作；所述虚拟对象由3D场景信息中包含的虚拟对象信息经渲染后生成，所述3D场景信息用于渲染后生成3D场景；
在检测到第一触发事件的情况下，将所述虚拟对象的目标部位所对应的原始骨骼数据替换为目标骨骼数据；其中，所述目标部位与所述触发事件匹配；
获取所述目标部位的第二控制信息，驱动所述目标骨骼数据执行目标动作；
基于所述3D场景信息，生成视频数据。
2.根据权利要求1所述的方法，其特征在于，所述第一触发事件由用户触发产生。
3.根据权利要求1所述的方法，其特征在于，在所述第一控制信息和/或所述第一相应动作符合预设条件的情况下，确定检测到所述第一触发事件。
4.根据权利要求3所述的方法，其特征在于，所述目标部位与所述第一相应动作对应的部位匹配。
5.根据权利要求4所述的方法，其特征在于，所述目标部位为脚部，所述将所述目标部位所对应的原始骨骼数据替换为目标骨骼数据，包括：
将所述脚部所对应的平脚骨骼数据替换为踮脚骨骼数据。
6.根据权利要求1所述的方法，其特征在于，所述方法还包括：
在检测到第二触发事件的情况下，将所述目标骨骼数据替换为所述原始骨骼数据，所述第二触发事件与所述第一触发事件不同。
7.根据权利要求1-6任一所述的方法，其特征在于，所述基于所述3D场景信息，生成视频数据之后，所述方法还包括：
获取音频数据，并将所述视频数据与所述音频数据融合生成直播视频流；
将所述直播视频流发送至目标平台，使得所述目标平台基于所述直播视频流进行视频直播。
8.一种虚拟对象的驱动装置，其特征在于，包括：
控制信息获取模块，用于获取虚拟对象的第一控制信息，所述第一控制信息用于驱动所述虚拟对象做出第一相应动作；所述虚拟对象由3D场景信息中包含的虚拟对象信息经渲染后生成，所述3D场景信息用于渲染后生成3D场景；
骨骼数据替换模块，用于在检测到第一触发事件的情况下，将所述虚拟对象的目标部位所对应的原始骨骼数据替换为目标骨骼数据；其中，所述目标部位与所述触发事件匹配；
虚拟对象驱动模块，用于获取所述目标部位的第二控制信息，驱动所述目标骨骼数据执行目标动作；
视频数据生成模块，用于基于所述3D场景信息，生成视频数据。
9.一种电子设备，其特征在于，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当所述电子设备运行时，所述处理器与所述存储器之间通过所述总线通信，所述机器可读指令被所述处理器执行时执行如权利要求1-7任一所述的虚拟对象的驱动方法。
10.一种计算机可读存储介质，其特征在于，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行如权利要求1-7任一所述的虚拟对象的驱动方法。
CN202210211134.2A 2022-03-03 2022-03-03 虚拟对象的驱动方法、装置、电子设备及可读存储介质 Pending CN114630173A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210211134.2A CN114630173A (zh) 2022-03-03 2022-03-03 虚拟对象的驱动方法、装置、电子设备及可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210211134.2A CN114630173A (zh) 2022-03-03 2022-03-03 虚拟对象的驱动方法、装置、电子设备及可读存储介质

Publications (1)

Publication Number Publication Date
CN114630173A true CN114630173A (zh) 2022-06-14

Family

ID=81899390

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210211134.2A Pending CN114630173A (zh) 2022-03-03 2022-03-03 虚拟对象的驱动方法、装置、电子设备及可读存储介质

Country Status (1)

Country Link
CN (1) CN114630173A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115471618A (zh) * 2022-10-27 2022-12-13 科大讯飞股份有限公司 重定向方法、装置、电子设备和存储介质
WO2024007648A1 (zh) * 2022-07-08 2024-01-11 华为云计算技术有限公司 一种数字人驱动方法、系统及设备

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110557625A (zh) * 2019-09-17 2019-12-10 北京达佳互联信息技术有限公司 虚拟形象直播方法、终端、计算机设备及存储介质
CN111026277A (zh) * 2019-12-26 2020-04-17 深圳市商汤科技有限公司 一种交互控制方法及装置、电子设备和存储介质
CN111080759A (zh) * 2019-12-03 2020-04-28 深圳市商汤科技有限公司 一种分镜效果的实现方法、装置及相关产品
CN112135158A (zh) * 2020-09-17 2020-12-25 重庆虚拟实境科技有限公司 基于混合现实的直播方法及相关设备
CN113313797A (zh) * 2021-06-22 2021-08-27 广州虎牙科技有限公司 虚拟形象驱动方法、装置、电子设备和可读存储介质
CN113784160A (zh) * 2021-09-09 2021-12-10 北京字跳网络技术有限公司 视频数据生成方法、装置、电子设备及可读存储介质

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110557625A (zh) * 2019-09-17 2019-12-10 北京达佳互联信息技术有限公司 虚拟形象直播方法、终端、计算机设备及存储介质
CN111080759A (zh) * 2019-12-03 2020-04-28 深圳市商汤科技有限公司 一种分镜效果的实现方法、装置及相关产品
CN111026277A (zh) * 2019-12-26 2020-04-17 深圳市商汤科技有限公司 一种交互控制方法及装置、电子设备和存储介质
CN112135158A (zh) * 2020-09-17 2020-12-25 重庆虚拟实境科技有限公司 基于混合现实的直播方法及相关设备
CN113313797A (zh) * 2021-06-22 2021-08-27 广州虎牙科技有限公司 虚拟形象驱动方法、装置、电子设备和可读存储介质
CN113784160A (zh) * 2021-09-09 2021-12-10 北京字跳网络技术有限公司 视频数据生成方法、装置、电子设备及可读存储介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024007648A1 (zh) * 2022-07-08 2024-01-11 华为云计算技术有限公司 一种数字人驱动方法、系统及设备
CN115471618A (zh) * 2022-10-27 2022-12-13 科大讯飞股份有限公司 重定向方法、装置、电子设备和存储介质

Similar Documents

Publication Publication Date Title
CN111970535B (zh) 虚拟直播方法、装置、系统及存储介质
KR101251701B1 (ko) 게임용 스테레오 비디오에 대하여 장치가 프로세스를실행할 수 있게 하는 정보를 저장하는 하나 이상의 컴퓨터판독가능 매체
US10516870B2 (en) Information processing device, information processing method, and program
CN111968207B (zh) 动画生成方法、装置、系统及存储介质
CN113905251A (zh) 虚拟对象控制方法、装置、电子设备及可读存储介质
CN114630173A (zh) 虚拟对象的驱动方法、装置、电子设备及可读存储介质
CN106730815B (zh) 一种易实现的体感互动方法及系统
CN112148189A (zh) 一种ar场景下的交互方法、装置、电子设备及存储介质
TW202304212A (zh) 直播方法、系統、電腦設備及電腦可讀儲存媒體
CN114615513B (zh) 视频数据生成方法、装置、电子设备及存储介质
WO2023035897A1 (zh) 视频数据生成方法、装置、电子设备及可读存储介质
WO2023045637A1 (zh) 视频数据生成方法、装置、电子设备及可读存储介质
CN111862348B (zh) 视频显示方法、视频生成方法、装置、设备及存储介质
CN114745598A (zh) 视频数据展示方法、装置、电子设备及存储介质
CN114401442B (zh) 视频直播及特效控制方法、装置、电子设备及存储介质
JP2019087226A (ja) 情報処理装置、情報処理システムおよび表情画像出力方法
CN114095744A (zh) 视频直播方法、装置、电子设备及可读存储介质
CN113691806A (zh) 图像压缩方法、图像恢复方法及计算机可读记录介质
CN116958344A (zh) 虚拟形象的动画生成方法、装置、计算机设备及存储介质
CN114237396B (zh) 动作调整方法、装置、电子设备及可读存储介质
JP2020162084A (ja) コンテンツ配信システム、コンテンツ配信方法、およびコンテンツ配信プログラム
CN114625468A (zh) 增强现实画面的展示方法、装置、计算机设备及存储介质
KR20230017745A (ko) 화상 처리장치, 화상 처리방법, 및 기억매체
JP7296735B2 (ja) 画像処理装置、画像処理方法及びプログラム
US20240163528A1 (en) Video data generation method and apparatus, electronic device, and readable storage medium

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination