CN113852838A - 视频数据生成方法、装置、电子设备及可读存储介质 - Google Patents

视频数据生成方法、装置、电子设备及可读存储介质 Download PDF

Info

Publication number
CN113852838A
CN113852838A CN202111119503.7A CN202111119503A CN113852838A CN 113852838 A CN113852838 A CN 113852838A CN 202111119503 A CN202111119503 A CN 202111119503A CN 113852838 A CN113852838 A CN 113852838A
Authority
CN
China
Prior art keywords
virtual
hand
avatar
video data
lens
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202111119503.7A
Other languages
English (en)
Other versions
CN113852838B (zh
Inventor
王骁玮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Zitiao Network Technology Co Ltd
Original Assignee
Beijing Zitiao Network Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Zitiao Network Technology Co Ltd filed Critical Beijing Zitiao Network Technology Co Ltd
Priority to CN202111119503.7A priority Critical patent/CN113852838B/zh
Publication of CN113852838A publication Critical patent/CN113852838A/zh
Priority to PCT/CN2022/113281 priority patent/WO2023045637A1/zh
Application granted granted Critical
Publication of CN113852838B publication Critical patent/CN113852838B/zh
Priority to US18/543,949 priority patent/US20240163528A1/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/2187—Live feed
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23424—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving splicing one content stream with another content stream, e.g. for inserting or substituting an advertisement
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/235—Processing of additional data, e.g. scrambling of additional data or processing content descriptors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/478—Supplemental services, e.g. displaying phone caller identification, shopping application
    • H04N21/4781—Games
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/478—Supplemental services, e.g. displaying phone caller identification, shopping application
    • H04N21/4788—Supplemental services, e.g. displaying phone caller identification, shopping application communicating with other users, e.g. chatting
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/8166—Monomedia components thereof involving executable data, e.g. software
    • H04N21/8173—End-user applications, e.g. Web browser, game

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Human Computer Interaction (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Marketing (AREA)
  • Business, Economics & Management (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本公开提供了一种视频数据生成方法、装置、电子设备及存储介质，该视频数据生成方法包括：获取所述虚拟形象的手部控制信息，基于所述手部控制信息驱动所述虚拟形象手部相对于所述3D场景产生运动；控制所述虚拟镜头的位置随着所述虚拟形象手部的运动而运动，且所述虚拟镜头的位置与所述虚拟形象手部的位置的相对距离在第一预设范围内；基于所述虚拟镜头的镜头信息以及所述3D场景信息生成视频数据。本申请实施例，能够提升生成的视频数据的丰富性及趣味性，进而提升用户的观赏体验。

Description

视频数据生成方法、装置、电子设备及可读存储介质
技术领域
本公开涉及计算机技术领域，具体而言，涉及一种视频数据生成方法、装置、电子设备和存储介质。
背景技术
随着计算机技术与网络技术的发展，视频直播成为一种热门的交互方式。越来越多的用户选择通过直播平台来观看视频直播，比如游戏直播、新闻直播等。为了提升直播效果，出现了虚拟偶像代替主播进行视频直播的方式。
虚拟偶像的一种形态是对演员(中之人)动作捕捉获取控制信号，驱动游戏引擎中的虚拟形象动作，同时获取演员声音，将演员声音与虚拟形象画面融合，生成视频数据。
然而，现有技术中，视频中的镜头信息(比如镜头位置及镜头朝向)通常不会发生改变，也即虚拟形象需要在固定的场景范围内活动才能保证出现在视频画面中，导致视频画面内容较为单调乏味。
发明内容
本公开实施例至少提供一种视频数据生成方法、装置、电子设备及存储介质。
第一方面，本公开实施例提供了一种视频数据生成方法，应用于电子设备，所述电子设备用于运行3D渲染环境，所述3D渲染环境中包含3D场景信息，所述3D场景信息用于渲染后生成3D场景，所述3D场景信息包含至少一个虚拟形象信息及至少一个虚拟镜头，所述虚拟形象信息用于渲染后生成虚拟形象，所述虚拟形象通过动作捕捉设备捕捉的控制信息驱动，所述方法包括：
获取所述虚拟形象的手部控制信息，基于所述手部控制信息驱动所述虚拟形象手部相对于所述3D场景产生运动；
控制所述虚拟镜头的位置随着所述虚拟形象手部的运动而运动，且所述虚拟镜头的位置与所述虚拟形象手部的位置的相对距离在第一预设范围内；
基于所述虚拟镜头的镜头信息以及所述3D场景信息生成视频数据。
本公开实施例中，在基于获取的虚拟形象的手部控制信息，驱动所述虚拟形象手部做出相应动作的同时，还控制所述虚拟镜头的位置随着所述虚拟形象手部的运动而运动，也即通过虚拟形象的手部运动可以改变镜头的位置，进而使得镜头信息可以受虚拟形象的控制而发生改变，如此，使得生成的视频频数据中的场景信息发生了改变，提升了视频数据的丰富性及趣味性，进而提升了用户的观赏体验。
根据第一方面，在一种可能的实施方式中，所述虚拟镜头的朝向随着所述虚拟形象手部的运动而发生改变。
本公开实施例中，由于虚拟镜头的朝向也随着所述虚拟形象手部的运动而发生改变，使得虚拟镜头所捕获的场景更加符合目标需求，实现了镜头跟拍的效果，提升了用户的观赏体验。
根据第一方面，在一种可能的实施方式中，所述虚拟镜头的镜头朝向与所述虚拟形象的手臂之间的角度小于第一预设角度。
本公开实施例中，由于虚拟镜头的镜头朝向与所述虚拟形象的手臂之间的角度小于第一预设角度，使得虚拟镜头的朝向虽然发生改变，但始终朝向虚拟形象，实现了自拍的效果，进而与真实主播自拍的展示效果一致。
根据第一方面，在一种可能的实施方式中，所述获取所述虚拟形象的手部控制信息，基于所述手部控制信息驱动所述虚拟形象手部相对于所述3D场景产生运动之前，所述方法还包括：
获取所述虚拟形象的第一控制信息，驱动所述虚拟形象做出第一相应动作；
若所述第一控制信息和/或所述第一相应动作符合第一预设条件，将所述虚拟镜头与所述虚拟形象手部绑定，使得所述虚拟镜头的位置与所述虚拟形象手部的位置的相对距离在所述第一预设范围内。
本公开实施例中，若所述第一控制信息和/或所述第一相应动作符合第一预设条件，将所述虚拟镜头与所述虚拟形象手部绑定，也即虚拟镜头绑定需要触发条件，进而提升了生成的视频数据的趣味性。
根据第一方面，在一种可能的实施方式中，所述若所述第一控制信息和/或所述第一相应动作符合第一预设条件，将所述虚拟镜头与所述虚拟形象手部绑定，包括：
若所述第一控制信息和/或所述第一相应动作符合第一预设条件，调取虚拟自拍杆到所述3D场景中，并将所述自拍杆的两端分别与所述虚拟形象手部及所述虚拟镜头绑定。
本公开实施例中，通过自拍杆实现虚拟镜头与虚拟形象手部的绑定，不仅可以模拟真实主播的跟拍效果，还可以提升虚拟镜头相对虚拟形象手部的距离，进而捕获不同的3D场景，提升了视频数据生成的丰富性。
根据第一方面，在一种可能的实施方式中，所述虚拟镜头的朝向与所述虚拟形象手臂之间的夹角大于第二预设角度。
本公开实施例中，虚拟镜头的朝向与所述虚拟形象手臂之间的夹角大于第二预设角度，也即，虚拟镜头的朝向背向虚拟形象，如此，使得虚拟镜头所捕获的图像有别于自拍的效果，为用户提供不同的视觉体验。
根据第一方面，在一种可能的实施方式中，所述自拍杆与所述虚拟形象手臂的垂线之间的夹角在第二预设范围内。
本公开实施例中，由于自拍杆与所述虚拟形象手臂的垂线之间的夹角在第二预设范围内，使得自拍杆与虚拟形象手臂大致垂直，使得虚拟形象手握自拍杆的动作更加真实。
根据第一方面，在一种可能的实施方式中，所述基于所述虚拟镜头的镜头信息以及所述3D场景信息生成视频数据之前，所述方法还包括：
获取所述虚拟形象的第二控制信息，驱动所述虚拟形象做出第二相应动作；
若所述第二控制信息和/或所述第二相应动作符合第二预设条件，控制将所述虚拟镜头与所述虚拟形象手部解除绑定，并调整所述虚拟镜头至与所述第二预设条件匹配的状态。
本公开实施例中，在虚拟镜头与虚拟形象绑定后，若第二控制信息和/或所述第二相应动作符合第二预设条件，还可以将虚拟镜头与所述虚拟形象手部解除绑定，如此，实现了镜头的自由控制，更加人性化。
根据第一方面，在一种可能的实施方式中，所述生成视频数据之后，所述方法还包括：
获取音频数据，并将所述视频数据与所述拼音数据融合生成直播视频流；
将所述直播视频流发送至目标平台，使得所述目标平台基于所述直播视频流进行视频直播。
本公开实施例中，在得到视频数据后，还将获取音频数据，并将视频数据与所述拼音数据融合生成直播视频流，使得目标平台可以基于该直播视频流进行直播，实现了与观众的实时互动。
根据第一方面，在一种可能的实施方式中，所述生成视频数据之后，所述方法还包括：
将所述视频数据发送至具有立体展示功能的电子设备中进行播放。
本公开实施例中，还将所述视频数据发送至具有立体展示功能的电子设备中进行播放，使得所展示的视频数据具有3D效果，进一步提升了用户的视觉体验。
第二方面，本公开实施例提供了一种视频数据生成装置，包括：
行为驱动模块，用于获取所述虚拟形象的手部控制信息，基于所述手部控制信息驱动所述虚拟形象手部相对于所述3D场景产生运动；
镜头控制模块，用于控制所述虚拟镜头的位置随着所述虚拟形象手部的运动而运动，且所述虚拟镜头的位置与所述虚拟形象手部的位置的相对距离在第一预设范围内；
视频生成模块，用于基于所述虚拟镜头的镜头信息以及所述3D场景信息生成视频数据。
根据第二方面，在一种可能的实施方式中，所述虚拟镜头的朝向随着所述虚拟形象手部的运动而发生改变。
根据第二方面，在一种可能的实施方式中，所述虚拟镜头的镜头朝向与所述虚拟形象的手臂之间的角度小于第一预设角度。
根据第二方面，在一种可能的实施方式中，所述行为驱动模块还用于：
获取所述虚拟形象的第一控制信息，驱动所述虚拟形象做出第一相应动作；
若所述第一控制信息和/或所述第一相应动作符合第一预设条件，将所述虚拟镜头与所述虚拟形象手部绑定，使得所述虚拟镜头的位置与所述虚拟形象手部的位置的相对距离在所述第一预设范围内。
根据第二方面，在一种可能的实施方式中，所述行为驱动模块具体用于：
若所述第一控制信息和/或所述第一相应动作符合第一预设条件，调取虚拟自拍杆到所述3D场景中，并将所述自拍杆的两端分别与所述虚拟形象手部及所述虚拟镜头绑定。
根据第二方面，在一种可能的实施方式中，所述虚拟镜头的朝向与所述虚拟形象手臂之间的夹角大于第二预设角度。
根据第二方面，在一种可能的实施方式中，所述自拍杆与所述虚拟形象手臂的垂线之间的夹角在第二预设范围内。
根据第二方面，在一种可能的实施方式中，所述行为驱动模块还用于：
获取所述虚拟形象的第二控制信息，驱动所述虚拟形象做出第二相应动作；
若所述第二控制信息和/或所述第二相应动作符合第二预设条件，控制将所述虚拟镜头与所述虚拟形象手部解除绑定，并调整所述虚拟镜头至与所述第二预设条件匹配的状态。
根据第二方面，在一种可能的实施方式中，所述装置还包括：
数据融合模块，用于获取音频数据，并将所述视频数据与所述拼音数据融合生成直播视频流；
视频发送模块，用于将所述直播视频流发送至目标平台，使得所述目标平台基于所述直播视频流进行视频直播。
根据第二方面，在一种可能的实施方式中，所述视频发送模块还用于：
将所述视频数据发送至具有立体展示功能的电子设备中进行播放。
第三方面，本公开实施例提供了一种电子设备，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储器之间通过总线通信，所述机器可读指令被所述处理器执行时执行如第一方面所述的视频数据生成方法。
第四方面，本公开实施例提供了一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行如第一方面所述的视频数据生成方法。
为使本公开的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
为了更清楚地说明本公开实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，此处的附图被并入说明书中并构成本说明书中的一部分，这些附图示出了符合本公开的实施例，并与说明书一起用于说明本公开的技术方案。应当理解，以下附图仅示出了本公开的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1示出了本公开实施例所提供的一种视频数据生成方法的执行主体的示意图；
图2示出了本公开实施例所提供的第一种视频数据生成方法的流程图；
图3示出了本公开实施例所提供的第二种视频数据生成方法的流程图；
图4示出了本公开实施例所提供的第一种3D场景的展示示意图；
图5示出了本公开实施例所提供的第三种视频数据生成方法的流程图；
图6示出了本公开实施例所提供的第二种3D场景的展示示意图；
图7示出了本公开实施例所提供的第三种3D场景的展示示意图；
图8示出了本公开实施例所提供的第四种3D场景的展示示意图；
图9示出了本公开实施例所提供的第四种视频数据生成方法的流程图；
图10示出了本公开实施例所提供的将视频数据发送至目标平台的架构示意图；
图11示出了本公开实施例所提供的一种视频数据生成装置的结构示意图；
图12示出了本公开实施例所提供的另一种视频数据生成装置的结构示意图；
图13示出了本公开实施例所提供的一种电子设备的示意图。
具体实施方式
为使本公开实施例的目的、技术方案和优点更加清楚，下面将结合本公开实施例中附图，对本公开实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本公开一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本公开实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本公开的实施例的详细描述并非旨在限制要求保护的本公开的范围，而是仅仅表示本公开的选定实施例。基于本公开的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本公开保护的范围。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
本文中术语“和/或”，仅仅是描述一种关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中术语“至少一种”表示多种中的任意一种或多种中的至少两种的任意组合，例如，包括A、B、C中的至少一种，可以表示包括从A、B和C构成的集合中选择的任意一个或多个元素。
随着计算机技术与网络技术的发展，视频直播成为一种热门的交互方式。越来越多的用户选择通过直播平台来观看视频直播，比如游戏直播、新闻直播等。为了提升直播效果，出现了虚拟偶像代替主播进行视频直播的方式。
虚拟偶像的一种形态是对演员(中之人)动作捕捉获取控制信号，驱动游戏引擎中的虚拟形象动作，同时获取演员声音，将演员声音与虚拟形象画面融合，生成视频数据。
经研究发现，现有技术中，视频中的镜头信息(比如镜头位置及镜头朝向)通常不会发生改变，也即虚拟偶像需要在固定的场景范围内活动才能保证出现在视频画面中，导致视频画面内容较为单调乏味。
本公开提供了一种视频数据生成方法，应用于电子设备，所述电子设备用于运行3D渲染环境，所述3D渲染环境中包含3D场景信息，所述3D场景信息用于渲染后生成3D场景，所述3D场景信息包含至少一个虚拟形象信息及至少一个虚拟镜头，所述虚拟形象信息用于渲染后生成虚拟形象，所述虚拟形象通过动作捕捉设备捕捉的控制信息驱动，所述方法包括：
获取所述虚拟形象的手部控制信息，基于所述手部控制信息驱动所述虚拟形象手部相对于所述3D场景产生运动；控制所述虚拟镜头的位置随着所述虚拟形象手部的运动而运动，且所述虚拟镜头的位置与所述虚拟形象手部的位置的相对距离在第一预设范围内；基于所述虚拟镜头的镜头信息以及所述3D场景信息生成视频数据。
其中，3D渲染环境是运行于电子设备中的3D游戏引擎，能够基于待渲染数据生成基于一个或者多个视角的影像信息。虚拟形象信息是存在于游戏引擎中的形象模型，能够在渲染后生成相应的虚拟形象。虚拟形象可以包括虚拟人物形象、虚拟动物形象、虚拟卡通形象等，在此不做限定。
3D场景信息可以运行于计算机CPU(Central Processing Uni，中央处理器)、GPU(Graphics Processing Unit，图形处理器)以及存储器中，其包含网格化的模型信息以及和贴图纹理信息。相应地，作为示例，虚拟形象数据和虚拟对象数据包含但不限于网格化的模型数据、体素数据及贴图纹理数据或者其组合。其中，网格包括但不限于三角形网格、四边形网格、其他多边形网格或者其组合。本公开实施例中，网格为三角形网格。
动作捕捉设备包括穿在身体上的肢体动作捕捉设备(如衣服)、戴在手上的手部动作捕捉设备(如手套)、面部动作捕捉设备(如摄像头)以及声音捕捉设备(比如麦克风、喉麦等)。
本公开实施例中，在基于获取的虚拟形象的手部控制信息，驱动所述虚拟形象手部做出相应动作的同时，还控制所述虚拟镜头的位置随着所述虚拟形象手部的运动而运动，也即通过虚拟形象的手部运动可以改变镜头的位置，进而使得镜头信息可以受虚拟形象的控制而发生改变，如此，使得生成的视频频数据中的场景信息发生了改变，提升了视频数据的丰富性及趣味性，进而提升了用户的观赏体验。
请参阅图1，为本公开实施例所提供的视频数据生成方法的执行主体的示意图，该方法的执行主体为电子设备100，其中电子设备100可以包括终端和服务器。例如，该方法可应用于终端中，终端可以是图1中所示智能手机10、台式计算机20、笔记本电脑30等，还可以是图1中未示出的智能音箱、智能手表、平板电脑等，并不限定。该方法还可应用于服务器40，或者可应用于由终端和服务器40所组成的实施环境中。服务器40可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云存储、大数据和人工智能平台等基础云计算服务的云服务器。
在另一些实施方式中，电子设备100还可以包括AR(Augmented Reality，增强现实)设备、VR(Virtual Reality，虚拟现实)设备、MR(Mixed Reality，混合现实)设备等。比如，AR设备可以是具有AR功能的手机或平板电脑，也可以是AR眼镜，在此不做限定。
需要说明的是，在一些实施方式中，服务器40可以通网络50分别与智能手机10、台式计算机20及笔记本电脑30进行通信。网络50可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。
本公开实施方式中，该视频数据生成方法应用于电子设备(比如图1中的服务器40)，所述电子设备用于运行3D渲染环境，所述3D渲染环境中包含3D场景信息，所述3D场景信息用于渲染后生成3D场景，所述3D场景信息包含至少一个虚拟形象信息以及至少一个虚拟镜头。所述虚拟镜头用于捕获所述3D场景的图像信息。所述虚拟形象信息用于渲染后生成虚拟形象，所述虚拟形象通过动作捕捉设备捕捉的控制信息驱动。在一些可能的实现方式中，该视频数据生成方法可以通过处理器调用存储器中存储的计算机可读指令的方式来实现。
参见图2所示，为本公开实施例提供的第一种视频数据生成方法的流程图，该视频数据生成方法包括以下S101～S103：
S101，获取所述虚拟形象的手部控制信息，基于所述手部控制信息驱动所述虚拟形象手部相对于所述3D场景产生运动。
其中，本公开实施例中的虚拟形象的手部是指虚拟形象的目标手部，也即，虚拟形象的两个手部中确定与虚拟镜头关联的手部，而非另一个手部。
示例性地，手部控制信息由演员产生，可以实时采集演员的手部动作数据，进而获取虚拟形象的手部控制信息。其中，手部包括但不限于手掌、手指以及手臂等相关部位。
具体地，可以通过演员手套上的动作捕捉器来获取演员的手掌及手指的动作数据，并通过演员身上的衣服上的动作捕捉器来获取演员手臂的动作数据，进而获取虚拟形象的手部控制信息。其中，手部控制信息不仅限于手部的运动信息，还包括虚拟形象身体的移动而导致的手部相对于3D场景的位移信息。
需要说明的是，手部控制信息的获取并不限于演员手套上的动作捕捉传感器，还可以通过其他方式获取，在此不做限定。另外，虚拟形象手部相对于所述3D场景产生运动，是指虚拟形象手部相对于3D场景的状态发生改变，该状态包括虚拟形象手部相对于所述3D场景的移动、旋转或者其组合等，在此不做限定。
驱动虚拟形象手部做出相应动作是指，虚拟形象做出的动作与手部控制信息一致或者相符合，也即虚拟形象做出的动作与演员的动作一致或者相符合。比如，若演员做出一个握拳的动作，相应地，也驱动虚拟形象做出握拳的动作；若演员做出展开手掌的动作，则虚拟形象也做出展开手掌的相应动作。
S102，控制所述虚拟镜头的位置随着所述虚拟形象手部的运动而运动，且所述虚拟镜头的位置与所述虚拟形象手部的位置的相对距离在第一预设范围内。
示例性地，在虚拟形象手部运动后，还控制所述虚拟镜头的位置随着所述虚拟形象手部的运动而运动，也即，虚拟镜头可以与虚拟形象手部绑定，使得虚拟镜头的位置与所述虚拟形象手部的位置的相对距离在第一预设范围内。其中，第一预设范围可以根据具体的需求而设定，例如，虚拟镜头可以设置在虚拟形象的手上，进而实现虚拟形象的手部拿着虚拟镜头自拍的感觉。此时，虽然虚拟镜头在虚拟形象的手部位置，但是由于虚拟形象在移动，导致虚拟镜头与虚拟形象手部之间的相对位置会发生改变，但这种改变是在第一预设范围内的。
在一些实施方式中，虚拟镜头的朝向随着虚拟形象手部的运动而发生改变，也即，在虚拟形象手部的运动的情况下，虚拟镜头的朝向也会发生改变。其中，虚拟镜头的朝向的改变可以与虚拟形象手部的运动方向之间存在预设的关联关系，比如，在虚拟形象手部顺时针旋转的情况下，虚拟镜头的朝向也顺时针旋转，在虚拟形象手部逆时针旋转的情况下，虚拟镜头的朝向也逆时针旋转。
在另一些实施方式中，为了实现虚拟形象自拍的效果，虚拟镜头的镜头朝向与所述虚拟形象的手臂之间的角度小于第一预设角度，如此，使得虚拟镜头朝向虚拟偶像。其中，第一预设角度不大于90度。
此外，虚拟镜头的朝向与所述虚拟形象手臂之间的夹角还可以是大于第二预设角度，此时，虚拟镜头用于拍摄与所述虚拟形象反方向的场景。为用户提供不同的观赏体验。其中，第二预设角度可以大于90度。
S103，基于所述虚拟镜头的镜头信息以及所述3D场景信息生成视频数据。
可以理解，由于虚拟镜头用于捕捉3D场景的图像信息，因此，可以基于虚拟镜头的镜头信息以及3D场景信息生成视频数据。其中，视频数据包括多张视频帧。示例性地，生成的视频数据，可以在本地展示，也可以形成录播视频，还可以形成直播视频流，用于直播。例如，若电子设备自带显示屏或者外接有显示装置，可以将生成的视频数据在本地进行播放。
请参阅图3，为本公开实施例提供的第二种视频数据生成方法的流程图，与图2中所示的方法，不同的是，该视频数据生成方法在步骤S101之前还包括以下S99～S100：
S99，获取所述虚拟形象的第一控制信息，驱动所述虚拟形象做出第一相应动作。
示例性地，第一控制信息由演员产生，可以实时采集演员的动作数据以及声音数据，进而获取第一控制信息。例如，可以通过摄像头来捕捉动作者的面部表情信息以及身体动作信息，还可以通过麦克风来采集动作者的声音信息。在获取到第一控制信息之后，即可基于该第一控制信息驱动虚拟形象做出第一相应动作。
其中，第一相应动作是指虚拟形象做出的动作与第一控制信息一致或者相符合。比如，若获取到蹦跳的第一控制信息，则驱动虚拟形象做出蹦跳的第一相应动作；若获取到开心大笑的面部表情的第一控制信息，则驱动虚拟形象做出开心大笑的第一相应动作；若获取到包括说话的面部表情以及说话内容的音频的第一控制信息，则驱动虚拟形象嘴部动作并发生相应的声音。
S100，若所述第一控制信息和/或所述第一相应动作符合第一预设条件，将所述虚拟镜头与所述虚拟形象手部绑定，使得所述虚拟镜头的位置与所述虚拟形象手部的位置的相对距离在所述第一预设范围内。
其中，第一预设条件可以根据具体情况而预先设定，在此不做限定。参见图4所示，第一预设条件可以是虚拟形象B握拳的动作，因此，在虚拟形象B做出握拳的动作的情况下，即可判断第一相应动作符合第一预设条件，此时，将所述虚拟镜头与所述虚拟形象手部绑定，使得所述虚拟镜头的位置与所述虚拟形象手部的位置的相对距离在所述第一预设范围内。
本公开实施例中，虚拟镜头通过自拍杆与虚拟形象手部绑定，因此，若所述第一控制信息和/或所述第一相应动作符合第一预设条件，调取虚拟自拍杆(图未示)到所述3D场景A中，并将所述自拍杆的两端分别与所述虚拟形象手部及所述虚拟镜头绑定。
可以理解，本实施方式中，在渲染的过程中，并未渲染自拍杆，也即，自拍杆并未显示于视频数据中，但是在其他实施方式中，也可将自拍杆进行渲染显示，在此不做限定。
另外，为了提升展示效果，自拍杆与虚拟形象手臂的垂线之间的夹角在第二预设范围内，也即，自拍杆和手臂之间基本垂直，如此，使得虚拟形象的展示效果更加贴合真实主播的效果，提升观赏体验。其中，第二预设范围可以是5度至10之间，不做具体限定。
需要说明的是，判断是否符合第一预设条件的第一控制信息不仅包含第一控制信息，还包含基于第一控制信息驱动生成第一相应动作过程中产生的中间的数据信息，此处不做限定。此外，调取的自拍杆数据包含网格化的模型数据及贴图纹理数据。
参见图5所示，为本公开实施例提供的第三种视频数据生成方法的流程图，与图2中所示的第一种方法，不同的是，该视频数据生成方法在步骤S103之前还包括以下S102A～S102B：
S102A，获取所述虚拟形象的第二控制信息，驱动所述虚拟形象做出第二相应动作。
示例性地，与第一相应动作类似，第二相应动作是指虚拟形象做出的动作与第二控制信息一致或者相符合。
可以理解，在虚拟镜头随着虚拟形象手部的运动而运动后，还可以获取虚拟形象的第二控制信息，驱动所述虚拟形象做出第二相应动作。参见图6所示，若获取到走动的第二控制信息，则驱动所述虚拟形象B做出走动的第二相应动作，如此，虚拟镜头的位置也会发生改变，使得视频数据中所显示的3D场景A的内容相较于图4会发生改变。
S102B，若所述第二控制信息和/或所述第二相应动作符合第二预设条件，控制将所述虚拟镜头与所述虚拟形象手部解除绑定，并调整所述虚拟镜头至与所述第二预设条件匹配的状态。
示例性地，第二控制信息与第一控制信息类似，也可以由演员产生，可以实时采集动作者的动作数据以及声音数据，进而获取第二控制信息。此外，第二控制信息还可以由遥控器等具有控制功能的设备产生。第二预设条件与第一预设条件类似，也可以根据具体情况而具体设定。
一些实施方式中，第二预设条件可以是虚拟形象手掌伸开的动作，其他实施例中，第二预设条件还可以是语音驱动信息为“解除绑定”的第二预设条件等。
参见图7所示，在虚拟形象B做出手掌伸开的动作时，确定第二相应动作符合第二预设条件，此时控制将所述虚拟镜头与所述虚拟形象手部解除绑定，并调整所述虚拟镜头至与所述第二预设条件匹配的状态。
参见图8所示，在虚拟镜头与虚拟形象手部解除绑定后，虚拟镜头调整至与第二预设条件匹配的状态，此时，虚拟镜头的镜头信息将不受虚拟形象手部控制，也即，即使虚拟形象手部运动，虚拟镜头的净土位置及镜头朝向等信息也不会发生改变，也即，此时呈现于视频中的3D场景A下的静态显示内容不会发生改变。
其中，虚拟镜头与第二预设条件匹配是指，针对不同的第二预设条件可以预先设定多个虚拟镜头状态，例如，针对手掌伸开的第二预设条件，匹配虚拟镜头的第一状态，针对语音内容“解除绑定”的第二预设条件，匹配虚拟镜头的第二状态，其他匹配关系可以依据具体情况而设定，在此不再一一举例说明。
参见图9所示，为本公开实施例提供的第四种视频数据生成方法的流程图，与图2中所示的第一种方法，不同的是，该视频数据生成方法在步骤S103之后还包括以下S104～S105：
S104，获取音频数据，并将所述视频数据与所述音频数据融合生成直播视频流。
S105，将所述直播视频流发送至目标平台，使得所述目标平台基于所述直播视频流进行视频直播。
示例性地，参见图10所示，视频数据为直播视频流，如此，可以实时地将视频数据发送至目标平台(如抖音平台或者B站)200，目标平台200再将视频数据发送至用户设备端300进行视频直播。
在另一些实施方式中，在得到视频数据后，还可以将视频数据发送至具有立体展示功能的电子设备中进行播放。本实施方式中，所述视频数据包括多路具有特定视觉特征(比如保持特定距离的两个虚拟镜头，其他参数符合预设条件，同步采集)的视频数据。其中，具有立体展示功能的电子设备包括但不限于AR(Augment Reality，增强现实)设备、VR(Virtual Reality，虚拟现实)设备及MR(Mixed Reality，混合现实)设备等。
本领域技术人员可以理解，在具体实施方式的上述方法中，各步骤的撰写顺序并不意味着严格的执行顺序而对实施过程构成任何限定，各步骤的具体执行顺序应当以其功能和可能的内在逻辑确定。
基于同一技术构思，本公开实施例中还提供了与视频数据生成方法对应的视频数据生成装置，由于本公开实施例中的装置解决问题的原理与本公开实施例上述视频数据生成方法相似，因此装置的实施可以参见方法的实施，重复之处不再赘述。
参照图11所示，为本公开实施例提供的一种视频数据生成装置500的示意图，所述装置包括：
行为驱动模块501，用于获取所述虚拟形象的手部控制信息，基于所述手部控制信息驱动所述虚拟形象手部相对于所述3D场景产生运动；
镜头控制模块502，用于控制所述虚拟镜头的位置随着所述虚拟形象手部的运动而运动，且所述虚拟镜头的位置与所述虚拟形象手部的位置的相对距离在第一预设范围内；
视频生成模块503，用于基于所述虚拟镜头的镜头信息以及所述3D场景信息生成视频数据。
在一种可能的实施方式中，所述虚拟镜头的朝向随着所述虚拟形象手部的运动而发生改变。
在一种可能的实施方式中，所述虚拟镜头的镜头朝向与所述虚拟形象的手臂之间的角度小于第一预设角度。
在一种可能的实施方式中，所述行为驱动模块501还用于：
获取所述虚拟形象的第一控制信息，驱动所述虚拟形象做出第一相应动作；
若所述第一控制信息和/或所述第一相应动作符合第一预设条件，将所述虚拟镜头与所述虚拟形象手部绑定，使得所述虚拟镜头的位置与所述虚拟形象手部的位置的相对距离在所述第一预设范围内。
在一种可能的实施方式中，所述行为驱动模块501具体用于：
若所述第一控制信息和/或所述第一相应动作符合第一预设条件，调取虚拟自拍杆到所述3D场景中，并将所述自拍杆的两端分别与所述虚拟形象手部及所述虚拟镜头绑定。
在一种可能的实施方式中，所述虚拟镜头的朝向与所述虚拟形象手臂之间的夹角大于第二预设角度。
在一种可能的实施方式中，所述自拍杆与所述虚拟形象手臂的垂线之间的夹角在第二预设范围内。
在一种可能的实施方式中，所述行为驱动模块501还用于：
获取所述虚拟形象的第二控制信息，驱动所述虚拟形象做出第二相应动作；
若所述第二控制信息和/或所述第二相应动作符合第二预设条件，控制将所述虚拟镜头与所述虚拟形象手部解除绑定，并调整所述虚拟镜头至与所述第二预设条件匹配的状态。
在一种可能的实施方式中，参见图12所示，所述装置还包括：
数据融合模块504，用于获取音频数据，并将所述视频数据与所述拼音数据融合生成直播视频流；
视频发送模块505，用于将所述直播视频流发送至目标平台，使得所述目标平台基于所述直播视频流进行视频直播。
在一种可能的实施方式中，所述视频发送模块505还用于：
将所述视频数据发送至具有立体展示功能的电子设备中进行播放。
关于装置中的各模块的处理流程、以及各模块之间的交互流程的描述可以参照上述方法实施例中的相关说明，这里不再详述。
基于同一技术构思，本公开实施例还提供了一种电子设备。参照图13所示，为本公开实施例提供的电子设备700的结构示意图，包括处理器701、存储器702、和总线703。其中，存储器702用于存储执行指令，包括内存7021和外部存储器7022；这里的内存7021也称内存储器，用于暂时存放处理器701中的运算数据，以及与硬盘等外部存储器7022交换的数据，处理器701通过内存7021与外部存储器7022进行数据交换。
本申请实施例中，存储器702具体用于存储执行本申请方案的应用程序代码，并由处理器701来控制执行。也即，当电子设备700运行时，处理器701与存储器702之间通过总线703通信，使得处理器701执行存储器702中存储的应用程序代码，进而执行前述任一实施例中所述的方法。
其中，存储器702可以是，但不限于，随机存取存储器(Random Access Memory，RAM)，只读存储器(Read Only Memory，ROM)，可编程只读存储器(Programmable Read－Only Memory，PROM)，可擦除只读存储器(Erasable Programmable Read－Only Memory，EPROM)，电可擦除只读存储器(Electric Erasable Programmable Read－Only Memory，EEPROM)等。
处理器701可能是一种集成电路芯片，具有信号的处理能力。上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(NetworkProcessor，NP)等；还可以是数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
可以理解的是，本申请实施例示意的结构并不构成对电子设备700的具体限定。在本申请另一些实施例中，电子设备700可以包括比图示更多或更少的部件，或者组合某些部件，或者拆分某些部件，或者不同的部件布置。图示的部件可以以硬件，软件或软件和硬件的组合实现。
本公开实施例还提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行上述方法实施例中的视频数据生成方法的步骤。其中，该存储介质可以是易失性或非易失的计算机可读取存储介质。
本公开实施例还提供一种计算机程序产品，该计算机程序产品承载有程序代码，所述程序代码包括的指令可用于执行上述方法实施例中的视频数据生成方法的步骤，具体可参见上述方法实施例，在此不再赘述。
其中，上述计算机程序产品可以具体通过硬件、软件或其结合的方式实现。在一个可选实施例中，所述计算机程序产品具体体现为计算机存储介质，在另一个可选实施例中，计算机程序产品具体体现为软件产品，例如软件开发包(Software Development Kit，SDK)等等。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统和装置的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。在本公开所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本公开各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解，本公开的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本公开各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-OnlyMemory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是：以上所述实施例，仅为本公开的具体实施方式，用以说明本公开的技术方案，而非对其限制，本公开的保护范围并不局限于此，尽管参照前述实施例对本公开进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本公开揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本公开实施例技术方案的精神和范围，都应涵盖在本公开的保护范围之内。因此，本公开的保护范围应所述以权利要求的保护范围为准。

Claims (13)

1.一种视频数据生成方法，其特征在于，应用于电子设备，所述电子设备用于运行3D渲染环境，所述3D渲染环境中包含3D场景信息，所述3D场景信息用于渲染后生成3D场景，所述3D场景信息包含至少一个虚拟形象信息及至少一个虚拟镜头，所述虚拟形象信息用于渲染后生成虚拟形象，所述虚拟形象通过动作捕捉设备捕捉的控制信息驱动，所述方法包括：
获取所述虚拟形象的手部控制信息，基于所述手部控制信息驱动所述虚拟形象手部相对于所述3D场景产生运动；
控制所述虚拟镜头的位置随着所述虚拟形象手部的运动而运动，且所述虚拟镜头的位置与所述虚拟形象手部的位置的相对距离在第一预设范围内；
基于所述虚拟镜头的镜头信息以及所述3D场景信息生成视频数据。
2.根据权利要求1所述的方法，其特征在于，所述虚拟镜头的朝向随着所述虚拟形象手部的运动而发生改变。
3.根据权利要求1所述的方法，其特征在于，所述虚拟镜头的镜头朝向与所述虚拟形象的手臂之间的角度小于第一预设角度。
4.根据权利要求1所述的方法，其特征在于，所述获取所述虚拟形象的手部控制信息，基于所述手部控制信息驱动所述虚拟形象手部相对于所述3D场景产生运动之前，所述方法还包括：
获取所述虚拟形象的第一控制信息，驱动所述虚拟形象做出第一相应动作；
若所述第一控制信息和/或所述第一相应动作符合第一预设条件，将所述虚拟镜头与所述虚拟形象手部绑定，使得所述虚拟镜头的位置与所述虚拟形象手部的位置的相对距离在所述第一预设范围内。
5.根据权利要求4所述的方法，其特征在于，所述若所述第一控制信息和/或所述第一相应动作符合第一预设条件，将所述虚拟镜头与所述虚拟形象手部绑定，包括：
若所述第一控制信息和/或所述第一相应动作符合第一预设条件，调取虚拟自拍杆到所述3D场景中，并将所述自拍杆的两端分别与所述虚拟形象手部及所述虚拟镜头绑定。
6.根据权利要求1所述的方法，其特征在于，所述虚拟镜头的朝向与所述虚拟形象手臂之间的夹角大于第二预设角度。
7.根据权利要求5所述的方法，其特征在于，所述自拍杆与所述虚拟形象手臂的垂线之间的夹角在第二预设范围内。
8.根据权利要求1所述的方法，其特征在于，所述基于所述虚拟镜头的镜头信息以及所述3D场景信息生成视频数据之前，所述方法还包括：
获取所述虚拟形象的第二控制信息，驱动所述虚拟形象做出第二相应动作；
若所述第二控制信息和/或所述第二相应动作符合第二预设条件，控制将所述虚拟镜头与所述虚拟形象手部解除绑定，并调整所述虚拟镜头至与所述第二预设条件匹配的状态。
9.根据权利要求1所述的方法，其特征在于，所述生成视频数据之后，所述方法还包括：
获取音频数据，并将所述视频数据与所述拼音数据融合生成直播视频流；
将所述直播视频流发送至目标平台，使得所述目标平台基于所述直播视频流进行视频直播。
10.根据权利要求1所述的方法，其特征在于，所述生成视频数据之后，所述方法还包括：
将所述视频数据发送至具有立体展示功能的电子设备中进行播放。
11.一种视频数据生成装置，其特征在于，包括：
行为驱动模块，用于获取所述虚拟形象的手部控制信息，基于所述手部控制信息驱动所述虚拟形象手部相对于所述3D场景产生运动；
镜头控制模块，用于控制所述虚拟镜头的位置随着所述虚拟形象手部的运动而运动，且所述虚拟镜头的位置与所述虚拟形象手部的位置的相对距离在第一预设范围内；
视频生成模块，用于基于所述虚拟镜头的镜头信息以及所述3D场景信息生成视频数据。
12.一种电子设备，其特征在于，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储器之间通过总线通信，所述机器可读指令被所述处理器执行时执行如权利要求1-10任一所述的视频数据生成方法。
13.一种计算机可读存储介质，其特征在于，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行如权利要求1-10任一所述的视频数据生成方法。
CN202111119503.7A 2021-09-24 2021-09-24 视频数据生成方法、装置、电子设备及可读存储介质 Active CN113852838B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202111119503.7A CN113852838B (zh) 2021-09-24 2021-09-24 视频数据生成方法、装置、电子设备及可读存储介质
PCT/CN2022/113281 WO2023045637A1 (zh) 2021-09-24 2022-08-18 视频数据生成方法、装置、电子设备及可读存储介质
US18/543,949 US20240163528A1 (en) 2021-09-24 2023-12-18 Video data generation method and apparatus, electronic device, and readable storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111119503.7A CN113852838B (zh) 2021-09-24 2021-09-24 视频数据生成方法、装置、电子设备及可读存储介质

Publications (2)

Publication Number Publication Date
CN113852838A true CN113852838A (zh) 2021-12-28
CN113852838B CN113852838B (zh) 2023-08-11

Family

ID=78979563

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111119503.7A Active CN113852838B (zh) 2021-09-24 2021-09-24 视频数据生成方法、装置、电子设备及可读存储介质

Country Status (3)

Country Link
US (1) US20240163528A1 (zh)
CN (1) CN113852838B (zh)
WO (1) WO2023045637A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114401442A (zh) * 2022-01-14 2022-04-26 北京字跳网络技术有限公司 视频直播及特效控制方法、装置、电子设备及存储介质
WO2023045637A1 (zh) * 2021-09-24 2023-03-30 北京字跳网络技术有限公司 视频数据生成方法、装置、电子设备及可读存储介质
WO2023174009A1 (zh) * 2022-03-17 2023-09-21 北京字跳网络技术有限公司 基于虚拟现实的拍摄处理方法、装置及电子设备

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120040759A1 (en) * 2010-08-06 2012-02-16 Nintendo Co., Ltd. Game system, game apparatus, storage medium having game program stored therein, and game process method
US8964052B1 (en) * 2010-07-19 2015-02-24 Lucasfilm Entertainment Company, Ltd. Controlling a virtual camera
CN105425955A (zh) * 2015-11-06 2016-03-23 中国矿业大学 多用户沉浸式全互动虚拟现实工程培训系统
KR20180015427A (ko) * 2016-08-03 2018-02-13 송명진 가상 현실 어플리케이션에서 이동에 관한 그 방법
WO2018063957A1 (en) * 2016-09-30 2018-04-05 Silver VR Technologies, Inc. Methods and systems for virtual reality streaming and replay of computer video games
CN108961376A (zh) * 2018-06-21 2018-12-07 珠海金山网络游戏科技有限公司 虚拟偶像直播中实时绘制三维场景的方法及系统
CN111672104A (zh) * 2020-06-05 2020-09-18 腾讯科技（深圳）有限公司 虚拟场景的显示方法、装置、终端及存储介质
CN111773657A (zh) * 2020-08-11 2020-10-16 网易（杭州）网络有限公司 一种游戏中视角切换的方法及装置、电子设备、存储介质
CN113384880A (zh) * 2020-11-06 2021-09-14 腾讯科技（深圳）有限公司 虚拟场景显示方法、装置、计算机设备及存储介质

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10332311B2 (en) * 2014-09-29 2019-06-25 Amazon Technologies, Inc. Virtual world generation engine
CN109859327A (zh) * 2019-02-20 2019-06-07 中山市嘉游动漫科技有限公司 一种结合虚拟与现实的动画场景构建方法及装置
CN111147873A (zh) * 2019-12-19 2020-05-12 武汉西山艺创文化有限公司 基于5g通信的虚拟形象直播方法及系统
CN111672106B (zh) * 2020-06-05 2022-05-24 腾讯科技（深圳）有限公司 虚拟场景显示方法、装置、计算机设备及存储介质
CN113365085B (zh) * 2021-05-31 2022-08-16 北京字跳网络技术有限公司 一种直播视频生成方法及装置
CN113852838B (zh) * 2021-09-24 2023-08-11 北京字跳网络技术有限公司 视频数据生成方法、装置、电子设备及可读存储介质

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8964052B1 (en) * 2010-07-19 2015-02-24 Lucasfilm Entertainment Company, Ltd. Controlling a virtual camera
US20120040759A1 (en) * 2010-08-06 2012-02-16 Nintendo Co., Ltd. Game system, game apparatus, storage medium having game program stored therein, and game process method
CN105425955A (zh) * 2015-11-06 2016-03-23 中国矿业大学 多用户沉浸式全互动虚拟现实工程培训系统
KR20180015427A (ko) * 2016-08-03 2018-02-13 송명진 가상 현실 어플리케이션에서 이동에 관한 그 방법
WO2018063957A1 (en) * 2016-09-30 2018-04-05 Silver VR Technologies, Inc. Methods and systems for virtual reality streaming and replay of computer video games
CN108961376A (zh) * 2018-06-21 2018-12-07 珠海金山网络游戏科技有限公司 虚拟偶像直播中实时绘制三维场景的方法及系统
CN111672104A (zh) * 2020-06-05 2020-09-18 腾讯科技（深圳）有限公司 虚拟场景的显示方法、装置、终端及存储介质
CN111773657A (zh) * 2020-08-11 2020-10-16 网易（杭州）网络有限公司 一种游戏中视角切换的方法及装置、电子设备、存储介质
CN113384880A (zh) * 2020-11-06 2021-09-14 腾讯科技（深圳）有限公司 虚拟场景显示方法、装置、计算机设备及存储介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
盖伟: ""虚拟现实中实时交互方法研究"", 中国博士学位论文全文数据库 *
马明星: ""VR系统中图形渲染和视觉传达研究设计\"", 中国优秀硕士学位论文全文数据库 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023045637A1 (zh) * 2021-09-24 2023-03-30 北京字跳网络技术有限公司 视频数据生成方法、装置、电子设备及可读存储介质
CN114401442A (zh) * 2022-01-14 2022-04-26 北京字跳网络技术有限公司 视频直播及特效控制方法、装置、电子设备及存储介质
CN114401442B (zh) * 2022-01-14 2023-10-24 北京字跳网络技术有限公司 视频直播及特效控制方法、装置、电子设备及存储介质
WO2023174009A1 (zh) * 2022-03-17 2023-09-21 北京字跳网络技术有限公司 基于虚拟现实的拍摄处理方法、装置及电子设备

Also Published As

Publication number Publication date
US20240163528A1 (en) 2024-05-16
CN113852838B (zh) 2023-08-11
WO2023045637A1 (zh) 2023-03-30

Similar Documents

Publication Publication Date Title
US11948260B1 (en) Streaming mixed-reality environments between multiple devices
CN111970535B (zh) 虚拟直播方法、装置、系统及存储介质
CN113852838B (zh) 视频数据生成方法、装置、电子设备及可读存储介质
CN111080759B (zh) 一种分镜效果的实现方法、装置及相关产品
TW202220438A (zh) 擴增實境場景下的展示方法、電子設備及電腦可讀儲存介質
CN113905251A (zh) 虚拟对象控制方法、装置、电子设备及可读存储介质
CN113784160A (zh) 视频数据生成方法、装置、电子设备及可读存储介质
CN106730815B (zh) 一种易实现的体感互动方法及系统
CN111862348B (zh) 视频显示方法、视频生成方法、装置、设备及存储介质
CN112148189A (zh) 一种ar场景下的交互方法、装置、电子设备及存储介质
CN110176077A (zh) 增强现实拍照的方法、装置及计算机存储介质
CN114615513B (zh) 视频数据生成方法、装置、电子设备及存储介质
CN114900678B (zh) 一种vr端端云结合的虚拟演唱会渲染方法及系统
CN114155605B (zh) 一种控制方法、装置以及计算机存储介质
CN114401442B (zh) 视频直播及特效控制方法、装置、电子设备及存储介质
JP2019087226A (ja) 情報処理装置、情報処理システムおよび表情画像出力方法
CN114745598A (zh) 视频数据展示方法、装置、电子设备及存储介质
CN114095744A (zh) 视频直播方法、装置、电子设备及可读存储介质
US20230347240A1 (en) Display method and apparatus of scene picture, terminal, and storage medium
CN115150555B (zh) 视频录制方法、装置、设备及介质
CN114470768B (zh) 虚拟道具控制方法、装置、电子设备及可读存储介质
JP2020162084A (ja) コンテンツ配信システム、コンテンツ配信方法、およびコンテンツ配信プログラム
CN115880403A (zh) 针对动作捕捉数据的处理方法和系统
CN114625468A (zh) 增强现实画面的展示方法、装置、计算机设备及存储介质
CN114201046B (zh) 注视方向优化方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant