CN110691279A - 一种虚拟直播的方法、装置、电子设备及存储介质 - Google Patents

一种虚拟直播的方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN110691279A
CN110691279A CN201910745482.6A CN201910745482A CN110691279A CN 110691279 A CN110691279 A CN 110691279A CN 201910745482 A CN201910745482 A CN 201910745482A CN 110691279 A CN110691279 A CN 110691279A
Authority
CN
China
Prior art keywords
live
virtual
live broadcast
scene
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910745482.6A
Other languages
English (en)
Inventor
马里千
郑文
张国鑫
黄旭为
刘晓强
张博宁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Dajia Internet Information Technology Co Ltd
Original Assignee
Beijing Dajia Internet Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Dajia Internet Information Technology Co Ltd filed Critical Beijing Dajia Internet Information Technology Co Ltd
Priority to CN201910745482.6A priority Critical patent/CN110691279A/zh
Publication of CN110691279A publication Critical patent/CN110691279A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/4508—Management of client data or end-user data
    • H04N21/4532—Management of client data or end-user data involving end-user characteristics, e.g. viewer profile, preferences
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/2187—Live feed
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44012—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving rendering scenes according to scene graphs, e.g. MPEG-4 scene graphs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/47205—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for manipulating displayed content, e.g. interacting with MPEG-4 objects, editing locally
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/8146—Monomedia components thereof involving graphical data, e.g. 3D object, 2D graphics

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本公开关于一种虚拟直播的方法、装置、电子设备和存储介质，该方法包括：获取实际直播场景中的非直播者特征和直播者特征；根据所述非直播者特征和所述直播者特征，建立虚拟直播场景，所述虚拟直播场景包含根据所述非直播者特征建立的虚拟场景、以及根据所述直播者特征建立的虚拟形象；识别直播视频流中所述直播者的姿态变化信息；根据所述姿态变化信息，驱动所述虚拟直播场景中虚拟形象的姿态变化。本公开根据真实场景与真实人物的特征构建虚拟直播中的虚拟场景与虚拟形象，因此，能够在提供虚拟直播的同时，通过保留直播场景与直播者的个性特征，避免千篇一律的虚拟直播场景。

Description

一种虚拟直播的方法、装置、电子设备及存储介质
技术领域
本公开涉及网络直播领域，尤其涉及一种虚拟直播的方法、装置、电子设备及存储介质。
背景技术
为了在增强直播的趣味性和互动性，虚拟形象直播作为直播业务中非常重要的一部分，近年来在直播业务中占据着越来越大的比例。在直播过程中，可以使用预先设定的虚拟形象，如小熊猫、小兔子等代替主播的实际形象进行直播，并根据主播的动作控制预先设定的虚拟形象的动作，从而进行主播与观众的互动。
然而，目前的虚拟形象直播通常是在直播之前预先设计特定的虚拟场景和虚拟形象，主播只能在直播前在预先设计好的模型库中选择最合适的虚拟形象和虚拟场景，由于模型库中的素材有限，无论怎样搭配也难以避免广大主播在直播时采用的虚拟形象千篇一律的情况，无法满足虚拟形象直播过程中用户的个性化需求。
发明内容
本公开提供一种虚拟直播的方法及装置，以至少解决相关技术中虚拟直播中虚拟虚拟形象和虚拟场景无法满足用户个性化需求的问题。本公开的技术方案如下：
根据本公开实施例的第一方面，提供一种虚拟直播的方法，包括：
获取实际直播场景中的非直播者特征和直播者特征；
根据所述非直播者特征和所述直播者特征，建立虚拟直播场景，所述虚拟直播场景包含根据所述非直播者特征建立的虚拟场景、以及根据所述直播者特征建立的虚拟形象；
识别直播视频流中所述直播者的姿态变化信息；
根据所述姿态变化信息，驱动所述虚拟直播场景中虚拟形象的姿态变化。
可选地，所述根据所述非直播者特征和所述直播者特征，建立虚拟直播场景之后，还包括：
对已建立的虚拟直播场景执行编辑操作，所述编辑操作至少包括如下任意一种：编辑所述已建立的虚拟直播场景中虚拟场景的特征、编辑所述已建立的虚拟直播场景中的虚拟形象的特征、调节所述已建立的虚拟直播场景中的虚拟场景的第一虚拟程度，调节所述已建立的虚拟直播场景中的虚拟形象的第二虚拟程度；
保存编辑后的虚拟直播场景。
可选地，所述实际直播场景中的直播者数量大于1，则所述建立虚拟直播场景之后，还包括：
建立所述实际直播场景中的直播者特征与虚拟形象之间的第一映射关系；
所述识别直播视频流中直播者的姿态变化信息，包括：
识别所述直播视频流中每一个直播者的姿态变化信息；
建立所述直播视频流中的直播者与姿态变化信息之间的第二映射关系；
所述根据所述姿态变化信息，驱动所述虚拟直播场景中虚拟形象的姿态变化，包括：
根据所述第二映射关系，确定所述直播视频流中各直播者对应的姿态变化信息；
根据所述第一映射关系、以及所述直播视频流中各直播者对应的姿态变化信息，驱动所述虚拟直播场景中各虚拟形象的姿态变化。
可选地，所述根据所述姿态变化信息，驱动所述虚拟直播场景中虚拟形象的姿态变化之后，还包括：
根据所述虚拟直播场景对应的图像帧，生成虚拟直播视频流；
通过预先建立的通信链路向接收端发送所述虚拟直播视频流。
可选地，所述非直播者特征包括：室内场景特征和室外场景特征；其中，
所述室内场景特征包括：室内三维建模信息、室内材质贴图信息、室内光照信息中的至少一种；
所述室外场景特征包括：室外场景360度环境图像信息、室外光照信息中的至少一种；
可选地，所述直播者特征包括：直播者头部信息、直播者身体信息、直播者相关信息；其中，
所述直播者头部信息包括：直播者头部三维信息、直播者面部三维信息中的至少一种；
所述直播者身体信息包括：直播者身体三维信息、直播者服饰三维信息、服饰材质信息中的至少一种；
所述直播者相关信息包括：直播者表情三维信息、直播者声音信息、直播者配饰信息中的至少一种。
可选地，所述姿态变化信息包括：头部姿态变化信息、面部表情变化信息、身体姿态变化信息、手部姿态变化信息。
根据本公开实施例的第二方面，提供一种虚拟直播的装置装置，包括：
特征获取模块，被配置为获取实际直播场景中的非直播者特征和直播者特征；
虚拟构建模块，被配置为根据所述非直播者特征和所述直播者特征，建立虚拟直播场景，所述虚拟直播场景包含根据所述非直播者特征建立的虚拟场景、以及根据所述直播者特征建立的虚拟形象；
直播者识别模块，被配置为识别直播视频流中所述直播者的姿态变化信息；
直播驱动模块，被配置为根据所述姿态变化信息，驱动所述虚拟直播场景中虚拟形象的姿态变化。
可选地，所述装置还包括：
虚拟编辑模块，被配置为对已建立的虚拟直播场景执行编辑操作，所述编辑操作至少包括如下任意一种：编辑所述已建立的虚拟直播场景中虚拟场景的特征、编辑所述已建立的虚拟直播场景中虚拟形象的特征、调节所述已建立的虚拟直播场景中的虚拟场景的第一虚拟程度，调节所述已建立的虚拟直播场景中的虚拟形象的第二虚拟程度；
编辑保存模块，被配置为保存编辑后的虚拟直播场景。
可选地，所述实际直播场景中的直播者数量大于1，所述装置还包括：
第一映射模块，被配置为建立所述实际直播场景中的直播者特征与虚拟形象之间的第一映射关系；
所述直播者识别模块，包括：
多直播者识别子模块，被配置为识别所述直播视频流中每一个直播者的姿态变化信息；
第二映射子模块，被配置为建立所述直播视频流中的直播者与姿态变化信息之间的第二映射关系；
所述直播驱动模块，包括：
第二映射关系确认子模块，被配置为根据所述第二映射关系，确定所述直播视频流中各直播者对应的姿态变化信息；
第一映射关系确认子模块，被配置为根据所述第一映射关系、以及所述直播视频流中各直播者对应的姿态变化信息，驱动所述虚拟直播场景中各虚拟形象的姿态变化。
可选地，所述装置还包括：
直播生成模块，被配置为根据所述虚拟直播场景对应的图像帧，生成虚拟直播视频流；
直播模块，通过预先建立的通信链路向接收端发送所述虚拟直播视频流。
可选地，所述非直播者特征包括：室内场景特征和室外场景特征；其中，
所述室内场景特征包括：室内三维建模信息、室内材质贴图信息、室内光照信息中的至少一种；
所述室外场景特征包括：室外场景360度环境图像信息、室外光照信息中的至少一种；
可选地，所述直播者特征包括：直播者头部信息、直播者身体信息、直播者相关信息；其中，
所述直播者头部信息包括：直播者头部三维信息、直播者面部三维信息中的至少一种；
所述直播者身体信息包括：直播者身体三维信息、直播者服饰三维信息、服饰材质信息中的至少一种；
所述直播者相关信息包括：直播者表情三维信息、直播者声音信息、直播者配饰信息中的至少一种。
可选地，所述姿态变化信息包括：头部姿态变化信息、面部表情变化信息、身体姿态变化信息、手部姿态变化信息中的至少一种。
根据本公开实施例的第三方面，提供一种电子设备，其特征在于，包括：
处理器；
用于存储所述处理器可执行指令的存储器；
其中，所述处理器被配置为执行所述指令，以实现上述的虚拟直播的方法。
根据本公开实施例的第四方面，提供一种存储介质，当所述存储介质中的指令由虚拟直播的电子设备的处理器执行时，使得虚拟直播的电子设备能够执行如上述的虚拟直播的方法。
根据本公开实施例的第五方面，提供一种计算机程序产品，包括一条或多条指令，该一条或多条指令可以由虚拟直播的电子设备的处理器执行时，使得虚拟直播的电子设备能够执行上述的虚拟直播的方法。
本公开的实施例提供的技术方案至少带来以下有益效果：
本公开通过对直播场景和实际直播者特征的采集，自适应的根据真实场景与真实人物构建虚拟直播中的虚拟场景与虚拟形象，能够在虚拟直播中保留真实直播场景的特征，因此，能够在提供虚拟直播的同时，通过保留直播场景与直播者的个性特征，避免千篇一律的虚拟直播形象。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理，并不构成对本公开的不当限定。
图1是根据一示例性实施例示出的一种虚拟直播的方法的流程图。
图2是根据一示例性实施例示出的另一种虚拟直播的方法的流程图。
图3是根据一示例性实施例示出的又一种虚拟直播的方法的流程图。
图4是根据一示例性实施例示出的一种虚拟直播的装置的框图。
图5是根据一示例性实施例示出的另一种虚拟直播的装置框图。
图6是根据一示例性实施例示出的又一种虚拟直播的装置框图。
图7是根据一示例性实施例示出的一种虚拟直播的电子设备的框图。
具体实施方式
为了使本领域普通人员更好地理解本公开的技术方案，下面将结合附图，对本公开实施例中的技术方案进行清楚、完整地描述。
需要说明的是，本公开的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本公开的实施例能够以除了在这里图示或描述的那些以外的顺序实施。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
本公开应用于直播场景中，通过发送端与至少一个接收端实现，发送端与至少一个接收端通过流媒体技术预先建立通信链路，从而进行直播音视频流的传输，达到直播的效果。
图1是根据一示例性实施例示出的一种虚拟直播的方法的流程图，如图1所示，可以包括以下步骤。
在步骤S101中，获取实际直播场景中的非直播者特征和直播者特征。
本公开实施例应用在虚拟直播的发送端中，在进行虚拟直播之前，需要获取实际直播场景中非直播者特征和直播者特征，可选地，可以是对实际直播场景进行拍摄提取或直接扫描，即对实际直播场景进行视频或图片的采集，并根据视频或图片提取，或通过对实际直播场景的扫描输出实际直播场景的三维点云或网格信息、光照信息、材质信息等，可选地，可以通过发送端直播用的摄像头进行拍摄，也可以借助其他设备，如深度摄像头、红外摄像头、扫描仪等，本公开实施例对此不做具体限制。
本公开实施例中，获取实际直播场景的非直播者特征和直播者特征可以设置用户感知的获取，即在获取开始前提醒用户获取开始，并提示用户配合，可选地，可以是以语音的形式提示用户调整摄像头的角度、高度等，或是调整室内亮度、用户姿态等，这样能够获得更加准确的结果，便于后续虚拟场景、虚拟形象的构建，或者，也可以设置用户无感知的获取，在直播开始之前的预设时间内利用发送端的摄像头，或其他设备直接进行摄像范围内的实际直播场景的拍摄或扫描，这样能够更加快速的完成非直播者特征和直播者特征的获取，提高虚拟场景和虚拟形象构建的效率。
本公开实施例中，可选地，直播者特征包括即将开始的直播中直播者的形貌特征，或者还可以包括直播者的语音特征，非直播者特征包括即将开始的直播所处的实际场景特征，可以是室内场景或室外场景，通过收集直播相关的真实信息，从而可以保证虚拟直播在虚拟的基础上，保留实际直播场景及其中的实际直播者更多的个性特征。
可选地，所述非直播者特征包括：室内场景特征和室外场景特征；其中，
所述室内场景特征包括：室内三维建模信息、室内材质贴图信息、室内光照信息中的至少一种；
所述室外场景特征包括：室外场景360度环境图像信息、室外光照信息中的至少一种。
本公开实施例中，非直播者特征为室内场景时，可以采集室内三维建模信息、室内材质贴图信息、室内光照信息等；非直播者特征为室外场景时，可以采集室外场景360度环境图像信息、室外光照信息等，可选地，还可以采集室外地理位置信息、室外天气信息等，本公开实施例对具体非直播特征的种类及数目不做限制，出于保留真实特征的目的，本领域技术人员可结合采集精度与采集时间进行合理选择。
可选地，所述直播者特征包括：直播者头部信息、直播者身体信息、直播者相关信息；其中，
所述直播者头部信息包括：直播者头部三维信息、直播者面部三维信息中的至少一种；
所述直播者身体信息包括：直播者身体三维信息、直播者服饰三维信息、服饰材质信息中的至少一种；
所述直播者相关信息包括：直播者表情三维信息、直播者声音信息、直播者配饰信息中的至少一种。
本公开实施例中，直播者特征可以包括直播者头部信息、直播者身体信息等，其中直播者头部信息可以包括直播者头部三维信息，以描述直播者头部的形状、头发的发型等信息，还可以包括直播者面部信息，以描述直播者面部五官位置、形状、眉毛位置、形状等信息；直播者身体信息包括直播者身体三维信息，以描述直播者躯干、四肢的形状，还可以包括直播者服饰信息，以描述直播者服饰的款式、大小等，同时，可以采集服饰材质信息，以描述直播者服饰的颜色、质感等。
本公开实施例中，除了上述直播者头部信息和直播者身体信息外，还可以包括直播者相关信息，以进一步完善直播者特征的采集，可选地，直播者相关信息可以包括直播者表情三维信息、直播者声音信息、直播者配饰信息等中的至少一种，直播者表情三维信息，可以通过采集预设时间内直播者五官形状的变化采集，直播者声音信息可以通过提示用户念出预设语句进行采集，直播者配饰信息可以包括头部的帽子、发饰等位置、形状、材质信息，身体的耳环、项链、手镯、胸针等的位置、形状、材质信息，可选地，可以在采集对应位置的直播者特征时，一同采集对应的位置的直播者服饰信息。
在步骤S102中，根据所述非直播者特征和所述直播者特征，建立虚拟直播场景；所述虚拟直播场景包含根据所述非直播者特征建立的虚拟场景、以及根据所述直播者特征建立的虚拟形象。
本公开实施例中，根据采集的非直播者特征可以对虚拟直播场景进行构建，可选地，对于室内场景特征，根据室内三维建模信息进行室内场景三维模型的建立、根据室内光照信息构建室内虚拟光源，在根据室内材质贴图信息对室内场景三维模型进行渲染，从而构建虚拟场景；对于室外场景特征，则根据室外场景360度环境图像信息建立室外场景360度的模型，以保证全部场景的虚拟化，方便大范围的虚拟直播，之后再根据室外光照信息构建室外场景的虚拟光源，并对室外场景360度的模型进行渲染，从而构建虚拟场景。
本公开实施例中，可选地，在构建之前，可以接收用户针对虚拟场景构建风格的设置，可以是画面风格如卡通风格、水彩风格、油画风格、水墨风格等，或者也可以是场景风格如书屋场景、教室场景、画室场景、录音棚场景等，此时，可以根据非直播者特征建立对应风格的虚拟场景，将真实的非直播者特征包括的实际的室内场景特征或室外场景特征以预设风格体现在虚拟场景中。
本公开实施例中，根据采集的直播者特征可以针对直播者进行虚拟形象的构建，可选地，可以根据直播者头部三维信息构建虚拟形象头部模型、根据直播者面部三维信息建立虚拟形象面部三维模型，根据直播者身体三维信息建立虚拟形象躯干、四肢的三维模型、根据直播者服饰三维信息构建虚拟形象服饰的三维模型、还可以根据服饰材质信息对虚拟形象服饰三维模型进行渲染，从而获得贴近实际直播者特征的虚拟形象。
本公开实施例中，可选地，在构建之前，可以接收用户针对虚拟形象构建风格的设置，可以是画面风格，与虚拟场景类似，也可以是形象风格，如卡通小人形象、小白兔形象、小狮子形象、小熊猫形象等，此时，以小白兔形象为例，可以在用户选择的基础上，根据直播者特征构建小白兔形象的虚拟形象，如根据直播者头部信息构建小白兔形象头部大小、发型、发色等，根据直播者面部信息构建小白兔形象五官比例、眉毛和胡子位置、颜色等等，根据直播者身体三维信息构建小白兔形象的躯干、四肢比例，根据直播者服饰三维信息构建小白兔形象的服饰等，从而在保留真实特征的情况下，进行虚拟形象的创建。
本公开实施例中，可选地，针对不同的形象风格，可以对不同的直播者特征进行取舍，以小白兔形象为例，当以小白兔形象为基准，根据直播者特征进行虚拟形象的创建时，可以舍弃直播者面部信息中的耳部位置、大小等信息，由于兔耳与人耳差异较大，如果采用人耳部位置、大小等信息进行构建，可能造成虚拟形象严重失真，因此可以对耳部相关的信息适当舍弃，可选地，与耳部相关的直播者配饰信息，如耳环、耳钉等，可以根据用户选择的风格虚拟化后显示在小白兔形象的耳朵上，从而使得虚拟形象保留更多的真实特征，进一步保证虚拟形象的个性化。
本公开实施例中，可选地，还可以根据直播者相关信息中的直播者表情三维信息，即直播者五官位置、形状的变化，对虚拟形象的表情进行构建，进一步的，还可以对虚拟形象的表情在直播者表情三维信息的基础上进行预设范围内的夸张，从而加强虚拟形象的互动性、趣味性，另外，也可以根据直播者声音信息对虚拟形象的声音进行虚拟化构建，如回音效果、升调、降调等，本公开实施例对此不做具体限制。
在步骤S103中，识别直播视频流中直播者的姿态变化信息。
本公开实施例中，在构建虚拟场景与虚拟形象后，即可开始直播，在直播过程中，可以通过发送端的摄像头采集直播视频流，该直播视频流的图像帧中包括实际场景与实际直播者，通过对图像帧中直播者的姿态变化信息进行识别，以获取在直播过程中直播者的姿态变化。
可选地，所述姿态变化信息包括：头部姿态变化信息、面部表情变化信息、身体姿态变化信息、手部姿态变化信息中的至少一种。
其中，头部姿态变化信息可以包括头部晃动的幅度、头部位置的变化等，面部表情变化信息可以包括五官形状的变化、五官位置的变化等、身体姿态变化信息可以包括肢体位置的变化、躯干位置的变化等，手部姿态变化信息可以包括手掌位置的变化、手指位置的变化、手指形状的变化等，本公开实施例中的变化可以指图像帧相邻帧之间的变化，本领域技术人员可以根据实际情况选择更多的姿态变化信息以及其他规则定义变化，本公开实施例不做具体限制。
在步骤S104中，根据所述姿态变化信息，驱动所述虚拟直播场景中虚拟形象的姿态变化。
本公开实施例中，根据识别图像帧获得的姿态变化信息，可以驱动虚拟直播场景中虚拟形象的姿态变化，可选地，可以是根据姿态变化信息使虚拟形象点头、摇头、挥手、眨眼等，可选地，当姿态变化信息显示直播者与实际场景进行了互动，如拿起水杯时，可以对虚拟场景也进行相应的互动，如驱动虚拟形象拿起虚拟场景中虚拟化的水杯等。
可选地，在所述步骤S104之后，所述方法还包括：
在所述步骤S105中，根据所述虚拟直播场景对应的图像帧，生成虚拟直播视频流。
本公开实施例中，在根据姿态变化信息驱动虚拟场景中的虚拟形象后，此时，可以根据虚拟直播场景对应的图像帧转化为相应的、符合通信链路传输协议的虚拟直播视频流，从而可以将虚拟直播场景以及虚拟直播场景中的虚拟形象通转化为虚拟直播视频流。
在所述步骤S106中，通过预先建立的通信链路向接收端发送所述虚拟直播视频流。
本公开实施例中，在直播业务发起之前，可以预先建立发送端与接收端之间的通信链路，从而保证直播过程中虚拟直播视频流传输的稳定性，另外，也可以通过流媒体技术对虚拟直播视频流进行传输，在缓冲、播放的直播模式下，保证直播的实时性，从而加强直播者与观众的互动性。
本公开通过对直播场景和实际直播者特征的采集，自适应的根据真实场景与真实人物构建虚拟直播中的虚拟场景与虚拟形象，能够在虚拟直播中保留真实直播场景的特征，因此，能够在提供虚拟直播的同时，通过保留直播场景与直播者的个性特征，避免千篇一律的虚拟直播形象。
图2是根据一示例性实施例示出的另一种虚拟直播方法的流程图。参照图2，所述方法可以包括以下步骤：
在步骤S201中，获取实际直播场景中的非直播者特征和直播者特征。
在步骤S202中，根据所述非直播者特征和所述直播者特征，建立虚拟直播场景；所述虚拟直播场景包含根据所述非直播者特征建立的虚拟场景、以及根据所述直播者特征建立的虚拟形象。
在步骤S203中，对已建立的虚拟直播场景执行编辑操作，所述编辑操作至少包括如下任意一种：编辑所述已建立的虚拟直播场景中虚拟场景的特征、编辑所述已建立的虚拟直播场景中虚拟形象的特征、调节所述已建立的虚拟直播场景中的虚拟场景的第一虚拟程度，调节所述已建立的虚拟直播场景中的虚拟形象的第二虚拟程度。
本公开实施例中，在根据非直播者特征与直播者特征建立虚拟直播场景后，还可以接收用户针对虚拟直播场景的编辑操作，，可选地，对虚拟直播场景中虚拟场景的特征的编辑可以是对虚拟场景的特征，如颜色、气氛、场景风格、画面风格等的编辑，颜色可以是虚拟场景的地面、墙壁、家具、天花板或者天空的颜色，也可以是整个虚拟场景的颜色，气氛可以是飘花、灯光、烟雾等，画面风格和场景风格可以如前述。
本公开实施例中，可选地，对虚拟直播场景中的虚拟形象的特征编辑可以是对虚拟形象的颜色、配饰、画面风格和形象风格等的编辑，其中，颜色可以是虚拟形象的瞳孔、皮肤、头发、衣饰颜色，配饰可以是帽子、首饰等等，也可以是画面的边框、纹理等，画面风格和形象风格如前述，上述编辑对象仅用于举例，本领域技术人员可以根据实际应用需求选择不同的编辑对象，本公开对此不做具体限制。
本公开实施例中，调节所述已建立的虚拟直播场景中的虚拟场景的第一虚拟程度，调节所述已建立的虚拟直播场景中的虚拟形象的第二虚拟程度，其中，第一虚拟程度可以反映虚拟场景与实际场景的相似度，第一虚拟程度越高，虚拟场景与实际场景的相似度越低，反之则相似度越高，具体的，可以是虚拟场景与实际场景的结构、比例、大小，摆件的形状、位置、大小等的相似度；第二虚拟程度可以反映虚拟形象与直播者个体之间的相似程度，第二虚拟程度越高，虚拟形象与直播者个体之间的相似度越低，反之，则相似度越高，具体的，可以是虚拟形象与实际形象的面部、肢体、服饰的相似度等，也即，第一虚拟程度和第二虚拟程度可以体现虚拟直播场景中对非直播者特征和直播者特征的还原程度，调节第一虚拟程度和第二虚拟程度，可以同时编辑，如响应于用户针对第一虚拟程度和第二虚拟程度的编辑操作，显示调节按钮，接收用户针对调节按钮的操作，同时增大或降低虚拟直播场景中的第一虚拟程度或第二虚拟程度，或者也可以分别显示用于调节第一虚拟程度和第二虚拟程度的按钮，从而分别调节第一虚拟程度和第二虚拟程度。
在步骤S204中，保存编辑后的虚拟直播场景。
本公开实施例中，还可以对编辑后的虚拟直播场景进行保存，在后续直播中，则使用编辑后的虚拟直播场景进行虚拟直播，可选地，在虚拟直播的过程中，可以对虚拟直播场景随时进行编辑，以实时适应虚拟直播的需求。
在步骤S205中，识别直播视频流中直播者的姿态变化信息。
在步骤S206中，根据所述姿态变化信息，驱动所述虚拟直播场景中虚拟形象的姿态变化。
可选地，在所述步骤S206之后，所述方法还包括：
在所述步骤S207中，根据所述虚拟直播场景对应的图像帧，生成虚拟直播视频流。
在所述步骤S208中，通过预先建立的通信链路向接收端发送所述虚拟直播视频流。
本公开通过对直播场景和实际直播者特征的采集，自适应的根据真实场景与真实人物构建虚拟直播中的虚拟场景与虚拟形象，能够在虚拟直播中保留真实直播场景的特征，因此，能够在提供虚拟直播的同时，通过保留直播场景与直播者的个性特征，避免千篇一律的虚拟直播形象；同时，本公开还可以接收用户针对虚拟直播场景的编辑，从而在保留实际直播场景的同时，进一步可以根据用户的需求进行虚拟直播场景的构建和布置。
图3是根据一示例性实施例示出的又一种虚拟直播方法的流程图。参照图3，所述方法可以包括以下步骤：
在所述步骤S301中，获取实际直播场景中的非直播者特征和直播者特征。
在所述步骤S302中，根据所述非直播者特征和所述直播者特征，建立虚拟直播场景；所述虚拟直播场景包含根据所述非直播者特征建立的虚拟场景、以及根据所述直播者特征建立的虚拟形象。
可选地，如图3所示，所述实际直播场景中的直播者数量大于1，则在所述步骤S302之后，还包括所述步骤303。
在所述步骤303中，建立所述实际直播场景中的直播者特征与虚拟形象之间的第一映射关系。
本公开实施例中，当虚拟直播的直播者数量大于1时，则会构建多个虚拟形象，这样一来，为了避免后续对虚拟形象的驱动出现错位，如根据第一直播者的姿态变化信息对第二直播者的虚拟形象进行驱动，使得画面出现崩坏、违和的情况，则需要根据直播者特征与虚拟形象之间的第一映射关系，直播者特征可以是前述直播者头部信息、直播者身体信息、直播者相关信息中的至少一种，只要能将多个直播者区分开即可。
在所述步骤S304中，识别所述直播视频流中每一个直播者的姿态变化信息。
本公开实施例中，此时需要识别直播视频流中每一个直播者的姿态变化信息，具体姿态变化信息如前述，在本公开实施例的识别中，需要将每一个直播者的姿态变化信息分别进行识别，可选地，可以是将中心点距离、或最近点距离小于预设阈值的姿态变化信息作为同一个直播者的姿态变化信息，从而区分不同的直播者，本公开实施例中对于不同直播者姿态变化信息的方法不做具体限定。
在所述步骤S305中，建立所述直播视频流中的直播者与姿态变化信息之间的第二映射关系。
本公开实施例中，在识别不同直播者的姿态变化信息后，则建立不同直播者与姿态变化信息之间的第二映射关系，即先识别姿态变化信息属于同一个直播者，再识别该同一个直播者对应直播视频流中的哪一个直播者，并建立姿态变化信息与直播视频流中的直播者的第二映射关系，可选地，可以根据姿态变化信息与构建直播者虚拟形象时采集的直播者特征进行匹配，从而确定姿态变化信息与直播者之间的第二映射关系。
在所述步骤S306中，根据所述第二映射关系，确定所述直播视频流中各直播者对应的姿态变化信息。
本公开实施例中，根据前述建立的第二映射关系，从而确认当前的直播视频流中各直播者对应的姿态变化信息，可选地，可以是识别直播者之间的对应关系，即当前直播视频流中的直播者与第二映射关系中的哪一个直播者是同一个直播者，再根据第二映射关系，确认当前直播视频流中的直播者对应的姿态变化信息。
在所述步骤S307中，根据所述第一映射关系、以及所述直播视频流中各直播者对应的姿态变化信息，驱动所述虚拟直播场景中各虚拟形象的姿态变化。
本公开实施例中，可以根据记录直播者特征与虚拟形象关系的第一设映射关系，以及直播者对应的姿态变化信息，确认虚拟形象与姿态变化信息之间的关系，从而根据姿态变化信息对对应的虚拟形象进行驱动，可选地，可以是根据姿态变化信息确认对应的直播者，再根据直播者确认对应的直播者特征，再根据直播者特征确认对应的虚拟形象，从而根据姿态变化信息分别对对应的虚拟形象进行驱动，通过多方验证以保证姿态变化信息与虚拟形象的准确对应，深度避免虚拟形象驱动的错位。
本公开实施例中，上述多人虚拟直播时，确认姿态变化信息与虚拟形象的过程仅用于举例，本公开实施例中，还可以通过姿态变化信息与直播者特征之间建立第三映射关系，并根据第三映射关系与第一映射关系确认与虚拟形象对应的姿态变化信息，以简化中间的计算步骤，提升虚拟直播的效率。
可选地，在所述步骤S307之后，所述方法还包括：
在所述步骤S308中，根据所述虚拟直播场景对应的图像帧，生成虚拟直播视频流。
在所述步骤S309中，通过预先建立的通信链路向接收端发送所述虚拟直播视频流。
本公开通过对直播场景和实际直播者特征的采集，自适应的根据真实场景与真实人物构建虚拟直播中的虚拟场景与虚拟形象，能够在虚拟直播中保留真实直播场景的特征，因此，能够在提供虚拟直播的同时，通过保留直播场景与直播者的个性特征，避免千篇一律的虚拟直播形象；同时，能够在多人进行虚拟直播时，对虚拟形象与直播者的姿态变化信息进行准确匹配，从而保证多人虚拟直播过程中虚拟形象的驱动不会出现错位的情况。
需要说明的是，对于方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本申请实施例并不受所描述的动作顺序的限制，因为依据本申请实施例，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作并不一定是本申请实施例所必须的。
图4是根据一示例性实施例示出的一种虚拟直播的装置400框图。参照图4，装置400包括特征获取模块401，虚拟构建模块402、直播者识别模块403和直播驱动模块404。
特征获取模块401，被配置为获取实际直播场景中的非直播者特征和直播者特征。
可选地，所述非直播者特征包括：室内场景特征和室外场景特征；其中，
所述室内场景特征包括：室内三维建模信息、室内材质贴图信息、室内光照信息中的至少一种；
所述室外场景特征包括：室外场景360度环境图像信息、室外光照信息中的至少一种。
可选地，所述直播者特征包括：直播者头部信息、直播者身体信息、直播者相关信息；其中，
所述直播者头部信息包括：直播者头部三维信息、直播者面部三维信息中的至少一种；
所述直播者身体信息包括：直播者身体三维信息、直播者服饰三维信息、服饰材质信息中的至少一种；
所述直播者相关信息包括：直播者表情三维信息、直播者声音信息、直播者配饰信息中的至少一种。
虚拟构建模块402，被配置为根据所述非直播者特征和所述直播者特征，建立虚拟直播场景，所述虚拟直播场景包含根据所述非直播者特征建立的虚拟场景、以及根据所述直播者特征建立的虚拟形象。
直播者识别模块403，被配置为识别直播视频流中直播者的姿态变化信息。
可选地，所述姿态变化信息包括：头部姿态变化信息、面部表情变化信息、身体姿态变化信息、手部姿态变化信息中的至少一种。
直播驱动模块404，被配置为根据所述姿态变化信息，驱动所述虚拟直播场景中虚拟形象的姿态变化。
可选地，参照图4，装置400还包括直播生成模块405和直播模块406。
直播生成模块405，被配置为根据所述虚拟直播场景对应的图像帧，生成虚拟直播视频流。
直播模块406，通过预先建立的通信链路向接收端发送所述虚拟直播视频流。
图5是根据一示例性实施例示出的另一种虚拟直播的装置500框图。参照图5，装置500包括特征获取模块501，虚拟构建模块502、虚拟编辑模块503、编辑保存模块504、直播者识别模块505和直播驱动模块506。
特征获取模块501，被配置为获取实际直播场景中的非直播者特征和直播者特征。
虚拟构建模块502，被配置为根据所述非直播者特征和所述直播者特征，建立虚拟直播场景，所述虚拟直播场景包含根据所述非直播者特征建立的虚拟场景、以及根据所述直播者特征建立的虚拟形象。
虚拟编辑模块503，被配置为对已建立的虚拟直播场景执行编辑操作，所述编辑操作至少包括如下任意一种：编辑所述已建立的虚拟直播场景中虚拟场景的特征、编辑所述已建立的虚拟直播场景中虚拟形象的特征、调节所述已建立的虚拟直播场景中的虚拟场景的第一虚拟程度，调节所述已建立的虚拟直播场景中的虚拟形象的第二虚拟程度。
编辑保存模块504，被配置为保存编辑后的虚拟直播场景。
直播者识别模块505，被配置为识别直播视频流中直播者的姿态变化信息。
直播驱动模块506，被配置为根据所述姿态变化信息，驱动所述虚拟直播场景中虚拟形象的姿态变化。
可选地，参照图5，装置500还包括直播生成模块507和直播模块508。
直播生成模块507，被配置为根据所述虚拟直播场景对应的图像帧，生成虚拟直播视频流。
直播模块508，通过预先建立的通信链路向接收端发送所述虚拟直播视频流。
图6是根据一示例性实施例示出的又一种虚拟直播的装置600框图。参照图6，装置600包括特征获取模块601，虚拟构建模块602、第一映射模块603、直播者识别模块604和直播驱动模块605。
特征获取模块601，被配置为获取实际直播场景中的非直播者特征和直播者特征。
虚拟构建模块602，被配置为根据所述非直播者特征和所述直播者特征，建立虚拟直播场景；所述虚拟直播场景包含根据所述非直播者特征建立的虚拟场景、以及根据所述直播者特征建立的虚拟形象。
第一映射模块603，被配置为建立所述实际直播场景中的直播者特征与虚拟形象之间的第一映射关系。
直播者识别模块604，被配置为识别直播视频流中直播者的姿态变化信息。
可选地，直播者识别模块604包括：多直播者识别子模块6041和第二映射子模块6042。
多直播者识别子模块6041，被配置为识别所述直播视频流中每一个直播者的姿态变化信息；
第二映射子模块6042，被配置为建立所述直播视频流中的直播者与姿态变化信息之间的第二映射关系。
直播驱动模块605，被配置为根据所述姿态变化信息，驱动所述虚拟直播场景中虚拟形象的姿态变化。
可选地，直播驱动模块605包括：第二映射关系确认子模块6051和第一映射关系确认子模块6052。
第二映射关系确认子模块6051，被配置为根据所述第二映射关系，确定所述直播视频流中各直播者对应的姿态变化信息。
第一映射关系确认子模块6052，被配置为根据所述第一映射关系、以及所述直播视频流中各直播者对应的姿态变化信息，驱动所述虚拟直播场景中各虚拟形象的姿态变化。
可选地，参照图6，装置600还包括直播生成模块606和直播模块607。
直播生成模块606，被配置为根据所述虚拟直播场景对应的图像帧，生成虚拟直播视频流。
直播模块607，通过预先建立的通信链路向接收端发送所述虚拟直播视频流。
关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
图7是根据一示例性实施例示出的一种电子设备700的框图。电子设备可以为移动终端也可以为服务器，本公开实施例中以电子设备为移动终端为例进行说明。例如，电子设备700可以是移动电话，计算机，数字广播终端，消息收发设备，游戏控制台，平板设备，医疗设备，健身设备，个人数字助理等。
参照图7，电子设备700可以包括以下一个或多个组件：处理组件702，存储器704，电力组件706，多媒体组件708，音频组件710，输入/输出(I/O)的接口712，传感器组件714，以及通信组件716。
处理组件702通常控制电子设备700的整体操作，诸如与显示，电话呼叫，数据通信，相机操作和记录操作相关联的操作。处理组件702可以包括一个或多个处理器720来执行指令，以完成上述的方法的全部或部分步骤。此外，处理组件702可以包括一个或多个模块，便于处理组件702和其他组件之间的交互。例如，处理组件702可以包括多媒体模块，以方便多媒体组件708和处理组件702之间的交互。
存储器704被配置为存储各种类型的数据以支持在电子设备700的操作。这些数据的示例包括用于在电子设备700上操作的任何应用程序或方法的指令，联系人数据，电话簿数据，消息，图片，视频等。存储器704可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。
电源组件706为电子设备700的各种组件提供电力。电源组件706可以包括电源管理系统，一个或多个电源，及其他与为电子设备700生成、管理和分配电力相关联的组件。
多媒体组件708包括在所述电子设备700和用户之间的提供一个输出接口的屏幕。在一些实施例中，屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与所述触摸或滑动操作相关的持续时间和压力。在一些实施例中，多媒体组件708包括一个前置摄像头和/或后置摄像头。当电子设备700处于操作模式，如拍摄模式或视频模式时，前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜系统或具有焦距和光学变焦能力。
音频组件710被配置为输出和/或输入音频信号。例如，音频组件710包括一个麦克风(MIC)，当电子设备700处于操作模式，如呼叫模式、记录模式和语音识别模式时，麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器704或经由通信组件716发送。在一些实施例中，音频组件710还包括一个扬声器，用于输出音频信号。
I/O接口712为处理组件702和外围接口模块之间提供接口，上述外围接口模块可以是键盘，点击轮，按钮等。这些按钮可包括但不限于：主页按钮、音量按钮、启动按钮和锁定按钮。
传感器组件714包括一个或多个传感器，用于为电子设备700提供各个方面的状态评估。例如，传感器组件714可以检测到电子设备700的打开/关闭状态，组件的相对定位，例如所述组件为电子设备700的显示器和小键盘，传感器组件714还可以检测电子设备700或电子设备700一个组件的位置改变，用户与电子设备700接触的存在或不存在，电子设备700方位或加速/减速和电子设备700的温度变化。传感器组件714可以包括接近传感器，被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件714还可以包括光传感器，如CMOS或CCD图谱传感器，用于在成像应用中使用。在一些实施例中，该传感器组件714还可以包括加速度传感器，陀螺仪传感器，磁传感器，压力传感器或温度传感器。
通信组件716被配置为便于电子设备700和其他设备之间有线或无线方式的通信。电子设备700可以接入基于通信标准的无线网络，如WiFi，运营商网络(如2G、7G、4G或5G)，或它们的组合。在一个示例性实施例中，通信组件716经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中，所述通信组件716还包括近场通信(NFC)模块，以促进短程通信。例如，在NFC模块可基于射频识别(RFID)技术，红外数据协会(IrDA)技术，超宽带(UWB)技术，蓝牙(BT)技术和其他技术来实现。
在示例性实施例中，电子设备700可以被一个或多个应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述图1至图3中所示的虚拟直播的方法。
在示例性实施例中，还提供了一种包括指令的非临时性计算机可读存储介质，例如包括指令的存储器704，上述指令可由电子设备700的处理器720执行以完成上述图1至图3中所示的虚拟直播的方法。例如，所述非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
在示例性实施例中，还提供了一种计算机程序产品，当计算机程序产品中的指令由电子设备700的处理器720执行时，使得电子设备700执行上述图1至图3中所示的虚拟直播的方法。
本领域技术人员在考虑说明书及实践这里公开的公开后，将容易想到本公开的其它实施方案。本公开旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。
应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。

Claims (10)

1.一种虚拟直播的方法，其特征在于，包括：
获取实际直播场景中的非直播者特征和直播者特征；
根据所述非直播者特征和所述直播者特征，建立虚拟直播场景，所述虚拟直播场景包含根据所述非直播者特征建立的虚拟场景、以及根据所述直播者特征建立的虚拟形象；
识别直播视频流中所述直播者的姿态变化信息；
根据所述姿态变化信息，驱动所述虚拟直播场景中虚拟形象的姿态变化。
2.根据权利要求1所述的方法，其特征在于，所述根据所述非直播者特征和所述直播者特征，建立虚拟直播场景之后，还包括：
对已建立的虚拟直播场景执行编辑操作，所述编辑操作至少包括如下任意一种：编辑所述已建立的虚拟直播场景中虚拟场景的特征、编辑所述已建立的虚拟直播场景中虚拟形象的特征、调节所述已建立的虚拟直播场景中的虚拟场景的第一虚拟程度，调节所述已建立的虚拟直播场景中的虚拟形象的第二虚拟程度；
保存编辑后的虚拟直播场景。
3.根据权利要求1所述的方法，其特征在于，所述实际直播场景中的直播者数量大于1，则所述建立虚拟直播场景之后，还包括：
建立所述实际直播场景中的直播者特征与虚拟形象之间的第一映射关系；
所述识别直播视频流中直播者的姿态变化信息，包括：
识别所述直播视频流中每一个直播者的姿态变化信息；
建立所述直播视频流中的直播者与姿态变化信息之间的第二映射关系；
所述根据所述姿态变化信息，驱动所述虚拟直播场景中虚拟形象的姿态变化，包括：
根据所述第二映射关系，确定所述直播视频流中各直播者对应的姿态变化信息；
根据所述第一映射关系、以及所述直播视频流中各直播者对应的姿态变化信息，驱动所述虚拟直播场景中各虚拟形象的姿态变化。
4.根据权利要求1所述的方法，其特征在于，所述根据所述姿态变化信息，驱动所述虚拟直播场景中虚拟形象的姿态变化之后，还包括：
根据所述虚拟直播场景对应的图像帧，生成虚拟直播视频流；
通过预先建立的通信链路向接收端发送所述虚拟直播视频流。
5.根据权利要求1所述的方法，其特征在于，所述非直播者特征包括：室内场景特征和/或室外场景特征；其中，
所述室内场景特征包括：室内三维建模信息、室内材质贴图信息、室内光照信息中的至少一种；
所述室外场景特征包括：室外场景360度环境图像信息、室外光照信息中的至少一种。
6.根据权利要求1所述的方法，其特征在于，所述直播者特征包括：直播者头部信息、直播者身体信息、直播者相关信息；其中，
所述直播者头部信息包括：直播者头部三维信息、直播者面部三维信息中的至少一种；
所述直播者身体信息包括：直播者身体三维信息、直播者服饰三维信息、服饰材质信息中的至少一种；
所述直播者相关信息包括：直播者表情三维信息、直播者声音信息、直播者配饰信息中的至少一种。
7.根据权利要求1所述的方法，其特征在于，所述姿态变化信息包括：头部姿态变化信息、面部表情变化信息、身体姿态变化信息、手部姿态变化信息中的至少一种。
8.一种虚拟直播的装置，其特征在于，包括：
特征获取模块，被配置为获取实际直播场景中的非直播者特征和直播者特征；
虚拟构建模块，被配置为根据所述非直播者特征和所述直播者特征，建立虚拟直播场景，所述虚拟直播场景包含根据所述非直播者特征建立的虚拟场景、以及根据所述直播者特征建立的虚拟形象；
直播者识别模块，被配置为识别直播视频流中所述直播者的姿态变化信息；
直播驱动模块，被配置为根据所述姿态变化信息，驱动所述虚拟直播场景中虚拟形象的姿态变化。
9.一种电子设备，其特征在于，包括：
处理器；
用于存储所述处理器可执行指令的存储器；
其中，所述处理器被配置为执行所述指令，以实现如权利要求1至7中任一项所述的虚拟直播的方法。
10.一种存储介质，当所述存储介质中的指令由电子设备的处理器执行时，使得所述电子设备能够执行如权利要求1至7中任一项所述的虚拟直播的方法。
CN201910745482.6A 2019-08-13 2019-08-13 一种虚拟直播的方法、装置、电子设备及存储介质 Pending CN110691279A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910745482.6A CN110691279A (zh) 2019-08-13 2019-08-13 一种虚拟直播的方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910745482.6A CN110691279A (zh) 2019-08-13 2019-08-13 一种虚拟直播的方法、装置、电子设备及存储介质

Publications (1)

Publication Number Publication Date
CN110691279A true CN110691279A (zh) 2020-01-14

Family

ID=69108269

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910745482.6A Pending CN110691279A (zh) 2019-08-13 2019-08-13 一种虚拟直播的方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN110691279A (zh)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111432267A (zh) * 2020-04-23 2020-07-17 深圳追一科技有限公司 视频调整方法、装置、电子设备及存储介质
CN112017264A (zh) * 2020-09-10 2020-12-01 网易（杭州）网络有限公司 虚拟演播厅的显示控制方法及装置、存储介质、电子设备
CN112153400A (zh) * 2020-09-22 2020-12-29 北京达佳互联信息技术有限公司 直播互动方法、装置、电子设备及存储介质
CN112215929A (zh) * 2020-10-10 2021-01-12 珠海格力电器股份有限公司 一种虚拟社交的数据处理方法、装置及系统
CN113630646A (zh) * 2021-07-29 2021-11-09 北京沃东天骏信息技术有限公司 一种数据处理方法及装置、设备、存储介质
CN114007091A (zh) * 2021-10-27 2022-02-01 北京市商汤科技开发有限公司 一种视频处理方法、装置、电子设备及存储介质
CN114302153A (zh) * 2021-11-25 2022-04-08 阿里巴巴达摩院(杭州)科技有限公司 视频播放方法及装置
CN114723860A (zh) * 2022-06-08 2022-07-08 深圳智华科技发展有限公司 虚拟形象的生成方法、装置、设备及存储介质
WO2022223029A1 (zh) * 2021-04-22 2022-10-27 北京字节跳动网络技术有限公司 虚拟形象的互动方法、装置和设备
WO2023279705A1 (zh) * 2021-07-07 2023-01-12 上海商汤智能科技有限公司 直播方法、装置、系统、计算机设备、存储介质及程序
WO2023241010A1 (zh) * 2022-06-14 2023-12-21 Oppo广东移动通信有限公司 虚拟形象生成方法、装置、电子设备及存储介质

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106445121A (zh) * 2016-09-08 2017-02-22 三星电子（中国）研发中心 虚拟现实设备与终端的交互方法和装置
CN107077755A (zh) * 2016-09-30 2017-08-18 深圳达闼科技控股有限公司 虚拟与现实融合方法、系统和虚拟现实设备
US20180041734A1 (en) * 2008-02-05 2018-02-08 Olympus Corporation Virtual image generating apparatus, virtual image generating method, and recording medium storing virtual image generating program
CN107741809A (zh) * 2016-12-21 2018-02-27 腾讯科技（深圳）有限公司 一种虚拟形象之间的互动方法、终端、服务器及系统
CN107801083A (zh) * 2016-09-06 2018-03-13 星播网（深圳）信息有限公司 一种基于三维虚拟技术的网络实时互动直播方法及装置
CN108200445A (zh) * 2018-01-12 2018-06-22 北京蜜枝科技有限公司 虚拟形象的虚拟演播系统及方法
CN108986192A (zh) * 2018-07-26 2018-12-11 北京运多多网络科技有限公司 用于直播的数据处理方法及装置
CN109120990A (zh) * 2018-08-06 2019-01-01 百度在线网络技术（北京）有限公司 直播方法、装置和存储介质
CN109671141A (zh) * 2018-11-21 2019-04-23 深圳市腾讯信息技术有限公司 图像的渲染方法和装置、存储介质、电子装置
CN109840953A (zh) * 2017-11-28 2019-06-04 苏州宝时得电动工具有限公司 基于增强现实的家居设计系统和方法

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180041734A1 (en) * 2008-02-05 2018-02-08 Olympus Corporation Virtual image generating apparatus, virtual image generating method, and recording medium storing virtual image generating program
CN107801083A (zh) * 2016-09-06 2018-03-13 星播网（深圳）信息有限公司 一种基于三维虚拟技术的网络实时互动直播方法及装置
CN106445121A (zh) * 2016-09-08 2017-02-22 三星电子（中国）研发中心 虚拟现实设备与终端的交互方法和装置
CN107077755A (zh) * 2016-09-30 2017-08-18 深圳达闼科技控股有限公司 虚拟与现实融合方法、系统和虚拟现实设备
CN107741809A (zh) * 2016-12-21 2018-02-27 腾讯科技（深圳）有限公司 一种虚拟形象之间的互动方法、终端、服务器及系统
CN109840953A (zh) * 2017-11-28 2019-06-04 苏州宝时得电动工具有限公司 基于增强现实的家居设计系统和方法
CN108200445A (zh) * 2018-01-12 2018-06-22 北京蜜枝科技有限公司 虚拟形象的虚拟演播系统及方法
CN108986192A (zh) * 2018-07-26 2018-12-11 北京运多多网络科技有限公司 用于直播的数据处理方法及装置
CN109120990A (zh) * 2018-08-06 2019-01-01 百度在线网络技术（北京）有限公司 直播方法、装置和存储介质
CN109671141A (zh) * 2018-11-21 2019-04-23 深圳市腾讯信息技术有限公司 图像的渲染方法和装置、存储介质、电子装置

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111432267A (zh) * 2020-04-23 2020-07-17 深圳追一科技有限公司 视频调整方法、装置、电子设备及存储介质
CN112017264A (zh) * 2020-09-10 2020-12-01 网易（杭州）网络有限公司 虚拟演播厅的显示控制方法及装置、存储介质、电子设备
CN112017264B (zh) * 2020-09-10 2023-09-26 网易（杭州）网络有限公司 虚拟演播厅的显示控制方法及装置、存储介质、电子设备
CN112153400A (zh) * 2020-09-22 2020-12-29 北京达佳互联信息技术有限公司 直播互动方法、装置、电子设备及存储介质
CN112215929A (zh) * 2020-10-10 2021-01-12 珠海格力电器股份有限公司 一种虚拟社交的数据处理方法、装置及系统
WO2022223029A1 (zh) * 2021-04-22 2022-10-27 北京字节跳动网络技术有限公司 虚拟形象的互动方法、装置和设备
WO2023279705A1 (zh) * 2021-07-07 2023-01-12 上海商汤智能科技有限公司 直播方法、装置、系统、计算机设备、存储介质及程序
CN113630646A (zh) * 2021-07-29 2021-11-09 北京沃东天骏信息技术有限公司 一种数据处理方法及装置、设备、存储介质
CN114007091A (zh) * 2021-10-27 2022-02-01 北京市商汤科技开发有限公司 一种视频处理方法、装置、电子设备及存储介质
CN114302153A (zh) * 2021-11-25 2022-04-08 阿里巴巴达摩院(杭州)科技有限公司 视频播放方法及装置
CN114302153B (zh) * 2021-11-25 2023-12-08 阿里巴巴达摩院(杭州)科技有限公司 视频播放方法及装置
CN114723860A (zh) * 2022-06-08 2022-07-08 深圳智华科技发展有限公司 虚拟形象的生成方法、装置、设备及存储介质
CN114723860B (zh) * 2022-06-08 2022-10-04 深圳智华科技发展有限公司 虚拟形象的生成方法、装置、设备及存储介质
WO2023241010A1 (zh) * 2022-06-14 2023-12-21 Oppo广东移动通信有限公司 虚拟形象生成方法、装置、电子设备及存储介质

Similar Documents

Publication Publication Date Title
CN110691279A (zh) 一种虚拟直播的方法、装置、电子设备及存储介质
US20210099761A1 (en) Method and electronic device for processing data
CN106791893B (zh) 视频直播方法及装置
WO2018153267A1 (zh) 群组视频会话的方法及网络设备
EP1912175A1 (en) System and method for generating a video signal
CN112905074B (zh) 交互界面展示方法、交互界面生成方法、装置及电子设备
CN107016163B (zh) 植物种类推荐方法及装置
CN110677734B (zh) 视频合成方法、装置、电子设备及存储介质
CN111986076A (zh) 图像处理方法及装置、互动式展示装置和电子设备
WO2022227393A1 (zh) 图像拍摄方法及装置、电子设备和计算机可读存储介质
JP2016045815A (ja) 仮想現実提示システム、仮想現実提示装置、仮想現実提示方法
CN111954063B (zh) 视频直播间的内容显示控制方法及装置
WO2022198934A1 (zh) 卡点视频的生成方法及装置
CN109922252B (zh) 短视频的生成方法及装置、电子设备
WO2020093798A1 (zh) 一种显示目标图像的方法、装置、终端及存储介质
CN109857311A (zh) 生成人脸三维模型的方法、装置、终端及存储介质
CN112788354A (zh) 直播互动方法、装置、电子设备、存储介质及程序产品
CN114007099A (zh) 一种视频处理方法、装置和用于视频处理的装置
CN109862380A (zh) 视频数据处理方法、装置及服务器、电子设备和存储介质
CN114387445A (zh) 对象关键点识别方法及装置、电子设备和存储介质
CN108933891B (zh) 拍照方法、终端及系统
WO2021232875A1 (zh) 一种驱动数字人的方法、装置及电子设备
CN113873270A (zh) 一种游戏直播方法、装置、系统、电子设备及存储介质
CN112669233A (zh) 图像处理方法、装置、电子设备、存储介质及程序产品
CN114374880B (zh) 联合直播方法、装置、电子设备及计算机可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20200114

RJ01 Rejection of invention patent application after publication