CN113453034A - 数据展示方法、装置、电子设备以及计算机可读存储介质 - Google Patents

数据展示方法、装置、电子设备以及计算机可读存储介质 Download PDF

Info

Publication number
CN113453034A
CN113453034A CN202110728854.1A CN202110728854A CN113453034A CN 113453034 A CN113453034 A CN 113453034A CN 202110728854 A CN202110728854 A CN 202110728854A CN 113453034 A CN113453034 A CN 113453034A
Authority
CN
China
Prior art keywords
anchor
video
real anchor
real
special effect
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110728854.1A
Other languages
English (en)
Other versions
CN113453034B (zh
Inventor
邱丰
王佳梨
王权
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Sensetime Intelligent Technology Co Ltd
Original Assignee
Shanghai Sensetime Intelligent Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Sensetime Intelligent Technology Co Ltd filed Critical Shanghai Sensetime Intelligent Technology Co Ltd
Priority to CN202110728854.1A priority Critical patent/CN113453034B/zh
Publication of CN113453034A publication Critical patent/CN113453034A/zh
Priority to PCT/CN2022/085941 priority patent/WO2023273500A1/zh
Application granted granted Critical
Publication of CN113453034B publication Critical patent/CN113453034B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/2187—Live feed
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/435—Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/47205—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for manipulating displayed content, e.g. interacting with MPEG-4 objects, editing locally
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/478—Supplemental services, e.g. displaying phone caller identification, shopping application
    • H04N21/4781—Games
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/485—End-user interface for client configuration

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Human Computer Interaction (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本公开提供了一种数据展示方法、装置、电子设备以及计算机可读存储介质，其中，该方法包括：获取真实主播在直播过程中的多帧视频图像；检测每帧所述视频图像中所述真实主播的头部姿态；在根据所述多帧视频图像对应的所述头部姿态，确定出所述真实主播的头部处于指定姿态的时间长度满足特效触发要求的情况下，在所述视频直播画面中展示目标特效动画；其中，视频直播画面展示有所述真实主播驱动的虚拟主播模型。

Description

数据展示方法、装置、电子设备以及计算机可读存储介质
技术领域
本公开涉及图像处理的技术领域，具体而言，涉及一种数据展示方法、装置、电子设备以及计算机可读存储介质。
背景技术
随着网络技术发展，实时视频交流如网络直播成为一种越来越流行的娱乐方式。在直播的过程中，一般情况下要求主播面对主播方终端的显示屏幕，从而增强主播和观众之间的互动效果。在一些特殊情况下，当主播的面部从显示屏幕上消失时，不仅影响为该主播所添加的动画特效的展示效果，还降低观众观看该直播视频的观看体验。同时，由于观众离开直播室，还将间接影响主播的直播体验，以及直播热度。
发明内容
本公开实施例至少提供一种数据展示方法、装置、电子设备以及计算机可读存储介质。
第一方面，本公开实施例提供了一种数据展示方法，包括：获取真实主播在直播过程中的多帧视频图像；检测每帧所述视频图像中所述真实主播的头部姿态；在根据所述多帧视频图像对应的所述头部姿态，确定出所述真实主播的头部处于指定姿态的时间长度满足特效触发要求的情况下，在视频直播画面中展示目标特效动画；所述视频直播画面展示有所述真实主播驱动的虚拟主播模型。
针对虚拟直播领域，在检测到真实主播的头部长时间处于指定姿态的情况下，此时，可能导致视频直播画面中展示的虚拟主播模型的头部出现抖动，从而影响主播的直播体验，以及观看体验。在本公开技术方案中，通过在视频直播画面中展示虚拟主播模型，可以增强直播的趣味性和互动性，进一步地，在确定出真实主播的头部处于指定姿态的时间长度满足特效触发要求的情况下，可以通过在视频直播画面中展示驱动虚拟主播模型所对应的目标特效动画，保证虚拟主播模型的头部处于稳定的播放状态，同时还可以丰富视频主播画面的展示内容，从而使得视频直播画面不再过于单调，进而解决传统的直播场景下在匹配不到真实主播的面部画面的情况下所导致虚拟主播模型显示异常的问题。
一种可选的实施方式中，所述检测每帧所述视频图像中所述真实主播的头部姿态，包括：在确定出所述真实主播的面部正面朝向视频采集装置的情况下，确定当前时刻所述真实主播的第一面部朝向；根据所述第一面部朝向确定所述真实主播的头部姿态的变化信息；所述变化信息用于表征所述第一面部朝向的变化信息；基于所述变化信息确定每帧所述视频图像中所述真实主播的所述头部姿态。
上述实施方式中，通过根据当前时刻真实主播的第一面部朝向确定真实主播的头部姿态的变化信息，进而根据该变化信息确定真实主播的头部姿态，可以实现利用视频序列中的时序信息(即，相邻的视频图像)对真实主播的头部姿态的变化信息进行分析，相比于基于单帧视频图像确定头部姿态的方式，本公开技术方案所提供的方法可以提高头部姿态的准确率，从而得到更加准确的姿态结果。
一种可选的实施方式中，所述基于所述变化信息确定每帧所述视频图像中所述真实主播的所述头部姿态，包括：在根据所述变化信息确定出所述第一面部朝向增大至超过第一阈值的情况下，确定所述真实主播的头部姿态从非指定姿态变化为所述指定姿态。
一种可选的实施方式中，基于所述变化信息确定每帧所述视频图像中所述真实主播的所述头部姿态，包括：在根据所述变化信息确定出所述第一面部朝向由超过第一阈值降低至小于第二阈值的情况下，确定所述真实主播的头部姿态从所述指定姿态变化为非指定姿态，其中，所述第二阈值小于所述第一阈值。
上述实施方式中，通过将目标夹角的变化信息与第一阈值和第二阈值进行比较的方式，可以实现通过多阈值比较的方式确定真实主播的头部姿态，进而提高真实主播的头部姿态的准确率，从而防止单阈值技术方案所带来的真实主播头部姿态的频繁变化。
一种可选的实施方式中，所述检测每帧所述视频图像中所述真实主播的头部姿态，包括：在确定出所述真实主播的面部未正面朝向视频采集装置的情况下，通过深度学习模型对所述视频直播画面进行处理，得到所述真实主播的头部姿态，并根据所述头部姿态确定所述真实主播的头部是否处于所述指定姿态。
上述实施方式中，在真实主播的面部侧对视频采集装置的情况下，在视频直播画面中无法显示完整的面部特征点。此时，残缺的面部特征点将影响头部姿态的确定结果。基于此，通过深度学习模型对视频直播画面进行姿态估计，得到真实主播的头部姿态，可以提高真实主播头部姿态的估计准确率。
一种可选的实施方式中，所述通过深度学习模型对所述视频直播画面进行处理，得到所述真实主播的头部姿态，包括：获取所述目标参考图像帧；其中，所述目标参考图像帧包括至少以下一种图像帧：所述视频直播画面所属的视频序列中位于该视频直播画面之前的N个图像帧、所述视频直播画面所属的视频序列中前M个图像帧，N和M为大于零的正整数；通过深度学习模型对所述视频直播画面和所述目标参考图像帧进行处理，得到所述真实主播的头部姿态。
上述实施方式中，通过结合视频序列中的时序信息，来预测当前时刻视频直播画面中真实主播的头部姿态，可以将根据N个图像帧(或者M个图像帧)确定出的真实主播的头部姿态作为当前时刻待处理的视频直播画面的引导信息，从而指引深度学习模型预测当前时刻视频直播画面中真实主播的头部姿态，以得到更加准确的头部姿态的检测结果。
一种可选的实施方式中，所述检测每帧所述视频图像中所述真实主播的头部姿态，包括：对所述视频图像中所述真实主播的面部进行特征点检测，得到特征点检测结果，其中，所述特征点检测结果用于表征所述真实主播面部特征点的特征信息；根据所述特征点检测结果确定所述真实主播的第二面部朝向，其中，所述第二面部朝向用于表征所述真实主播的面部相对于视频采集装置的方位信息；根据所述第二面部朝向确定所述真实主播的头部姿态。
上述实施方式中，通过根据对视频图像中真实主播的面部进行特征点检测的特征点检测结果确定真实主播的第二面部朝向，可以确定真实主播相对于视频采集装置的方位信息，例如，真实主播正面朝向视频采集装置，或者，真实主播侧对视频采集装置。由于真实主播侧对视频采集装置时，无法采集完整面部图像，在此情况下，将影响真实主播头部姿态的准确率。通过分正面朝向和未正面朝向两种情况确定真实主播的头部姿态，可以提高真实主播的头部姿态的准确率。
一种可选的实施方式中，所述在所述视频直播画面中展示目标特效动画，包括：确定所述头部姿态的姿态类型；确定与所述姿态类型相匹配的特效动画，将所述相匹配的特效动画作为驱动所述虚拟主播模型所展示的所述目标特效动画，并在所述视频直播画面中展示所述目标特效动画。
上述实施方式中，根据不同的头部姿态的姿态类型，触发不同类型的特效动画的方式，可以丰富特效动画的展示内容，从而增加直播过程中的直播趣味性，为用户提供更加的直播体验。
一种可选的实施方式中，所述在所述视频直播画面中展示目标特效动画，包括：确定观看所述真实主播驱动的虚拟主播模型的直播过程的每个观众的类型信息；确定与所述类型信息相匹配的特效动画，将所述相匹配的特效动画作为驱动所述虚拟主播模型所展示的所述目标特效动画，并向观众方终端发送所述目标特效动画，以在所述观众方终端展示所述目标特效动画。
上述实施方式中，通过根据每个观众的类型信息确定相匹配的目标特效动画，并在观众方终端展示该目标特效动画的方式，可以增大观众继续观看该直播的概率，从而减少观众的流失，在保证了真实主播的直播热度的同时，还增加了相应的互动乐趣。
第二方面，本公开实施例提供了一种数据展示装置，包括：获取单元，用于获取真实主播在直播过程中的多帧视频图像；检测单元，用于检测每帧所述视频图像中所述真实主播的头部姿态；特效添加单元，用于在根据所述多帧视频图像对应的所述头部姿态，确定出所述真实主播的头部处于指定姿态的时间长度满足特效触发要求的情况下，在所述视频直播画面中展示目标特效动画；所述视频直播画面展示有所述真实主播驱动的虚拟主播模型。
第三方面，本公开实施例还提供一种电子设备，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储器之间通过总线通信，所述机器可读指令被所述处理器执行时执行上述第一方面，或第一方面中任一种可能的实施方式中的步骤。
第四方面，本公开实施例还提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行上述第一方面，或第一方面中任一种可能的实施方式中的步骤。
为使本公开的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
为了更清楚地说明本公开实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，此处的附图被并入说明书中并构成本说明书中的一部分，这些附图示出了符合本公开的实施例，并与说明书一起用于说明本公开的技术方案。应当理解，以下附图仅示出了本公开的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1示出了本公开实施例所提供的一种数据展示方法的流程图；
图2示出了本公开实施例所提供的一种真实主播端的视频直播画面的效果示意图；
图3示出了本公开实施例所提供的第一种真实主播和视频采集装置之间的方位信息的展示示意图；
图4示出了本公开实施例所提供的第二种真实主播和视频采集装置之间的方位信息的展示示意图；
图5示出了本公开实施例所提供的第三种真实主播和视频采集装置之间的方位信息的展示示意图；
图6示出了本公开实施例所提供的一种数据展示装置的示意图；
图7示出了本公开实施例所提供的一种电子设备的示意图。
具体实施方式
为使本公开实施例的目的、技术方案和优点更加清楚，下面将结合本公开实施例中附图，对本公开实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本公开一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本公开实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本公开的实施例的详细描述并非旨在限制要求保护的本公开的范围，而是仅仅表示本公开的选定实施例。基于本公开的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本公开保护的范围。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
本文中术语“和/或”，仅仅是描述一种关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中术语“至少一种”表示多种中的任意一种或多种中的至少两种的任意组合，例如，包括A、B、C中的至少一种，可以表示包括从A、B和C构成的集合中选择的任意一个或多个元素。
经研究发现，在直播的过程中，一般情况下要求主播面对主播方终端的显示屏幕，从而增强主播和观众之间的互动效果。在一些特殊情况下，当主播的面部从显示屏幕上消失时，不仅影响为该主播所添加的动画特效的展示效果，还降低观众观看该直播视频的观看体验。同时，由于观众离开直播室，还将间接影响主播的直播体验，以及直播热度。
基于上述研究，本公开提供了一种数据展示方法。本公开所提供的技术方案，可以应用于虚拟直播场景下。虚拟直播场景可以理解为使用预先设定的虚拟主播模型，如小熊猫、小兔子、卡通人物等代替真实主播的实际形象进行直播，此时，在视频直播画面中所展示出的为上述虚拟主播模型。同时，还可以根据该虚拟主播模型进行真实主播与观众的互动。
举例来说，直播设备的摄像装置可以采集包含真实主播的视频图像，然后，对视频图像中所包含的真实主播的头部进行捕捉，从而得到真实主播的头部姿态。在确定出该头部姿态之后，就可以生成对应的驱动信号，该驱动信号用于驱动视频直播画面中的虚拟主播模型执行相应与真实主播相对应的动作，并通过该视频直播画面展示该虚拟主播模型执行该动作的画面。
在一个可选的实施方式中，真实主播可以预先设定相应的虚拟主播模型，例如，可以预先设定的虚拟主播模型为“XXX游戏中的YYY角色模型”。真实主播可以预先设定一个或多个虚拟主播模型。在开启当前时刻的虚拟直播时，可以从预先设定的一个或多个虚拟主播模型中选择一个作为当前时刻的虚拟主播模型。其中，虚拟主播模型可以为2D模型，还可以为3D模型。
在另一个可选的实施方式中，除了上述所描述方式为真实主播确定虚拟主播模型之外，还可以在获取到多帧视频图像之后，为该视频图像中的真实主播重塑虚拟主播模型。
举例来说，可以对视频图像中所包含的真实主播进行识别，从而根据识别结果为真实主播重塑虚拟主播模型。该识别结果可以包含以下至少之一：真实主播的性别、真实主播的外貌特征、真实主播的穿戴特征等。
此时，可以从虚拟主播模型库中搜索与该识别结果相匹配的模型作为该真实主播的虚拟主播模型。例如，根据识别结果确定出真实主播在直播过程中戴鸭舌帽、所穿衣服为嘻哈风格的衣服。此时，可以从虚拟主播模型库中搜索与该“鸭舌帽”或者“嘻哈风”相匹配的虚拟主播模型作为该真实主播的虚拟主播模型。
除了在虚拟主播模型库中搜索与识别结果相匹配的模型之外，还可以基于该识别结果，通过模型构建模块，为真实主播实时构建出相应的虚拟主播模型。
这里，在实时构建该虚拟主播模型时，还可以将该真实主播在过去时刻所发起的虚拟直播所使用的虚拟主播模型作为参考，构建当前时刻该真实主播所驱动的虚拟主播模型。
通过上述所描述的确定虚拟主播模型的方式，可以实现为真实主播个性化定制相应的虚拟主播模型，从而避免千篇一律的虚拟主播模型。同时，通过个性化定制虚拟主播模型，还可以为观众留下更深刻的印象。
针对观众端来说，在观众端的直播观看界面中所展示的为虚拟主播模型执行相应动作时的动画。针对直播端来说，在直播端的视频直播画面中可以展示有虚拟主播模型，还可以展示包含真实直播的视频图像，例如，如图2所示，可以在视频直播画面的左侧位置展示该虚拟主播模型，还可以为该视频直播画面的右下角位置展示该视频图像。
在本公开实施例中，目标特效动画中包含多个动画帧。在驱动虚拟主播模型执行指定动作时，可以生成多个动画帧，然后，多个动画帧组合得到目标特效动画。
在本公开实施例中，通过在视频直播画面中展示驱动虚拟主播模型所对应的目标特效动画，可以保证虚拟主播模型的头部处于稳定的播放状态，同时还可以丰富视频主播画面的展示内容，从而使得视频直播画面不再过于单调，进而解决传统的直播场景下在匹配不到真实主播的面部画面的情况下所导致虚拟主播模型显示异常的问题。
为便于对本实施例进行理解，首先对本公开实施例所公开的一种数据展示方法进行详细介绍，本公开实施例所提供的数据展示方法的执行主体一般为具有一定计算能力的电子设备，该电子设备例如包括：终端设备或服务器或其它能够支持虚拟直播的直播设备。在一些可能的实现方式中，该数据展示方法可以通过处理器调用存储器中存储的计算机可读指令的方式来实现。
在本公开实施例中，该数据展示方法可以应用在聊天直播场景、游戏直播场景等任意一种虚拟直播场景，本公开对此不作具体限定。
参见图1所示，为本公开实施例提供的一种数据展示方法的流程图，所述方法包括步骤S101～S105，其中：
S101：获取真实主播在直播过程中的多帧视频图像。
S103：检测每帧所述视频图像中所述真实主播的头部姿态。
这里，头部姿态可以用于表征该真实主播的面部所对应的平面与水平面之间的夹角，和/或，该真实主播的面部所对应的平面与视频采集装置的镜头所在平面之间的夹角，和/或，该真实主播的面部所对应的平面与真实主播方终端所在平面之间的夹角。
在本公开实施例中，可以根据头部姿态确定该真实主播的头部相对于的真实主播方终端的视频采集装置的姿态：例如，仰头姿态、低头姿态，以及平视姿态等姿态，其中，该平视姿态可以理解为真实主播的面部与水平面处于相对平行的状态。
在本公开实施例中，在视频图像中包含多个真实主播的情况下，可以检测每个真实主播的头部姿态，还可以检测多个真实主播中指定真实主播的头部姿态，本公开对此不作具体限定。
S105：在根据所述多帧视频图像对应的所述头部姿态，确定出所述真实主播的头部处于指定姿态的时间长度满足特效触发要求的情况下，在所述视频直播画面中展示目标特效动画，所述视频直播画面展示有所述真实主播驱动的虚拟主播模型。
这里，指定姿态可以理解为视频图像中真实主播的面部处于无效展示状态时该真实主播的头部姿态。例如，可以为真实主播的面部长时间固定不动时真实主播的头部姿态，还可以为真实主播的面部从视频直播画面中消失时真实主播的头部姿态，还可以为在视频直播画面中仅显示部分真实主播面部时真实主播的头部姿态，还可以为真实主播长时间处于未正面朝向视频采集装置时真实主播的头部姿态。
例如，该指定姿态包含以下几种姿态：低头姿态、仰头姿态、向左下方低头的姿态，向右下方低头的姿态、向左上方仰头的姿态、向右上方仰头的姿态，此处不再一一列举。
这里，目标特效动画可以理解为与指定姿态相匹配的特效动画。其中，与指定姿态相匹配的特效动画可以相同或者不同。例如，针对低头姿态或者仰头姿态，可以预先设置相匹配的一种或多种特效动画，且每种特效动画对应不同的特效触发要求。
在本公开实施例中，目标特效动画可以包含模型动画，除此之外，还可以包含素材特效。其中，模型动画可以为驱动虚拟主播模型的指定肢体执行相应动作时的动画，例如，比心的动作，打招呼的动作，再见的动作等动作。素材特效可以为预先设定的动态或者静态的贴纸特效。这里，素材特效可以为与模型动画相匹配的特效，还可以为与真实主播的指定姿态相匹配的特效。
在素材特效为与模型动画相匹配的特效的情况下，在视频直播画面中展示出模型动画的同时，还可以在视频直播画面中的指定展示位置展示出该素材特效；当切换至播放下一个模型动画时，可以在视频直播画面中切换展示下一个模型动作所对应的素材特效。
在素材特效为与真实主播的指定姿态相匹配的特效的情况下，可以在检测出真实主播处于指定姿态的时间长度满足特效触发要求的情况下，持续在视频直播画面中展示出该素材特效，直至检测出真实主播的头部不再处于指定姿态。
例如，在游戏虚拟直播场景下，真实主播长时间处于低头姿势，此时，该目标特效动画中可以包含：模型动画和素材特效。这里，模型动画可以包含虚拟主播模型“比心”的动画，以及包含虚拟主播模型“打招呼”的动画，素材特效可以为与该模型动画相匹配的贴纸特效，例如，该贴纸特效可以为“Hello”，以及爱心贴纸。
此时，可以在视频直播画面中依次循环展示放：“打招呼”的动画和“比心”的动画，直至检测出真实主播的头部不再处于指定姿态。
当在视频直播画面中展示“打招呼”的动画时，可以在该视频直播画面中同时展示出“Hello”的贴纸特效。当在视频直播画面中展示“比心”的动画时，可以在该视频直播画面中同时展示出爱心贴纸特效。
通过设置目标特效动画中包含模型动画和素材特效，可以丰富视频直播画面中所展示的内容，进而提高用户的直播体验。
在一个可选的实施方式中，在视频直播画面中展示目标特效动画，具体包括如下步骤：
在检测到真实主播的头部处于指定姿态的时间长度满足特效触发要求的情况下，可以向服务器请求目标特效动画。然后，在真实主播端所在的直播设备的视频直播画面中展示该目标特效动画，并向观众端所在的设备推送该目标特效动画所对应的视频流，以在观众端所在的设备的直播观看界面上播放该目标特效动画。
在本公开实施例中，目标特效动画的数量可以为一个，还可以为多个。例如，可以设置多个目标特效动画循环播放，直至检测出真实主播的头部不再处于指定姿态。还例如，可以设置一个目标特效动画循环播放，直至检测出真实主播的头部不再处于指定姿态。
例如，针对游戏直播场景，可以在视频直播画面上同时展示出虚拟主播模型和游戏实时画面。比如，可以在视频直播画面的左侧展示游戏实时画面，然后，在视频直播画面的右侧展示虚拟主播模型。在真实主播的头部处于低头姿势的时间满足特效触发要求的情况下，可以确定目标特效动画。比如，该目标特效动画可以为虚拟主播模型跳舞的特效动画，还可以为虚拟主播模型提醒观众“请稍等一会，稍后精彩继续”的特效动画。
在本公开实施例中，可以预先创建一个包含映射关系的数据库，该数据库中存储了多种特效动画，该数据库中还包含映射关系，该映射关系用于表征每种指定姿态和特效动画之间的映射关系，和/或，用于表征每种指定姿态所对应的特效触发要求和特效动画之间的映射关系。
在视频直播画面中展示目标特效动画之前，可以根据映射关系在数据库中查找与该指定姿态以及特效触发要求具有映射关系的特效动画，并基于该查找到的特效动画确定目标特效动画。
针对上述步骤S101，在检测到真实主播的直播开启指令之后，开始采集真实主播在直播过程中的直播视频，其中，该直播视频中包含多帧视频图像。
在采集到多帧视频图像之后，执行步骤S103，检测每帧所述视频图像中所述真实主播的头部姿态，具体包括如下步骤：
步骤S1031，对所述视频图像中所述真实主播的面部进行特征点检测，得到特征点检测结果，其中，所述特征点检测结果用于表征所述真实主播面部特征点的特征信息；
步骤S1032，根据所述特征点检测结果确定所述真实主播的第二面部朝向，其中，所述第二面部朝向用于表征所述真实主播的面部相对于视频采集装置的方位信息；
步骤S1033，根据所述第二面部朝向确定所述真实主播的头部姿态。
针对每帧视频图像，可以通过人脸检测网络模型，对视频图像中所述真实主播的面部进行特征点检测，从而得到该真实主播的面部特征点的特征信息。
这里，特征点可以理解为真实主播面部五官的特征点，其中，特征点的数量可以根据实际需要来进行设定，一般情况下，特征点的数量可以选择为84个面部特征点。特征点的特征信息可以理解为特征点的数量、特征点的标号、每个特征点的分类信息(例如，所属于眼部特征点，嘴部特征点，或者鼻子特征点)，以及每个特征点所对应的特征值。
需要说明的是，由于特征点的数量可以影响所确定出的真实主播的头部姿态的准确性，例如，特征点的数量越多，则计算出的头部姿态的准确性越高，反之越低。此时，可以根据真实主播方终端的设备内存的剩余量选择动态的调整特征点的数量。例如，当真实主播方终端的剩余内存大于预设阈值时，可以选择确定较多数量的特征点的特征点检测结果，从而根据该特征点检测结果确定真实主播的面部朝向。
通过动态设置特征点的数量的方式，可以在真实主播方终端的内存满足计算要求的情况下，可以得到更加准确的面部朝向，进而提高头部姿态的准确性。
在对真实主播的面部进行特征点检测，得到特征点检测结果之后，就可以根据特征点检测结果确定真实主播的面部朝向(即，上述第二面部朝向)。
一种可选的实施方式为，可以将特征点检测结果输入至神经网络模型中，以通过该神经网络模型对该特征点检测结果进行处理，得到该真实主播的面部朝向(即，上述第二面部朝向)。
另一种可选的实施方式为，判断特征点检测结果中所包含特征点的分类信息。如果根据该分类信息确定出该特征点不包含全部的面部特征点，此时，可以确定出真实主播侧对视频采集装置。如果根据该分类信息确定出该特征点包含全部的面部特征，此时，可以确定出真实主播正面朝向视频采集装置。
这里，第二面部朝向用于表征所述真实主播的面部相对于视频采集装置的方位信息；该方位信息可以理解为真实主播的面部相对于该真实主播所属的真实主播方终端的视频采集装置的角度和距离。
如图3和图4所示的即为真实主播的面部相对于该视频采集装置所之间的角度。
如图3所示，视频采集装置安装在真实主播方终端上，当真实主播的面部水平面与视频采集装置所在坐标系的X轴之间的夹角小于或者等于指定阈值时，则确定真实主播的面部正面朝向该视频采集装置。
如图4所示，视频采集装置安装在真实主播方终端上，当真实主播的面部水平面与视频采集装置所在坐标系的X轴之间的夹角大于指定阈值时，则确定真实主播的面部侧对该视频采集装置。
在本公开实施例中，该指定阈值可以设定为0至30之间的任意一个数值，此处不作具体限定。
在确定出面部朝向之后，就可以该面部朝向确定真实主播的面部是否正面朝向视频采集装置。
如果确定出真实主播的面部正面朝向，则通过阈值比较的方式确定真实主播的头部姿态。这里，阈值比较的方式可以理解为通过将真实主播的头部姿态的变化信息和预设阈值进行比较的方式，来确定真实主播的头部姿态是否为指定姿态。如果确定出真实主播的面部侧对视频采集装置，则通过神经网络模型确定真实主播的头部姿态。
上述实施方式中，通过根据对视频图像中真实主播的面部进行特征点检测的特征点检测结果确定真实主播的第二面部朝向，可以确定真实主播相对于视频采集装置的方位信息，例如，真实主播正面朝向视频采集装置，或者，真实主播侧对视频采集装置。由于真实主播侧对视频采集装置时，无法采集完整面部图像，在此情况下，将影响真实主播头部姿态的准确率。通过分正面朝向和未正面朝向(例如，侧对)两种情况确定真实主播的头部姿态，可以提高真实主播的头部姿态的准确率。
下面将分情况对正对和侧对两种情况进行详细介绍。
情况一：真实主播的面部正面朝向视频采集装置。
在此情况下，步骤S103，检测每帧所述视频图像中所述真实主播的头部姿态，具体过程包括如下步骤：
步骤S11，在确定出所述真实主播的面部正面朝向视频采集装置的情况下，确定当前时刻所述真实主播的第一面部朝向；
步骤S12，根据所述第一面部朝向确定所述真实主播的头部姿态的变化信息；所述变化信息用于表征第一面部朝向的变化信息；
步骤S13，基于所述变化信息确定每帧所述视频图像中所述真实主播的所述头部姿态。
在本公开实施例中，如果确定出真实主播的面部正面朝向视频采集装置的情况下，可以获取历史面部朝向，其中，该历史面部朝向为根据在当前时刻之前的多个历史时刻采集到的视频图像确定的该真实主播的面部朝向，该历史面部朝向可以用于表征每个历史时刻该真实主播的面部所在平面和水平面之间历史角度。
在获取到该历史面部朝向之后，就可以结合历史面部朝向和当前时刻确定出的第一面部朝向，确定真实主播的头部姿态的变化信息，也即，根据历史角度和当前时刻面部所在平面与水平面之间的角度确定该第一面部朝向的变化信息。
这里，第一面部朝向用于表征真实主播的面部相对于视频采集装置对应的成像平面的倾斜程度。例如，第一面部朝向可以为真实主播的面部和水平面之间的夹角；第一面部朝向还可以为真实主播的面部和视频采集装置对应的成像平面之间的夹角。除此之外，还可以为其他能够表征该倾斜程度的夹角。
这里，变化信息可以理解为第一面部朝向逐渐增大，以及第一面部朝向的增大幅度，或者第一面部朝向逐渐减小，以及第一面部朝向的减小幅度等趋势信息。
需要说明的是，历史面部朝向为根据多个连续的历史时刻所对应的视频图像所确定的面部朝向。例如，当前时刻为k时刻，那么历史时刻可以为k-n时刻至k-1时刻，历史面部朝向分别为基于k-n时刻至k-1时刻所采集到的视频图像确定的该真实主播的面部朝向。
在本公开实施例中，在根据变化信息确定每帧视频图像中该真实主播的头部姿态时，可以将该变化信息和阈值过渡区间进行比较，其中，该阈值过渡区间为根据多个阈值确定的多个过渡区间。通过该阈值过渡区间可以确定真实主播的头部姿态的变化过程，进而通过该变化过程来确定当前时刻真实主播的头部姿态。
上述实施方式中，通过根据当前时刻真实主播的第一面部朝向和历史时刻的历史面部朝向确定真实主播的头部姿态的变化信息，进而根据该变化信息确定真实主播的头部姿态，可以实现利用视频序列中的时序信息(即，相邻的视频图像)对真实主播的头部姿态的变化信息进行分析，相比于基于单帧视频图像确定头部姿态的方式，本公开技术方案所提供的方法可以提高头部姿态的准确率，从而得到更加准确的姿态结果。
在一个可选的实施方式中，上述步骤S13，基于所述变化信息确定每帧所述视频图像中所述真实主播的所述头部姿态，包括以下几种方式：
方式一：
在根据所述变化信息确定出所述第一面部朝向增大至超过第一阈值的情况下，确定所述真实主播的头部姿态从非指定姿态变化为所述指定姿态。
针对方式一，可以将第一阈值设定为[27-33]中的任意一个数值，例如，可以将第一阈值设定为30。当根据该变化信息确定出第一面部朝向的变化信息为目标夹角逐渐增大，且第一面部朝向从小于第一阈值增大至超过第一阈值的情况下，确定真实主播的头部姿态变化为指定姿态。
例如，当根据该变化信息确定出第一面部朝向的变化信息为第一面部朝向增大至超过30度时，确定真实主播的头部姿态变化为指定姿态。
这里，在确定出第一面部朝向增大至超过第一阈值之后，还可以继续对采集到的视频图像进行头部姿态的检测。当检测出第一面部朝向在增大至超过第一阈值之后，继续增大至超过阈值A1，则确定真实主播的指定姿态(例如，低头姿态或者仰头姿态)过于严重，此时，可以向真实主播发送姿态调整的提示信息，以提示真实主播调整当前时刻的头部姿态。
这里，阈值A1可以为大于第一阈值的多个阈值，例如，阈值A1可以选择为50度，还可以选择为60度、70度等。可以理解的是，阈值A1可以选择为[30-90]之间的多个任意数值，本公开对比不作具体限定。
方式二：
在根据所述变化信息确定出所述第一面部朝向由超过第一阈值降低至小于第二阈值的情况下，确定所述真实主播的头部姿态从所述指定姿态变化为非指定姿态，其中，所述第二阈值小于所述第一阈值。
针对方式二，可以将第一阈值设定为[27-33]中的任意一个数值，例如，可以将第一阈值设定为30；可以将第二阈值设定为[17-23]中的任意一个数值，例如，可以将第二阈值设定为20。当根据该变化信息由超过第一阈值降低至小于第二阈值的情况下，确定真实主播的头部姿态变化为指定姿态。
下面结合具体场景，对上述方式一和方式二举例说明，具体过程描述如下：
真实主播M通过真实主播方终端在直播平台上进行直播。当真实主播M打开直播室之后，开始采集视频图像，并按照上述所描述的方式确定真实主播的头部姿态。
假设真实主播的面部和视频采集装置的成像平面之间的目标夹角(即第一面部朝向)为alpha。如果alpha的变化信息为逐渐增大，当alpha从0开始增大至超过20度但还没到50时，认为真实主播没有低头或者抬头；当alpha增大至超过30度才认为真实主播低头或者抬头。反过来真实主播的头部从大于30度的角度变成20-30度之间的区间，则认为真实主播还是低头或者抬头，直到真实主播的头部低于20度的时候认为真实主播未处于低头或者抬头。
在一种可选的低头检测技术方案中，可以通过预先设定一个阈值，从而通过将真实主播的面部朝向与水平面之间的角度与该阈值进行比较的方式确定真实主播是否处于指定姿态。然而，当真实主播执行点头动作时，可能会频繁出现目标夹角大于该阈值，或者目标夹角小于该阈值的情况。由于点头动作并不是指定姿态，因此，通过单阈值的检测技术可能会出现真实主播的指定姿态识别错误的问题，从而错误的触发相应的特效动画，给真实主播和观众带来不好的直播体验。
在本公开技术方案中，通过将目标夹角的变化信息与第一阈值和第二阈值进行比较的方式，可以实现通过多阈值比较的方式确定真实主播的头部姿态，进而提高真实主播的头部姿态的准确率，从而防止单阈值技术方案所带来的真实主播头部姿态的频繁变化。
情况二：真实主播的面部未正面朝向(例如，侧对)视频采集装置。
在此情况下，步骤S103，检测每帧所述视频图像中所述真实主播的头部姿态，具体过程包括如下步骤：
步骤S21，在确定出所述真实主播的面部未正面朝向视频采集装置的情况下，通过深度学习模型对所述视频直播画面进行处理，得到所述真实主播的头部姿态，并根据所述头部姿态确定所述真实主播的头部是否处于所述指定姿态。
在本公开实施例中，在检测出真实主播的面部未正面朝向视频采集装置的情况下，可以将该视频直播画面输入至深度学习模型中，从而通过该深度学习模型对视频直播画面进行处理，得到真实主播的头部姿态。
在将该视频直播画面输入至深度学习模型中之前，还需要对该深度学习模型进行训练。具体地，可以采集多个真实主播相对于视频采集画面各个角度时的图像，然后，将该图像输入至深度学习模型中进行训练，进而，通过训练之后的深度学习模型对该视频直播画面进行分析处理，得到真实主播的头部姿态。
在一个可选的实施方式中，深度学习模型的输出数据可以为一个向量，该向量用于指示以下至少一种信息：是否处于指定姿态，所处于指定姿态的姿态类型(例如，低头姿态或者仰头姿态)，真实主播的面部朝向与水平面之间的估计角度，真实主播的面部相对于视频采集装置的方位信息。
在本公开实施例中，在根据深度学习模型的输出数据确定出真实主播的头部处于指定姿态，且确定出的所述指定姿态满足特效触发要求的情况下，在所述视频直播画面中展示目标特效动画。
在根据深度学习模型的输出数据确定出真实主播的头部处于非指定姿态，且该真实主播的面部侧对视频采集装置的情况下，可以向真实主播生成提示信息，该提示信息用于提示真实主播移动视频采集装置，以使真实主播的面部能够正面朝向该视频采集装置。
例如，如图5所示，视频采集装置和真实主播方终端单独设置，且视频采集装置放置在真实主播方终端的左侧，此时，当真实主播面对真实主播方终端的显示屏幕时，视频采集装置所采集到的视频直播画面中包含该真实主播的面部左侧部。此时，如果检测出真实主播正面朝向该真实主播方终端的显示屏幕，且侧对视频采集装置，则不满足特效触发条件，需要为真实主播生成提示信息，以提示真实主播调整该视频采集装置的方位。
上述实施方式中，在真实主播的面部侧对视频采集装置的情况下，在视频直播画面中无法显示完整的面部特征点。此时，残缺的面部特征点将影响头部姿态的确定结果。基于此，通过深度学习模型对视频直播画面进行姿态估计，得到真实主播的头部姿态，可以提高真实主播头部姿态的估计准确率。
在一个可选的实施方式中，上述步骤，通过深度学习模型对所述视频直播画面进行处理，得到所述真实主播的头部姿态，还包括如下过程：
(1)、获取目标参考图像帧；其中，所述目标参考图像帧包括至少以下一种图像帧：所述视频直播画面所属的视频序列中位于该视频直播画面之前的N个图像帧、所述视频直播画面所属的视频序列中前M个图像帧，N和M为大于零的正整数；
(2)、通过深度学习模型对所述视频直播画面和所述目标参考图像帧进行处理，得到所述真实主播的头部姿态。
在本公开实施例中，为了进一步提高真实主播的头部姿态的准确性，深度学习模型还可以结合真实主播在直播过程中视频序列的时序信息确定当前时刻真实主播的头部姿态。
在一种可选的实施方式中，可以在视频序列中确定当前时刻所对应的视频直播画面之前的N个图像帧。然后，将获取到的N个图像帧，以及每个图像帧所对应的输出数据，以及当前时刻采集到的视频直播画面输入到深度学习模型中进行处理，从而得到该真实主播的头部姿态。
这里，由于真实主播在直播过程中头部的动作变化并不是很频繁，因此，在视频序列中相邻视频直播画面中所对应的该真实主播的头部姿态可能是相同的姿态。此时，通过结合视频序列中的时序信息，来预测当前时刻视频直播画面中真实主播的头部姿态，可以将根据N个图像帧确定出的真实主播的头部姿态作为当前时刻待处理的视频直播画面的引导信息，从而指引深度学习模型预测当前时刻视频直播画面中真实主播的头部姿态，以得到更加准确的头部姿态的检测结果。
在另一种可选的实施方式中，还可以确定视频序列中前M个图像帧。然后，将获取到的M个图像帧，以及每个图像帧所对应的输出数据，以及当前时刻采集到的视频直播画面输入到深度学习模型中进行处理，从而得到该真实主播的头部姿态。
这里，由于真实主播在开启直播时，真实主播的面部会正面朝向视频采集装置，以对真实主播端设备进行调试。因此，可以在预测当前时刻待处理的视频直播画面时，可以将M个图像帧，以及每个图像帧所对应的输出数据，以及当前时刻采集到的视频直播画面输入到深度学习模型中进行处理，从而得到该真实主播的头部姿态。
由于M个图像帧可以理解为真实主播的面部正面朝向视频采集装置时采集到的图像帧，因此，在M个图像帧中可以包含该真实主播的完整面部。此时，深度学习模型可以将当前时刻待处理的视频直播画面中关于该真实主播的画面与M个图像帧中关于该真实主播的画面进行比对，从而指引深度学习模型预测当前时刻视频直播画面中真实主播的头部姿态，以得到更加准确的头部姿态的检测结果。
在又一种可选的实施方式中，可以在视频序列中确定当前时刻所对应的视频直播画面之前的N个图像帧，并确定视频序列中前M个图像帧。然后，将获取到的N个图像帧和M个图像帧，以及每个图像帧所对应的输出数据，以及当前时刻采集到的视频直播画面输入到深度学习模型中进行处理，从而得到该真实主播的头部姿态。
在本公开实施例中，在按照上述所描述的方式检测出视频图像中真实主播的头部姿态之后，就可以在根据多帧视频图像对应的头部姿态，确定出所述真实主播的头部处于指定姿态的时间长度满足特效触发要求的情况下，在视频直播画面中添加目标特效动画。
在一个可选的实施方式中，指定姿态还可以在满足以下至少一张特效触发要求的情况下，在所述视频直播画面中展示目标特效动画，具体包括：
真实主播的头部处于指定姿态的次数满足特效触发要求；
真实主播的头部处于指定姿态的状态类型满足特效触发要求；
真实主播的头部处于指定姿态时该头部在所述视频图像中的位置满足特效触发要求。
上述实施方式中，通过设置多种特效触发要求，可以丰富特效动画的展示方式，为真实主播和观众提供更加丰富的交互体验。
在一个可选的实施方式中，上述步骤S105，在所述视频直播画面中添加目标特效动画，包括如下步骤：
步骤S1051，确定所述头部姿态的姿态类型；
步骤S1052，确定与所述姿态类型相匹配的特效动画，将所述相匹配的特效动画作为驱动所述虚拟主播模型所展示的所述目标特效动画，并在所述视频直播画面中展示目标特效动画。
在本公开实施例中，针对不同姿态类型的头部姿态，设定了不同的特效动画。在确定出头部姿态的姿态类型之后，可以在数据表格中查找与该姿态类型相匹配的模型动画和/或素材特效，并将查找到的模型动画和/或素材特效作为驱动所述虚拟主播模型所展示的目标特效动画，并将该目标特效动画展示在视频直播画面上。
可以理解的是，目标特效动画可以为一个特效动画，还可以为多个特效动画。当目标特效动画为一个时，可以在视频直播画面所对应的视频序列中循环播放该特效动画。当目标特效动画为多个时，可以在视频直播画面所对应的视频序列中依次播放每个目标特效动画。
在素材特效为与模型动画相匹配的特效时，素材特效可以跟随对应的模型动画在视频直播画面中依次进行循环播放。在素材特效为与指定姿态相匹配的特效时，素材特效可以在不用跟随模型动画的基础上，在视频直播画面中进行循环播放。
上述实施方式中，根据不同的头部姿态的姿态类型，触发不同类型的特效动画的方式，可以丰富视频直播画面中的展示内容，从而增加虚拟直播过程中的直播趣味性，为用户提供更加的直播体验。
在一个可选的实施方式中，上述步骤S105，在所述视频直播画面中添加目标特效动画，还包括如下步骤：
(1)、确定观看所述真实主播驱动的虚拟主播模型的直播过程的每个观众的类型信息；
(2)、确定与所述类型信息相匹配的特效动画，将所述相匹配的特效动画作为驱动所述虚拟主播模型所展示的所述目标特效动画，并向观众方终端发送所述目标特效动画，以在所述观众方终端展示所述目标特效动画。
在本公开实施例中，可以设置为不同的观众触发展示不同类型的特效动画。首先，可以确定每个观众的类型信息，该类型信息可以包含以下至少之一：性别、年龄、地域、职业、爱好、等级。
在获取到上述类型信息之后，就可以根据该类型信息在数据库中查找与该类型信息相匹配的特效动画作为目标特效动画。然后，向观众方终端发送该目标特效动画，以在观众方终端所展示视频直播画面上播放该目标特效动画。
比如，真实主播在直播的过程中长时间处于低头状态，若在真实主播处于低头状态的过程中，则无法捕捉到真实主播的面部表情，此时，将导致视频直播画面中无法对虚拟主播模型进行正常显示。此时，若新观众进入到直播间看到无法正常显示的虚拟主播模型时，将影响观众的观看体验，导致观众离开该直播间。此时，可以为该观众展示对应特效动画，例如：真实主播正在执行连线操作，请不要离开哦。此时，将增大新观众继续观看该直播的概率，从而减少观众的流失，在保证了真实主播的直播热度的同时，还增加了相应的互动乐趣。
本领域技术人员可以理解，在具体实施方式的上述方法中，各步骤的撰写顺序并不意味着严格的执行顺序而对实施过程构成任何限定，各步骤的具体执行顺序应当以其功能和可能的内在逻辑确定。
基于同一发明构思，本公开实施例中还提供了与数据展示方法对应的数据展示装置，由于本公开实施例中的装置解决问题的原理与本公开实施例上述数据展示方法相似，因此装置的实施可以参见方法的实施，重复之处不再赘述。
参照图6所示，为本公开实施例提供的一种数据展示装置的示意图，所述装置包括：获取单元51、检测单元52、特效添加单元53；其中，
获取单元51，用于获取真实主播在直播过程中的多帧视频图像；
检测单元52，用于检测每帧所述视频图像中所述真实主播的头部姿态；
特效添加单元53，用于在根据所述多帧视频图像对应的所述头部姿态，确定出所述真实主播的头部处于指定姿态的时间长度满足特效触发要求的情况下，在所述视频直播画面中展示目标特效动画；所述视频直播画面展示有所述真实主播驱动的虚拟主播模型。
在本公开技术方案中，通过在视频直播画面中展示虚拟主播模型，可以增强直播的趣味性和互动性，进一步地，在确定出真实主播的头部处于指定姿态的时间长度满足特效触发要求的情况下，可以通过在视频直播画面中展示驱动虚拟主播模型所对应的目标特效动画，保证虚拟主播模型的头部处于稳定的播放状态，同时还可以丰富视频主播画面的展示内容，从而使得视频直播画面不再过于单调，进而解决传统的直播场景下在匹配不到真实主播的面部画面的情况下所导致虚拟主播模型显示异常的问题。
一种可能的实施方式中，检测单元52，还用于：在确定出所述真实主播的面部正面朝向视频采集装置的情况下，确定当前时刻所述真实主播的第一面部朝向；根据所述第一面部朝向确定所述真实主播的头部姿态的变化信息；所述变化信息用于表征所述第一面部朝向的变化信息；基于所述变化信息确定每帧所述视频图像中所述真实主播的所述头部姿态。
一种可能的实施方式中，检测单元52，还用于：在根据所述变化信息确定出所述第一面部朝向增大至超过第一阈值的情况下，确定所述真实主播的头部姿态从非指定姿态变化为所述指定姿态。
一种可能的实施方式中，检测单元52，还用于：在根据所述变化信息确定出所述第一面部朝向由超过第一阈值降低至小于第二阈值的情况下，确定所述真实主播的头部姿态从所述指定姿态变化为非指定姿态，其中，所述第二阈值小于所述第一阈值。
一种可能的实施方式中，检测单元52，还用于：在确定出所述真实主播的面部未正面朝向视频采集装置的情况下，通过深度学习模型对所述视频直播画面进行处理，得到所述真实主播的头部姿态，并根据所述头部姿态确定所述真实主播的头部是否处于所述指定姿态。
一种可能的实施方式中，检测单元52，还用于：获取所述目标参考图像帧；其中，所述目标参考图像帧包括至少以下一种图像帧：所述视频直播画面所属的视频序列中位于该视频直播画面之前的N个图像帧、所述视频直播画面所属的视频序列中前M个图像帧，N和M为大于零的正整数；通过深度学习模型对所述视频直播画面和所述目标参考图像帧进行处理，得到所述真实主播的头部姿态。
一种可能的实施方式中，检测单元52，还用于：对所述视频图像中所述真实主播的面部进行特征点检测，得到特征点检测结果，其中，所述特征点检测结果用于表征所述真实主播面部特征点的特征信息；根据所述特征点检测结果确定所述真实主播的第二面部朝向，其中，所述第二面部朝向用于表征所述真实主播的面部相对于视频采集装置的方位信息；根据所述第二面部朝向确定所述真实主播的头部姿态。
一种可能的实施方式中，特效添加单元53，还用于：确定所述头部姿态的姿态类型；确定与所述姿态类型相匹配的特效动画，将所述相匹配的特效动画作为驱动所述虚拟主播模型所展示的所述目标特效动画，并在所述视频直播画面中展示所述目标特效动画。
一种可能的实施方式中，特效添加单元53，还用于：确定观看所述真实主播驱动的虚拟主播模型的直播过程的每个观众的类型信息；确定与所述类型信息相匹配的特效动画，将所述相匹配的特效动画作为驱动所述虚拟主播模型所展示的所述目标特效动画，并向观众方终端发送所述目标特效动画，以在所述观众方终端展示所述目标特效动画。
关于装置中的各模块的处理流程、以及各模块之间的交互流程的描述可以参照上述方法实施例中的相关说明，这里不再详述。
对应于图1中的数据展示方法，本公开实施例还提供了一种电子设备600，如图7所示，为本公开实施例提供的电子设备600结构示意图，包括：
处理器61、存储器62、和总线63；存储器62用于存储执行指令，包括内存621和外部存储器622；这里的内存621也称内存储器，用于暂时存放处理器61中的运算数据，以及与硬盘等外部存储器622交换的数据，处理器61通过内存621与外部存储器622进行数据交换，当所述电子设备600运行时，所述处理器61与所述存储器62之间通过总线63通信，使得所述处理器61执行以下指令：
获取真实主播在直播过程中的多帧视频图像；
检测每帧所述视频图像中所述真实主播的头部姿态；
在根据所述多帧视频图像对应的所述头部姿态，确定出所述真实主播的头部处于指定姿态的时间长度满足特效触发要求的情况下，在所述视频直播画面中展示目标特效动画；所述视频直播画面展示有所述真实主播驱动的虚拟主播模型。
本公开实施例还提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行上述方法实施例中所述的数据展示方法的步骤。其中，该存储介质可以是易失性或非易失的计算机可读取存储介质。
本公开实施例还提供一种计算机程序产品，该计算机程序产品承载有程序代码，所述程序代码包括的指令可用于执行上述方法实施例中所述的数据展示方法的步骤，具体可参见上述方法实施例，在此不再赘述。
其中，上述计算机程序产品可以具体通过硬件、软件或其结合的方式实现。在一个可选实施例中，所述计算机程序产品具体体现为计算机存储介质，在另一个可选实施例中，计算机程序产品具体体现为软件产品，例如软件开发包(Software Development Kit，SDK)等等。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统和装置的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。在本公开所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本公开各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解，本公开的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台电子设备(可以是个人计算机，服务器，或者网络设备等)执行本公开各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-OnlyMemory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是：以上所述实施例，仅为本公开的具体实施方式，用以说明本公开的技术方案，而非对其限制，本公开的保护范围并不局限于此，尽管参照前述实施例对本公开进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本公开揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本公开实施例技术方案的精神和范围，都应涵盖在本公开的保护范围之内。因此，本公开的保护范围应所述以权利要求的保护范围为准。

Claims (12)

1.一种数据展示方法，其特征在于，包括：
获取真实主播在直播过程中的多帧视频图像；
检测每帧所述视频图像中所述真实主播的头部姿态；
在根据所述多帧视频图像对应的所述头部姿态，确定出所述真实主播的头部处于指定姿态的时间长度满足特效触发要求的情况下，在视频直播画面中展示目标特效动画；所述视频直播画面展示有所述真实主播驱动的虚拟主播模型。
2.根据权利要求1所述的方法，其特征在于，所述检测每帧所述视频图像中所述真实主播的头部姿态，包括：
在确定出所述真实主播的面部正面朝向视频采集装置的情况下，确定当前时刻所述真实主播的第一面部朝向；
根据所述第一面部朝向确定所述真实主播的头部姿态的变化信息；所述变化信息用于表征所述第一面部朝向的变化信息；
基于所述变化信息确定每帧所述视频图像中所述真实主播的所述头部姿态。
3.根据权利要求2所述的方法，其特征在于，所述基于所述变化信息确定每帧所述视频图像中所述真实主播的所述头部姿态，包括：
在根据所述变化信息确定出所述第一面部朝向增大至超过第一阈值的情况下，确定所述真实主播的头部姿态从非指定姿态变化为所述指定姿态。
4.根据权利要求2或3项所述的方法，其特征在于，所述基于所述变化信息确定每帧所述视频图像中所述真实主播的所述头部姿态，包括：
在根据所述变化信息确定出所述第一面部朝向由超过第一阈值降低至小于第二阈值的情况下，确定所述真实主播的头部姿态从所述指定姿态变化为非指定姿态，其中，所述第二阈值小于所述第一阈值。
5.根据权利要求1至4中任一项所述的方法，其特征在于，所述检测每帧所述视频图像中所述真实主播的头部姿态，包括：
在确定出所述真实主播的面部未正面朝向视频采集装置的情况下，通过深度学习模型对所述视频直播画面进行处理，得到所述真实主播的头部姿态，并根据所述头部姿态确定所述真实主播的头部是否处于所述指定姿态。
6.根据权利要求5所述的方法，其特征在于，所述通过深度学习模型对所述视频直播画面进行处理，得到所述真实主播的头部姿态，包括：
获取目标参考图像帧；其中，所述目标参考图像帧包括至少以下一种图像帧：所述视频直播画面所属的视频序列中位于该视频直播画面之前的N个图像帧、所述视频直播画面所属的视频序列中前M个图像帧，N和M为大于零的正整数；
通过深度学习模型对所述视频直播画面和所述目标参考图像帧进行处理，得到所述真实主播的头部姿态。
7.根据权利要求1至6中任一项所述的方法，其特征在于，所述检测每帧所述视频图像中所述真实主播的头部姿态，包括：
对所述视频图像中所述真实主播的面部进行特征点检测，得到特征点检测结果，其中，所述特征点检测结果用于表征所述真实主播面部特征点的特征信息；
根据所述特征点检测结果确定所述真实主播的第二面部朝向，其中，所述第二面部朝向用于表征所述真实主播的面部相对于视频采集装置的方位信息；
根据所述第二面部朝向确定所述真实主播的头部姿态。
8.根据权利要求1至7中任一项所述的方法，其特征在于，所述在所述视频直播画面中展示目标特效动画，包括：
确定所述头部姿态的姿态类型；
确定与所述姿态类型相匹配的特效动画，将所述相匹配的特效动画作为驱动所述虚拟主播模型所展示的目标特效动画，并在所述视频直播画面中展示所述目标特效动画。
9.根据权利要求1至8中任一项所述的方法，其特征在于，所述在所述视频直播画面中展示目标特效动画，包括：
确定观看所述真实主播驱动的虚拟主播模型的直播过程的每个观众的类型信息；
确定与所述类型信息相匹配的特效动画，将所述相匹配的特效动画作为驱动所述虚拟主播模型所展示的所述目标特效动画，并向观众方终端发送所述目标特效动画，以在所述观众方终端展示所述目标特效动画。
10.一种数据展示装置，其特征在于，包括：
获取单元，用于获取真实主播在直播过程中的多帧视频图像；
检测单元，用于检测每帧所述视频图像中所述真实主播的头部姿态；
特效添加单元，用于在根据所述多帧视频图像对应的所述头部姿态，确定出所述真实主播的头部处于指定姿态的时间长度满足特效触发要求的情况下，在视频直播画面中展示目标特效动画；所述视频直播画面展示有所述真实主播驱动的虚拟主播模型。
11.一种电子设备，其特征在于，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储器之间通过总线通信，所述机器可读指令被所述处理器执行时执行如权利要求1至9中任一所述的数据展示方法的步骤。
12.一种计算机可读存储介质，其特征在于，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行如权利要求1至9中任一所述的数据展示方法的步骤。
CN202110728854.1A 2021-06-29 2021-06-29 数据展示方法、装置、电子设备以及计算机可读存储介质 Active CN113453034B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202110728854.1A CN113453034B (zh) 2021-06-29 2021-06-29 数据展示方法、装置、电子设备以及计算机可读存储介质
PCT/CN2022/085941 WO2023273500A1 (zh) 2021-06-29 2022-04-08 数据展示方法、装置、电子设备、计算机程序以及计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110728854.1A CN113453034B (zh) 2021-06-29 2021-06-29 数据展示方法、装置、电子设备以及计算机可读存储介质

Publications (2)

Publication Number Publication Date
CN113453034A true CN113453034A (zh) 2021-09-28
CN113453034B CN113453034B (zh) 2023-07-25

Family

ID=77813960

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110728854.1A Active CN113453034B (zh) 2021-06-29 2021-06-29 数据展示方法、装置、电子设备以及计算机可读存储介质

Country Status (2)

Country Link
CN (1) CN113453034B (zh)
WO (1) WO2023273500A1 (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113850746A (zh) * 2021-09-29 2021-12-28 北京字跳网络技术有限公司 图像处理方法、装置、电子设备及存储介质
CN114092678A (zh) * 2021-11-29 2022-02-25 北京字节跳动网络技术有限公司 图像处理方法、装置、电子设备及存储介质
CN114125569A (zh) * 2022-01-27 2022-03-01 阿里巴巴（中国）有限公司 直播处理方法以及装置
CN114363685A (zh) * 2021-12-20 2022-04-15 咪咕文化科技有限公司 视频互动方法、装置、计算设备及计算机存储介质
CN115147312A (zh) * 2022-08-10 2022-10-04 田海艳 面部磨皮特效简化识别平台
WO2023273500A1 (zh) * 2021-06-29 2023-01-05 上海商汤智能科技有限公司 数据展示方法、装置、电子设备、计算机程序以及计算机可读存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150035825A1 (en) * 2013-02-02 2015-02-05 Zhejiang University Method for real-time face animation based on single video camera
CN107493515A (zh) * 2017-08-30 2017-12-19 乐蜜有限公司 一种基于直播的事件提醒方法及装置
US20180336714A1 (en) * 2017-05-16 2018-11-22 Apple Inc. Emojicon puppeting
CN110139115A (zh) * 2019-04-30 2019-08-16 广州虎牙信息科技有限公司 基于关键点的虚拟形象姿态控制方法、装置及电子设备
CN110933452A (zh) * 2019-12-02 2020-03-27 广州酷狗计算机科技有限公司 萌脸礼物显示方法、装置及存储介质
CN112069863A (zh) * 2019-06-11 2020-12-11 华为技术有限公司 一种面部特征的有效性判定方法及电子设备
CN112543343A (zh) * 2020-11-27 2021-03-23 广州华多网络科技有限公司 基于连麦直播的直播画面处理方法、装置及电子设备

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107251096B (zh) * 2014-11-10 2022-02-11 英特尔公司 图像捕获装置和方法
CN109960986A (zh) * 2017-12-25 2019-07-02 北京市商汤科技开发有限公司 人脸姿态分析方法、装置、设备、存储介质以及程序
CN109803165A (zh) * 2019-02-01 2019-05-24 北京达佳互联信息技术有限公司 视频处理的方法、装置、终端及存储介质
CN110557625A (zh) * 2019-09-17 2019-12-10 北京达佳互联信息技术有限公司 虚拟形象直播方法、终端、计算机设备及存储介质
CN113453034B (zh) * 2021-06-29 2023-07-25 上海商汤智能科技有限公司 数据展示方法、装置、电子设备以及计算机可读存储介质

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150035825A1 (en) * 2013-02-02 2015-02-05 Zhejiang University Method for real-time face animation based on single video camera
US20180336714A1 (en) * 2017-05-16 2018-11-22 Apple Inc. Emojicon puppeting
CN107493515A (zh) * 2017-08-30 2017-12-19 乐蜜有限公司 一种基于直播的事件提醒方法及装置
CN110139115A (zh) * 2019-04-30 2019-08-16 广州虎牙信息科技有限公司 基于关键点的虚拟形象姿态控制方法、装置及电子设备
CN112069863A (zh) * 2019-06-11 2020-12-11 华为技术有限公司 一种面部特征的有效性判定方法及电子设备
CN110933452A (zh) * 2019-12-02 2020-03-27 广州酷狗计算机科技有限公司 萌脸礼物显示方法、装置及存储介质
CN112543343A (zh) * 2020-11-27 2021-03-23 广州华多网络科技有限公司 基于连麦直播的直播画面处理方法、装置及电子设备

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023273500A1 (zh) * 2021-06-29 2023-01-05 上海商汤智能科技有限公司 数据展示方法、装置、电子设备、计算机程序以及计算机可读存储介质
CN113850746A (zh) * 2021-09-29 2021-12-28 北京字跳网络技术有限公司 图像处理方法、装置、电子设备及存储介质
CN114092678A (zh) * 2021-11-29 2022-02-25 北京字节跳动网络技术有限公司 图像处理方法、装置、电子设备及存储介质
CN114363685A (zh) * 2021-12-20 2022-04-15 咪咕文化科技有限公司 视频互动方法、装置、计算设备及计算机存储介质
CN114125569A (zh) * 2022-01-27 2022-03-01 阿里巴巴（中国）有限公司 直播处理方法以及装置
CN115147312A (zh) * 2022-08-10 2022-10-04 田海艳 面部磨皮特效简化识别平台

Also Published As

Publication number Publication date
CN113453034B (zh) 2023-07-25
WO2023273500A1 (zh) 2023-01-05

Similar Documents

Publication Publication Date Title
CN113453034B (zh) 数据展示方法、装置、电子设备以及计算机可读存储介质
US11478709B2 (en) Augmenting virtual reality video games with friend avatars
CN113422977B (zh) 直播方法、装置、计算机设备以及存储介质
CN107680157B (zh) 一种基于直播的互动方法及直播系统、电子设备
CN107911724B (zh) 直播互动方法、装置及系统
CN113487709B (zh) 一种特效展示方法、装置、计算机设备以及存储介质
WO2023071443A1 (zh) 虚拟对象控制方法、装置、电子设备及可读存储介质
CN107911736B (zh) 直播互动方法及系统
WO2019100757A1 (zh) 视频生成方法、装置和电子设备
CN107952238B (zh) 视频生成方法、装置和电子设备
CN113507621A (zh) 直播方法、装置、系统、计算机设备以及存储介质
US20190025586A1 (en) Information processing method, information processing program, information processing system, and information processing apparatus
US11627359B2 (en) Influencer stream customization for follower viewers
US20190005732A1 (en) Program for providing virtual space with head mount display, and method and information processing apparatus for executing the program
CN113301358B (zh) 内容提供及展示方法、装置、电子设备、存储介质
CN111643900A (zh) 一种展示画面控制方法、装置、电子设备和存储介质
CN111638784A (zh) 人脸表情互动方法、互动装置以及计算机存储介质
CN114053688A (zh) 在线体感斗舞方法、装置、计算机设备及存储介质
JP6609078B1 (ja) コンテンツ配信システム、コンテンツ配信方法、およびコンテンツ配信プログラム
CN115237314B (zh) 信息推荐方法、装置和电子设备
EP1944700A1 (en) Method and system for real time interactive video
JP2022077380A (ja) 画像処理装置、画像処理方法、およびプログラム
CN115426505B (zh) 基于面部捕捉的预设表情特效触发方法及相关设备
JP7344084B2 (ja) コンテンツ配信システム、コンテンツ配信方法、およびコンテンツ配信プログラム
CN117676177A (zh) 一种虚拟直播画面的生成方法、装置、设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40050701

Country of ref document: HK

GR01 Patent grant
GR01 Patent grant