CN116996702A - 演唱会直播处理方法、装置、存储介质和电子设备 - Google Patents

演唱会直播处理方法、装置、存储介质和电子设备 Download PDF

Info

Publication number
CN116996702A
CN116996702A CN202311066698.2A CN202311066698A CN116996702A CN 116996702 A CN116996702 A CN 116996702A CN 202311066698 A CN202311066698 A CN 202311066698A CN 116996702 A CN116996702 A CN 116996702A
Authority
CN
China
Prior art keywords
target
audio
performer
live
concert
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202311066698.2A
Other languages
English (en)
Inventor
莫筱羽
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Boguan Information Technology Co Ltd
Original Assignee
Guangzhou Boguan Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Boguan Information Technology Co Ltd filed Critical Guangzhou Boguan Information Technology Co Ltd
Priority to CN202311066698.2A priority Critical patent/CN116996702A/zh
Publication of CN116996702A publication Critical patent/CN116996702A/zh
Pending legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21Server components or server architectures
    • H04N21/218Source of audio or video content, e.g. local disk arrays
    • H04N21/2187Live feed
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/439Processing of audio elementary streams
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44213Monitoring of end-user related data
    • H04N21/44218Detecting physical presence or behaviour of the user, e.g. using sensors to detect if the user is leaving the room or changes his face expression during a TV program
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/466Learning process for intelligent management, e.g. learning user preferences for recommending movies
    • H04N21/4667Processing of monitored end-user data, e.g. trend analysis based on the log file of viewer selections

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Social Psychology (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

本公开提供了一种演唱会直播处理方法、演唱会直播处理装置、计算机存储介质和电子设备,涉及互联网技术领域。该演唱会直播处理方法包括:根据目标观众观看演唱会直播的眼动数据,从演唱会直播中的多个表演者中确定目标观众关注的目标表演者;响应于目标表演者的表演形式为目标表演形式,将演唱会的音频信息切换为目标表演者的独唱音频,目标表演形式至少包含输出音频的表演形式。本公开可以根据观看演唱会直播的用户喜好进行针对性的直播播放,进而提高演唱会的线上直播观看效果。

Description

演唱会直播处理方法、装置、存储介质和电子设备
技术领域
本公开涉及互联网技术领域,尤其涉及一种演唱会直播处理方法、演唱会直播处理装置、计算机存储介质和电子设备。
背景技术
随着互联网以及直播技术的快速发展,以线上形式例如直播间形式举办演唱会或在线上同步播放线下演唱会的情况也越来越普遍。
目前,在用户线上观看演唱会直播时,尤其是演唱会中包含多个表演者时,存在多个表演者以及多个表演者的音频混合的情况,难以根据观看演唱会直播的用户喜好进行播放,从而导致直播观看效果较差。
发明内容
本公开提供了一种演唱会直播处理方法、演唱会直播处理装置、计算机存储介质和电子设备,进而根据观看演唱会直播的用户喜好进行针对性的直播播放,进而提高演唱会的线上直播观看效果。
第一方面,本公开一个实施例提供了一种演唱会直播处理方法,该方法包括:根据目标观众观看演唱会直播的眼动数据,从演唱会直播中的多个表演者中确定目标观众关注的目标表演者;响应于目标表演者的表演形式为目标表演形式,将演唱会直播的音频信息切换为目标表演者的独唱音频,目标表演形式至少包含输出音频的表演形式。
第二方面,本公开一个实施例提供了一种演唱会直播处理装置,该装置包括:表演者确定模块用于根据目标观众观看演唱会直播的眼动数据,从演唱会直播中的多个表演者中确定目标观众关注的目标表演者;音频切换模块用于响应于目标表演者的表演形式为目标表演形式,将演唱会直播的音频信息切换为目标表演者的独唱音频,目标表演形式至少包含输出音频的表演形式。
第三方面,本公开一个实施例提供了一种计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现如上的演唱会直播处理方法。
第四方面,本公开一个实施例提供了一种电子设备,包括:处理器;以及存储器,用于存储处理器的可执行指令;其中,处理器配置为经由执行可执行指令来执行如上的演唱会直播处理方法。
本公开的技术方案具有以下有益效果:
在本公开的一些实施例所提供的技术方案中,通过根据目标观众观看演唱会直播的眼动数据,从演唱会直播中的多个表演者中确定目标观众关注的目标表演者;响应于目标表演者的表演形式为目标表演形式,将演唱会直播的音频信息切换为目标表演者的独唱音频,目标表演形式至少包含输出音频的表演形式。一方面,该方法可以在检测到目标用户正在观看目标表演者时,将音频信息对应切换到该目标表演者的独唱音频,以克服相关技术方案中多个表演者对应的音频信息混合在一起或者在观看一表演者时却切换另一表演者的独唱音频导致的难以基于用户喜好针对性的进行直播,从而导致直播效果差的技术问题,从而达到提高用户的直播观看效果的技术效果。另一方面,该方法根据用户的爱好切换对应表演者的独唱音频,可以直播效果的多样性和灵活性,以克服相关技术方案仅能观看同一直播效果导致灵活性较差的技术问题。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本公开的实施方式,并与说明书一起用于解释本公开的原理。显而易见地,下面描述中的附图仅仅是本公开的一些实施方式,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1示意性示出本示例性实施方式中一种演唱会直播处理系统的系统架构图;
图2示意性示出本示例性实施方式中一种演唱会直播处理方法的流程图;
图3示意性示出本示例性实施方式中一种基于注视点确定目标表演者的方法流程图;
图4示意性示出本示例性实施方式中一种对音频信息预处理的方法流程图;
图5示意性示出本示例性实施方式中一种播放目标表演者的应援音频的流程图;
图6示意性示出本示例性实施方式中一种演唱会直播处理装置结构示意图;
图7示意性示出本示例性实施方式中一种电子设备的结构示意图。
具体实施方式
现在将参考附图更全面地描述示例性实施方式。然而,示例性实施方式能够以多种形式实施,且不应被理解为限于在此阐述的范例;相反,提供这些实施方式使得本公开将更加全面和完整,并将示例性实施方式的构思全面地传达给本领域的技术人员。所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施方式中。在下面的描述中,提供许多具体细节从而给出对本公开的实施方式的充分理解。然而,本领域技术人员将意识到,可以实践本公开的技术方案而省略特定细节中的一个或更多,或者可以采用其它的方法、组元、装置、步骤等。在其它情况下,不详细示出或描述公知技术方案以避免喧宾夺主而使得本公开的各方面变得模糊。
此外,附图仅为本公开的示意性图解,并非一定是按比例绘制。图中相同的附图标记表示相同或类似的部分,因而将省略对它们的重复描述。附图中所示的一些方框图是功能实体,不一定必须与物理或逻辑上独立的实体相对应。可以采用软件形式来实现这些功能实体,或在一个或多个硬件模块或集成电路中实现这些功能实体,或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。
附图中所示的流程图仅是示例性说明,不是必须包括所有的步骤。例如,有的步骤还可以分解,而有的步骤可以合并或部分合并,因此实际执行的顺序有可能根据实际情况改变。
在相关技术背景中,随着互联网以及直播技术的快速发展,以线上的直播形式举办演唱会或在举办线下演唱会时同步线上演唱会直播的情况也越来越普遍,逐渐成为了人们观看自己喜欢明星的重要方式。
本公开示例性实施方式提供的演唱会直播处理方法,可以应用于在线上举办演唱会直播,尤其应用于将线下演唱会场景同步进行线上演唱会直播的应用场景中。假设一明星组合中包含多个表演者,分别为表演者A、表演者B和表演者C,且每个表演者均具有其对应的粉丝群体。当该组合以线上直播的形式举办演唱会时,图形用户界面中显示的画面内容可以是包含所有表演者的广角画面,也可以是包含某个表演者的特写画面。
目前,在线上演唱会直播时,尤其是多个表演者构成的组合进行线上演唱会直播时,为了每个观众都能看到自己喜欢的表演者,通常镜头会在多个表演者之间切换,每个表演者具有特定画面,也有所有表演者的广角画面。且在多个表演者表演时,通常演唱会中包含各表演者的独立音频,也包含多个表演者的合唱音频。而观众在观看演唱会直播时,存在更喜欢或更关注多个表演者中的一个表演者的情况,但是会面临例如,当观众正在观看表演者A时,导播将音频已经切换到了表演者B;或者观众喜欢表演者A的表演并专注看表演者A时,却难以听清表演者A的音频等。
上述相关技术方案,直播过程中演唱会的音频和画面内容均由导播进行控制,观看演唱会直播的用户均观看的同一直播画面,一方面,该方法难以根据用户在观看演唱会直播时对某一表演者的关注和喜好,针对性的调整演唱会直播过程中的音频信息,进而导致用户的直播观看效果较差。另一方面,在线上观看演唱会直播时,导播将直播画面切换至那个表演者,用户便只能观看该表演者,无法根据自身需求选择自己关注的表演者,使得直播效果的灵活性较差。
本公开示例性实施方式考虑到上述问题,提出一种演唱会直播处理方法,该方法在目标观众通过终端设备观看直播中的虚拟演唱会时,实时检测该目标观众的眼动数据,基于眼动数据从多个表演者中确定目标观众在当前时刻下关注的目标表演者,从而将当前虚拟演唱会播放的音频信息切换为目标表演者的独立音频。
该过程可以根据目标用户观看演唱会直播时的眼动数据确定该目标观众喜欢的表演者,从而将音频切换为该表演者的独立音频,以便根据该目标观众的喜好为其播放相应的音频信息,从而有针对性的向用户播放其喜欢的目标表演者对应的独立音频,进而提升用户的直播观看效果。同时,该方法可以针对用户不同喜好切换不同的直播效果,提高了直播画面的灵活性和多样性。
此外,针对上述相关技术存在的问题,本公开提出了一种演唱会直播处理方法及装置,该方法及装置可以应用于图1所示的示例性应用环境的系统架构中。
如图1所示,系统架构100可以包括终端设备101、102、103、104中的一个或多个,网络105和服务器106。网络105用以在终端设备101、102、103、104和服务器106之间提供通信链路的介质。网络105可以包括各种连接类型,例如有线、无线通信链路或者光纤电缆等等。终端设备101、102、103、104例如可以是智能手机、掌上电脑(Personal DigitalAssistant,PDA)、笔记本电脑、服务器、台式计算机或其它任何具有联网功能的计算设备,但并不局限于此。
应该理解,图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要,可以具有任意数目的终端设备、网络和服务器。比如服务器106可以是独立的物理服务器,也可以是多个物理服务器构成的服务器集群或者分布式系统,还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN、以及大数据和人工智能平台等基础云计算服务的云服务器。
本公开实施例所提供的演唱会直播处理方法可以在服务器106执行,相应地,演唱会直播处理装置一般设置于服务器106中。本公开实施例所提供的演唱会直播处理方法也可以在终端设备中执行,相应地,演唱会直播处理装置也可以设置在终端设备中。本公开实施例所提供的演唱会直播处理方法还可以部分的在服务器106中执行,部分的在终端设备中执行,相应地,演唱会直播处理装置的部分模块可以设置在服务器106中,部分模块设置在终端设备中。
举例而言,在一种示例性实施例中,可以是用户通过终端设备101、102、103或者104观看演唱会直播,上述服务器106将终端设备101、102、103和104同步匹配到同一直播间并将虚拟演唱会的画面同步显示在上述各终端设备中,并在各终端设备提供的图形用户界面上显示。以任一终端设备为例,目标观众通过终端设备观看演唱会直播,终端设备可以实时检测该目标观众的眼动数据,根据眼动数据从演唱会直播中的多个表演者中确定目标观众关注的目标表演者;响应于目标表演者的表演形式为目标表演形式,将演唱会直播的音频信息切换为目标表演者的独唱音频,目标表演形式至少包含输出音频的表演形式。
但本领域技术人员容易理解的是,上述应用场景仅是用于举例,本示例性实施例中并不以此为限。
下面以上述图1中的任一终端设备为执行主体,目标观众通过该终端设备可以观看演唱会直播,本公开将演唱会直播处理方法应用于上述的终端设备为例进行举例说明。图2示意性示出本示例性实施方式中一种演唱会直播处理方法的流程图,请参见图2,本公开实施例提供的演唱会直播处理方法包括如下步骤S201-步骤S202:
步骤S201、根据目标观众观看演唱会直播的眼动数据,从演唱会直播的多个表演者中确定目标观众关注的目标表演者。
步骤S202、响应于目标表演者的表演形式为目标表演形式,将演唱会直播的音频信息切换为目标表演者的独唱音频,目标表演形式至少包含输出音频的表演形式。
在本公开的一些实施例所提供的技术方案中,通过根据目标观众观看演唱会直播的眼动数据,从演唱会直播的多个表演者中确定目标观众关注的目标表演者;响应于目标表演者的表演形式为目标表演形式,将演唱会直播的音频信息切换为目标表演者的独唱音频,目标表演形式至少包含输出音频的表演形式。一方面,该方法可以在检测到目标用户正在观看目标表演者时,将音频信息对应切换到该目标表演者的独唱音频,以克服相关技术方案中多个表演者对应的音频信息混合在一起或者在观看一表演者时却切换另一表演者的独唱音频导致的难以基于用户喜好针对性的进行直播,从而导致用户直播观看效果差的技术问题,从而达到提高用户的直播观看效果的技术效果。另一方面,该方法根据用户的不同爱好切换对应表演者的独唱音频,可以直播效果的多样性和灵活性,以克服相关技术方案仅能观看同一直播效果导致灵活性较差的技术问题。
以下将结合具体实施例对图2所示实施例中各个步骤的具体实施方式进行详细阐述:
在步骤S201中,根据目标观众观看演唱会直播的眼动数据,从演唱会直播的多个表演者中确定目标观众关注的目标表演者。
其中,目标观众为观看演唱会直播的任意一个观众;眼动数据可以是眼睛的注视点组成的集合、轨迹、持续观看时长等数据。
示例性的,终端设备可提供一摄像设备,并通过该摄像设备采集目标观众的眼动轨迹。例如以目标用户的眼睛为基准向图形用户界面发射一检测射线,并基于检测射线与图形用户界面的交点和摄像设备之间的距离确定各注视点。
在本公开一个可选的实施例中,眼动数据至少包括:针对多个表演者的持续观看时长,则在执行步骤S201时,可以获取目标观众观看演唱会直播中多个表演者的持续观看时长;将持续观看时长最大对应的表演者确定为目标表演者。
其中,持续观看时长为目标观众持续观看各表演者的停留时长。
示例性的,针对多个表演者中的每个表演者,获取目标观众观看各表演者的持续停留时长并进行对比,将目标观众的持续停留时长最长对应的表演者确定为目标表演者。
在本公开另一个可选的实施例中,眼动数据还可以包括注视点集合,从而基于注视点集合中注视点最多对应的表演者为目标表演者。
在上述实施例中,通过持续观看时长或注视点集合等方法确定目标表演者,可以快速确定目标用户对演唱会直播中表演者的喜好,以便根据该用户的喜好调整演唱会直播,以提高用户的直播观看体验。
在执行步骤S201之前,还需要获取目标观众的眼动数据,以便基于眼动数据确定目标用户关注的目标表演者,以下将结合具体实施例进行示例性说明。
在本公开的一些示例实施例中,获取预设时间段内目标观众观看演唱会直播的初始注视点,得到初始注视点集合;将初始注视点集合中的各初始注视点与演唱会直播中的各表演者进行匹配,得到针对各表演者的目标注视点集合;根据各表演者的目标注视点集合生成目标观众的眼动数据。
其中,该实施例中的眼动数据至少包含目标观众各表演者的目标注视点集合。
示例性的,统计预设时间段内目标观众观看演唱会直播的初始注视点集合,并基于初始注视点与演唱会直播中各表演者的匹配关系,对初始注视点进行分组,从而得到针对各表演者的目标注视点集合,从而基于各表演者的目标注视点集合得到目标观众的眼动数据。
在一种实施例中,可以通过统计目标观众针对各表演者的目标注视点数量,以便将预设时间段内目标注视点最多的表演者确定为目标表演者。
图3示意性示出本示例性实施方式中一种基于注视点确定目标表演者的方法流程图,在本公开一个可选实施例中,上述步骤S201根据目标观众观看演唱会直播的眼动数据,从演唱会直播中的多个表演者中确定目标观众关注的目标表演者,包括如下步骤S301-步骤S303:
步骤S301、获取预设时间段内目标观众观看演唱会直播的初始注视点,得到初始注视点集合。
步骤S302、将初始注视点集合中的各初始注视点与演唱会直播中的各表演者进行匹配,得到针对各表演者的目标注视点集合。
步骤S303、根据各表演者的目标注视点集合,从演唱会直播的多个表演者中确定目标观众关注的目标表演者。
应该理解的是,将初始注视点集合中未与各表演者匹配到注视点可以进行剔除处理,以剔除无用的数据。示例性的,目标观众观看演唱会直播的注视点数据较多,且该数据中包含一些对确定目标表演者的无用注视点,例如观看进度条、观看评论区等注视点。为了降低数据量,提高确定目标表演者的效率,可以将未匹配到各表演者的注视点进行剔除处理,从而基于剔除无用注视点后的注视点确定目标表演者。通过剔除无用的注视点可以降低数据量,从而达到提高确定目标表演者的效率的技术效果。
在该实施例中,通过目标观众在预设时间段内的注视点与各表演者匹配,可以快速确定目标观众关注的目标表演者,以便后续根据该用户的喜好调整演唱会直播,以提高用户的直播观看体验。
进一步的,在基于目标观众的眼动数据确定目标表演者的基础上,还可以根据目标观众的应援音频进一步确定目标表演者。
在本公开的一些示例实施例中,在执行步骤S201根据目标观众观看虚拟演唱会直播的眼动轨迹,从虚拟演唱会中的多个表演者中确定目标观众关注的目标表演者时,可以基于目标观众的眼动数据,确定演唱会直播中多个表演者的第一权重;根据所述目标应援音频确定所述演唱会直播中多个表演者的第二权重;基于所述第一权重和第二权重的矢量和确定所述目标观众关注的所述目标表演者。
示例性的,可以通过与终端设备连接的收麦设备收集目标观众在观看演唱会直播时的初始应援音频,并对初始应援音频中进行关键词检测和语义分析,以便从初始应援音频中提取出关键的应援音频,从而得到目标应援音频。例如,从目标观众的初始应援音频中可以提取出“A明星加油!”,从而增加目标表演者是“A明星”的几率。
在执行上述步骤根据眼动数据以及目标应援音频,从演唱会直播中的多个表演者中确定目标观众关注的目标表演者时,可以基于目标观众的眼动轨迹确定针对各表演者的第一权重;根据目标应援音频确定针对各表演者的第二权重;将第一权重和第二权重进行叠加得到各表演者的得分,并将得分最大的表演者确定目标观众关注的目标表演者。
示例性的,由于观众在观看演唱会时,不仅会观看自己喜欢的明星(即表演者),也会其他的明星,可以通过统计预设时间段内落在各表演者的注视点数量,从而确定目标观众对每个表演者喜好的第一权重,并结合目标应援音频确定的第二权重,以得到目标观众在当前时刻针对每个表演者的得分情况,以便将当前时刻下得分最高的表演者作为目标表演者。
通过叠加第一权重和第二权重确定最终的目标表演者,可以提高针对目标观众确定目标表演者的准确性。
在步骤S202中,响应于目标表演者的表演形式为目标表演形式,将演唱会直播的音频信息切换为目标表演者的独唱音频,目标表演形式至少包含输出音频的表演形式。
其中,在演唱会直播中,表演者通常的表演形式为唱、跳或者唱跳组合形式,上述唱的表演形式就是表演者对外输出音频的形式。
其中,目标表演者的独唱音频是指输出的音频中仅包含目标表演者的声音信息。
示例性的,当终端设备响应于目标表演者的表演形式为目标表演形式,即对外输出音频的表演形式,则将演唱会直播的音频信息切换为目标表演者的独唱音频。即目标表演形式可以是该目标表演者为唱、唱跳的表演形式。
通常情况下,在多人演唱会中,演唱会中的每个表演者都有独唱阶段,得到各表演者的独唱音频,也有多个表演者的合唱阶段,得到合唱音频。而独唱音频可以直接是各表演者的独唱音频,也可以是从多人合唱音频中提取各表演者的独唱音频。
在本公开一个可选的实施例中,响应于目标表演形式中包含目标表演者的独唱音频,则将演唱会直播的音频信息切换为目标表演者的独唱音频。
示例性的,终端设备响应于目标表演者的当前的目标表演形式为独唱表演,则直接得到目标表演者的独唱音频,从而将演唱会直播的音频信息切换为目标表演者的独唱音频。
在本公开另一个可选的实施例中,响应于所述目标表演形式包含所述多个表演者的合唱音频,则根据预先配置的声音识别模型从所述合唱音频中提取所述目标表演者的独唱音频,并将演唱会直播的音频信息切换为目标表演者的独唱音频。
其中,合唱音频中至少包含目标表演者的音频信息。
示例性的,当目标表演者的当前的目标表演形式为与其他表演者的合唱表演,得到多个表演者的合唱音频,则根据预先配置的声音识别模型对各表演者的声音进行识别,从而提取出目标表演者的独唱音频,以便将演唱会直播的音频信息切换为目标表演者的独唱音频。
在本次实施例中,根据当前目标表演者的目标表演形式直接确定独唱音频,或者从合唱音频中提取出目标表演者的独唱音频,可以避免相关技术中多人、多音频混合的情况所导致用户难以听到喜欢的表演者的独唱音频,从而提高用户的直播观看体验。
此外,在从合唱音频中提取目标表演者的独唱音频时,由于外部环境或者信号干扰等多方面因素导致音频噪声较大,影响提取目标表演者的独唱音频效果,因此需要对提取出的各表演者的音频信息进行预处理。以下将结合图4对预处理的过程进行示例性说明。
图4示意性示出本示例性实施方式中一种对音频信息预处理的方法流程图,在本公开的一些示例实施例中,上述实施例中,根据预先配置的声音识别模型从合唱音频中提取目标表演者的独唱音频至少包括如下步骤S401-步骤S403:
步骤S401、根据预先配置的声音识别模型从合唱音频中提取目标表演者的初始独唱音频。
步骤S402、若初始独唱音频的音频噪声大于预设噪声,则对初始独唱音频进行去噪处理,得到中间独唱音频。
步骤S403、对中间独唱音频进行放大处理,得到目标表演者的独唱音频。
通过去噪处理可以去除音频信息中的噪声,以便音频更加清晰,通过放大处理可以使声音更加洪大,从而提高最终得到的目标表演者的独唱音频的声音质量。
进一步的,在上述演唱会直播处理方法的基础上,为了烘托演唱会气氛,以使观看演唱会直播的用户如临现场的真实感,在本公开一个可选的实施例中,还可以将演唱会直播的音频信息切换为目标表演者的独唱音频的同时,播放针对目标表演者的目标应援音频。
在播放针对目标表演者的目标应援音频之前,需要优先获取目标表演者的目标应援音频。
在本公开一个可选的实施例中,采集演唱会直播对应线下演唱会场景中的初始应援音频;对初始应援音频进行关键词提取操作,将提取到的关键词确定为目标表演者的目标应援音频。
示例性的,通常演唱会现场也会有很多的观众,且每个观众的应援的表演者不同,所以现场观众中的应援音频都混合在一起,因此需要从混合应援音频中提取针对各表演者的应援音频。
在本公开的一些示例实施例中,可以在演唱会的观众席四周设置覆盖全场馆的麦克风,实时采集现场观众的应援音频,并通过关键词提取操作以前置关键词的形式得到当前目标表演者的目标应援音频(例如,“XXX明星,加油”“XXX明星,厉害”)以识别出目标表演者。
在本公开一个可选的实施例中,在执行上述播放针对目标表演者的目标应援音频时,可以基于演唱会直播的线下观众对多个表演者的应援,对演唱会直播对应的线下演唱会场景进行划分,得到针对多个表演者的应援区域;在目标表演者对应的应援区域播放针对目标表演者的目标应援音频。
示例性的,在线下演唱会场景中,可以预先划分各表演者的粉丝应援区,从而将支持同一表演者的粉丝划分到同一区域中。
示例性的,可以在目标表演者对应的应援区域播放针对目标表演者的目标应援音频,从而增强用户如临演唱会现场的真实感。
需要说明的是,还可以将采集到的目标观众的应援声音叠加至目标表演者对应的应援区域,以便在目标表演者对应的应援区域中播放目标表演者的目标应援音频,且该目标应援音频中包含目标观众针对目标表演者的应援音频。
一方面,该过程有利于对现场观众的应援音频进行采集,提高获取现场观众的应援音频的质量。另一方面,可以在目标表演者对应的应援区域播放针对目标表演者的目标应援音频,从而增强用户如临演唱会现场的真实感。
在上述实施例的基础上,以下将结合图3对播放目标表演者的应援音频过程进行示例性说明。
图5示意性示出本示例性实施方式中一种播放目标表演者的应援音频的流程图。请参见图5,在本公开一个可选实施例中,上述响应于目标表演者的表演形式为目标表演形式,将虚拟演唱会的音频信息切换为目标表演者的独唱音频以及针对目标表演者的粉丝应援音频,包括如下步骤S501-步骤S506:
步骤S501、基于演唱会直播的线下观众对多个表演者的应援,对演唱会直播对应的线下演唱会场景进行划分,得到针对多个表演者的应援区域。
步骤S502、基于多个应援区域采集当前现场观众的应援音频。
步骤S503、通过关键字提取从当前现场观众的应援音频中提取针对各表演者的初始应援音频。
步骤S504、初始应援音频的音频噪声是否大于噪声阈值。
若初始应援音频的音频噪声大于噪声阈值,则步骤S505、对初始应援音频进行去噪处理。
步骤S506、将去噪处理后的应援音频进行放大处理得到针对各表演者的应援音频,以从各表演者的应援音频中确定目标表演者的目标应援音频。
反之,若初始应援音频的音频噪声小于或等于预设噪声值,则执行步骤S507、基于该初始应援音频确定目标表演者的目标应援音频。
为了实现上述演唱会直播处理方法,本公开的一个实施例中提供一种演唱会直播处理装置。图6示意性示出了演唱会直播处理装置的示意性架构图。
其中,该演唱会直播处理装置600包括表演者确定模块601、音频切换模块602。
该表演者确定模块601,用于根据目标观众观看演唱会直播的眼动数据,从演唱会直播的多个表演者中确定目标观众关注的目标表演者;音频切换模块602,响应于目标表演者的表演形式为目标表演形式,将演唱会直播的音频信息切换为目标表演者的独唱音频,目标表演形式至少包含输出音频的表演形式。
在本公开一个可选的实施例中,表演者确定模块601用于获取目标观众观看演唱会直播中多个表演者的持续观看时长;将持续观看时长最大对应的表演者确定为目标表演者。
在本公开一个可选的实施例中,该演唱会直播处理装置600还可以包括注视点获取模块603以及数据生成模块604,其中,注视点获取模块603获取预设时间段内目标观众观看演唱会直播的初始注视点,得到初始注视点集合;将初始注视点集合中的各初始注视点与演唱会直播中的各表演者进行匹配,得到针对各表演者的目标注视点集合;数据生成模块604用于根据各表演者的目标注视点集合生成目标观众的眼动数据。
在本公开一个可选的实施例中,音频切换模块602用于响应于目标表演形式中包含目标表演者的独唱音频,则将演唱会直播的音频信息切换为目标表演者的独唱音频;或,响应于目标表演形式包含多个表演者的合唱音频,则根据预先配置的声音识别模型从合唱音频中提取目标表演者的独唱音频,并将演唱会直播的音频信息切换为目标表演者的独唱音频;其中,合唱音频中至少包含目标表演者的音频信息。
在本公开一个可选的实施例中,该音频切换模块602用于根据预先配置的声音识别模型从合唱音频中提取目标表演者的初始独唱音频;若初始独唱音频的音频噪声大于预设噪声,则对初始独唱音频进行去噪处理,得到中间独唱音频;对中间独唱音频进行放大处理,得到目标表演者的独唱音频。
在本公开一个可选的实施例中,演唱会直播处理装置600还可以包括音频播放模块605,音频播放模块605用于播放针对目标表演者的目标应援音频。
在本公开一个可选的实施例中,演唱会直播处理装置600还可以包括音频采集模块606,音频采集模块606用于采集演唱会直播对应线下演唱会场景中的初始应援音频;对初始应援音频进行关键词提取操作,将提取到的关键词确定为目标表演者的目标应援音频。
在本公开一个可选的实施例中,表演者确定模块601,用于基于目标观众的眼动数据,确定演唱会直播中多个表演者的第一权重;根据目标应援音频确定演唱会直播中多个表演者的第二权重;基于第一权重和第二权重的矢量和确定目标观众关注的目标表演者。
在本公开一个可选的实施例中,音频播放模块605用于于演唱会直播的线下观众对多个表演者的应援,对演唱会直播对应的线下演唱会场景进行划分,得到针对多个表演者的应援区域;在目标表演者对应的应援区域播放针对目标表演者的目标应援音频。
本公开实施例提供的演唱会直播处理装置600,可以执行上述任一实施例中的演唱会直播处理方法的技术方案,其实现原理以及有益效果与演唱会直播处理方法的实现原理及有益效果类似,可参见演唱会直播处理方法的实现原理及有益效果,此处不再进行赘述。
在本公开的示例性实施例中,还提供了一种计算机可读存储介质,其上存储有能够实现本说明书上述方法的程序产品。在一些可能的实施方式中,本发明的各个方面还可以实现为一种程序产品的形式,其包括程序代码,当程序产品在终端设备上运行时,程序代码用于使终端设备执行本说明书上述“示例性方法”部分中描述的根据本发明各种示例性实施方式的步骤。
根据本发明的实施方式的用于实现上述方法的程序产品,其可以采用便携式紧凑盘只读存储器(Compact Disc Read-Only Memory,CD-ROM)并包括程序代码,并可以在终端设备,例如个人电脑上运行。然而,本发明的程序产品不限于此,在本文件中,可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括:具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(Random AccessMemory,RAM)、只读存储器(Read-Only Memory,ROM)、可擦式可编程只读存储器(ErasableProgrammable Read-Only Memory,EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了可读程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。可读信号介质还可以是可读存储介质以外的任何可读介质,该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
可读介质上包含的程序代码可以用任何适当的介质传输,包括但不限于无线、有线、光缆、射频(Radio Frequency,RF)等等,或者上述的任意合适的组合。
可以以一种或多种程序设计语言的任意组合来编写用于执行本发明操作的程序代码,程序设计语言包括面向对象的程序设计语言—诸如Java、C++等,还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中,远程计算设备可以通过任意种类的网络,包括局域网(Local AreaNetwork,LAN)或广域网(Wide Area Network,WAN),连接到用户计算设备,或者,可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。
在本公开的示例性实施例中,还提供了一种能够实现上述方法的电子设备。
所属技术领域的技术人员能够理解,本发明的各个方面可以实现为系统、方法或程序产品。因此,本发明的各个方面可以具体实现为以下形式,即:完全的硬件实施方式、完全的软件实施方式(包括固件、微代码等),或硬件和软件方面结合的实施方式,这里可以统称为“电路”、“模块”或“系统”。
下面参照图7来描述根据本发明的这种实施方式的电子设备700。图7显示的电子设备700仅仅是一个示例,不应对本发明实施例的功能和使用范围带来任何限制。
如图7所示,电子设备700以通用计算设备的形式表现。电子设备700的组件可以包括但不限于:上述至少一个处理单元710、上述至少一个存储单元720、连接不同系统组件(包括存储单元720和处理单元710)的总线730、显示单元740。
其中,存储单元存储有程序代码,程序代码可以被处理单元710执行,使得处理单元710执行本说明书上述“示例性方法”部分中描述的根据本发明各种示例性实施方式的步骤。例如,处理单元710可以执行如图2中所示的步骤S201至步骤S202。
存储单元720可以包括易失性存储单元形式的可读介质,例如随机存取存储单元(RAM)7201和/或高速缓存存储单元7202,还可以进一步包括只读存储单元(ROM)7203。
存储单元720还可以包括具有一组(至少一个)程序模块7205的程序/实用工具7204,这样的程序模块7205包括但不限于:操作系统、一个或者多个应用程序、其它程序模块以及程序数据,这些示例中的每一个或某种组合中可能包括网络环境的实现。
总线730可以为表示几类总线结构中的一种或多种,包括存储单元总线或者存储单元控制器、外围总线、图形加速端口、处理单元或者使用多种总线结构中的任意总线结构的局域总线。
电子设备700也可以与一个或多个外部设备1000(例如键盘、指向设备、蓝牙设备等)通信,还可与一个或者多个使得用户能与该电子设备700交互的设备通信,和/或与使得该电子设备700能与一个或多个其它计算设备进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口750进行。并且,电子设备700还可以通过网络适配器760与一个或者多个网络(例如局域网(LAN),广域网(WAN)和/或公共网络,例如因特网)通信。如图所示,网络适配器760通过总线730与电子设备700的其它模块通信。应当明白,尽管图中未示出,可以结合电子设备700使用其它硬件和/或软件模块,包括但不限于:微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、磁盘阵列(RedundantArrays of Independent Disks,RAID)系统、磁带驱动器以及数据备份存储系统等。
通过以上的实施方式的描述,本领域的技术人员易于理解,这里描述的示例实施方式可以通过软件实现,也可以通过软件结合必要的硬件的方式来实现。因此,根据本公开实施方式的技术方案可以以软件产品的形式体现出来,该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM,U盘,移动硬盘等)中或网络上,包括若干指令以使得一台计算设备(可以是个人计算机、服务器、终端装置、或者网络设备等)执行根据本公开实施方式的方法。
此外,上述附图仅是根据本发明示例性实施例的方法所包括的处理的示意性说明,而不是限制目的。易于理解,上述附图所示的处理并不表明或限制这些处理的时间顺序。另外,也易于理解,这些处理可以是例如在多个模块中同步或异步执行的。
应当注意,尽管在上文详细描述中提及了用于动作执行的设备的若干模块或者单元,但是这种划分并非强制性的。实际上,根据本公开的实施方式,上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之,上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。
本领域技术人员在考虑说明书及实践这里公开的发明后,将容易想到本公开的其他实施例。本申请旨在涵盖本公开的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本公开的真正范围和精神由权利要求指出。
应当理解的是,本公开并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限定。

Claims (12)

1.一种演唱会直播处理方法,其特征在于,目标观众通过终端设备观看演唱会直播,所述方法包括:
根据所述目标观众观看所述演唱会直播的眼动数据,从所述演唱会直播的多个表演者中确定所述目标观众关注的目标表演者;
响应于所述目标表演者的表演形式为目标表演形式,将所述演唱会直播的音频信息切换为所述目标表演者的独唱音频,所述目标表演形式至少包含输出音频的表演形式。
2.根据权利要求1所述的演唱会直播处理方法,其特征在于,所述根据所述目标观众观看所述演唱会直播的眼动数据,从所述演唱会直播中的多个表演者中确定所述目标观众关注的目标表演者,包括:
获取所述目标观众观看所述演唱会直播中多个表演者的持续观看时长;
将所述持续观看时长最大对应的表演者确定为所述目标表演者。
3.根据权利要求1或2所述的演唱会直播处理方法,其特征在于,在所述根据所述目标观众观看所述演唱会直播的眼动数据,从所述演唱会直播中的多个表演者中确定所述目标观众关注的目标表演者之前,所述方法还包括:
获取预设时间段内所述目标观众观看所述演唱会直播的初始注视点,得到初始注视点集合;
将所述初始注视点集合中的各初始注视点与所述演唱会直播中的各表演者进行匹配,得到针对所述各表演者的目标注视点集合;
根据所述各表演者的目标注视点集合生成所述目标观众的所述眼动数据。
4.根据权利要求1所述的演唱会直播处理方法,其特征在于,所述响应于所述目标表演者的表演形式为目标表演形式,将所述演唱会直播的音频信息切换为所述目标表演者的独唱音频,包括:
响应于所述目标表演形式中包含所述目标表演者的独唱音频,则将所述演唱会直播的音频信息切换为所述目标表演者的独唱音频;或,
响应于所述目标表演形式包含所述多个表演者的合唱音频,则根据预先配置的声音识别模型从所述合唱音频中提取所述目标表演者的独唱音频,并将所述演唱会直播的音频信息切换为所述目标表演者的独唱音频;
其中,所述合唱音频中至少包含所述目标表演者的音频信息。
5.根据权利要求4所述的演唱会直播处理方法,其特征在于,所述根据预先配置的声音识别模型从所述合唱音频中提取所述目标表演者的独唱音频,包括:
根据预先配置的声音识别模型从所述合唱音频中提取所述目标表演者的初始独唱音频;
若所述初始独唱音频的音频噪声大于预设噪声,则对所述初始独唱音频进行去噪处理,得到中间独唱音频;
对所述中间独唱音频进行放大处理,得到所述目标表演者的独唱音频。
6.根据权利要求1所述的演唱会直播处理方法,其特征在于,所述方法还包括:
播放针对所述目标表演者的目标应援音频。
7.根据权利要求6所述的演唱会直播处理方法,其特征在于,在所述播放针对所述目标表演者的目标应援音频之前,所述方法还包括:
采集所述演唱会直播对应线下演唱会场景中的初始应援音频;
对所述初始应援音频进行关键词提取操作,将提取到的关键词确定为所述目标表演者的目标应援音频。
8.根据权利要求6所述的演唱会直播处理方法,其特征在于,所述根据所述目标观众观看所述演唱会直播的眼动数据,从所述演唱会直播中的多个表演者中确定所述目标观众关注的目标表演者,包括:
基于所述目标观众的眼动数据,确定所述演唱会直播中多个表演者的第一权重;
根据所述目标应援音频确定所述演唱会直播中多个表演者的第二权重;
基于所述第一权重和第二权重的矢量和确定所述目标观众关注的所述目标表演者。
9.根据权利要求6所述的演唱会直播处理方法,其特征在于,所述播放针对所述目标表演者的目标应援音频,包括:
基于所述演唱会直播的线下观众对所述多个表演者的应援,对所述演唱会直播对应的线下演唱会场景进行划分,得到针对所述多个表演者的应援区域;
在所述目标表演者对应的应援区域播放针对所述目标表演者的目标应援音频。
10.一种演唱会直播处理装置,其特征在于,目标观众通过终端设备观看演唱会直播,所述装置包括:
表演者确定模块,用于根据所述目标观众观看所述演唱会直播的眼动数据,从所述演唱会直播中的多个表演者中确定所述目标观众关注的目标表演者;
音频切换模块,用于响应于所述目标表演者的表演形式为目标表演形式,将所述演唱会直播的音频信息切换为所述目标表演者的独唱音频,所述目标表演形式至少包含输出音频的表演形式。
11.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至9任一项所述的演唱会直播处理方法。
12.一种电子设备,其特征在于,包括:
处理器;以及
存储器,用于存储所述处理器的可执行指令;
其中,所述处理器配置为经由执行所述可执行指令来执行权利要求1至9任一项所述的演唱会直播处理方法。
CN202311066698.2A 2023-08-22 2023-08-22 演唱会直播处理方法、装置、存储介质和电子设备 Pending CN116996702A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311066698.2A CN116996702A (zh) 2023-08-22 2023-08-22 演唱会直播处理方法、装置、存储介质和电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311066698.2A CN116996702A (zh) 2023-08-22 2023-08-22 演唱会直播处理方法、装置、存储介质和电子设备

Publications (1)

Publication Number Publication Date
CN116996702A true CN116996702A (zh) 2023-11-03

Family

ID=88524836

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311066698.2A Pending CN116996702A (zh) 2023-08-22 2023-08-22 演唱会直播处理方法、装置、存储介质和电子设备

Country Status (1)

Country Link
CN (1) CN116996702A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117435058A (zh) * 2023-12-21 2024-01-23 北京赛凡策划有限公司 一种智慧展厅的交互控制方法和系统

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117435058A (zh) * 2023-12-21 2024-01-23 北京赛凡策划有限公司 一种智慧展厅的交互控制方法和系统
CN117435058B (zh) * 2023-12-21 2024-03-29 北京赛凡策划有限公司 一种智慧展厅的交互控制方法和系统

Similar Documents

Publication Publication Date Title
US10987596B2 (en) Spectator audio analysis in online gaming environments
WO2022121601A1 (zh) 一种直播互动方法、装置、设备及介质
CN110446115B (zh) 直播互动方法、装置、电子设备及存储介质
US11386903B2 (en) Methods and systems for speech presentation based on simulated binaural audio signals
US20210249012A1 (en) Systems and methods for operating an output device
US10293260B1 (en) Player audio analysis in online gaming environments
CN112653902B (zh) 说话人识别方法、装置及电子设备
US10864447B1 (en) Highlight presentation interface in a game spectating system
US10363488B1 (en) Determining highlights in a game spectating system
US20120021389A1 (en) Interactive immersion system for movies, television, animation, music videos, language training, entertainment, video games and social networking
CN116996702A (zh) 演唱会直播处理方法、装置、存储介质和电子设备
CN112954390A (zh) 视频处理方法、装置、存储介质及设备
CN117377519A (zh) 通过分布式输入的情绪分析来模拟现场赛事的人群噪声
CN111787346A (zh) 基于直播的乐谱展示方法、装置、设备及存储介质
CN116756285A (zh) 虚拟机器人的互动方法、设备和存储介质
CN110324653B (zh) 游戏互动交互方法及系统、电子设备及具有存储功能的装置
US20160078119A1 (en) System and method for generating content corresponding to an event
JP6367748B2 (ja) 認識装置、映像コンテンツ提示システム
JP7154016B2 (ja) 情報提供システム及び情報提供方法
CN113368489B (zh) 直播互动方法及系统、装置、电子设备和存储介质
CN113656638B (zh) 一种观看直播的用户信息处理方法、装置及设备
CN114786030A (zh) 主播画面显示方法、装置、电子设备和存储介质
JP6070584B2 (ja) 情報処理装置、情報処理方法およびプログラム
Virkkunen Automatic speech recognition for the hearing impaired in an augmented reality application
CN115379250B (zh) 视频处理方法、装置、计算机设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination