CN112489611A - 线上歌房实现方法及电子设备和计算机可读存储介质 - Google Patents

线上歌房实现方法及电子设备和计算机可读存储介质 Download PDF

Info

Publication number
CN112489611A
CN112489611A CN202011357963.9A CN202011357963A CN112489611A CN 112489611 A CN112489611 A CN 112489611A CN 202011357963 A CN202011357963 A CN 202011357963A CN 112489611 A CN112489611 A CN 112489611A
Authority
CN
China
Prior art keywords
audio
client
playing
account
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011357963.9A
Other languages
English (en)
Inventor
刘腾飞
黄斯亮
欧阳金凯
雷勇
文绍斌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Music Entertainment Technology Shenzhen Co Ltd
Original Assignee
Tencent Music Entertainment Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Music Entertainment Technology Shenzhen Co Ltd filed Critical Tencent Music Entertainment Technology Shenzhen Co Ltd
Priority to CN202011357963.9A priority Critical patent/CN112489611A/zh
Publication of CN112489611A publication Critical patent/CN112489611A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00Details of electrophonic musical instruments
    • G10H1/36Accompaniment arrangements
    • G10H1/361Recording/reproducing of accompaniment for use with an external source, e.g. karaoke systems
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00Details of electrophonic musical instruments
    • G10H1/36Accompaniment arrangements
    • G10H1/361Recording/reproducing of accompaniment for use with an external source, e.g. karaoke systems
    • G10H1/365Recording/reproducing of accompaniment for use with an external source, e.g. karaoke systems the accompaniment information being stored on a host computer and transmitted to a reproducing terminal by means of a network, e.g. public telephone lines
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00Details of electrophonic musical instruments
    • G10H1/0033Recording/reproducing or transmission of music for electrophonic musical instruments
    • G10H1/0041Recording/reproducing or transmission of music for electrophonic musical instruments in coded form
    • G10H1/0058Transmission between separate instruments or between individual components of a musical system
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00Details of electrophonic musical instruments
    • G10H1/36Accompaniment arrangements
    • G10H1/361Recording/reproducing of accompaniment for use with an external source, e.g. karaoke systems
    • G10H1/366Recording/reproducing of accompaniment for use with an external source, e.g. karaoke systems with means for modifying or correcting the external signal, e.g. pitch correction, reverberation, changing a singer's voice
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2240/00Data organisation or data communication aspects, specifically adapted for electrophonic musical tools or instruments
    • G10H2240/171Transmission of musical instrument data, control or status information; Transmission, remote access or control of music data for electrophonic musical instruments
    • G10H2240/175Transmission of musical instrument data, control or status information; Transmission, remote access or control of music data for electrophonic musical instruments for jam sessions or musical collaboration through a network, e.g. for composition, ensemble playing or repeating; Compensation of network or internet delays therefor

Abstract

本申请公开了一种线上歌房实现方法、电子设备和计算机可读存储介质,该方法包括:第一客户端按照目标播放方式播放本地存储的第一音频内容,第一音频内容的实际播放时长等于第一音频内容的理论播放时长与目标延迟的和;目标延迟为第一客户端与第二客户端之间的回路延迟;在第一音频内容的播放过程中,第一客户端采集第一干声音频,将本地存储的第一音频内容和第一干声音频混合为第一目标音频,并将第一目标音频发送至第二客户端,第二客户端按照正常播放方式播放第一目标音频;当按照目标播放方式播放第一音频内容结束时,第一客户端按照正常播放方式播放第二客户端发送的第二目标音频。本申请提供的线上歌房实现方法实现了多个账户的实时对唱。

Description

线上歌房实现方法及电子设备和计算机可读存储介质
技术领域
本申请涉及计算机技术领域,更具体地说,涉及线上歌房实现方法及电子设备和计算机可读存储介质。
背景技术
在相关技术的线上歌房设计中,通过异步方式实现两个用户的合唱,即用户A首先在客户端A录制自己演唱的部分,然后将合成的作品发送至客户端B,用户B再在客户端B补全自己演唱的部分生成最终的合唱作品。
可见,在实现本发明过程中,发明人发现相关技术中至少存在如下问题:无法实现多个账户的实时对唱。
发明内容
本申请的目的在于提供一种线上歌房实现方法及一种电子设备和一种计算机可读存储介质,实现了多个账户的实时对唱。
为实现上述目的,本申请第一方面提供了一种线上歌房实现方法,其中,第一客户端对应的第一账户和第二客户端对应的第二账户匹配至虚拟房间,所述方法包括:
所述第一客户端按照目标播放方式播放本地存储的第一音频内容,以使所述第一音频内容的实际播放时长等于所述第一音频内容的理论播放时长与目标延迟的和;其中,所述第一音频内容为所述第一账户对应的音频内容,所述目标延迟为所述第一客户端与所述第二客户端之间的回路延迟;
在所述第一音频内容的播放过程中,所述第一客户端采集第一干声音频,将本地存储的第一音频内容和所述第一干声音频混合为第一目标音频,并将所述第一目标音频发送至所述第二客户端,所述第二客户端按照正常播放方式播放所述第一目标音频;
当按照所述目标播放方式播放所述第一音频内容结束时,所述第一客户端按照所述正常播放方式播放所述第二客户端发送的第二目标音频。
为实现上述目的,本申请第二方面提供了一种电子设备,包括:
存储器,用于存储计算机程序;
处理器,用于执行所述计算机程序时实现如上述线上歌房实现方法中第一客户端或第二客户端执行的步骤。
为实现上述目的,本申请第四方面提供了一种计算机可读存储介质,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现如上述线上歌房实现方法中第一客户端或第二客户端执行的步骤。
通过以上方案可知,本申请提供的一种线上歌房实现方法,其中,第一客户端对应的第一账户和第二客户端对应的第二账户匹配至虚拟房间,所述方法包括:所述第一客户端按照目标播放方式播放本地存储的第一音频内容,以使所述第一音频内容的实际播放时长等于所述第一音频内容的理论播放时长与目标延迟的和;其中,所述第一音频内容为所述第一账户对应的音频内容,所述目标延迟为所述第一客户端与所述第二客户端之间的回路延迟;在所述第一音频内容的播放过程中,所述第一客户端采集第一干声音频,将本地存储的第一音频内容和所述第一干声音频混合为第一目标音频,并将所述第一目标音频发送至所述第二客户端,所述第二客户端按照正常播放方式播放所述第一目标音频;当按照所述目标播放方式播放所述第一音频内容结束时,所述第一客户端按照所述正常播放方式播放所述第二客户端发送的第二目标音频。
在本申请中,在第一账户和第二账户匹配至同一虚拟房间的情况下,第一账户和第二账户可以在该虚拟房间中实现实时的分段合唱,即对唱模式,其中,第一账户对应第一音频内容,第二账户对应第二音频内容。在第一账户演唱时,第一客户端播放的伴奏音频为本地存储的第一音频内容,第二客户端播放的音频为第一客户端存储的第一音频内容与采集的第一干声音频的合成音频,即第一目标音频。在第二客户端侧,保证了伴奏音频与干声音频的对齐。同理,在第二账户演唱时,第二客户端播放的伴奏音频为本地存储的第二音频内容,第一客户端播放的音频为第二客户端存储的第二音频内容与采集的第二干声音频的合成音频,即第二目标音频。在第一客户端侧,保证了伴奏音频与干声音频的对齐。进一步的,第一音频内容在第一客户端侧的实际播放时长等于第一音频内容的理论播放时长与第一客户端与第二客户端之间的回路延迟的和,即在第一客户端侧对第一音频内容进行慢放,保证了第一音频内容在第一客户端侧的播放结束时接收到第二客户端发送的第二目标音频,在第一客户端侧实现了第一音频内容和第二目标音频的无缝播放。同理,第二音频内容在第二客户端侧的实际播放时长等于第二音频内容的理论播放时长与第一客户端与第二客户端之间的回路延迟的和,即在第二客户端侧对第二音频内容进行慢放,保证了第二音频内容在第二客户端侧的播放结束时接收到第一客户端发送的第一目标音频,在第二客户端侧实现了第二音频内容和第一目标音频的无缝播放。由此可见,本申请提供的线上歌房实现方法,考虑到第一客户端与第二客户端之间的回路延迟,在第一账户和第二账户进行实时对唱时,实现了第一客户端和第二客户端各自播放的伴奏音频与干声音频的对齐,同时实现了第一客户端和第二客户端音频的无缝播放。本申请还公开了一种电子设备和一种计算机可读存储介质,同样能实现上述技术效果。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性的,并不能限制本申请。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。附图是用来提供对本公开的进一步理解,并且构成说明书的一部分,与下面的具体实施方式一起用于解释本公开,但并不构成对本公开的限制。在附图中:
图1为本申请实施例提供的一种线上歌房实现系统的架构图;
图2为本申请实施例提供的一种线上歌房实现方法的流程图;
图3为本申请实施例提供的一种音频传输和播放的示意图;
图4为本申请实施例提供的另一种线上歌房实现方法的流程图;
图5为本申请实施例提供的另一种音频传输和播放的示意图;
图6为本申请实施例提供的一种电子设备的结构图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
为了便于理解本申请提供的线上歌房实现方法,下面对其使用的系统进行介绍。参见图1,其示出了本申请实施例提供的一种线上歌房实现系统的架构图,如图1所示,包括服务器10和多个客户端20,每个客户端20与服务器10之间通过网络连接。
其中,服务器10用于创建虚拟房间,并将多个账户匹配至同一虚拟房间。各虚拟房间之间相互隔离,虚拟房间可以用于模拟真实环境中的房间,具备真实环境中房间所具备的隔离功能,以实现本申请中的线上歌房功能。在多个账户匹配至同一虚拟房间的情况下,服务器10建立每个账户对应的客户端20与虚拟房间之间的音频链路,即匹配至同一虚拟房间的账户可以通过该虚拟房间进行音频通信。
客户端20可以包括PC(中文全称:个人计算机,英文全称:Personal Computer)等固定终端和手机等移动终端。每个客户端20上设置例如K歌软件、麦克风的音频采集装置和例如扬声器的音频输出装置,音频采集装置用于采集目标歌曲对应的干声音频和通话音频,音频输出装置用于输出干声音频与伴奏音频的混合音频和通话音频。客户端20的K歌软件上登录有对应的账户,处于上麦显示状态的账户对应的客户端20与虚拟房间之间的音频链路开启,客户端20利用该音频链路向虚拟房间传输采集到的干声音频,处于下麦显示状态的账户对应的客户端20与虚拟房间之间的的音频链路关闭,各客户端20与虚拟房间之间的的音频链路的开启与关闭不影响歌曲播放的过程。
本申请实施例公开了一种线上歌房实现方法,实现了多个账户的实时对唱。
参见图2,本申请实施例提供的一种线上歌房实现方法的流程图,如图2所示,包括:
S101:所述第一客户端按照目标播放方式播放本地存储的第一音频内容,以使所述第一音频内容的实际播放时长等于所述第一音频内容的理论播放时长与目标延迟的和;其中,所述第一音频内容为所述第一账户对应的音频内容,所述目标延迟为所述第一客户端与所述第二客户端之间的回路延迟;
在本实施例中,第一客户端对应的第一账户和第二客户端对应的第二账户匹配至同一虚拟房间,该虚拟房间与第一账户对应的第一客户端和第二账户对应的第二客户端的建立音频链路,音频链路实现了第一客户端或第二客户端与虚拟房间之间的音频传输,通过虚拟房间实现第一账户与第二账户的音频通信,模拟了真实环境中的音频通信。
本实施例为第一账户与第二账户的对唱场景,在对唱模式下,第一账户和第二账户均处于上麦状态,第一账户和第二账户分别演唱目标歌曲的不同部分,第一账户对应第一音频内容,第二账户对应第二音频内容。即本实施例还包括:若所述第一账户和所述第二账户均呈现上麦状态,则所述第一客户端确定所述第一账户对应的第一音频内容,所述第二客户端确定所述第二账户对应的第二音频内容。在第一客户端和第二客户端的显示界面中以第一预设方式显示第一音频内容对应的歌词,以第二预设方式显示第二音频内容对应的歌词。例如可以以不同的颜色显示不同账户对应的歌词,在即将到达某个账户的演唱时间时,进行提示。
在具体实施中,第一客户端播放的伴奏音频为本地存储的第一音频内容,第一音频内容在第一客户端侧的实际播放时长等于第一音频内容的理论播放时长与第一客户端与第二客户端之间的回路延迟的和,即在第一客户端侧对第一音频内容进行慢放,保证了第一音频内容在第一客户端侧的播放结束时接收到第二客户端发送的第二目标音频,在第一客户端侧实现了第一音频内容和第二目标音频的无缝播放。
例如,目标歌曲的总长度为180s,第一音频内容为0-30s、60s-90s、120s-150s,第二音频内容为30-60s、90s-120s、150s-180s,第一客户端与第二客户端之间的回路延迟为0.6s。则如图3所示,黑色部分为播放本地存储的音频内容,白色部分为发送至对方的音频,阴影部分为播放对方发送的音频。第一音频内容在第一客户端的实际播放时长为30.6s,实际播放时间分别为0-30.6s、60.6s-91.2s、121.2s-151.8s。第二音频内容在第二客户端的实际播放时长为30.6s,实际播放时间分别为30.3-60.9s、90.9s-121.5s、151.5s-181.5s,需要说明的是,由于最后一段第二音频内容为目标歌曲的结尾,其后不存在演唱者的切换,因此实际播放时长等于理论播放时长。
作为一种可行的实施方式,所述按照目标播放方式播放本地存储的第一音频内容,包括:基于预设慢放速率和所述目标延迟确定慢放音频内容的第一时间长度,并在所述第一音频内容中选择所述第一时间长度的第一慢放音频内容;按照所述预设慢放速率播放本地存储的所述第一慢放音频内容,按照原始速率播放播放本地存储的所述第一音频内容中除所述第一慢放音频内容之外的其他音频内容。
在具体实施中,可以在第一音频内容中选取第一时间时长的第一慢放音频内容进行慢放,以使第一音频内容的实际播放时长等于理论播放时长与目标延迟的和。优选的,在第一音频内容的尾部选择第一时间长度的第一慢放音频内容,每个账户对应的音频内容的尾部一般不需要演唱,因此在尾部选择第一慢放内容可以减弱用户的听觉感受,提升用户体验。需要说明的是,上述第一时间长度基于预设慢放速率和第一客户端与第二客户端之间的目标延迟确定,预设慢放速率R由经验值确定,R=t1/(t1+RTT),其中,t1为第一时间长度,RTT为目标延迟。在R和RTT已知的前提下,可以求得t1。例如,R为0.7,RTT为0.6s,则t1为1.4s。
S102:在所述第一音频内容的播放过程中,所述第一客户端采集第一干声音频,将本地存储的第一音频内容和所述第一干声音频混合为第一目标音频,并将所述第一目标音频发送至所述第二客户端,所述第二客户端按照正常播放方式播放所述第一目标音频;
在具体实施中,在第一账户演唱时,第二客户端播放的音频为第一客户端存储的第一音频内容与采集的第一干声音频的合成音频,即第一目标音频。在第二客户端侧,保证了伴奏音频与干声音频的对齐。
需要说明的是,第一账户可以处于耳返模式或外放模式。处于耳返模式时,第一客户端通过耳返播放第一目标音频,即用户可以通过耳返听见自己演唱的第一干声音频。处于外放模式时,第一客户端播放伴奏音频,其音频采集装置采集音频后,需要对采集到的音频进行回音消除处理,以得到第一干声音频。即若所述第一客户端处于外放模式,则所述第一客户端采集第一干声音频,包括:所述第一客户端采集音频,并对所述音频进行回音处理得到第一干声音频。
S103:当按照所述目标播放方式播放所述第一音频内容结束时,所述第一客户端按照所述正常播放方式播放所述第二客户端发送的第二目标音频。
在具体实施中,在第二账户演唱时,第二客户端播放的伴奏音频为本地存储的第二音频内容,第一客户端播放的音频为第二客户端存储的第二音频内容与采集的第二干声音频的合成音频,即第二目标音频。在第一客户端侧,保证了伴奏音频与干声音频的对齐。另外,第一音频内容在第一客户端侧的播放结束时接收到第二客户端发送的第二目标音频,在第一客户端侧实现了第一音频内容和第二目标音频的无缝播放。
需要说明的是,本实施例介绍的是第一账户切换为第二账户演唱的情况,第二账户切换为第一账户演唱的情况与上述类似,在此不再赘述。
在本申请实施例中,在第一账户和第二账户匹配至同一虚拟房间的情况下,第一账户和第二账户可以在该虚拟房间中实现实时的分段合唱,即对唱模式,其中,第一账户对应第一音频内容,第二账户对应第二音频内容。在第一账户演唱时,第一客户端播放的伴奏音频为本地存储的第一音频内容,第二客户端播放的音频为第一客户端存储的第一音频内容与采集的第一干声音频的合成音频,即第一目标音频。在第二客户端侧,保证了伴奏音频与干声音频的对齐。同理,在第二账户演唱时,第二客户端播放的伴奏音频为本地存储的第二音频内容,第一客户端播放的音频为第二客户端存储的第二音频内容与采集的第二干声音频的合成音频,即第二目标音频。在第一客户端侧,保证了伴奏音频与干声音频的对齐。进一步的,第一音频内容在第一客户端侧的实际播放时长等于第一音频内容的理论播放时长与第一客户端与第二客户端之间的回路延迟的和,即在第一客户端侧对第一音频内容进行慢放,保证了第一音频内容在第一客户端侧的播放结束时接收到第二客户端发送的第二目标音频,在第一客户端侧实现了第一音频内容和第二目标音频的无缝播放。同理,第二音频内容在第二客户端侧的实际播放时长等于第二音频内容的理论播放时长与第一客户端与第二客户端之间的回路延迟的和,即在第二客户端侧对第二音频内容进行慢放,保证了第二音频内容在第二客户端侧的播放结束时接收到第一客户端发送的第一目标音频,在第二客户端侧实现了第二音频内容和第一目标音频的无缝播放。由此可见,本申请实施例提供的线上歌房实现方法,考虑到第一客户端与第二客户端之间的回路延迟,在第一账户和第二账户进行实时对唱时,实现了第一客户端和第二客户端各自播放的伴奏音频与干声音频的对齐,同时实现了第一客户端和第二客户端音频的无缝播放。
本申请实施例公开了一种线上歌房实现方法,实现了向第三账户推送合唱音频。
参见图4,本申请实施例提供的另一种线上歌房实现方法的流程图,如图4所示,包括:
S201:所述服务器基于接收到的每段目标音频标记的时间戳将所有所述目标音频拼接为合成音频;其中,所述目标音频包括所述第一客户端发送的所述第一目标音频和所述第二客户端发送的所述第二目标音频;
在本实施例中,第一客户端通过服务器向第二客户端发送第一目标音频,第二客户端通过服务器向第一客户端发送第二目标音频,也就是说,服务器可以获取第一客户端合成的第一目标音频和第二客户端合成的第二目标音频,且每段目标音频均携带时间戳,服务器可以基于目标音频携带的时间戳将接收到的目标音频拼接为合成音频。
S202:当已拼接的合成音频的时间长度等于目标时间长度时,所述服务器将所述合成音频发送至所述虚拟房间中第三账户对应的第三客户端,以便所述第三客户端按照所述正常播放方式播放所述合成音频;其中,所述目标时间长度基于第一延迟和第二延迟确定,所述第一延迟为所述第一客户端与所述服务器之间的延迟,所述第二延迟为所述第二客户端与所述服务器之间的延迟,所述目标时间长度至少保证所述服务器不间断的发送所述合唱音频。
在具体实施中,服务器缓存目标时间长度的合成音频,延迟发送至第三账户对应的第三客户端,第三客户端以正常播放方式播放接收到的合成音频,实现了向第三账户推送合唱音频。
需要说明的是,目标时间长度可以根据第一客户端与服务器之间的延迟和第二客户端与服务器之间的延迟确定,其至少保证服务器可以不间断的向第三客户端发送合唱音频。例如,目标歌曲的总长度为180s,第一音频内容为0-30s、60s-90s、120s-150s,第二音频内容为30-60s、90s-120s、150s-180s,第一客户端与服务器之间的第一延迟为0.1s,第二客户端与服务器之间的第二延迟为0.2s。如图5所示,服务器接收到目标音频的时间分别为0.1s、30.5s、60.7s、91.1s、121.3s、151.7s。可见,服务器接收到最后一段目标音频的时间(151.7s)与该目标音频实际开始播放时间(150s)相差1.7s,即目标时间长度为1.7s,服务器需要缓存1.7s的合成音频后开始向第三客户端进行传输。
由此可见,本实施例通过在服务器缓存目标时间长度的合成音频,延迟发送至第三客户端,解决了第一客户端与服务器之间、第二客户端与服务器之间的网络延迟问题,保证了合成音频不间断的发送至第三客户端,第三客户端可以不间断的以正常播放方式播放接收到的合成音频,实现了向第三账户推送合唱音频。
在上述实施例的基础上,作为一种优选实施方式,还包括:所述第一客户端和所述第二客户端从服务器下载目标歌曲的伴奏音频;若所述第一账户和所述第二账户均呈现下麦状态,则所述第一客户端和所述第二客户端各自播放本地存储的伴奏音频。
在具体实施中,虚拟房间中的任意账户点唱目标歌曲后,该虚拟房间中的所有账户对应的客户端从服务器下载目标歌曲的伴奏音频,均下载完成后,服务器确定播放时刻,并发送至所有客户端,所有客户端在播放时刻开始播放本地存储的伴奏音频。
在上述实施例的基础上,作为一种优选实施方式,还包括:在所述第一账户和所述第二账户均呈现下麦状态的情况下,若所述第一账户切换为上麦状态,则所述第一客户端采集第一干声音频,将本地存储的伴奏音频和所述第一干声音频混合为第一合成音频,以发送至所述第二客户端,所述第二客户端停止播放本地存储的伴奏音频、开始播放所述第一合成音频。
在具体实施中,在目标歌曲的伴奏音频的播放过程中,若第一账户切换为上麦状态,则第一账户处于独唱模式。在独唱模式下,第一客户端继续播放本地存储的伴奏音频,并开始采集第一干声音频。第一客户端将本地存储的伴奏音频和第一干声音频混合为第一合成音频,经服务器发送至第二客户端,第二客户端停止播放本地存储的伴奏音频、开始播放接收到的第一合成音频。也就是说,第二客户端播放的伴奏音频和干声音频均来自于第一客户端,即第二客户端播放的第一合成音频由第一客户端合成,在第二客户端侧,保证了伴奏音频与干声音频的对齐。
优选的,所述第二客户端停止播放本地存储的伴奏音频、开始播放所述第一合成音频,包括:所述第二客户端对本地存储的伴奏音频进行渐隐处理,并对所述第一合成音频进行渐入处理。在具体实施中,为了切换音频播放时更加自然,可以对需要停止播放的音频进行渐隐处理,对需要开始播放的音频进行渐入处理。
需要说明的是,在第一账户呈现上麦状态且第二账户呈现下麦状态的情况下,第一账户可以处于耳返模式或外放模式。处于耳返模式时,第一客户端通过耳返播放第一合成音频,即用户可以通过耳返听见自己演唱的第一干声音频。处于外放模式时,第一客户端播放伴奏音频,其音频采集装置采集音频后,需要对采集到的音频进行回音消除处理,以得到第一干声音频。
在上述实施例的基础上,作为一种优选实施方式,还包括:在所述第一账户呈现上麦状态且所述第二账户呈现下麦状态的情况下,若所述第一账户切换为下麦状态,则所述第二客户端开始播放本地存储的伴奏音频。
在具体实施中,在所述第一账户呈现上麦状态且所述第二账户呈现下麦状态的情况下,第一客户端发送至第二客户端的第一合成音频均携带进度信息,第一账户下麦后,第一账户和第二账户均处于下麦状态,第一客户端继续播放本地存储的伴奏音频,第二客户端可以根据接收到的进度信息确定伴奏音频的续放时间点,并从该续放时间点开始继续播放本地存储的伴奏音频。
在上述实施例的基础上,作为一种优选实施方式,还包括:在所述第一账户呈现上麦状态且所述第二账户呈现下麦状态的情况下,若所述第一账户切换为下麦状态后所述第二账户切换为上麦状态,则所述第二客户端采集第二干声音频,将本地存储的伴奏音频和所述第二干声音频混合为第二合成音频,并发送至所述第一客户端,所述第一客户端停止播放本地存储的伴奏音频、开始播放所述第二合成音频。
在具体实施中,第一账户下麦后第二账户上麦,实现不同账户对同一目标歌曲的接唱功能。第二账户上麦后,第二客户端采集第二干声音频,将本地存储的伴奏音频和第二干声音频混合为第二合成音频,经服务器发送至第一客户端,第一客户端停止播放本地存储的伴奏音频、开始播放接收到的第二合成音频。第二账户的独唱模式与前述介绍的第一账户的独唱模式类似,在此不再赘述。
在上述实施例的基础上,作为一种优选实施方式,还包括:在所述第一账户和所述第二账户均呈现上麦状态的情况下,若所述第二账户在自身的演唱时间段内切换为下麦状态,则所述第一客户端开始播放本地存储的伴奏音频,所述第一客户端采集第一干声音频,将本地存储的伴奏音频和所述第一干声音频混合为第一合成音频,并发送至所述第二客户端,所述第二客户端停止播放本地存储的伴奏音频、开始播放所述第一合成音频。
在具体实施中,在所述第一账户和所述第二账户均呈现上麦状态的情况下,即第一账户和第二账户处于对唱模式。在第一账户的演唱时间内,第一客户端播放本地存储的伴奏音频,第二客户端播放第一客户端发送的第一合成音频。若此时第二账户下麦,第一账户恢复独唱模式,第一客户端和第二客户端播放的音频无需切换。在第二账户的演唱时间内,第一客户端播放第二客户端发送的第二合成音频,第二客户端播放本地存储的伴奏音频。若此时第二账户下麦,第一账户恢复独唱模式,第一客户端根据接收到的第二合成音频的进度信息确定续放时间点,并在该续放时间点开始播放本地存储的伴奏音频,开始采集第一干声音频,将本地存储的伴奏音频和第一干声音频混合为第一合成音频,经服务器发送至第二客户端,第二客户端停止播放本地存储的伴奏音频、开始播放接收到的第一合成音频。
本申请还提供了一种服务器,参见图6,本申请实施例提供的一种电子设备60的结构图,如图6所示,可以包括处理器61和存储器62。
其中,处理器61可以包括一个或多个处理核心,比如4核心处理器、8核心处理器等。处理器61可以采用DSP(Digital Signal Processing,数字信号处理)、FPGA(Field-Programmable Gate Array,现场可编程门阵列)、PLA(Programmable Logic Array,可编程逻辑阵列)中的至少一种硬件形式来实现。处理器61也可以包括主处理器和协处理器,主处理器是用于对在唤醒状态下的数据进行处理的处理器,也称CPU(Central ProcessingUnit,中央处理器);协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中,处理器61可以在集成有GPU(Graphics Processing Unit,图像处理器),GPU用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中,处理器61还可以包括AI(Artificial Intelligence,人工智能)处理器,该AI处理器用于处理有关机器学习的计算操作。
存储器62可以包括一个或多个计算机可读存储介质,该计算机可读存储介质可以是非暂态的。存储器62还可包括高速随机存取存储器,以及非易失性存储器,比如一个或多个磁盘存储设备、闪存存储设备。本实施例中,存储器62至少用于存储以下计算机程序621,其中,该计算机程序被处理器61加载并执行之后,能够实现前述任一实施例公开的由第一客户端或第二客户端侧执行的线上歌房实现方法中的相关步骤。另外,存储器62所存储的资源还可以包括操作系统622和数据623等,存储方式可以是短暂存储或者永久存储。其中,操作系统622可以包括Windows、Unix、Linux等。
在一些实施例中,电子设备60还可包括有显示屏63、输入输出接口64、通信接口65、传感器66、电源67以及通信总线68。
当然,图6所示的服务器的结构并不构成对本申请实施例中服务器的限定,在实际应用中服务器可以包括比图6所示的更多或更少的部件,或者组合某些部件。
在另一示例性实施例中,还提供了一种包括程序指令的计算机可读存储介质,该程序指令被处理器执行时实现上述任一实施例服务器所执行的线上歌房实现方法的步骤。
说明书中各个实施例采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言,由于其与实施例公开的方法相对应,所以描述的比较简单,相关之处参见方法部分说明即可。应当指出,对于本技术领域的普通技术人员来说,在不脱离本申请原理的前提下,还可以对本申请进行若干改进和修饰,这些改进和修饰也落入本申请权利要求的保护范围内。
还需要说明的是,在本说明书中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

Claims (14)

1.一种线上歌房实现方法,其中,第一客户端对应的第一账户和第二客户端对应的第二账户匹配至虚拟房间,其特征在于:
所述第一客户端按照目标播放方式播放本地存储的第一音频内容,以使所述第一音频内容的实际播放时长等于所述第一音频内容的理论播放时长与目标延迟的和;其中,所述第一音频内容为所述第一账户对应的音频内容,所述目标延迟为所述第一客户端与所述第二客户端之间的回路延迟;
在所述第一音频内容的播放过程中,所述第一客户端采集第一干声音频,将本地存储的第一音频内容和所述第一干声音频混合为第一目标音频,并将所述第一目标音频发送至所述第二客户端,所述第二客户端按照正常播放方式播放所述第一目标音频;
当按照所述目标播放方式播放所述第一音频内容结束时,所述第一客户端按照所述正常播放方式播放所述第二客户端发送的第二目标音频。
2.根据权利要求1所述线上歌房实现方法,其特征在于,所述按照目标播放方式播放本地存储的第一音频内容,包括:
基于预设慢放速率和所述目标延迟确定慢放音频内容的第一时间长度,并在所述第一音频内容中选择所述第一时间长度的第一慢放音频内容;
按照所述预设慢放速率播放本地存储的所述第一慢放音频内容,按照原始速率播放播放本地存储的所述第一音频内容中除所述第一慢放音频内容之外的其他音频内容。
3.根据权利要求2所述线上歌房实现方法,其特征在于,在所述第一音频内容中选择所述第一时间长度的第一慢放音频内容,包括:
在所述第一音频内容的尾部选择所述第一时间长度的第一慢放音频内容。
4.根据权利要求1所述线上歌房实现方法,其特征在于,将所述第一目标音频发送至所述第二客户端,包括:
将所述第一目标音频通过服务器发送至所述第二客户端;
相应的,所述方法还包括:
所述服务器基于接收到的每段目标音频标记的时间戳将所有所述目标音频拼接为合成音频;其中,所述目标音频包括所述第一客户端发送的所述第一目标音频和所述第二客户端发送的所述第二目标音频;
当已拼接的合成音频的时间长度等于目标时间长度时,所述服务器将所述合成音频发送至所述虚拟房间中第三账户对应的第三客户端,以便所述第三客户端按照所述正常播放方式播放所述合成音频;其中,所述目标时间长度基于第一延迟和第二延迟确定,所述第一延迟为所述第一客户端与所述服务器之间的延迟,所述第二延迟为所述第二客户端与所述服务器之间的延迟,所述目标时间长度至少保证所述服务器不间断的发送所述合唱音频。
5.根据权利要求1所述线上歌房实现方法,其特征在于,若所述第一客户端处于外放模式,则所述第一客户端采集第一干声音频,包括:
所述第一客户端采集音频,并对所述音频进行回音处理得到第一干声音频。
6.根据权利要求1所述线上歌房实现方法,其特征在于,还包括:
所述第一客户端和所述第二客户端从服务器下载目标歌曲的伴奏音频;
若所述第一账户和所述第二账户均呈现下麦状态,则所述第一客户端和所述第二客户端各自播放本地存储的伴奏音频。
7.根据权利要求1所述线上歌房实现方法,其特征在于,还包括:
在所述第一账户和所述第二账户均呈现下麦状态的情况下,若所述第一账户切换为上麦状态,则所述第一客户端采集第一干声音频,将本地存储的伴奏音频和所述第一干声音频混合为第一合成音频,以发送至所述第二客户端,所述第二客户端停止播放本地存储的伴奏音频、开始播放所述第一合成音频。
8.根据权利要求7所述线上歌房实现方法,其特征在于,所述第二客户端停止播放本地存储的伴奏音频、开始播放所述第一合成音频,包括:
所述第二客户端对本地存储的伴奏音频进行渐隐处理,并对所述第一合成音频进行渐入处理。
9.根据权利要求1所述线上歌房实现方法,其特征在于,还包括:
在所述第一账户呈现上麦状态且所述第二账户呈现下麦状态的情况下,若所述第一账户切换为下麦状态,则所述第二客户端开始播放本地存储的伴奏音频。
10.根据权利要求1所述线上歌房实现方法,其特征在于,还包括:
在所述第一账户呈现上麦状态且所述第二账户呈现下麦状态的情况下,若所述第一账户切换为下麦状态后所述第二账户切换为上麦状态,则所述第二客户端采集第二干声音频,将本地存储的伴奏音频和所述第二干声音频混合为第二合成音频,并发送至所述第一客户端,所述第一客户端停止播放本地存储的伴奏音频、开始播放所述第二合成音频。
11.根据权利要求1所述线上歌房实现方法,其特征在于,所述按照目标播放方式播放本地存储的第一音频内容之前,还包括:
若所述第一账户和所述第二账户均呈现上麦状态,则所述第一客户端确定所述第一账户对应的第一音频内容,所述第二客户端确定所述第二账户对应的第二音频内容。
12.根据权利要求1所述线上歌房实现方法,其特征在于,还包括:
在所述第一账户和所述第二账户均呈现上麦状态的情况下,若所述第二账户在自身的演唱时间段内切换为下麦状态,则所述第一客户端开始播放本地存储的伴奏音频,所述第一客户端采集第一干声音频,将本地存储的伴奏音频和所述第一干声音频混合为第一合成音频,并发送至所述第二客户端,所述第二客户端停止播放本地存储的伴奏音频、开始播放所述第一合成音频。
13.一种电子设备,其特征在于,包括:
存储器,用于存储计算机程序;
处理器,用于执行所述计算机程序时实现如权利要求1至12中任一项所述线上歌房实现方法中第一客户端或第二客户端执行的步骤。
14.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现如权利要求1至12中任一项所述线上歌房实现方法中第一客户端或第二客户端执行的步骤。
CN202011357963.9A 2020-11-27 2020-11-27 线上歌房实现方法及电子设备和计算机可读存储介质 Pending CN112489611A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011357963.9A CN112489611A (zh) 2020-11-27 2020-11-27 线上歌房实现方法及电子设备和计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011357963.9A CN112489611A (zh) 2020-11-27 2020-11-27 线上歌房实现方法及电子设备和计算机可读存储介质

Publications (1)

Publication Number Publication Date
CN112489611A true CN112489611A (zh) 2021-03-12

Family

ID=74936310

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011357963.9A Pending CN112489611A (zh) 2020-11-27 2020-11-27 线上歌房实现方法及电子设备和计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN112489611A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113596516A (zh) * 2021-08-06 2021-11-02 腾讯音乐娱乐科技(深圳)有限公司 进行连麦合唱的方法、系统、设备及存储介质
WO2022111062A1 (zh) * 2020-11-27 2022-06-02 腾讯音乐娱乐科技(深圳)有限公司 线上歌房实现方法及电子设备和计算机可读存储介质
EP4120242A1 (en) * 2021-07-16 2023-01-18 Beijing Dajia Internet Information Technology Co., Ltd. Method for in-chorus mixing, apparatus, electronic device and storage medium

Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08234774A (ja) * 1995-02-24 1996-09-13 Victor Co Of Japan Ltd 音楽再生方法及びその装置
CN102456340A (zh) * 2010-10-19 2012-05-16 盛大计算机(上海)有限公司 基于互联网的卡拉ok对唱方法及系统
CN103337240A (zh) * 2013-06-24 2013-10-02 华为技术有限公司 处理语音数据的方法、终端、服务器及系统
CN103377649A (zh) * 2012-04-20 2013-10-30 上海渐华科技发展有限公司 一种实现实时网络卡拉ok对唱的方法
CN107396137A (zh) * 2017-07-14 2017-11-24 腾讯音乐娱乐(深圳)有限公司 在线互动的方法、装置及系统
CN107665703A (zh) * 2017-09-11 2018-02-06 上海与德科技有限公司 一种多用户的音频合成方法和系统以及远程服务器
CN108600815A (zh) * 2018-05-09 2018-09-28 福建星网视易信息系统有限公司 一种在线实时合唱的方法及系统
US20190124400A1 (en) * 2016-08-31 2019-04-25 Tencent Technology (Shenzhen) Company Limited Interactive method, apparatus, and system in live room
CN109859730A (zh) * 2019-03-25 2019-06-07 北京达佳互联信息技术有限公司 一种音频处理方法及装置
CN110856009A (zh) * 2019-11-27 2020-02-28 广州华多网络科技有限公司 网络k歌系统、网络k歌的音视频播放方法及相关设备
CN111028818A (zh) * 2019-11-14 2020-04-17 北京达佳互联信息技术有限公司 合唱方法、装置、电子设备和存储介质
CN111294626A (zh) * 2020-01-21 2020-06-16 腾讯音乐娱乐科技(深圳)有限公司 歌词显示的方法和装置
CN111402844A (zh) * 2020-03-26 2020-07-10 广州酷狗计算机科技有限公司 歌曲合唱的方法、装置及系统
CN111524494A (zh) * 2020-04-27 2020-08-11 腾讯音乐娱乐科技(深圳)有限公司 一种异地实时合唱方法及装置、存储介质

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08234774A (ja) * 1995-02-24 1996-09-13 Victor Co Of Japan Ltd 音楽再生方法及びその装置
CN102456340A (zh) * 2010-10-19 2012-05-16 盛大计算机(上海)有限公司 基于互联网的卡拉ok对唱方法及系统
CN103377649A (zh) * 2012-04-20 2013-10-30 上海渐华科技发展有限公司 一种实现实时网络卡拉ok对唱的方法
CN103337240A (zh) * 2013-06-24 2013-10-02 华为技术有限公司 处理语音数据的方法、终端、服务器及系统
US20190124400A1 (en) * 2016-08-31 2019-04-25 Tencent Technology (Shenzhen) Company Limited Interactive method, apparatus, and system in live room
CN107396137A (zh) * 2017-07-14 2017-11-24 腾讯音乐娱乐(深圳)有限公司 在线互动的方法、装置及系统
CN107665703A (zh) * 2017-09-11 2018-02-06 上海与德科技有限公司 一种多用户的音频合成方法和系统以及远程服务器
CN108600815A (zh) * 2018-05-09 2018-09-28 福建星网视易信息系统有限公司 一种在线实时合唱的方法及系统
CN109859730A (zh) * 2019-03-25 2019-06-07 北京达佳互联信息技术有限公司 一种音频处理方法及装置
CN111028818A (zh) * 2019-11-14 2020-04-17 北京达佳互联信息技术有限公司 合唱方法、装置、电子设备和存储介质
CN110856009A (zh) * 2019-11-27 2020-02-28 广州华多网络科技有限公司 网络k歌系统、网络k歌的音视频播放方法及相关设备
CN111294626A (zh) * 2020-01-21 2020-06-16 腾讯音乐娱乐科技(深圳)有限公司 歌词显示的方法和装置
CN111402844A (zh) * 2020-03-26 2020-07-10 广州酷狗计算机科技有限公司 歌曲合唱的方法、装置及系统
CN111524494A (zh) * 2020-04-27 2020-08-11 腾讯音乐娱乐科技(深圳)有限公司 一种异地实时合唱方法及装置、存储介质

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022111062A1 (zh) * 2020-11-27 2022-06-02 腾讯音乐娱乐科技(深圳)有限公司 线上歌房实现方法及电子设备和计算机可读存储介质
EP4120242A1 (en) * 2021-07-16 2023-01-18 Beijing Dajia Internet Information Technology Co., Ltd. Method for in-chorus mixing, apparatus, electronic device and storage medium
CN113596516A (zh) * 2021-08-06 2021-11-02 腾讯音乐娱乐科技(深圳)有限公司 进行连麦合唱的方法、系统、设备及存储介质
WO2023011050A1 (zh) * 2021-08-06 2023-02-09 腾讯音乐娱乐科技(深圳)有限公司 进行连麦合唱的方法、系统、设备及存储介质
CN113596516B (zh) * 2021-08-06 2023-02-28 腾讯音乐娱乐科技(深圳)有限公司 进行连麦合唱的方法、系统、设备及存储介质

Similar Documents

Publication Publication Date Title
CN112489611A (zh) 线上歌房实现方法及电子设备和计算机可读存储介质
CN107027050B (zh) 辅助直播的音视频处理方法及装置
CN104740872B (zh) 模拟安卓环境中游戏程序运行控制方法及装置
US20060179160A1 (en) Orchestral rendering of data content based on synchronization of multiple communications devices
US7379961B2 (en) Spatialized audio in a three-dimensional computer-based scene
WO2016188322A1 (zh) K歌处理方法、装置以及k歌处理系统
CN101295504B (zh) 用于仅文本的应用的娱乐音频
WO2021103314A1 (zh) 一种构造听音场景的方法和相关装置
CN110234032B (zh) 一种语音技能创建方法及系统
CN105989165A (zh) 在即时聊天工具中播放表情信息的方法、装置及系统
WO2023096275A1 (ko) 텍스트 기반 아바타 생성 방법 및 시스템
US11272136B2 (en) Method and device for processing multimedia information, electronic equipment and computer-readable storage medium
CN110162660A (zh) 音频处理方法、装置、移动终端及存储介质
CN112148248A (zh) 线上歌房实现方法及电子设备和计算机可读存储介质
CN112492338B (zh) 线上歌房实现方法及电子设备和计算机可读存储介质
WO2022143530A1 (zh) 音频处理方法、装置、计算机设备及存储介质
CN110600021A (zh) 室外智能语音交互方法、装置和系统
JP6196839B2 (ja) 通信デュエット時における音声等の切換処理に特徴を有する通信カラオケシステム
CN115334063A (zh) 一种问答式的虚拟人控制方法、系统、设备及存储介质
CN112927666B (zh) 音频处理方法、装置、电子设备及存储介质
CN103780612B (zh) 数据处理方法和电子设备
Saputra et al. Design and implementation of beatme as a networked music performance (nmp) system
CN114783408A (zh) 一种音频数据处理方法、装置、计算机设备以及介质
JP2014167520A (ja) 通信障害時にデュエット歌唱を継続可能な通信カラオケシステム
Stelkens peerSynth: A P2P Multi-User Software Synthesizer with new techniques for integrating latency in real time collaboration.

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination