CN114866791A - 音效切换方法、装置、电子设备及存储介质 - Google Patents
音效切换方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN114866791A CN114866791A CN202210334302.7A CN202210334302A CN114866791A CN 114866791 A CN114866791 A CN 114866791A CN 202210334302 A CN202210334302 A CN 202210334302A CN 114866791 A CN114866791 A CN 114866791A
- Authority
- CN
- China
- Prior art keywords
- sound effect
- live broadcast
- parameter
- parameters
- effect parameters
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000000694 effects Effects 0.000 title claims abstract description 431
- 238000000034 method Methods 0.000 title claims abstract description 54
- 238000004590 computer program Methods 0.000 claims description 6
- 238000012549 training Methods 0.000 description 91
- 238000012545 processing Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 238000013507 mapping Methods 0.000 description 6
- 238000013178 mathematical model Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/21—Server components or server architectures
- H04N21/218—Source of audio or video content, e.g. local disk arrays
- H04N21/2187—Live feed
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/439—Processing of audio elementary streams
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Databases & Information Systems (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
本公开关于一种音效切换方法、装置、电子设备及存储介质,该方法包括:获取直播设备的画面信息;若所述画面信息与至少一个预设画面模型匹配时,获取所述至少一个预设画面模型对应的音效参数;将所述音效参数输出至所述直播设备的视频输出中。在本公开提供的技术方案中,通过设置至少一个预设画面模型,对直播设备的画面信息进行实时处理,以自动获取音效参数,实现在直播过程中音效参数的自动切换,切换过程无需人工干预,进而避免人为错误,保证直播质量。
Description
技术领域
本公开涉及互联网技术领域,尤其涉及音效切换方法、装置、电子设备及存储介质。
背景技术
随着互联网技术的发展,直播行业越来越受欢迎,观看直播成为了人们日常生活中的一部分。在直播过程中,为了给观众提供更好的直播效果,主播在直播不同内容时会使用不同的音效。目前,在直播内容发生改变时,需要由主播手动进行音效的切换,操作较为不便,且存在主播忘记切换的情况,影响直播质量。
发明内容
本公开提供一种音效切换方法、装置、电子设备及存储介质,以至少解决相关技术中直播时需要主播手动切换直播音效,操作较为不便的问题。本公开的技术方案如下:
根据本公开实施例的第一方面,提供一种音效切换方法,包括:
获取直播设备的画面信息;
若所述画面信息与至少一个预设画面模型匹配时,获取所述至少一个预设画面模型对应的音效参数;
将所述音效参数输出至所述直播设备的视频输出中。
可选地,所述将所述音效参数输出至所述直播设备的视频输出中,包括:
获取所述直播设备原始音效参数对应的原始视频输出;
将所述原始视频输出的原始音效参数改变为所述音效参数,获取所述音效参数对应的所述直播设备的视频输出,其中所述直播设备的原始音效参数不变。
可选地,所述将所述音效参数输出至所述直播设备的视频输出中,包括:
获取所述直播设备的原始音效参数;
若所述音效参数与所述原始音效参数不同,将所述音效参数下发至所述直播设备,以使得所述直播设备将所述原始音效参数切换为所述音效参数;
获取所述音效参数对应的所述直播设备的视频输出。
可选地,所述若所述音效参数与所述原始音效参数不同,将所述音效参数下发至所述直播设备,包括:
若所述音效参数与所述原始音效参数不同,确定所述音效参数与所述原始音效参数的连续不同次数;
若所述连续不同次数与连续预设次数匹配时,将所述音效参数下发至所述直播设备。
可选地,所述方法还包括:
若所述连续不同次数与所述连续预设次数不匹配时,获取下一音效参数。
可选地,所述获取所述直播设备的原始音效参数前,还包括:
接收所述直播设备发送的音效参数调节指令;
基于所述音效参数调节指令和音效参数下发记录,获取所述直播设备的原始音效参数。
可选地,若所述画面信息与至少一个预设画面模型匹配时,获取所述至少一个预设画面模型对应的音效参数,包括:
若所述画面信息与至少一个预设画面模型匹配时,确定所述画面信息对应的画面分类;
基于所述画面分类、预设画面分类与音效参数间的映射关系,获取所述至少一个预设画面模型对应的音效参数。
可选地,所述若所述画面信息与至少一个预设画面模型匹配时,获取所述至少一个预设画面模型对应的音效参数前,还包括:
接收所述直播设备发送的音效选择指令;
基于所述音效选择指令,确定至少一个预设画面模型。
可选地,所述方法还包括:
获取所述直播设备的训练视频输出;
基于所述训练视频输出,获取符合预设数量的训练直播画面和训练音效参数;
基于所述训练直播画面和所述训练音效参数,训练出至少一个预设画面模型。
可选地,所述基于所述训练视频输出,获取符合预设数量的训练直播画面和训练音效参数,包括:
确定所述训练视频输出对应的设备标识;
基于获取的对应同一设备标识的训练视频输出,获取符合预设数量的训练直播画面和训练音效参数。
根据本公开实施例的第二方面,提供一种音效切换装置,包括:
画面信息获取模块,被配置为获取直播设备的画面信息;
音效参数获取模块,被配置为若所述画面信息与至少一个预设画面模型匹配时,获取所述至少一个预设画面模型对应的音效参数;
音效参数输出模块,被配置为将所述音效参数输出至所述直播设备的视频输出中。
可选地,所述音效参数输出模块,包括:
原始视频获取单元,被配置为获取所述直播设备原始音效参数对应的原始视频输出;
音效参数输出单元,被配置为将所述原始视频输出的原始音效参数改变为所述音效参数,获取所述音效参数对应的所述直播设备的视频输出,其中所述直播设备的原始音效参数不变。
可选地,所述音效参数输出模块,包括:
原始参数获取单元,被配置为获取所述直播设备的原始音效参数;
音效参数下发单元,被配置为若所述音效参数与原始音效参数不同,将所述音效参数下发至所述直播设备,以使得所述直播设备将所述原始音效参数切换为所述音效参数;
视频输出获取单元,被配置为获取所述音效参数对应的所述直播设备的视频输出。
可选地,所述音效参数下发单元,包括:
次数确定子单元,被配置为若所述音效参数与所述原始音效参数不同,确定所述音效参数与所述原始音效参数的连续不同次数;
参数下发子单元,被配置为若所述连续不同次数与连续预设次数匹配时,将所述音效参数下发至所述直播设备。
可选地,所述音效参数下发单元,还包括:
参数获取子单元,被配置若所述连续不同次数与所述连续预设次数不匹配时,获取下一音效参数。
可选地,所述原始参数获取单元,还包括:
指令接收子单元,被配置为接收所述直播设备发送的音效参数调节指令;
指令处理子单元,被配置为基于所述音效参数调节指令和音效参数下发记录,获取所述直播设备的原始音效参数。
可选地,所述音效参数获取模块,包括:
画面分类获取单元,被配置为若所述画面信息与至少一个预设画面模型匹配时,确定所述画面信息对应的画面分类;
音效参数获取单元,被配置为基于所述画面分类、预设画面分类与音效参数间的映射关系,确定所述至少一个预设画面模型对应的音效参数。
可选地,所述装置还包括:音效模型选取模块,被配置为接收所述直播设备发送的音效选择指令;基于所述音效选择指令,确定至少一个预设画面模型。
可选地,所述装置还包括:音效模型训练模块,所述音效模型训练模块,包括:
训练输出获取单元,被配置为获取所述直播设备的训练视频输出;
训练数据获取单元,被配置为基于所述训练视频输出,获取符合预设数量的训练直播画面和训练音效参数;
音效模型训练单元,被配置为基于所述训练直播画面和所述训练音效参数,训练出至少一个预设画面模型。
可选地,所述训练数据获取单元,包括:
标识确定子单元,被配置为确定所述训练视频输出对应的设备标识;
数据获取子单元,被配置为基于获取的对应同一设备标识的训练视频输出,获取符合预设数量的训练直播画面和训练音效参数。
根据本公开实施例的第三方面,提供一种电子设备,包括:
处理器;
用于存储所述处理器可执行指令的存储器;
其中,所述处理器被配置为执行所述指令,以实现如第一方面所述的音效切换方法。
根据本公开实施例的第四方面,提供一种存储介质,当所述存储介质中的指令由电子设备的处理器执行时,使得电子设备能够执行如第一方面所述的音效切换方法。
根据本公开实施例的第五方面,提供一种计算机程序产品,该计算机程序产品包括可读性程序代码,该可读性程序代码由电子设备的处理器执行时,使得电子设备能够执行如第一方面所述的音效切换方法。
本公开的实施例提供的技术方案至少带来以下有益效果:
本公开通过获取直播设备的画面信息,将画面信息与至少一个预设画面模型进行匹配,在画面信息与至少一个预设画面模型匹配的情况下,获取至少一个预设画面模型对应的音效参数,并将音效参数输出至直播设备的视频输出中。通过设置至少一个预设画面模型,对直播设备的画面信息进行实时处理,以自动获取音效参数,并将该音效参数输出至直播设备的视频输出中,实现在直播过程中音效参数的自动切换,切换过程无需人工干预,进而避免人为错误,保证直播质量,为用户提供便利。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本公开的实施例,并与说明书一起用于解释本公开的原理,并不构成对本公开的不当限定。
图1是根据一示例性实施例示出的一种音效切换方法的应用场景图;
图2是根据一示例性实施例示出的一种音效切换方法的流程图一;
图3是根据一示例性实施例示出的一种音效切换方法的流程图二;
图4是根据一示例性实施例示出的一种音效切换方法的流程图三;
图5是根据一示例性实施例示出的一种音效切换装置的框图;
图6是根据一示例性实施例示出的一种电子设备的框图。
具体实施方式
为了使本领域普通人员更好地理解本公开的技术方案,下面将结合附图,对本公开实施例中的技术方案进行清楚、完整地描述。
需要说明的是,本公开的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本公开的实施例能够以除了在这里图示或描述的那些以外的顺序实施。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
请参阅图1,其所示为根据一示例性实施例示出的一种音效切换方法的应用环境示意图,该应用环境可以包括直播设备11、服务器12和观看设备13,该直播设备11、服务器12和观看设备13之间可以通过有线网络或者无线网络连接。
直播设备11和观看设备13可以包括但不限于智能手机、台式计算机、平板电脑、笔记本电脑等类型的电子设备,在直播设备11上可以安装有用于直播的应用程序或小程序,主播通过直播设备11进行直播,在观看设备13上可以安装有用于观看直播的应用程序或小程序,观众通过观看设备13观看主播的直播。可选地,电子设备上运行的操作系统可以包括但不限于安卓系统、IOS系统、linux、windows等。
服务器12可以为直播设备11和观看设备13中的应用程序或小程序提供后台服务的服务器。具体地,服务器12可以是独立的物理服务器,也可以是多个物理服务器构成的服务器集群或者分布式系统,还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN(Content Delivery Network,内容分发网络)、以及大数据和人工智能平台等基础云计算服务的云服务器。
图2是根据一示例性实施例示出的一种音效切换方法的流程图,该音效切换方法可以用于如图1所示服务器中,包括以下步骤。
在步骤S21中,获取直播设备的画面信息。
在本步骤中,直播设备为主播直播时使用的电子设备,在主播开启直播后,直播设备将产生的直播数据流推流到服务器,服务器接收直播数据流,获取直播设备的画面信息。画面信息是指直播设备上显示的内容,随着直播的进行,直播内容会不断发生变化,从而直播设备的画面信息也在不断改变。
具体地,所述获取直播设备的画面信息,包括:接收直播设备的直播视频流;周期性截取所述直播视频流,获取所述直播设备的画面信息。服务器会实时地获取直播设备的直播数据流,而在直播数据流中关注的是直播视频流,预先设置周期时长,每间隔预设周期时长,对直播视频流进行截取,获取到直播设备的画面信息。其中预设周期时长可以为1秒,即每间隔1秒钟对获取到的直播视频流进行截取,获取直播设备的画面信息。
在步骤S22中,若所述画面信息与至少一个预设画面模型匹配时,获取所述至少一个预设画面模型对应的音效参数。
在本步骤中,至少一个预设画面模型可以为预先训练的符合预设精度的至少一个数学模型,至少一个预设画面模型也可以为预先设置的关于画面信息和音效参数对应关系的至少一个设定数据集合。音效参数为影响主播声音效果和/或直播背景效果的参数,当音效参数影响主播声音效果时,不同的音效参数会对应不同的变声效果;当音效参数影响直播背景效果时,不同的音效参数为主播提供不同的背景音效;当音效参数影响主播声音效果和直播背景效果时,不同的音效参数会为主播提供不同的变声效果和不同的背景音效。
具体地,在获取到直播设备的画面信息后,将画面信息与至少一个预设画面模型进行匹配,在画面信息与至少一个预设画面模型匹配的情况下,获取至少一个预设画面模型对应的音效参数,确定出的音效参数与画面信息相适应,可以具有更好的直播效果。在画面信息与至少一个预设画面模型均不匹配的情况下,结束当前流程,获取下一画面信息。
可选地,当至少一个预设画面模型对应预先设置的关于画面信息和音效参数对应关系的至少一个设定数据集合时,每一预设画面模型中会包含预设画面信息,则在获取到画面信息后,将画面信息与预设画面信息进行比较,在各种预设画面信息中确定出目标画面信息,确定出目标画面信息对应的音效参数即获取到至少一个预设画面模型对应的音效参数。
可选地,当至少一个预设画面模型对应预先训练的符合预设精度的至少一个数学模型时,至少一个预设画面模型以画面信息为输入项,以音效参数为输出项,当音效参数的准确率超过设定值时,画面信息与至少一个预设画面模型匹配,此时根据至少一个预设画面模型的输出项即可以获取到音效参数。
可选地,至少一个预设画面模型可以包括第一预设画面模型和第二预设画面模型,第一预设画面模型和第二预设画面模型用于确定音效参数的不同部分,例如第一预设画面模型用于确定音效参数中的变声音效参数,第二预设画面模型用于确定音效参数中的背景音效参数。
进一步地,将画面信息输入到第一预设画面模型和第二预设画面模型中,若第一预设画面模型的输出结果的准确率超过设定值,第二预设画面模型的输出结果的准确率未超过设定值,则画面信息与第一预设画面模型匹配,根据第一预设画面模型的输出结果确定音效参数;若第一预设画面模型的输出结果的准确率未超过设定值,第二预设画面模型的输出结果的准确率超过设定值,画面信息与第二预设画面模型匹配,根据第二预设画面模型的输出结果确定音效参数。若第一预设画面模型的输出结果的准确率超过设定值,同时第二预设画面模型的输出结果的准确率超过设定值,画面信息与第一预设画面模型、第二预设画面模型均匹配,根据第一预设画面模型的输出结果和第二预设画面模型的输出结果共同确定音效参数。
举例来说,将画面信息输入第一预设画面模型和第二预设画面模型。若第一预设画面模型输出的变声音效参数的准确率超过设定值,此时画面信息与第一预设画面模型匹配,若第二预设画面模型输出的背景音效参数的准确率超过设定值,此时画面信息与第二预设画面模型匹配。若画面信息与第一预设画面模型匹配而与第二预设画面模型不匹配时,将第一预设画面模型输出的变声音效参数确定为音效参数;若画面信息与第一预设画面模型不匹配与第二预设画面模型匹配时,将第二预设画面模型输出的背景音效参数确定为音效参数;若画面信息与第二预设画面模型和第二预设画面模型均匹配时,将第一预设画面模型输出的变声音效参数和第二预设画面模型输出的背景声效参数均确定为音效参数。
在一实施例中,所述步骤22若所述画面信息与至少一个预设画面模型匹配时,获取所述至少一个预设画面模型对应的音效参数,包括:
在步骤221中,若所述画面信息与至少一个预设画面模型匹配时,确定所述画面信息对应的画面分类。
在步骤222中,基于所述画面分类、预设画面分类与音效参数间的映射关系,获取所述至少一个预设画面模型对应的音效参数。
具体地,至少一个预设画面模型可以为预先训练的符合预设精度的至少一个数学模型,该数学模型以画面信息为输入项,以画面分类为输出项,预先设置画面分类与音效参数间的映射关系,在确定出至少一个预设画面模型输出的画面分类后,在预设画面分类中确定出目标画面分类,进一步根据该映射关系,确定出预设画面分类对应的音效参数,即获取到至少一个预设画面模型对应的音效参数。利用至少一个预设画面模型完成对画面信息的分类,并进一步根据画面分类,确定出音效参数,满足拥有不同训练数据的用户需求,即使在缺少与画面信息对应的音效参数的训练数据时,可以获取到用于进行画面分类的至少一个预设画面模型,进而准确地确定音效参数。
举例来说,将画面信息分类为游戏、唱歌、舞蹈等,当画面信息为游戏类时,音效参数为A;当画面信息为唱歌类时,音效参数为B;当画面信息为舞蹈类时,音效参数为C。获取到直播设备的画面信息后,利用预设画面模型确定出画面分类,进一步根据画面分类确定出音效参数。
在步骤S23中,将所述音效参数输出至所述直播设备的视频输出中。
在本步骤中,将音效参数输出至直播设备的视频输出中,该视频输出将进一步输出至观众设备,以使得观众观看到音效参数自动切换后的直播画面,保证直播质量。
在一实施例中,所述步骤23将所述音效参数输出至所述直播设备的视频输出中,包括:
步骤231,获取所述直播设备原始音效参数对应的原始视频输出。
在本步骤中,原始音效参数是指进行直播时直播设备正在使用的音效参数。直播设备在原始音效参数下进行直播,获取到的直播数据流即为原始视频输出。
步骤232,将所述原始视频输出的原始音效参数改变为所述音效参数,获取所述音效参数对应的所述直播设备的视频输出,其中所述直播设备的原始音效参数不变。
在本步骤中,在获取到音效参数后,对原始视频输出的原始音效参数进行改变,将原始音效参数改变为音效参数,获取到音效参数对应的直播设备的视频输出,将该视频输出下发给观看设备,使得观众观看到音效参数自动切换后的直播画面。在此过程中直播设备的原始音效参数不发生变化,服务器会根据画面信息的改变对音效参数进行自动切换,保证较高的直播质量。
举例来说,主播利用直播设备进行游戏直播,直播设备中使用的原始音效参数为A,服务器获取直播设备的画面信息后,将画面信息与至少一个预设画面模型进行匹配,匹配出音效参数为B,从而获取直播设备原始音效参数A对应的原始视频输出,并将原始视频输出的原始音效参数A改变为音效参数B,将音效参数为B的视频输出下发给观看设备,观看设备中会呈现音效参数B,而直播设备一直使用原始音效参数A。在一种可能的应用场景中,在主播赢得游戏后,观众在观看设备可以观看到的音效参数B“胜利”,而在主播的直播设备并不呈现该音效参数,从而可以在不影响主播直播的过程中进行音效参数的自动切记,保证直播质量。
在一实施例中,所述步骤23将所述音效参数输出至所述直播设备的视频输出中,包括:
步骤233,获取所述直播设备的原始音效参数。
步骤234,若所述音效参数与所述原始音效参数不同,将所述音效参数下发至所述直播设备,以使得所述直播设备将所述原始音效参数切换为所述音效参数。
在本步骤中,在确定出音效参数与原始音效参数不同的情况下,证明此时需要进行音效参数切换,原始音效参数不再与直播设备的画面信息相适应,因此为了较高的直播质量,将与画面信息相适应的音效参数下发至直播设备,直播设备在接收到音效参数后,将原始音效参数切换为接收到的音效参数。
需要说明的是,在进行音效参数切换后,随着直播的进行,在获取到下一画面信息后,原始音效参数即为在先下发的音效参数。当然,若音效参数与原始音效参数相同,证明此时直播设备的音效效果合适,不需要进行音效参数的改变,获取下一画面信息。
步骤235,获取所述音效参数对应的所述直播设备的视频输出。
在本步骤中,直播设备将原始音效参数切换为音效参数后,将音效参数对应的直播数据流推流至服务器,以使得服务器获取到音效参数对应的直播设备的视频输出,将该视频输出下发给观看设备,使得观众使用观看设备观看到音效效果较好的直播画面。
在本实施例中,在进行音效参数的改变时,服务器会将音效参数下发至直播设备,使得直播设备及时进行音效参数切换,主播也可以及时了解音效效果,有利于主播掌握直播细节,提供更高质量的直播服务。
在一实施例中,所述步骤233获取所述直播设备的原始音效参数前,还包括:根据音效参数的确定记录确定原始音效参数,将音效参数确定记录中上一个确定的音效参数确定为原始音效参数。若音效参数与原始音效参数不同,将音效参数下发至直播设备,直播设备进行音效参数的切换,后续画面信息的原始音效参数即为切换的音效参数;若音效参数与原始音效参数相同,保持直播设备以原始音效参数继续进行直播,从而在确定原始音效参数时,可以根据音效参数的确定记录进行确定。
在一实施例中,所述步骤233获取所述直播设备的原始音效参数前,还包括:
步骤236,接收所述直播设备发送的音效参数调节指令。
在本步骤中,在直播的过程中,主播可能会主动进行音效参数的调节,当主播下发音效参数调节指令后,直播设备响应该音效参数调节指令,进行音效参数的切换,同时直播设备会向服务器发送音效参数调节指令,通知服务器直播设备进行了音效参数的切换,以使得后续服务器可以获取到准确地原始音效参数。
步骤237,基于所述音效参数调节指令和音效参数下发记录,获取所述直播设备的原始音效参数。
在本步骤中,在主播下发音效参数调节指令时,直播设备的音效参数会发生改变,音效参数下发记录用于记录服务器下发的音效参数,在服务器进行音效参数下发后,直播设备进行音效参数的切换,因此可以根据音效参数调节指令和音效参数下发记录,快速准确地获取到直播设备的原始音效参数。
进一步地,所述基于所述音效参数调节指令和音效参数下发记录,获取所述直播设备的原始音效参数,包括:确定所述音效参数调节指令对应的指令接收时间;确定所述音效参数下发记录中的参数下发时间,基于所述指令接收时间和所述参数下发时间,确定在后调节对象;基于所述在后调节对象,获取所述直播设备的原始音效参数。每次接收到音效参数调节指令后,更新指令接收时间,每次向直播设备下发音效参数后,更新参数下发时间,比较指令接收时间和参数下发时间的先后顺序,确定时间在后的在后调节对象。若在接收到音效参数调节指令后无音效参数下发记录,即音效参数调节指令为在后调节对象,则根据音效参数调节指令,确定直播设备的原始音效参数;若接收到直播设备发送的音效参数调节指令后,存在音效参数下发记录,即音效参数下发记录为在后调节对象,则根据音效参数下发记录,确定直播设备的原始音效参数。
在一实施例中,所述步骤234若所述音效参数与所述原始音效参数不同,将所述音效参数下发至所述直播设备,包括:
步骤2341,若所述音效参数与所述原始音效参数不同,确定所述音效参数与所述原始音效参数的连续不同次数。
步骤2342,若所述连续不同次数与所述连续预设次数不匹配时,获取下一音效参数。
步骤2343,若所述连续不同次数与连续预设次数匹配时,将所述音效参数下发至所述直播设备。
在本实施中,在获取到直播设备的原始音效参数后,将原始音效参数与确定的音效参数进行对比,若音效参数与原始音效参数相同,则结束当前流程,获取下一画面信息。若音效参数与原始音效参数不同,确定音效参数与原始音效参数的连续不同次数。预先设定连续预设次数,将确定出音效参数与原始音效参数的连续不同次数与连续预设次数进行匹配,若连续不同次数与连续预设次数不匹配,获取下一音效参数,将获取到的下一音效参数继续与原始音效参数进行对比,若音效参数与原始音效参数仍不同,继续确定音效参数与原始音效参数的连续不同次数,若连续不同次数与连续预设次数匹配,则证明音效参数确定准确,将音效参数下发至直播设备,使得直播设备将原始音效参数切换为音效参数。将通过多次确定出的与原始音效参数不同的音效参数进行下发,保证直播设备音效参数切换的准确性和稳定性。
举例来说,预先确定连续预设次数为3,获取第一画面信息,将第一画面信息与至少一个预设画面模型进行匹配,确定出的至少一个预设画面模型的第一音效参数为B,确定原始音效参数为A,此时第一音效参数B与原始音效参数A不同,确定出音效参数B与原始音效参数A的连续不同次数为1次,与连续预设次数3次不匹配,获取下一音效参数。即获取第二画面信息,将第二画面信息与至少一个预设画面模型进行匹配,确定出的至少一个预设画面模型的第二音效参数为B,原始音效参数仍为A,此时第二音效参数B与原始音效参数A不同,确定音效参数B与原始音效参数A的连续不同次数为2次,继续获取下一音效参数。即获取第三音效参数,在第三音效参数仍为B的情况下,连续不同次数3与连续预设次数匹配,将音效参数下发至直播设备,通过多次确定保证音效参数切换的准确性。当然,若获取的第三音效参数为C,即多次确定音效参数时,音效参数发生了改变,音效参数C与音效参数B不同,因此需重新计算音效参数C与原始音效参数的连续不同次数,此时音效参数C与原始音效参数的连续不同次数为1次。
在一实施例中,如图3所示,所述方法还包括:
在步骤24中,接收所述直播设备发送的音效选择指令;基于所述音效选择指令,确定至少一个预设画面模型。
在上述实施例中,预先训练好多个预设画面模型,不同的预设画面模型对同一画面信息的音效参数不同,如预设画面模型M,对游戏画面的音效参数为A,预设画面模型N,对游戏画面的音效参数为D。预先将各个不同的预设画面模型的画面信息和对应的音效参数提供给主播,供主播进行选择,主播选择后直播设备向服务器发送音效选择指令,进而服务器根据音效选择指令为该直播设备选定后续使用的至少一个预设画面模型,在后续主播利用该直播设备进行直播的过程中,利用选定的至少一个预设画面模型确定音效参数。在本实施例中,主播具有至少一个预设画面模型的选择自由,提供多样的音效切换可能,提高直播质量。
在本一实施例中,如图4所示,所述方法还包括:
在步骤25中,获取所述直播设备的训练视频输出。
在本步骤中,训练视频输出不仅包括直播画面信息还包括直播音频信息。
在步骤26中,基于所述训练视频数据,获取符合预设数量的训练直播画面和训练音效参数。
在本步骤中,对训练视频输出进行截取,获取到训练直播画面和训练音频数据对应的音效参数,预先设置预设数量,在获取到符合预设数量的训练直播画面和训练音效参数后,停止收集。例如主播开始正常直播后,在直播过程中利用算法定时(每1秒)采集直播画面和直播画面使用的音效参数,得到训练直播画面和训练音效参数,确定不同画面分类分别对应的训练直播画面和训练音效参数的数量,在每个画面分类的训练直播画面和训练音效参数均达到预设数量n时,停止收集。
在一实施例中,所述基于所述训练视频输出,获取符合预设数量的训练直播画面和训练音效参数,包括:确定所述训练视频输出对应的设备标识;基于获取的对应同一设备标识的训练视频输出,获取符合预设数量的训练直播画面和训练音效参数。不同的主播利用不同的直播设备进行直播,直播的内容和风格具有较大差异,因此为了保证准确的对音效参数进行切换,为每个主播进行特定的预设画面模型训练,即在获取训练直播画面和训练音效参数时,确定训练视频输出对应的设备标识,利用同一设备标识的训练视频输出,获取符合预设数量的训练直播画面和训练音效参数,进而使得收集到的训练直播画面和训练音效参数为一个主播对应的直播数据,后续训练出的预设画面模型为针对该主播的特定模型,具有更好的准确性。
在步骤27中,基于所述训练直播画面和所述训练音效参数,训练出至少一个预设画面模型。
具体的,以训练直播画面为数据,以训练音效参数为标签,进行模型训练,训练出符合预设精度的预设画面模型。其中模型可以选择CNN模型、VGG模型、resnet模型。
在上述实施例中,获取直播设备的训练视频输出,根据训练视频输出,获取训练直播画面和训练音效参数,进而训练出预设画面模型,该过程可以应用于不存在预设画面模型时,即在获取直播设备的画面信息以前;也可以应用于已存在预设画面模型后,即不断收集新的训练直播画面和训练音效参数,训练出符合预设精度的预设画面模型,使得预设画面模型具有实时性和更高的准确性。
图5是根据一示例性实施例示出的一种音效切换装置的框图。该装置包括画面信息获取模块51、音效参数获取模块52、音效参数输出模块53;
该画面信息获取模块51,被配置为获取直播设备的画面信息;
该音效参数获取模块52,被配置为若所述画面信息与至少一个预设画面模型匹配时,获取所述至少一个预设画面模型对应的音效参数;
该音效参数输出模块53,被配置为将所述音效参数输出至所述直播设备的视频输出中。
在本公开一示例性实施例中,所述音效参数输出模块53,包括:
原始视频获取单元,被配置为获取所述直播设备原始音效参数对应的原始视频输出;
音效参数输出单元,被配置为将所述原始视频输出的原始音效参数改变为所述音效参数,获取所述音效参数对应的所述直播设备的视频输出,其中所述直播设备的原始音效参数不变。
在本公开一示例性实施例中,所述音效参数输出模块53,包括:
原始参数获取单元,被配置为获取所述直播设备的原始音效参数;
音效参数下发单元,被配置为若所述音效参数与原始音效参数不同,将所述音效参数下发至所述直播设备,以使得所述直播设备将所述原始音效参数切换为所述音效参数;
视频输出获取单元,被配置为获取所述音效参数对应的所述直播设备的视频输出。
在本公开一示例性实施例中,所述音效参数下发单元,包括:
次数确定子单元,被配置为若所述音效参数与所述原始音效参数不同,确定所述音效参数与所述原始音效参数的连续不同次数;
参数下发子单元,被配置为若所述连续不同次数与连续预设次数匹配时,将所述音效参数下发至所述直播设备。
在本公开一示例性实施例中,所述音效参数下发单元,还包括:
参数获取子单元,被配置若所述连续不同次数与所述连续预设次数不匹配时,获取下一音效参数。
在本公开一示例性实施例中,所述原始参数获取单元,还包括:
指令接收子单元,被配置为接收所述直播设备发送的音效参数调节指令;
指令处理子单元,被配置为基于所述音效参数调节指令和音效参数下发记录,获取所述直播设备的原始音效参数。
在本公开一示例性实施例中,所述音效参数获取模块51,包括:
画面分类获取单元,被配置为若所述画面信息与至少一个预设画面模型匹配时,确定所述画面信息对应的画面分类;
音效参数获取单元,被配置为基于所述画面分类、预设画面分类与音效参数间的映射关系,确定所述至少一个预设画面模型对应的音效参数。
在本公开一示例性实施例中,所述装置还包括:音效模型选取模块,被配置为接收所述直播设备发送的音效选择指令;基于所述音效选择指令,确定至少一个预设画面模型。
在本公开一示例性实施例中,所述装置还包括:音效模型训练模块,所述音效模型训练模块,包括:
训练输出获取单元,被配置为获取所述直播设备的训练视频输出;
训练数据获取单元,被配置为基于所述训练视频输出,获取符合预设数量的训练直播画面和训练音效参数;
音效模型训练单元,被配置为基于所述训练直播画面和所述训练音效参数,训练出至少一个预设画面模型。
在本公开一示例性实施例中,所述训练数据获取单元,包括:
标识确定子单元,被配置为确定所述训练视频输出对应的设备标识;
数据获取子单元,被配置为基于获取的对应同一设备标识的训练视频输出,获取符合预设数量的训练直播画面和训练音效参数。
关于上述实施例中的装置,其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述,此处将不做详细阐述说明。
图6是根据一示例性实施例示出的一种电子设备的框图,该电子设备可以是服务器或者类似的运算装置。以电子设备600是服务器为例。参照图6,电子设备600包括处理组件622,其进一步包括一个或多个处理器,以及由存储器632所代表的存储器资源,用于存储可由处理组件622的执行的指令,例如应用程序。存储器632中存储的应用程序可以包括一个或一个以上的每一个对应于一组指令的模块。此外,处理组件622被配置为执行指令,以执行上述音效切换方法。
电子设备600还可以包括一个电源组件626被配置为执行电子设备600的电源管理,一个有线或无线网络接口650被配置为将电子设备600连接到网络,和一个输入输出(I/O)接口658。电子设备600可以操作基于存储在存储器632的操作系统,例如WindowsServerTM,Mac OS XTM,UnixTM,LinuxTM,FreeBSDTM或类似。
在示例性实施例中,还提供了一种包括指令的计算机可读存储介质,例如包括指令的存储器632,上述指令可由电子设备600的处理组件622执行以完成上述关系链标签的实现方法。可选地,计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
在示例性实施例中,还提供一种计算机程序产品,包括计算机程序或计算机指令,所述计算机程序或计算机指令被处理器执行时实现上述的音效切换方法。
本领域技术人员在考虑说明书及实践这里公开的发明后,将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本公开的真正范围和精神由下面的权利要求指出。
应当理解的是,本发明并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围进行各种修改和改变。本发明的范围仅由所附的权利要求来限制。
Claims (10)
1.一种音效切换方法,其特征在于,包括:
获取直播设备的画面信息;
若所述画面信息与至少一个预设画面模型匹配时,获取所述至少一个预设画面模型对应的音效参数;
将所述音效参数输出至所述直播设备的视频输出中。
2.根据权利要求1所述的方法,其特征在于,所述将所述音效参数输出至所述直播设备的视频输出中,包括:
获取所述直播设备原始音效参数对应的原始视频输出;
将所述原始视频输出的原始音效参数改变为所述音效参数,获取所述音效参数对应的所述直播设备的视频输出,其中所述直播设备的原始音效参数不变。
3.根据权利要求1所述的方法,其特征在于,所述将所述音效参数输出至所述直播设备的视频输出中,包括:
获取所述直播设备的原始音效参数;
若所述音效参数与所述原始音效参数不同,将所述音效参数下发至所述直播设备,以使得所述直播设备将所述原始音效参数切换为所述音效参数;
获取所述音效参数对应的所述直播设备的视频输出。
4.根据权利要求3所述的方法,其特征在于,所述若所述音效参数与所述原始音效参数不同,将所述音效参数下发至所述直播设备,包括:
若所述音效参数与所述原始音效参数不同,确定所述音效参数与所述原始音效参数的连续不同次数;
若所述连续不同次数与连续预设次数匹配时,将所述音效参数下发至所述直播设备。
5.根据权利要求4所述的方法,其特征在于,所述方法还包括:
若所述连续不同次数与所述连续预设次数不匹配时,获取下一音效参数。
6.根据权利要求3所述的方法,其特征在于,所述获取所述直播设备的原始音效参数前,还包括:
接收所述直播设备发送的音效参数调节指令;
基于所述音效参数调节指令和音效参数下发记录,获取所述直播设备的原始音效参数。
7.一种音效切换装置,其特征在于,包括:
画面信息获取模块,被配置为获取直播设备的画面信息;
音效参数获取模块,被配置为若所述画面信息与至少一个预设画面模型匹配时,获取所述至少一个预设画面模型对应的音效参数;
音效参数输出模块,被配置为将所述音效参数输出至所述直播设备的视频输出中。
8.一种电子设备,其特征在于,包括:
处理器;
用于存储所述处理器可执行指令的存储器;
其中,所述处理器被配置为执行所述指令,以实现如权利要求1至6中任一项所述的音效切换方法。
9.一种存储介质,当所述存储介质中的指令由电子设备的处理器执行时,使得电子设备能够执行如权利要求1至6中任一项所述的音效切换方法。
10.一种计算机程序产品,包括计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至6中任一项所述的音效切换方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210334302.7A CN114866791A (zh) | 2022-03-31 | 2022-03-31 | 音效切换方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210334302.7A CN114866791A (zh) | 2022-03-31 | 2022-03-31 | 音效切换方法、装置、电子设备及存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN114866791A true CN114866791A (zh) | 2022-08-05 |
Family
ID=82628734
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210334302.7A Pending CN114866791A (zh) | 2022-03-31 | 2022-03-31 | 音效切换方法、装置、电子设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114866791A (zh) |
Citations (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103731722A (zh) * | 2013-11-27 | 2014-04-16 | 乐视致新电子科技(天津)有限公司 | 一种自适应调节音效的方法及装置 |
JP2015022268A (ja) * | 2013-07-23 | 2015-02-02 | 三菱電機株式会社 | オーディオ装置および音質調整方法 |
CN106028119A (zh) * | 2016-05-30 | 2016-10-12 | 徐文波 | 多媒体特效的自定义方法和装置 |
CN106464939A (zh) * | 2016-07-28 | 2017-02-22 | 北京小米移动软件有限公司 | 播放音效的方法及装置 |
CN106559694A (zh) * | 2016-09-29 | 2017-04-05 | 广州华多网络科技有限公司 | 一种用于在线直播间渲染用户入场场景的方法及装置 |
CN106658219A (zh) * | 2016-12-29 | 2017-05-10 | 微鲸科技有限公司 | 一种音效设置方法及系统 |
WO2018023236A1 (zh) * | 2016-07-31 | 2018-02-08 | 杨洁 | 音效插入技术的数据采集方法和音乐播放器 |
CN108462895A (zh) * | 2017-02-21 | 2018-08-28 | 阿里巴巴集团控股有限公司 | 音效处理方法、装置和机器可读介质 |
CN109951652A (zh) * | 2019-03-20 | 2019-06-28 | 合肥科塑信息科技有限公司 | 一种人像语音视频同步校准装置及系统 |
CN110493608A (zh) * | 2019-07-31 | 2019-11-22 | 广州华多网络科技有限公司 | 直播互动方法、电子设备以及计算机存储介质 |
CN110933490A (zh) * | 2019-11-20 | 2020-03-27 | 深圳创维-Rgb电子有限公司 | 一种画质和音质的自动调整方法、智能电视机及存储介质 |
CN112201264A (zh) * | 2020-10-21 | 2021-01-08 | Oppo广东移动通信有限公司 | 音频处理方法、装置、电子设备、服务器及存储介质 |
CN112672207A (zh) * | 2020-12-30 | 2021-04-16 | 广州繁星互娱信息科技有限公司 | 音频数据处理方法、装置、计算机设备及存储介质 |
CN113031906A (zh) * | 2021-04-23 | 2021-06-25 | 腾讯科技(深圳)有限公司 | 直播中的音频播放方法、装置、设备及存储介质 |
CN113556604A (zh) * | 2020-04-24 | 2021-10-26 | 深圳市万普拉斯科技有限公司 | 音效调节方法、装置、计算机设备和存储介质 |
CN113810729A (zh) * | 2021-09-16 | 2021-12-17 | 中国平安人寿保险股份有限公司 | 直播氛围特效匹配方法、装置、设备及介质 |
-
2022
- 2022-03-31 CN CN202210334302.7A patent/CN114866791A/zh active Pending
Patent Citations (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2015022268A (ja) * | 2013-07-23 | 2015-02-02 | 三菱電機株式会社 | オーディオ装置および音質調整方法 |
CN103731722A (zh) * | 2013-11-27 | 2014-04-16 | 乐视致新电子科技(天津)有限公司 | 一种自适应调节音效的方法及装置 |
CN106028119A (zh) * | 2016-05-30 | 2016-10-12 | 徐文波 | 多媒体特效的自定义方法和装置 |
CN106464939A (zh) * | 2016-07-28 | 2017-02-22 | 北京小米移动软件有限公司 | 播放音效的方法及装置 |
WO2018023236A1 (zh) * | 2016-07-31 | 2018-02-08 | 杨洁 | 音效插入技术的数据采集方法和音乐播放器 |
CN106559694A (zh) * | 2016-09-29 | 2017-04-05 | 广州华多网络科技有限公司 | 一种用于在线直播间渲染用户入场场景的方法及装置 |
CN106658219A (zh) * | 2016-12-29 | 2017-05-10 | 微鲸科技有限公司 | 一种音效设置方法及系统 |
CN108462895A (zh) * | 2017-02-21 | 2018-08-28 | 阿里巴巴集团控股有限公司 | 音效处理方法、装置和机器可读介质 |
CN109951652A (zh) * | 2019-03-20 | 2019-06-28 | 合肥科塑信息科技有限公司 | 一种人像语音视频同步校准装置及系统 |
CN110493608A (zh) * | 2019-07-31 | 2019-11-22 | 广州华多网络科技有限公司 | 直播互动方法、电子设备以及计算机存储介质 |
CN110933490A (zh) * | 2019-11-20 | 2020-03-27 | 深圳创维-Rgb电子有限公司 | 一种画质和音质的自动调整方法、智能电视机及存储介质 |
CN113556604A (zh) * | 2020-04-24 | 2021-10-26 | 深圳市万普拉斯科技有限公司 | 音效调节方法、装置、计算机设备和存储介质 |
CN112201264A (zh) * | 2020-10-21 | 2021-01-08 | Oppo广东移动通信有限公司 | 音频处理方法、装置、电子设备、服务器及存储介质 |
CN112672207A (zh) * | 2020-12-30 | 2021-04-16 | 广州繁星互娱信息科技有限公司 | 音频数据处理方法、装置、计算机设备及存储介质 |
CN113031906A (zh) * | 2021-04-23 | 2021-06-25 | 腾讯科技(深圳)有限公司 | 直播中的音频播放方法、装置、设备及存储介质 |
CN113810729A (zh) * | 2021-09-16 | 2021-12-17 | 中国平安人寿保险股份有限公司 | 直播氛围特效匹配方法、装置、设备及介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US12046228B2 (en) | Real time popularity based audible content acquisition | |
CN106878820B (zh) | 直播互动方法及装置 | |
CN109547808B (zh) | 数据处理方法、装置、服务器及存储介质 | |
CN103763626B (zh) | 一种信息推送方法、设备和系统 | |
US20070214471A1 (en) | System, method and computer program product for providing collective interactive television experiences | |
CN102170584A (zh) | 同步hs终端设备之间媒体播放的方法、装置和系统 | |
CN106231367B (zh) | 美颜处理方法及装置 | |
CN113518247A (zh) | 视频播放方法、相关设备及计算机可读存储介质 | |
CN109089128A (zh) | 一种视频处理方法、装置、设备及介质 | |
TWI620438B (zh) | 校正直播節目中互動時間的方法、裝置與電腦可讀取儲存裝置 | |
CN111107434A (zh) | 信息推荐方法及装置 | |
CN111028818A (zh) | 合唱方法、装置、电子设备和存储介质 | |
CN103533433A (zh) | 一种智能电视播放器图片广告投放的方法及系统 | |
CN108174227B (zh) | 虚拟物品的显示方法、装置及存储介质 | |
CN110225374A (zh) | 交互式网络电视的用户信息采集处理方法 | |
CN117255211A (zh) | 直播间显示方法、服务端及直播客户端 | |
CN110971926B (zh) | 视频播放方法、视频处理方法、视频处理装置及存储介质 | |
CN111263183A (zh) | 唱歌状态识别方法及装置 | |
US10812839B2 (en) | Techniques for automated data record generation from live programs | |
WO2013097239A1 (en) | Method and device for presenting content | |
CN106407353B (zh) | 一种播放动画的方法和装置 | |
CN114866791A (zh) | 音效切换方法、装置、电子设备及存储介质 | |
CN108768681B (zh) | 一种虚拟资源赠送引起的主播用户即时图像的显示方法 | |
CN106254931A (zh) | 基于iptv的节目广告发布方法和装置 | |
CN113986183B (zh) | 智能家居设备的音量调节方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |