CN109473117A - 音频特效叠加方法、装置及其终端 - Google Patents
音频特效叠加方法、装置及其终端 Download PDFInfo
- Publication number
- CN109473117A CN109473117A CN201811550880.4A CN201811550880A CN109473117A CN 109473117 A CN109473117 A CN 109473117A CN 201811550880 A CN201811550880 A CN 201811550880A CN 109473117 A CN109473117 A CN 109473117A
- Authority
- CN
- China
- Prior art keywords
- special efficacy
- audio
- weighted value
- audio special
- road
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 51
- 238000012545 processing Methods 0.000 claims abstract description 13
- 230000000694 effects Effects 0.000 claims description 13
- 230000005236 sound signal Effects 0.000 abstract description 2
- 230000000875 corresponding effect Effects 0.000 description 39
- 230000006854 communication Effects 0.000 description 14
- 238000004891 communication Methods 0.000 description 13
- 238000010586 diagram Methods 0.000 description 12
- 230000006870 function Effects 0.000 description 12
- 230000007812 deficiency Effects 0.000 description 5
- 238000012163 sequencing technique Methods 0.000 description 4
- 238000003860 storage Methods 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 3
- 230000007423 decrease Effects 0.000 description 3
- 238000010295 mobile communication Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 230000001755 vocal effect Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 230000008878 coupling Effects 0.000 description 2
- 238000010168 coupling process Methods 0.000 description 2
- 238000005859 coupling reaction Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000012905 input function Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 230000007774 longterm Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000035772 mutation Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 241001342895 Chorus Species 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 238000005314 correlation function Methods 0.000 description 1
- HAORKNGNJCEJBX-UHFFFAOYSA-N cyprodinil Chemical compound N=1C(C)=CC(C2CC2)=NC=1NC1=CC=CC=C1 HAORKNGNJCEJBX-UHFFFAOYSA-N 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 208000001491 myopia Diseases 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000010897 surface acoustic wave method Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/003—Changing voice quality, e.g. pitch or formants
- G10L21/007—Changing voice quality, e.g. pitch or formants characterised by the process used
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H1/00—Details of electrophonic musical instruments
- G10H1/0091—Means for obtaining special acoustic effects
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H1/00—Details of electrophonic musical instruments
- G10H1/02—Means for controlling the tone frequencies, e.g. attack or decay; Means for producing special musical effects, e.g. vibratos or glissandos
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/003—Changing voice quality, e.g. pitch or formants
- G10L21/007—Changing voice quality, e.g. pitch or formants characterised by the process used
- G10L21/01—Correction of time axis
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H2210/00—Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
- G10H2210/021—Background music, e.g. for video sequences, elevator music
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H2210/00—Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
- G10H2210/021—Background music, e.g. for video sequences, elevator music
- G10H2210/026—Background music, e.g. for video sequences, elevator music for games, e.g. videogames
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Quality & Reliability (AREA)
- Computational Linguistics (AREA)
- Signal Processing (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Stereophonic System (AREA)
- Telephone Function (AREA)
Abstract
本发明涉及音频处理技术领域，本发明提供一种音频特效叠加方法包括步骤：获取需要叠加的多路音频特效；确定各路音频特效在音频时间轴上的叠加位置，根据所述叠加位置对各路音频特效分别设置相应的特效权重值；根据各路音频特效对应的特效权重值，将多路所述音频特效进行叠加。本发明还提供一种音频特效叠加装置及其终端。本发明的音频特效叠加方法、装置及其终端，能够有效提升叠加后的音频特效的清晰度和解析力，叠加效果更好，能够更有效地传递信息或者更具有表现力。
Description
技术领域
本发明涉及音频处理技术领域，具体而言，本发明涉及一种音频特效叠加方法、装置及其终端。
背景技术
在一些应用场景中，例如是直播、短视频和游戏等场景中，经常需要叠加多路的音频特效，采用音频特效可以使表现效果或者提示效果更加丰富。其中，音频特效可以是游戏中的枪击音频、驾车音频、环境音频等音频特效，还可以是直播中的提示音音频、礼物音频等音频特效。
现有的技术方案是叠加所有音频特效，随着音频特效叠加的路数增加，往往存在多个音频特效混合在一起而不清晰的情况。
上述现有的技术方案，导致音频清晰度下降，叠加效果较差。
发明内容
本发明的目的旨在至少能解决上述的技术缺陷之一，特别是音频清晰度下降和叠加效果较差的技术缺陷。
本发明提供一种音频特效叠加方法，包括如下步骤：
获取需要叠加的多路音频特效；
确定各路音频特效在音频时间轴上的叠加位置，根据所述叠加位置对各路音频特效分别设置相应的特效权重值；
根据各路音频特效对应的特效权重值，将多路所述音频特效进行叠加。
在其中一个实施例中，所述根据所述叠加位置对各路音频特效分别设置相应的特效权重值的步骤，包括：
根据音频时间轴上的叠加位置对各路音频特效进行排序；
依顺序设置各路音频特效的特效权重值，其中，排序靠前的音频特效的特效权重值较低，排序靠后的音频特效的特效权重值较高。
在其中一个实施例中，所述依顺序设置各路音频特效的特效权重值的步骤，包括：
根据所述顺序，按等比关系设置所述音频特效的特效权重值。
在其中一个实施例中，所述根据所述叠加位置对各路音频特效分别设置相应的特效权重值的步骤之后，还包括：
若各路音频特效对应的特效权重值之和小于或等于1，根据特效权重值的比例叠加音频特效，否则根据音频特效的特效权重值从小到大的顺序，将部分音频特效的特效权重值赋值为0。
在其中一个实施例中，所述根据音频特效的特效权重值从小到大的顺序，将部分音频特效的特效权重值赋值为0的步骤，包括：
根据音频特效的特效权重值从小到大的顺序，将部分音频特效的特效权重值赋值为0，直至所有音频特效对应的特效权重值之和小于或等于1。
在其中一个实施例中，所述特效权重值小于或等于特效权重值的上限值。
在其中一个实施例中，所述特效权重值的上限值为0.5，当按等比关系设置所述音频特效的特效权重值时，所述音频特效的特效权重值的公比为2。
在其中一个实施例中，根据各路音频特效对应的特效权重值，将多路所述音频特效进行叠加的步骤包括：
根据各路特效权重值调整各路音频特效的音量；其中，特效权重值越大相应的音量越大；
将多路音频特效叠加并输出。
在其中一个实施例中，所述将多路音频特效叠加并输出的步骤之前，还包括：
判断所述叠加后的多路音频特效的音量是否超过最大音量限制值；
若是，降低叠加后的多路音频特效的音量；否则输出所述叠加后的多路音频特效。
本发明还提供一种音频特效叠加装置，包括：
获取单元，用于获取需要叠加的多路音频特效；
处理单元，用于确定各路音频特效在音频时间轴上的叠加位置，根据所述叠加位置对各路音频特效分别设置相应的特效权重值；
叠加单元，用于根据各路音频特效对应的特效权重值，将多路所述音频特效进行叠加。
本发明还提供一种终端，其包括：
一个或多个处理器；
存储器；
一个或多个应用程序，其中所述一个或多个应用程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个程序配置用于：执行根据上述任一项实施例所述的音频特效叠加方法。
本发明还提供一种非临时性计算机可读存储介质，当所述存储介质中的指令由移动终端的处理器执行时，使得移动终端能够执行上述实施例任一项所述音频特效叠加方法的步骤。
上述的音频特效叠加方法、装置及其终端，通过获取需要叠加的多路音频特效；确定各路音频特效在音频时间轴上的叠加位置，根据所述叠加位置对各路音频特效分别设置相应的特效权重值；根据各路音频特效对应的特效权重值，将多路所述音频特效进行叠加的技术方案，能够有效提升叠加后的音频特效的清晰度和解析力，叠加效果更好，能够更有效地传递信息或者更具有表现力。
本发明的音频特效叠加方法、装置及其终端还通过限制特效权重值之和、特效权重值的最大值或者最大音量限制值等技术方案，在保持叠加后的音频特效的清晰度和解析力以及叠加效果的前提下，防止音量过大的技术缺陷。
附图说明
本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
图1为一个实施例的待叠加的多路音频特效的示意图；
图2为一个实施例的音频特效叠加方法的方法流程图；
图3为一个实施例的按照排序确定特效权重值的方法流程图；
图4为本实施例限制特效权重值之和小于等于限制值的方法流程图；
图5为本实施例的根据特效权重值叠加多路音频特效的方法流程图；
图6为实施例中判断叠加后多路音频特效是否超过最大音量限制的方法流程图；
图7为一个实施例的音频特效叠加装置的结构示意图；
图8示出的是与本发明实施例提供的终端相关的手机的部分结构的框图；
图9示出的是与本申请实施例在应用时的场景示意图。
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能解释为对本发明的限制。
本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本发明的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。应该理解，当我们称元件被“连接”或“耦接”到另一元件时，它可以直接连接或耦接到其他元件，或者也可以存在中间元件。此外，这里使用的“连接”或“耦接”可以包括无线连接或无线耦接。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的全部或任一单元和全部组合。
本技术领域技术人员可以理解，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)，具有与本发明所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语，应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样被特定定义，否则不会用理想化或过于正式的含义来解释。
本技术领域技术人员可以理解，这里所使用的“终端”、“终端设备”既包括无线信号接收器的设备，其仅具备无发射能力的无线信号接收器的设备，又包括接收和发射硬件的设备，其具有能够在双向通讯链路上，执行双向通讯的接收和发射硬件的设备。这种设备可以包括：蜂窝或其他通讯设备，其具有单线路显示器或多线路显示器或没有多线路显示器的蜂窝或其他通讯设备；PCS(PersonalCommunications Service，个人通讯系统)，其可以组合语音、数据处理、传真和/或数据通讯能力；PDA(Personal Digital Assistant，个人数字助理)，其可以包括射频接收器、寻呼机、互联网/内联网访问、网络浏览器、记事本、日历和/或GPS(Global Positioning System，全球定位系统)接收器；常规膝上型和/或掌上型计算机或其他设备，其具有和/或包括射频接收器的常规膝上型和/或掌上型计算机或其他设备。这里所使用的“终端”、“终端设备”可以是便携式、可运输、安装在交通工具(航空、海运和/或陆地)中的，或者适合于和/或配置为在本地运行，和/或以分布形式，运行在地球和/或空间的任何其他位置运行。这里所使用的“终端”、“终端设备”还可以是通讯终端、上网终端、音乐/视频播放终端，例如可以是PDA、MID(Mobile Internet Device，移动互联网设备)和/或具有音乐/视频播放功能的移动电话，也可以是智能电视、机顶盒等设备。
本技术领域技术人员可以理解，这里所使用的远端网络设备，其包括但不限于计算机、网络主机、单个网络服务器、多个网络服务器集或多个服务器构成的云。在此，云由基于云计算(Cloud Computing)的大量计算机或网络服务器构成，其中，云计算是分布式计算的一种，由一群松散耦合的计算机集组成的一个超级虚拟计算机。本发明的实施例中，远端网络设备、终端设备与WNS服务器之间可通过任何通讯方式实现通讯，包括但不限于，基于3GPP、LTE、WIMAX的移动通讯、基于TCP/IP、UDP协议的计算机网络通讯以及基于蓝牙、红外传输标准的近距无线传输方式。
本申请为了提升音频清晰度，优化叠加效果，在本实施例中提供一种音频特效叠加方法，请参考图1和图2。请结合参考图1，图1示例性展示了待叠加的多路音频特效，图1中，待叠加的音频特效根据存在的时间排列在同一时间轴线上方，其中待叠加的音频特效包括音频特效A、音频特效B、音频特效C以及音频特效D。每一段待叠加的音频特效的起始时间点在图1中以黑色填充的圆形图案(以下简称“起始点”)指示。当前的时间节点在图1中以黑色填充的三角图案(以下简称“当前时间节点”)指示，为了更好地展示当前时间节点与各段音频特效的位置关系图1在当前时间节点处设置有虚线，虚线上任意一点等价于当前时间节点。
图2中，所述音频特效叠加方法包括如下步骤：
步骤S21：获取需要叠加的多路音频特效。
以运行所述音频特效叠加方法的设备为例，设备可以获取叠加的多路音频特效，例如是图1中的音频特效A、音频特效B、音频特效C以及音频特效D。
步骤S22：确定各路音频特效在音频时间轴上的叠加位置，根据所述叠加位置对各路音频特效分别设置相应的特效权重值。
各路音频特效在音频时间轴上的叠加位置通过音频特效的指示点与当前时间节点的距离远近确定，指示点与当前时间节点的距离指示对应音频特效的时间距离。指示点与当前时间节点的距离越远，说明指示点对应音频特效的出现时间越久；指示点与当前时间节点的距离越近，说明指示点对应音频特效的出现时间越近。
根据上述叠加位置对各路待叠加的音频特效分别设置相应的特效权重值。在设置相应的特效权重值的过程中，可以根据叠加位置的远近设置特效权重值，换而言之就是根据待叠加的音频特效的出现时间确定特效权重值。
步骤S23：根据各路音频特效对应的特效权重值，将多路所述音频特效进行叠加。
待叠加的各路音频特效根据对应赋予的特效权重值，对应进行叠加。叠加的结果可以是生成单路的音频特效流。除此之外，在一些直播、短视频游戏的应用场景中，还可以是将各路音频特效根据特效权重值叠加到音频流中。
请参考图3，为了按照出现时间的排序确定特效权重值，本申请还提供一种技术方案，根据所述叠加位置对各路音频特效分别设置相应的特效权重值的步骤S22，所述的音频特效叠加方法包括：
步骤S31：根据音频时间轴上的叠加位置对各路音频特效进行排序。
将图1中待叠加的音频特效按照音频时间轴上叠加位置对音频特效进行叠加位置的排序。在本实施例所展示的方案中，采用按照音频特效的出现时间进行排序。图1中音频特效按照出现时间的排序依次是音频特效A、音频特效B、音频特效C以及音频特效D。其中需要排除音频特效C，因为在当前时间节点，音频特效C已经播放完毕，因此对于当前时间节点来说，待叠加的音频特效按照出现的时间顺序应该是：音频特效A、音频特效B以及音频特效D。
步骤S32：依顺序设置各路音频特效的特效权重值，其中，排序靠前的音频特效的特效权重值较低，排序靠后的音频特效的特效权重值较高。
按照上述待叠加音频特效出现的时间顺序，设置不同的特效权重值。设置的特效权重值与待叠加音频特效出现的时间顺序有关。越早出现的音频特效的特效权重值越高。在图1展示的音频特效中，待叠加的音频特效按照特效权重值按照从大到小的顺序排列应该是：音频特效A、音频特效B以及音频特效D。
为了使音频特效的效果更清晰，更富有层次感，在本实施例中，根据所述顺序，按等比关系设置所述音频特效的特效权重值。例如，音频特效A的特效权重值为0.5，音频特效B的特效权重值为0.25，音频特效D的特效权重值为0.125。按照等比关系设置之后音频特效的特效权重值按照出现的时间顺序依次递减。
在现在的使用场景中，叠加音频特效还经常出现音量过大等“爆音”情况。本申请通过限制特效权重值之和小于等于限制值的技术方案解决前述技术缺陷。
所述的音频特效叠加方法在根据所述叠加位置对各路音频特效分别设置相应的特效权重值的步骤之后，还包括：若各路音频特效对应的特效权重值之和小于或等于1，根据特效权重值的比例叠加音频特效，否则根据音频特效的特效权重值从小到大的顺序，将部分音频特效的特效权重值赋值为0。
请参考图4，图4中记录如下方案：
步骤S41：各路音频特效对应的特效权重值之和小于或等于1。
步骤S42：根据特效权重值的比例叠加音频特效。
步骤S43：根据音频特效的特效权重值从小到大的顺序，将部分音频特效的特效权重值赋值为0。
首先判断各路音频特效对应的特效权重值之和是否叠加起来小于100％，也就是小于1。特效权重值可以是相对某一标准值或者某一标准音频流确定的数值。
以图1中的音频特效为例，当音频特效A的特效权重值为0.8，音频特效B的特效权重值为0.4，音频特效D的特效权重值为0.2时，特效权重值之和为1.4，大于1，此时执行步骤S43，将音频特效B和音频特效D的值赋值为0，叠加后的特效权重值之和小于1。
以图1中的音频特效为例，当音频特效A的特效权重值为0.5，音频特效B的特效权重值为0.25，音频特效D的特效权重值为0.125时，特效权重值之和为0.875，小于1，此时执行步骤S42，将音频特效A、音频特效B以及音频特效D叠加。
在进一步改进，根据音频特效的特效权重值从小到大的顺序，将部分音频特效的特效权重值赋值为0，直至所有音频特效对应的特效权重值之和小于或等于1。
上述过程还可以理解为，将音频特效按照特效权重值从大到小的顺序叠加，直至叠加至特效权重值之和大于1的前一段音频特效，即保证所有音频特效的特效权重值恒定小于等于1，以保证叠加后的音频特效音量过大。
当然还可以根据音频特效的分值决定对某些音频特效赋值为0，音频特效的分值可以根据用户喜爱程度或者音频特效的发布时间决定。此外，对叠加至特效权重值之和大于1的前一段音频特效，还可以将该前一段音频特效的特效权重值调整为剩余的特效权重值，使全部特效权重值之和等于1，避免音量突变的情况。例如是当音频特效A的特效权重值为0.8，音频特效B的特效权重值为0.4，音频特效D的特效权重值为0.2时，可以将音频特效B的特效权重值赋值为0.2，将音频特效D的特效权重值赋值为0。这样可以避免音量突变，同时又可以避免音量过大的缺陷。
本申请还通过另一种技术方案解决音量过大的技术缺陷。所述的音频特效叠加方法中，限制所述特效权重值小于或等于特效权重值的上限值。
例如，所述特效权重值的上限值为0.5，当按等比关系设置所述音频特效的特效权重值时，所述音频特效的特效权重值的公比为2。以图1中的音频特效为例，音频特效A的特效权重值设置为0.5，音频特效B的特效权重值设置为0.25，音频特效D的特效权重值设置为0.125。此时由于限制了最大的特效权重值低于或等于上限值，加上等比递减的限制，在有限路数的音频特效的场景下，能够有效避免音量过大的情况。
此外，在一些实施方案中还可以通过音频特效的路数以及特效权重值之和的限制，确定最大特效权重值的数值(或称上限值)。
请参考图5，图5为本实施例的根据特效权重值叠加多路音频特效的方法流程图。叠加多路音频特效中的特效权重值可以与音量有关，根据各路音频特效对应的特效权重值，将多路所述音频特效进行叠加的步骤S23包括：
步骤S51：根据各路特效权重值调整各路音频特效的音量；其中，特效权重值越大相应的音量越大。
根据各路特效权重值调整对应的音量，特效权重值与音量呈正相关，特效权重值越大相应音频特效的音量越大，特效权重值越小相应音频特效的音量越小，特效权重值为0时对应音频特效的音量为0。
步骤S52：将多路音频特效叠加并输出。
将上述与音量关联后的多路音频特效叠加并输出。输出的结果可以是音频特效流，还可以是叠加到对应的音频流中一并输出。
为了保护用户的听力等健康考虑，本实施例还提供一种方案，所述将多路音频特效叠加并输出的步骤S52之前，还包括：
判断所述叠加后的多路音频特效的音量是否超过最大音量限制值；
若是，降低叠加后的多路音频特效的音量；否则输出所述叠加后的多路音频特效。
上述方案请参考图6，所述音频特效叠加方法包括：
步骤S61：判断所述叠加后的多路音频特效的音量是否超过最大音量限制值。
步骤S62：降低叠加后的多路音频特效的音量。
步骤S63：输出所述叠加后的多路音频特效。
在上述过程中，可以获取用户设置的最大音量限制值，判断叠加后的多路音频特效的音量是否大于最大音量限制值。最大音量限制值和叠加后的多路音频特效的音量可以用一定的分贝表征。
当叠加后的多路音频特效的音量超过最大音量限制值时，执行步骤S62，降低叠加后的多路音频特效的音量。
当叠加后的多路音频特效的音量小于或等于最大音量限制值时，执行步骤S63，输出所述叠加后的多路音频特效。
请参考图7，本实施例还提供一种音频特效叠加装置包括：
获取单元71，用于获取需要叠加的多路音频特效；
处理单元72，用于确定各路音频特效在音频时间轴上的叠加位置，根据所述叠加位置对各路音频特效分别设置相应的特效权重值；
叠加单元73，用于根据各路音频特效对应的特效权重值，将多路所述音频特效进行叠加。
本实施例还提供一种终端，包括：
一个或多个处理器；
存储器；
一个或多个应用程序，其中所述一个或多个应用程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个程序配置用于：执行根据上述任一项所述的音频特效叠加方法。
本发明实施例还提供了移动终端作为示例，如图8所示，为了便于说明，仅示出了与本发明实施例相关的部分，具体技术细节未揭示的，请参照本发明实施例方法部分。该终端可以为包括手机、平板电脑、PDA(Personal Digital Assistant，个人数字助理)、POS(Point of Sales，销售终端)、车载电脑等任意终端设备，以终端为手机为例：
图8示出的是与本发明实施例提供的终端相关的手机的部分结构的框图。参考图8，手机包括：射频(Radio Frequency，RF)电路810、存储器820、输入单元830、显示单元840、传感器850、音频电路860、无线保真(wireless fidelity，Wi-Fi)模块870、处理器880、以及电源890等部件。本领域技术人员可以理解，图8中示出的手机结构并不构成对手机的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
下面结合图8对手机的各个构成部件进行具体的介绍：
RF电路810可用于收发信息或通话过程中，信号的接收和发送，特别地，将基站的下行信息接收后，给处理器880处理；另外，将设计上行的数据发送给基站。通常，RF电路810包括但不限于天线、至少一个放大器、收发信机、耦合器、低噪声放大器(Low NoiseAmplifier，LNA)、双工器等。此外，RF电路810还可以通过无线通信与网络和其他设备通信。上述无线通信可以使用任一通信标准或协议，包括但不限于全球移动通讯系统(GlobalSystem of Mobile communication，GSM)、通用分组无线服务(General Packet RadioService，GPRS)、码分多址(Code Division Multiple Access，CDMA)、宽带码分多址(Wideband Code Division Multiple Access,WCDMA)、长期演进(Long Term Evolution，LTE)、电子邮件、短消息服务(Short Messaging Service，SMS)等。
存储器820可用于存储软件程序以及模块，处理器880通过运行存储在存储器820的软件程序以及模块，从而执行手机的各种功能应用以及数据处理。存储器820可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声纹播放功能、图像播放功能等)等；存储数据区可存储根据手机的使用所创建的数据(比如音频数据、电话本等)等。此外，存储器820可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
输入单元830可用于接收输入的数字或字符信息，以及产生与手机的用户设置以及功能控制有关的键信号输入。具体地，输入单元830可包括触控面板831以及其他输入设备832。触控面板831，也称为触摸屏，可收集用户在其上或附近的触摸操作(比如用户使用手指、触笔等任何适合的物体或附件在触控面板831上或在触控面板831附近的操作)，并根据预先设定的程式驱动相应的连接装置。可选的，触控面板831可包括触摸检测装置和触摸控制器两个部分。其中，触摸检测装置检测用户的触摸方位，并检测触摸操作带来的信号，将信号传送给触摸控制器；触摸控制器从触摸检测装置上接收触摸信息，并将它转换成触点坐标，再送给处理器880，并能接收处理器880发来的命令并加以执行。此外，可以采用电阻式、电容式、红外线以及表面声波等多种类型实现触控面板831。除了触控面板831，输入单元830还可以包括其他输入设备832。具体地，其他输入设备832可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆等中的一种或多种。
显示单元840可用于显示由用户输入的信息或提供给用户的信息以及手机的各种菜单。显示单元840可包括显示面板841，可选的，可以采用液晶显示器(Liquid CrystalDisplay，LCD)、有机发光二极管(Organic Light-Emitting Diode,OLED)等形式来配置显示面板841。进一步的，触控面板831可覆盖显示面板841，当触控面板831检测到在其上或附近的触摸操作后，传送给处理器880以确定触摸事件的类型，随后处理器880根据触摸事件的类型在显示面板841上提供相应的视觉输出。虽然在图8中，触控面板831与显示面板841是作为两个独立的部件来实现手机的输入和输入功能，但是在某些实施例中，可以将触控面板831与显示面板841集成而实现手机的输入和输出功能。
手机还可包括至少一种传感器850，比如光传感器、运动传感器以及其他传感器。具体地，光传感器可包括环境光传感器及接近传感器，其中，环境光传感器可根据环境光线的明暗来调节显示面板841的亮度，接近传感器可在手机移动到耳边时，关闭显示面板841和/或背光。作为运动传感器的一种，加速计传感器可检测各个方向上(一般为三轴)加速度的大小，静止时可检测出重力的大小及方向，可用于识别手机姿态的应用(比如横竖屏切换、相关游戏、磁力计姿态校准)、振动识别相关功能(比如计步器、敲击)等；至于手机还可配置的陀螺仪、气压计、湿度计、温度计、红外线传感器等其他传感器，在此不再赘述。
音频电路860、扬声器861，传声器862可提供用户与手机之间的音频接口。音频电路860可将接收到的音频数据转换后的电信号，传输到扬声器861，由扬声器861转换为声纹信号输出；另一方面，传声器862将收集的声纹信号转换为电信号，由音频电路860接收后转换为音频数据，再将音频数据输出处理器880处理后，经RF电路810以发送给比如另一手机，或者将音频数据输出至存储器820以便进一步处理。
Wi-Fi属于短距离无线传输技术，手机通过Wi-Fi模块870可以帮助用户收发电子邮件、浏览网页和访问流式媒体等，它为用户提供了无线的宽带互联网访问。虽然图8示出了Wi-Fi模块870，但是可以理解的是，其并不属于手机的必须构成，完全可以根据需要在不改变发明的本质的范围内而省略。
处理器880是手机的控制中心，利用各种接口和线路连接整个手机的各个部分，通过运行或执行存储在存储器820内的软件程序和/或模块，以及调用存储在存储器820内的数据，执行手机的各种功能和处理数据，从而对手机进行整体监控。可选的，处理器880可包括一个或多个处理单元；优选的，处理器880可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器880中。
手机还包括给各个部件供电的电源890(比如电池)，优选的，电源可以通过电源管理系统与处理器880逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。
尽管未示出，手机还可以包括摄像头、蓝牙模块等，在此不再赘述。
在本发明实施例中，该终端所包括的处理器880还具有以下功能：权1内容。也即处理器880具备执行上述的任一实施例音频特效叠加方法的功能，在此不再赘述。
为了更好地解释本实施例的应用场景，下面结合图9进行进一步展示，图9示出的是与本申请实施例在应用时的场景示意图。其中，用户91、终端92以及服务器93之间交互。更具体地，我们可以结合游戏场景进行解释：
用户91与终端92之间发生游戏操作的交互，根据用户91在终端92上的操作，终端92将相应的处理结果或者操作等信息发送至服务器93。其后，由服务器93根据终端的信息匹配得到多路音频特效，并执行以下步骤：
获取需要叠加的多路音频特效；
确定各路音频特效在音频时间轴上的叠加位置，根据所述叠加位置对各路音频特效分别设置相应的特效权重值；
根据各路音频特效对应的特效权重值，将多路所述音频特效进行叠加并生成叠加后新的音频流。
服务器93将叠加后新的音频流发送至对应的终端92，对应终端92通过播放的方式反馈给用户91。通过以上的过程，用户的操作经过上述一系列的步骤最终得到叠加多路音频特效的反馈。
除了上述举例的游戏场景，本申请的技术方案还可以应用到游戏直播或歌唱直播等直播场景、多人会议等会议场景以及多人合唱或录制歌曲等音乐场景。
上述的音频特效叠加方法、装置及其终端，通过获取需要叠加的多路音频特效；确定各路音频特效在音频时间轴上的叠加位置，根据所述叠加位置对各路音频特效分别设置相应的特效权重值；根据各路音频特效对应的特效权重值，将多路所述音频特效进行叠加的技术方案，能够有效提升叠加后的音频特效的清晰度和解析力，叠加效果更好，能够更有效地传递信息或者更具有表现力。
本发明的音频特效叠加方法、装置及其终端还通过限制特效权重值之和、特效权重值的最大值或者最大音量限制值等技术方案，在保持叠加后的音频特效的清晰度和解析力以及叠加效果的前提下，防止音量过大的技术缺陷。
应该理解的是，虽然附图的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，其可以以其他的顺序执行。而且，附图的流程图中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，其执行顺序也不必然是依次进行，而是可以与其他步骤或者其他步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
以上所述仅是本发明的部分实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。
Claims (11)
1.一种音频特效叠加方法，其特征在于，包括如下步骤：
获取需要叠加的多路音频特效；
确定各路音频特效在音频时间轴上的叠加位置，根据所述叠加位置对各路音频特效分别设置相应的特效权重值；
根据各路音频特效对应的特效权重值，将多路所述音频特效进行叠加。
2.根据权利要求1所述的音频特效叠加方法，其特征在于，所述根据所述叠加位置对各路音频特效分别设置相应的特效权重值的步骤，包括：
根据音频时间轴上的叠加位置对各路音频特效进行排序；
依顺序设置各路音频特效的特效权重值，其中，排序靠前的音频特效的特效权重值较低，排序靠后的音频特效的特效权重值较高。
3.根据权利要求2所述的音频特效叠加方法，其特征在于，所述依顺序设置各路音频特效的特效权重值的步骤，包括：
根据所述顺序，按等比关系设置所述音频特效的特效权重值。
4.根据权利要求3所述的音频特效叠加方法，其特征在于，所述根据所述叠加位置对各路音频特效分别设置相应的特效权重值的步骤之后，还包括：
若各路音频特效对应的特效权重值之和小于或等于1，根据特效权重值的比例叠加音频特效，否则根据音频特效的特效权重值从小到大的顺序，将部分音频特效的特效权重值赋值为0。
5.根据权利要求4所述的音频特效叠加方法，其特征在于，所述根据音频特效的特效权重值从小到大的顺序，将部分音频特效的特效权重值赋值为0的步骤，包括：
根据音频特效的特效权重值从小到大的顺序，将部分音频特效的特效权重值赋值为0，直至所有音频特效对应的特效权重值之和小于或等于1。
6.根据权利要求1所述的音频特效叠加方法，其特征在于，所述特效权重值小于或等于特效权重值的上限值。
7.根据权利要求6所述的音频特效叠加方法，其特征在于，所述特效权重值的上限值为0.5，当按等比关系设置所述音频特效的特效权重值时，所述音频特效的特效权重值的公比为2。
8.根据权利要求1所述的音频特效叠加方法，其特征在于，根据各路音频特效对应的特效权重值，将多路所述音频特效进行叠加的步骤包括：
根据各路特效权重值调整各路音频特效的音量；其中，特效权重值越大相应的音量越大；
将多路音频特效叠加并输出。
9.根据权利要求8所述的音频特效叠加方法，其特征在于，所述将多路音频特效叠加并输出的步骤之前，还包括：
判断所述叠加后的多路音频特效的音量是否超过最大音量限制值；
若是，降低叠加后的多路音频特效的音量；否则输出所述叠加后的多路音频特效。
10.一种音频特效叠加装置，其特征在于：
获取单元，用于获取需要叠加的多路音频特效；
处理单元，用于确定各路音频特效在音频时间轴上的叠加位置，根据所述叠加位置对各路音频特效分别设置相应的特效权重值；
叠加单元，用于根据各路音频特效对应的特效权重值，将多路所述音频特效进行叠加。
11.一种终端，其特征在于，其包括：
一个或多个处理器；
存储器；
一个或多个应用程序，其中所述一个或多个应用程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个程序配置用于：执行根据权利要求1～9任一项所述的音频特效叠加方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811550880.4A CN109473117B (zh) | 2018-12-18 | 2018-12-18 | 音频特效叠加方法、装置及其终端 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811550880.4A CN109473117B (zh) | 2018-12-18 | 2018-12-18 | 音频特效叠加方法、装置及其终端 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109473117A true CN109473117A (zh) | 2019-03-15 |
| CN109473117B CN109473117B (zh) | 2022-07-05 |
Family
ID=65674960
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811550880.4A Active CN109473117B (zh) | 2018-12-18 | 2018-12-18 | 音频特效叠加方法、装置及其终端 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109473117B (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110751956A (zh) * | 2019-09-17 | 2020-02-04 | 北京时代拓灵科技有限公司 | 一种沉浸式音频渲染方法及系统 |
| CN114245036A (zh) * | 2021-12-21 | 2022-03-25 | 北京达佳互联信息技术有限公司 | 视频制作方法及装置 |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO1998020482A1 (en) * | 1996-11-07 | 1998-05-14 | Creative Technology Ltd. | Time-domain time/pitch scaling of speech or audio signals, with transient handling |
| CN101325061A (zh) * | 2007-06-13 | 2008-12-17 | 株式会社东芝 | 用于音频信号处理的方法和装置 |
| CN101656072A (zh) * | 2009-09-08 | 2010-02-24 | 北京飞利信科技股份有限公司 | 混音装置、混音方法及利用该混音装置的会议系统 |
| CN104409079A (zh) * | 2014-11-03 | 2015-03-11 | 北京有恒斯康通信技术有限公司 | 一种音频叠加的方法和装置 |
| CN105869648A (zh) * | 2016-05-19 | 2016-08-17 | 广州日滨科技发展有限公司 | 混音方法及装置 |
| WO2016177296A1 (zh) * | 2015-05-04 | 2016-11-10 | 腾讯科技（深圳）有限公司 | 一种生成视频的方法和装置 |
| WO2017215658A1 (zh) * | 2016-06-16 | 2017-12-21 | 广东欧珀移动通信有限公司 | 音效添加方法及用户终端 |
| WO2017215615A1 (zh) * | 2016-06-16 | 2017-12-21 | 广东欧珀移动通信有限公司 | 一种音效处理方法及移动终端 |
| CN108833825A (zh) * | 2018-06-26 | 2018-11-16 | 广州视源电子科技股份有限公司 | 视频会议发言人终端的确定方法、装置、设备和存储介质 |
| CN108924465A (zh) * | 2018-06-26 | 2018-11-30 | 广州视源电子科技股份有限公司 | 视频会议发言人终端的确定方法、装置、设备和存储介质 |
-
2018
- 2018-12-18 CN CN201811550880.4A patent/CN109473117B/zh active Active
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO1998020482A1 (en) * | 1996-11-07 | 1998-05-14 | Creative Technology Ltd. | Time-domain time/pitch scaling of speech or audio signals, with transient handling |
| CN101325061A (zh) * | 2007-06-13 | 2008-12-17 | 株式会社东芝 | 用于音频信号处理的方法和装置 |
| CN101656072A (zh) * | 2009-09-08 | 2010-02-24 | 北京飞利信科技股份有限公司 | 混音装置、混音方法及利用该混音装置的会议系统 |
| CN104409079A (zh) * | 2014-11-03 | 2015-03-11 | 北京有恒斯康通信技术有限公司 | 一种音频叠加的方法和装置 |
| WO2016177296A1 (zh) * | 2015-05-04 | 2016-11-10 | 腾讯科技（深圳）有限公司 | 一种生成视频的方法和装置 |
| CN105869648A (zh) * | 2016-05-19 | 2016-08-17 | 广州日滨科技发展有限公司 | 混音方法及装置 |
| WO2017215658A1 (zh) * | 2016-06-16 | 2017-12-21 | 广东欧珀移动通信有限公司 | 音效添加方法及用户终端 |
| WO2017215615A1 (zh) * | 2016-06-16 | 2017-12-21 | 广东欧珀移动通信有限公司 | 一种音效处理方法及移动终端 |
| CN108833825A (zh) * | 2018-06-26 | 2018-11-16 | 广州视源电子科技股份有限公司 | 视频会议发言人终端的确定方法、装置、设备和存储介质 |
| CN108924465A (zh) * | 2018-06-26 | 2018-11-30 | 广州视源电子科技股份有限公司 | 视频会议发言人终端的确定方法、装置、设备和存储介质 |
Non-Patent Citations (1)
| Title |
|---|
| 胡斌: "一种多路音频混音算法的实现与应用", 《电子世界》 * |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110751956A (zh) * | 2019-09-17 | 2020-02-04 | 北京时代拓灵科技有限公司 | 一种沉浸式音频渲染方法及系统 |
| CN114245036A (zh) * | 2021-12-21 | 2022-03-25 | 北京达佳互联信息技术有限公司 | 视频制作方法及装置 |
| CN114245036B (zh) * | 2021-12-21 | 2024-03-12 | 北京达佳互联信息技术有限公司 | 视频制作方法及装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109473117B (zh) | 2022-07-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10834237B2 (en) | Method, apparatus, and storage medium for controlling cooperation of multiple intelligent devices with social application platform | |
| US10304461B2 (en) | Remote electronic service requesting and processing method, server, and terminal | |
| CN106341300B (zh) | 一种任务发布的方法、装置和系统 | |
| CN106973330B (zh) | 一种屏幕直播方法、装置和系统 | |
| CN105979312B (zh) | 一种信息分享方法及装置 | |
| CN106126174B (zh) | 一种场景音效的控制方法、及电子设备 | |
| CN105208056B (zh) | 信息交互的方法及终端 | |
| CN106454404A (zh) | 一种播放直播视频的方法、装置和系统 | |
| JP2017517904A (ja) | ビデオベースの対話方法、端末、サーバ、およびシステム | |
| CN106528545B (zh) | 一种语音信息的处理方法及装置 | |
| WO2021129529A1 (zh) | 设备切换方法及相关设备 | |
| WO2017215661A1 (zh) | 一种场景音效的控制方法、及电子设备 | |
| JP6910300B2 (ja) | チャット履歴記録を表示するための方法およびチャット履歴記録を表示するための装置 | |
| CN105959481B (zh) | 一种场景音效的控制方法、及电子设备 | |
| CN108712566A (zh) | 一种语音助手唤醒方法及移动终端 | |
| CN106791916B (zh) | 一种推荐音频数据的方法、装置和系统 | |
| CN108965977A (zh) | 直播礼物的展示方法、装置、存储介质、终端和系统 | |
| CN106603740B (zh) | 网络连接异常的处理方法与终端设备 | |
| CN106303605B (zh) | 一种发送通知消息的方法、装置和系统 | |
| CN103491421B (zh) | 内容展示方法、装置及智能电视 | |
| WO2019076250A1 (zh) | 推送消息的管理方法及相关产品 | |
| CN111399819B (zh) | 数据生成方法、装置、电子设备及存储介质 | |
| CN109473117A (zh) | 音频特效叠加方法、装置及其终端 | |
| CN107623777A (zh) | 终端及其播放控制方法、计算机可读存储介质 | |
| WO2014183439A1 (en) | Method, apparatus and system for switching function mode |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20221123 Address after: 31a, 15th floor, building 30, maple commercial city, bangrang Road, Brazil Patentee after: Baiguoyuan Technology (Singapore) Co.,Ltd. Address before: Building B-1, North District, Wanda Commercial Plaza, Wanbo business district, No. 79, Wanbo 2nd Road, Nancun Town, Panyu District, Guangzhou City, Guangdong Province Patentee before: GUANGZHOU BAIGUOYUAN INFORMATION TECHNOLOGY Co.,Ltd. |