CN113423006B - 一种基于主副声道的多音频流混音播放方法及系统 - Google Patents

一种基于主副声道的多音频流混音播放方法及系统 Download PDF

Info

Publication number
CN113423006B
CN113423006B CN202110602986.XA CN202110602986A CN113423006B CN 113423006 B CN113423006 B CN 113423006B CN 202110602986 A CN202110602986 A CN 202110602986A CN 113423006 B CN113423006 B CN 113423006B
Authority
CN
China
Prior art keywords
audio stream
volume
audio
stream type
depression
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110602986.XA
Other languages
English (en)
Other versions
CN113423006A (zh
Inventor
孙天虹
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huizhou Foryou General Electronics Co Ltd
Original Assignee
Huizhou Foryou General Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huizhou Foryou General Electronics Co Ltd filed Critical Huizhou Foryou General Electronics Co Ltd
Priority to CN202110602986.XA priority Critical patent/CN113423006B/zh
Publication of CN113423006A publication Critical patent/CN113423006A/zh
Application granted granted Critical
Publication of CN113423006B publication Critical patent/CN113423006B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/439Processing of audio elementary streams
    • H04N21/4394Processing of audio elementary streams involving operations for analysing the audio stream, e.g. detecting features or characteristics in audio streams
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/485End-user interface for client configuration
    • H04N21/4852End-user interface for client configuration for modifying audio parameters, e.g. switching between mono and stereo

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Circuit For Audible Band Transducer (AREA)
  • Stereophonic System (AREA)

Abstract

本发明涉及音频播放技术领域,提供一种基于主副声道的多音频流混音播放方法及系统,基于混音播放的一致性要求,将所有应用对应的音频流进行解码后,根据预设压低策略和属性信息,统一计算每一类型的音频流的目标输出音量,无需要各应用自主混音,有助于减少应用开发量,并降低音频处理失误率、提高混音效率;最后将统一调整后的所有类型的音频流进行混音,将得到的混音数据并发送至DSP模块进行音频输出,即采用音频流真正播放的时刻进行混音,从而能够进一步提高混音音频播放的一致性,给予用户更佳的混音体验。

Description

一种基于主副声道的多音频流混音播放方法及系统
技术领域
本发明涉及音频播放技术领域,尤其涉及一种基于主副声道的多音频流混音播放方法及系统。
背景技术
根据当前车载行业的发展,Android系统正在成为未来的主要发展方向,Android系统中支持多种音频流类型同时播放,但是由于车载音频数据源多种多样,现有技术中的混音策略方案,无法对车载音频数据源进行统一管理。
例如,现有技术中,混音策略的实施均由APP端各自处理,各个APP处理方式的不同导致混音效果的参差不齐,且由于采用不够准确的音频焦点得失时机进行混音处理,因此无法满足车载项目中的各种需求。
例如中国专利CN201810261860.9,该专利提出的方案是在安卓原声的音频焦点方案基础上做了一些扩展,属于java层的方法,但无法处理native层的音频。
发明内容
本发明提供一种基于主副声道的多音频流混音播放方法及系统,解决了现有的混音策略有各自的应用端进行独立处理,由于各应用端处理方式的不同导致混音效果的参差不齐,且混音时机不够准确的技术问题。
为解决以上技术问题,本发明提供一种基于主副声道的多音频流混音播放方法,包括步骤:
S1、获取所有解码后的音频流及对应的属性信息;
S2、根据预设压低策略和所述属性信息,计算每一类型的所述音频流的目标输出音量;
S3、根据所述目标输出音量对所有类型的所述音频流进行混音输出。
本基础方案基于混音播放的一致性要求,将所有应用对应的音频流进行解码后,根据预设压低策略和所述属性信息,统一计算每一类型的所述音频流的目标输出音量,无需要各应用自主混音,有助于减少应用开发量,并降低音频处理失误率、提高混音效率;最后将统一调整后的所有类型的音频流进行混音,将得到的混音数据并发送至DSP模块进行音频输出,即采用音频流真正播放的时刻进行混音,从而能够进一步提高混音音频播放的一致性,给予用户更佳的混音体验。
在进一步的实施方案中,在所述步骤S1中:所述属性信息包括音频流类型、优先级、输出声道以及对其它所述音频流类型的压低比例。
在进一步的实施方案中,所述步骤S2包括:
S21、根据所述属性信息,判断当前音频流是否为主声道输出,若是则进入步骤S22,若否则进入步骤S23;
S22、根据所述属性信息,判断对应于所述当前音频流的第一音频流类型是否会压低第二音频流类型,若是,则根据预设压低策略计算所述第一音频流类型在主声道上的目标输出音量,若否,则将其前置音量默认为目标输出音量;
S23、根据所述属性信息,判断是否存在压低对应于所述当前音频流的第一音频流类型的第二音频流类型,若是,则根据预设压低策略计算所述第二音频流类型在对应的主声道上或副声道上的目标输出音量,若否,退出本次音量调整。
其中,所述第二音频流类型为混音输出的所述音频流中区别于所述第一音频流类型的任一音频流类型。
本方案针对当前音频流的播放声道,依据核心的预设压低策略,针对性的设置了两种不同的混音音量修正步骤,根据主声道输出的音频流的播出特性,在判断出对应的第一音频流类型存在压低第二音频流类型(其它类型的音频流)的问题时,从第一音频流类型自身着手,直接调整其自身在主声道上的目标盘输出音量即可;而针对副声道输出的音频流,则根据预设压低策略计算所述第二音频流类型(主声道输出或副声道输出)在对应的主声道上或副声道上的目标输出音量,两个步骤相辅相成,可覆盖所有类型音频流的混音修正。
在进一步的实施方案中,所述步骤S22包括:
S221、根据所述属性信息获取所述当前音频流的优先级信息,若所述当前音频流对应的第一音频流类型的优先级最高,则进入步骤S225,否则进入步骤S222;
S222、遍历优先级高于所述第一音频流类型的第二音频流类型,获取所述第一音频流类型对每一所述第二音频流类型的压低比例并取最小值,标记为最小压低比例;
S223、当最小压低比例等于100%时,则进入步骤S225,否则根据所述最小压低比例及对应的第二音频流类型的当前音量计算混音策略音量;
S224、将所述混音策略音量设置为所述第一音频流类型的目标输出音量;
S225、将所述第一音频流类型的前置音量默认为其目标输出音量。
本方案从主声道输出的当前音频流的属性信息中,确定其对应的音频流类型,进一步的根据其优先级及压低比例(对优先级较高的第二音频流类型的压低比例),判断出其是否会对更为重要的音频造成影响,若是(压低比例小于100%)则根据最小压低比例及对应的第二音频流类型的当前音量计算混音策略音量(目标输出音量),从而在调整幅度最小的前提下,消除对重要性更高的音频的影响。
在进一步的实施方案中,当所述第二音频流类型为主声道输出时,所述步骤S23包括:
A、根据所述属性信息获取所述当前音频流的优先级信息,遍历优先级低于所述第一音频流类型的第二音频流类型;
B、判断优先级低于所述第一音频流类型的所述第二音频流类型是否处于播放状态,若是则获取所述第一音频流类型对每一所述第二音频流类型的压低比例并取最小值,标记为最小压低比例,若否则进入步骤E;
C、当最小压低比例等于100%时,则退出本次音量调整,否则根据所述最小压低比例及所述第二音频流类型的当前音量计算混音策略音量;
D、当判断到所述混音策略音量小于所述第二音频流类型的后置音量时,将所述混音策略音量设置为所述第二音频流类型的目标输出音量,否则退出本次音量调整;
E、判断到主声道是否仅有第二音频流类型处于播放状态,若是则根据所述第一音频流类型对FM的压低比例、以及所述第一音频流类型的当前音量计算FM混音策略音量,若否则退出本次音量调整;
F、若所述混音策略音量小于当前FM音量且不为100%,则将所述混音策略音量设置为所述第二音频流类型的目标输出音量,否则退出本次音量调整。
本方案考虑到副声道输出音频流的特性,对优先级低于当前音频流类型的第二音频流类型进行混音修正,可降低其它重要性较低的音频对用户收听自身携带信息的影响,提高用户获取的重要信息准确性;同时与第二音频流类型前次修正的后置音量进行对比,计算出调整幅度最小且混音效果最佳的目标输出音量;其中考虑到FM音频流直接输出至DSP播放的情况,对正在播放的第二音频流类型进行了进一步的音量修正,从而避免了FM对混音播出的干扰影响。
在进一步的实施方案中,当所述第二音频流类型为副声道输出时,所述步骤S23包括:
a、根据所述属性信息获取所述当前音频流的优先级信息,遍历优先级低于所述第一音频流类型的第二音频流类型;
b、获取所述第一音频流类型对每一所述第二音频流类型的压低比例;
c、根据每一所述压低比例和所述第一音频流类型的当前音量,计算对应所述第二音频流类型的混音策略音量;
d、判断所述混音策略音量是否小于所述第二音频流类型当前的前置音量,若是则将所述混音策略音量设置为所述第二音频流类型的目标输出音量,否则退出本次音量调整。
本方案在考虑到同为副声道输出的第一音频流类型和第二音频流类型之间干扰影响时,结合第二音频流类型前置音量的设置,将计算出的混音策略音量与前置音量进行对比,可在前置音量符合混音一致性要求的前提下,减少音量调整步骤,提高混音播出的输出效率。
在所述步骤S223中,所述混音策略音量的计算公式如下:
minSrcStreamVol=floor(min_ratio1*TopStreamCurrentVol) ;
其中,minSrcStreamVol为所述混音策略音量,min_ratio1为最小压低比例,TopStreamCurrentVol为对应最小压低比例的第二音频流类型的当前音量;floor()表示向下取整功能。
在进一步的实施方案中,本发明还包括:
S0、根据框架层中各音频流的前置音量,设定副声道输出的每一音频流类型的副声道输出音量。
本方案根据从各应用APP获取的音量设置,预先设定副声道输出的每一音频流类型的副声道输出音量,可在不影响混音效果的前提下,贴合各应用APP的设置需求。
本发明还提供一种基于主副声道的多音频流混音播放系统,用于实现上述的一种基于主副声道的多音频流混音播放方法,其特征在于:包括应用层、框架层、驱动层和硬件层;
所述应用层包括多个第三方应用程序,用于发起播放音视频的动作;
所述框架层用于根据预设压低策略获取并管理来源于所述第三方应用程序的多种音频流;
所述驱动层包括音频驱动模块,用于响应所述音频流管理模块和/或所述混音策略模块的音频输出控制命令,完成所述音频流的播放和/或音量控制;
所述硬件层包括DSP模块,用于对混音后的多种所述音频流进行处理输出。
本基础方案为上述混音播放方法提供硬件基础,将所有的第三方应用程序对应播出的音频流进行解码后,统一分配至框架层进行音量修正,由于无需第三方应用程序额外的混音设置,有助于减少应用开发量,降低音频处理失误率、提高混音效率,进一步扩大混音策略对所有应用的适用范围;采用音频流真正播放的时刻进行混音,从而能够进一步提高混音音频播放的一致性,给予用户更佳的混音体验。
在进一步的实施方案中,所述框架层包括依次连接的Java层媒体播放器、Native层媒体播放器、音频流管理模块和混音策略模块;
所述Java层媒体播放器,用于对Java层的音频流进行软件解码;
所述Native层媒体播放器,用于对Native层的所述音频流进行软件解码;
所述音频流管理模块,用于将解码后的所述音频流与对应的属性信息进行封装,并发送到所述混音策略模块;用于保存每一所述音频流的播放音量;
所述混音策略模块,用于根据预设压低策略管理计算每一类型的所述音频流的目标输出音量,并更新到所述音频流管理模块中。
附图说明
图1是本发明实施例提供的一种基于主副声道的多音频流混音播放方法的工作流程图;
图2是本发明实施例提供的一种基于主副声道的多音频流混音播放系统的系统框架图。
具体实施方式
下面结合附图具体阐明本发明的实施方式,实施例的给出仅仅是为了说明目的,并不能理解为对本发明的限定,包括附图仅供参考和说明使用,不构成对本发明专利保护范围的限制,因为在不脱离本发明精神和范围基础上,可以对本发明进行许多改变。
实施例1
本发明实施例提供的一种基于主副声道的多音频流混音播放方法,如图1所示,在本实施例中,包括步骤S0~S3:
S0、根据框架层中各音频流的前置音量,设定副声道输出的每一音频流类型的副声道输出音量。
在本实施例中,前置音量是系统通过调用音频管理(AudioManager)API对各音频流的音量进行设定而得到的音量值。
本实施例根据从各应用APP获取的音量设置,预先设定副声道输出的每一音频流类型的副声道输出音量,可在不影响混音效果的前提下,贴合各应用APP的设置需求。
S1、获取所有解码后的音频流及对应的属性信息。
其中,音频流包括但不限于USB音乐、导航播报、VR语音;
属性信息包括音频流类型、优先级、输出声道以及对其它音频流类型的压低比例,如下表1。
音频流类型 音频流类型标识符 优先级 输出声道
雷达报警音 RADAR 0 副声道
仪表提示音 CLUSTER 1 副通道
电话呼出 BT_SCO 2 主声道
导航提示音 NAVI 3 副通道
电话呼入 RING 4 主通道
媒体播放 MUSIC 5 主通道
表1
在本实施例中,优先级数字越小表示优先级越高。压低比例为预先设置的,可根据不同的用户的需求(例如使用场景)进行选择,因此在此不做列举。
S2、根据预设压低策略和属性信息,计算每一类型的音频流的目标输出音量,包括S21~ S23:
S21、根据属性信息,判断当前音频流是否为主声道输出,若是则进入步骤S22,若否则进入步骤S23;
S22、根据属性信息,判断对应于当前音频流的第一音频流类型是否会压低第二音频流类型,若是,则根据预设压低策略计算第一音频流类型在主声道上的目标输出音量,若否,则将其前置音量默认为目标输出音量。
在本实施例中步骤S22包括步骤S221~ S225:
S221、根据属性信息获取当前音频流的优先级信息,若当前音频流对应的第一音频流类型的优先级最高,则进入步骤S225,否则进入步骤S222;
S222、遍历优先级高于第一音频流类型的第二音频流类型,获取第一音频流类型对每一第二音频流类型的压低比例并取最小值,标记为最小压低比例;
S223、当最小压低比例等于100%时,则进入步骤S225,否则根据最小压低比例及对应的第二音频流类型的当前音量计算混音策略音量;
混音策略音量的计算公式如下:
minSrcStreamVol=floor(min_ratio1*TopStreamCurrentVol) ;
其中,minSrcStreamVol为混音策略音量,min_ratio1为最小压低比例,TopStreamCurrentVol为对应最小压低比例的第二音频流类型的当前音量;floor()表示向下取整功能。
S224、将混音策略音量设置为第一音频流类型的目标输出音量;
S225、将第一音频流类型的前置音量默认为其目标输出音量。
本实施例从主声道输出的当前音频流的属性信息中,确定其对应的音频流类型,进一步的根据其优先级及压低比例(对优先级较高的第二音频流类型的压低比例),判断出其是否会对更为重要的音频造成影响,若是(压低比例小于100%)则根据最小压低比例及对应的第二音频流类型的当前音量计算混音策略音量(目标输出音量),从而在调整幅度最小的前提下,消除对重要性更高的音频的影响。
S23、根据属性信息,判断是否存在压低对应于当前音频流的第一音频流类型的第二音频流类型,若是,则根据预设压低策略计算第二音频流类型在对应的主声道上或副声道上的目标输出音量,若否,退出本次音量调整。
在本实施例中,当第二音频流类型为主声道输出时,步骤S23包括步骤A~F:
A、根据属性信息获取当前音频流的优先级信息,遍历优先级低于第一音频流类型的第二音频流类型;
B、判断优先级低于所述第一音频流类型的第二音频流类型是否处于播放状态,若是则获取第一音频流类型对每一第二音频流类型的压低比例并取最小值,标记为最小压低比例,若否则进入步骤E;
C、当最小压低比例等于100%时,则退出本次音量调整,否则根据最小压低比例及第二音频流类型的当前音量计算混音策略音量;
混音策略音量的计算公式如下:
minMainChannelVol=floor(min_ratio2*destStreamCurrentVol);
其中,minMainChannelVol为混音策略音量,min_ratio2为最小压低比例,destStreamCurrentVol为对应最小压低比例的第二音频流类型的当前音量;floor()表示向下取整功能。
D、当判断到混音策略音量小于第二音频流类型的后置音量时,将混音策略音量设置为第二音频流类型的目标输出音量,否则退出本次音量调整;
E、判断到主声道是否仅有第二音频流类型处于播放状态,若是则根据第一音频流类型对FM的压低比例、以及第一音频流类型的当前音量计算FM混音策略音量,若否则退出本次音量调整;
F、若混音策略音量小于当前FM音量且不为100%,则将混音策略音量设置为第二音频流类型的目标输出音量,否则退出本次音量调整。
混音策略音量的计算公式如下:
minFMVol=floor(fmRatio * srcStreamCurrentVol);
其中,minFMVol为FM混音策略音量,fmRatio第一音频流类型对FM的压低比例,srcStreamCurrentVol第一音频流类型的当前音量;floor()表示向下取整功能。
本实施例考虑到副声道输出音频流的特性,对优先级低于当前音频流类型的第二音频流类型进行混音修正,可降低其它重要性较低的音频对用户收听自身携带信息的影响,提高用户获取的重要信息准确性;同时与第二音频流类型前次修正的后置音量进行对比,计算出调整幅度最小且混音效果最佳的目标输出音量;其中考虑到FM音频流直接输出至DSP播放的情况,对正在播放的第二音频流类型进行了进一步的音量修正,从而避免了FM对混音播出的干扰影响。
在本实施例中,当第二音频流类型为副声道输出时,步骤S23包括步骤a~d:
a、根据属性信息获取当前音频流的优先级信息,遍历优先级低于第一音频流类型的第二音频流类型;
b、获取第一音频流类型对每一第二音频流类型的压低比例;
c、根据每一压低比例和第一音频流类型的当前音量,计算对应第二音频流类型的混音策略音量;
在步骤c中,混音策略音量的计算公式如下:
minDestStreamVol=floor(destStreamRatio * srcStreamCurrentVol);
其中,minDestStreamVol为混音策略音量,destStreamRatio为压低比例,srcStreamCurrentVol第一音频流类型的当前音量;floor()表示向下取整功能。
d、判断混音策略音量是否小于第二音频流类型当前的前置音量,若是则将混音策略音量设置为第二音频流类型的目标输出音量,否则退出本次音量调整。
本实施例在考虑到同为副声道输出的第一音频流类型和第二音频流类型之间干扰影响时,结合第二音频流类型前置音量的设置,将计算出的混音策略音量与前置音量进行对比,可在前置音量符合混音一致性要求的前提下,减少音量调整步骤,提高混音播出的输出效率。
其中,第二音频流类型为混音输出的所述音频流中区别于第一音频流类型的任一音频流类型。
本实施例针对当前音频流的播放声道,依据核心的预设压低策略,针对性的设置了两种不同的混音音量修正步骤,根据主声道输出的音频流的播出特性,在判断出对应的第一音频流类型存在压低第二音频流类型(其它类型的音频流)的问题时,从第一音频流类型自身着手,直接调整其自身在主声道上的目标盘输出音量即可;而针对副声道输出的音频流,则根据预设压低策略计算第二音频流类型(主声道输出或副声道输出)在对应的主声道上或副声道上的目标输出音量,两个步骤相辅相成,可覆盖所有类型音频流的混音修正。
S3、根据目标输出音量对所有类型的音频流进行混音输出。
本发明实施例基于混音播放的一致性要求,将所有应用对应的音频流进行解码后,根据预设压低策略和属性信息,统一计算每一类型的音频流的目标输出音量,无需要各应用自主混音,有助于减少应用开发量,并降低音频处理失误率、提高混音效率;最后将统一调整后的所有类型的音频流进行混音,将得到的混音数据并发送至DSP模块进行音频输出,即采用音频流真正播放的时刻进行混音,从而能够进一步提高混音音频播放的一致性,给予用户更佳的混音体验。
实施例2
在本发明实施例附图中出现的附图标记包括:应用层1、框架层2,Java层媒体播放器21、Native层媒体播放器22、音频流管理模块23、混音策略模块24;驱动层3;硬件层4,DSP模块41、存储器42、主声道输出通道43、副声道输出通道44。
本发明实施例还提供一种基于主副声道的多音频流混音播放系统,用于实现上述实施例1提供的一种基于主副声道的多音频流混音播放方法,参见图2,其特征在于:包括应用层1、框架层2、驱动层3和硬件层4;
应用层1包括多个第三方应用程序,用于发起播放音视频的动作;
框架层2用于根据预设压低策略获取并管理来源于第三方应用程序的多种音频流;
驱动层3包括音频驱动模块,用于响应音频流管理模块23和/或混音策略模块24的音频输出控制命令,完成音频流的播放和/或音量控制;
硬件层4包括DSP模块41,用于对混音后的多种音频流进行处理输出;还包括主声道输出通道43、副声道输出通道44(音频输出的物理通道),以及存储音频数据的存储器42。
本基础方案为实施例1中的混音播放方法提供硬件基础,将所有的第三方应用程序对应播出的音频流进行解码后,统一分配至框架层2进行音量修正,由于无需第三方应用程序额外的混音设置,有助于减少应用开发量,降低音频处理失误率、提高混音效率,进一步扩大混音策略对所有应用的适用范围;采用音频流真正播放的时刻进行混音,从而能够进一步提高混音音频播放的一致性,给予用户更佳的混音体验。
在本实施例中,框架层2包括依次连接的Java层媒体播放器21、Native层媒体播放器22、音频流管理模块23和混音策略模块24;
Java层媒体播放器21,用于对Java层的音频流进行软件解码;
Native层媒体播放器22,用于对Native层的音频流进行软件解码;
音频流管理模块23,用于将解码后的音频流与对应的属性信息进行封装,并发送到混音策略模块24;还用于保存每一音频流的播放音量;
具体的:音频流管理模块23在接收到Java层媒体播放器21及Native层媒体播放器22软件解码后的音频流(例如PCM数据流)后,根据音频流的音频流类型调用相应的属性信息,将该音频流与这些属性信息进行封装,并将封装完成的音频流发送给混音策略模块24。
混音策略模块24,用于根据预设压低策略管理计算每一类型的音频流的目标输出音量,并更新到音频流管理模块23中,具体为实现实施例1中的步骤S2。
在本实施例中,多媒体APP、导航APP、VR APP产生的音频属于Java层音频,电话APP产生的电话音频属于Native层音频,FM产生的音频则直接输入到硬件层4。
前置音量是指音频流管理模块23存储的框架层2中各音频流的音量;对应的,后置音量是音频流管理模块23存储的用户调整后保存的主声道的音量以及预先设定好的副声道的音量。
上述实施例为本发明较佳的实施方式,但本发明的实施方式并不受上述实施例的限制,其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化,均应为等效的置换方式,都包含在本发明的保护范围之内。

Claims (9)

1.一种基于主副声道的多音频流混音播放方法,其特征在于,包括步骤:
S1、获取所有解码后的音频流及对应的属性信息;
S2、根据预设压低策略和所述属性信息,计算每一类型的所述音频流的目标输出音量;
S3、根据所述目标输出音量对所有类型的所述音频流进行混音输出;
所述步骤S2包括:
S21、根据所述属性信息,判断当前音频流是否为主声道输出,若是则进入步骤S22,若否则进入步骤S23;
S22、根据所述属性信息,判断对应于所述当前音频流的第一音频流类型是否会压低第二音频流类型,若是,则根据预设压低策略计算所述第一音频流类型在主声道上的目标输出音量,若否,则将其前置音量默认为目标输出音量;
S23、根据所述属性信息,判断是否存在压低对应于所述当前音频流的第一音频流类型的第二音频流类型,若是,则根据预设压低策略计算所述第二音频流类型在对应的主声道上或副声道上的目标输出音量,若否,退出本次音量调整;其中,所述第二音频流类型为混音输出的所述音频流中区别于所述第一音频流类型的任一音频流类型;
所述前置音量是系统通过调用音频管理(AudioManager)API对各音频流的音量进行设定而得到的音量值。
2.如权利要求1所述的一种基于主副声道的多音频流混音播放方法,其特征在于,在所述步骤S1中:所述属性信息包括音频流类型、优先级、输出声道以及对其它所述音频流类型的压低比例。
3.如权利要求2所述的一种基于主副声道的多音频流混音播放方法,其特征在于,所述步骤S22包括:
S221、根据所述属性信息获取所述当前音频流的优先级信息,若所述当前音频流对应的第一音频流类型的优先级最高,则进入步骤S225,否则进入步骤S222;
S222、遍历优先级高于所述第一音频流类型的第二音频流类型,获取所述第一音频流类型对每一所述第二音频流类型的压低比例并取最小值,标记为最小压低比例;
S223、当最小压低比例等于100%时,则进入步骤S225,否则根据所述最小压低比例及对应的第二音频流类型的当前音量计算混音策略音量;
S224、将所述混音策略音量设置为所述第一音频流类型的目标输出音量;
S225、将所述第一音频流类型的前置音量默认为其目标输出音量。
4.如权利要求2所述的一种基于主副声道的多音频流混音播放方法,其特征在于,当所述第二音频流类型为主声道输出时,所述步骤S23包括:
A、根据所述属性信息获取所述当前音频流的优先级信息,遍历优先级低于所述第一音频流类型的第二音频流类型;
B、判断优先级低于所述第一音频流类型的所述第二音频流类型是否处于播放状态,若是则获取所述第一音频流类型对每一所述第二音频流类型的压低比例并取最小值,标记为最小压低比例,若否则进入步骤E;
C、当最小压低比例等于100%时,则退出本次音量调整,否则根据所述最小压低比例及所述第二音频流类型的当前音量计算混音策略音量;
D、当判断到所述混音策略音量小于所述第二音频流类型的后置音量时,将所述混音策略音量设置为所述第二音频流类型的目标输出音量,否则退出本次音量调整;
E、判断到主声道是否仅有第二音频流类型处于播放状态,若是则根据所述第一音频流类型对FM的压低比例、以及所述第一音频流类型的当前音量计算FM混音策略音量,若否则退出本次音量调整;
F、若所述混音策略音量小于当前FM音量且不为100%,则将所述混音策略音量设置为所述第二音频流类型的目标输出音量,否则退出本次音量调整;
所述后置音量是音频流管理模块存储的用户调整后保存的主声道的音量以及预先设定好的副声道的音量。
5.如权利要求2所述的一种基于主副声道的多音频流混音播放方法,其特征在于,当所述第二音频流类型为副声道输出时,所述步骤S23包括:
a、根据所述属性信息获取所述当前音频流的优先级信息,遍历优先级低于所述第一音频流类型的第二音频流类型;
b、获取所述第一音频流类型对每一所述第二音频流类型的压低比例;
c、根据每一所述压低比例和所述第一音频流类型的当前音量,计算对应所述第二音频流类型的混音策略音量;
d、判断所述混音策略音量是否小于所述第二音频流类型当前的前置音量,若是则将所述混音策略音量设置为所述第二音频流类型的目标输出音量,否则退出本次音量调整。
6.如权利要求3所述的一种基于主副声道的多音频流混音播放方法,其特征在于,在所述步骤S223中,所述混音策略音量的计算公式如下:
minSrcStreamVol=floor(min_ratio1*TopStreamCurrentVol);
其中,minSrcStreamVol为所述混音策略音量,min_ratio1为最小压低比例,TopStreamCurrentVol为对应最小压低比例的第二音频流类型的当前音量;floor()表示向下取整功能。
7.如权利要求1所述的一种基于主副声道的多音频流混音播放方法,其特征在于,还包括:
S0、根据框架层中各音频流的前置音量,设定副声道输出的每一音频流类型的副声道输出音量。
8.一种基于主副声道的多音频流混音播放系统,用于实现如权利要求1~7任一项权利要求所述的一种基于主副声道的多音频流混音播放方法,其特征在于:包括应用层、框架层、驱动层和硬件层;
所述应用层包括多个第三方应用程序,用于发起播放音视频的动作;
所述框架层用于根据预设压低策略获取并管理来源于所述第三方应用程序的多种音频流;
所述驱动层包括音频驱动模块,用于响应所述框架层的音频输出控制命令,完成所述音频流的播放和/或音量控制;
所述硬件层包括DSP模块,用于对混音后的多种所述音频流进行处理输出。
9.如权利要求8所述的一种基于主副声道的多音频流混音播放系统,其特征在于:所述框架层包括依次连接的Java层媒体播放器、Native层媒体播放器、音频流管理模块和混音策略模块;
所述Java层媒体播放器,用于对Java层的音频流进行软件解码;
所述Native层媒体播放器,用于对Native层的所述音频流进行软件解码;
所述音频流管理模块,用于将解码后的所述音频流与对应的属性信息进行封装,并发送到所述混音策略模块;还用于保存每一所述音频流的播放音量;
所述混音策略模块,用于根据预设压低策略管理计算每一类型的所述音频流的目标输出音量,并更新到所述音频流管理模块中。
CN202110602986.XA 2021-05-31 2021-05-31 一种基于主副声道的多音频流混音播放方法及系统 Active CN113423006B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110602986.XA CN113423006B (zh) 2021-05-31 2021-05-31 一种基于主副声道的多音频流混音播放方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110602986.XA CN113423006B (zh) 2021-05-31 2021-05-31 一种基于主副声道的多音频流混音播放方法及系统

Publications (2)

Publication Number Publication Date
CN113423006A CN113423006A (zh) 2021-09-21
CN113423006B true CN113423006B (zh) 2022-07-15

Family

ID=77713413

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110602986.XA Active CN113423006B (zh) 2021-05-31 2021-05-31 一种基于主副声道的多音频流混音播放方法及系统

Country Status (1)

Country Link
CN (1) CN113423006B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117854520A (zh) * 2022-10-09 2024-04-09 华为技术有限公司 一种混音方法及相关装置

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009050903A1 (ja) * 2007-10-19 2009-04-23 Panasonic Corporation オーディオミキシング装置
JPWO2009050896A1 (ja) * 2007-10-16 2011-02-24 パナソニック株式会社 ストリーム合成装置、復号装置、方法
CN103617803A (zh) * 2013-11-08 2014-03-05 中标软件有限公司 一种车载系统上多音源自动切换方法及系统
CN104811806A (zh) * 2015-03-23 2015-07-29 四川长虹电器股份有限公司 音频混合输出控制的方法
CN106648534A (zh) * 2016-12-26 2017-05-10 三星电子(中国)研发中心 一种对互斥的音频实现同时播放的方法
CN107301035A (zh) * 2016-04-15 2017-10-27 中兴通讯股份有限公司 一种基于Android系统的音频同步录放系统及方法
CN110673964A (zh) * 2019-09-10 2020-01-10 沈阳中科创达软件有限公司 一种车载系统的音频播放控制方法和装置
CN111009251A (zh) * 2019-10-31 2020-04-14 惠州华阳通用电子有限公司 一种车载混音方法及装置
CN111381954A (zh) * 2018-12-27 2020-07-07 深圳市优必选科技有限公司 一种音频数据录制方法、系统及终端设备
CN111625214A (zh) * 2020-05-22 2020-09-04 广州视源电子科技股份有限公司 音频控制方法、装置、设备及存储介质

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8165321B2 (en) * 2009-03-10 2012-04-24 Apple Inc. Intelligent clip mixing
CN110032357B (zh) * 2019-04-09 2022-05-10 海信视像科技股份有限公司 应用程序的音频数据的输出方法及显示设备

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2009050896A1 (ja) * 2007-10-16 2011-02-24 パナソニック株式会社 ストリーム合成装置、復号装置、方法
WO2009050903A1 (ja) * 2007-10-19 2009-04-23 Panasonic Corporation オーディオミキシング装置
CN103617803A (zh) * 2013-11-08 2014-03-05 中标软件有限公司 一种车载系统上多音源自动切换方法及系统
CN104811806A (zh) * 2015-03-23 2015-07-29 四川长虹电器股份有限公司 音频混合输出控制的方法
CN107301035A (zh) * 2016-04-15 2017-10-27 中兴通讯股份有限公司 一种基于Android系统的音频同步录放系统及方法
CN106648534A (zh) * 2016-12-26 2017-05-10 三星电子(中国)研发中心 一种对互斥的音频实现同时播放的方法
CN111381954A (zh) * 2018-12-27 2020-07-07 深圳市优必选科技有限公司 一种音频数据录制方法、系统及终端设备
CN110673964A (zh) * 2019-09-10 2020-01-10 沈阳中科创达软件有限公司 一种车载系统的音频播放控制方法和装置
CN111009251A (zh) * 2019-10-31 2020-04-14 惠州华阳通用电子有限公司 一种车载混音方法及装置
CN111625214A (zh) * 2020-05-22 2020-09-04 广州视源电子科技股份有限公司 音频控制方法、装置、设备及存储介质

Also Published As

Publication number Publication date
CN113423006A (zh) 2021-09-21

Similar Documents

Publication Publication Date Title
US11379178B2 (en) Loudness control for user interactivity in audio coding systems
CN101808208B (zh) 电视机音效模式设置的方法及电视机
KR101673834B1 (ko) 협업 사운드 시스템
WO2011079758A1 (zh) 音频应用冲突的管理方法和管理器
JP2010515938A (ja) デジタル音声ミキシング
CN110321096A (zh) 一种多路音频智能控制方法及相关装置和设备
CN113423006B (zh) 一种基于主副声道的多音频流混音播放方法及系统
US8265941B2 (en) Method and an apparatus for decoding an audio signal
US20210152858A1 (en) Decoder equipment generating an order for an audio profile that is to be applied
US20070218878A1 (en) Method and system for prioritizing audio channels at a mixer level
CN111916080A (zh) 语音识别资源选取方法、装置、计算机设备及存储介质
CN110502207B (zh) 背景声的静音方法、系统、设备及存储介质
CN105933542A (zh) 一种智能功放的调整方法及系统
CN115278484A (zh) 音频流的控制方法、装置、设备及介质
CN1835107A (zh) 具有自动停止音乐功能的移动通信终端及停止音乐方法
US20090116667A1 (en) Method and Apparatus for Volume Adjustment
US20240007812A1 (en) Systems and methods for wireless surround sound
CN113115178B (zh) 音频信号处理方法及装置
JP5324965B2 (ja) 明瞭度改善機能付再生装置
CN118116358A (zh) 一种音频控制方法
CN117539424A (zh) 控制音量的方法和装置、电子设备和存储介质
CN116639064A (zh) 一种车机音频播放管理方法和系统
CN116450079A (zh) 音量控制方法、车载信息娱乐设备及存储介质
AU2021392734A9 (en) Systems and methods for wireless surround sound
JP4792819B2 (ja) 遠隔編集方法及び遠隔編集システム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant