CN117527771B - 音频传输方法、装置、存储介质及电子设备 - Google Patents
音频传输方法、装置、存储介质及电子设备 Download PDFInfo
- Publication number
- CN117527771B CN117527771B CN202410019484.8A CN202410019484A CN117527771B CN 117527771 B CN117527771 B CN 117527771B CN 202410019484 A CN202410019484 A CN 202410019484A CN 117527771 B CN117527771 B CN 117527771B
- Authority
- CN
- China
- Prior art keywords
- audio
- audio frame
- frame
- current output
- arbitration module
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000005540 biological transmission Effects 0.000 title claims abstract description 155
- 238000000034 method Methods 0.000 title claims abstract description 51
- 238000009432 framing Methods 0.000 claims abstract description 28
- 238000012545 processing Methods 0.000 claims description 25
- 238000005070 sampling Methods 0.000 claims description 24
- 238000007781 pre-processing Methods 0.000 claims description 10
- 238000004590 computer program Methods 0.000 claims description 6
- 230000006870 function Effects 0.000 description 12
- 238000010586 diagram Methods 0.000 description 8
- 238000004891 communication Methods 0.000 description 5
- 238000012790 confirmation Methods 0.000 description 5
- 238000001514 detection method Methods 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 3
- 230000001133 acceleration Effects 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 230000007613 environmental effect Effects 0.000 description 2
- 230000005484 gravity Effects 0.000 description 2
- 238000002955 isolation Methods 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 230000007774 longterm Effects 0.000 description 2
- 239000002184 metal Substances 0.000 description 2
- 238000010295 mobile communication Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000005236 sound signal Effects 0.000 description 2
- 230000001413 cellular effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 230000006837 decompression Effects 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000000153 supplemental effect Effects 0.000 description 1
- 238000010897 surface acoustic wave method Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
- H04L65/80—Responding to QoS
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
- H04L65/60—Network streaming of media packets
- H04L65/75—Media network packet handling
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Details Of Audible-Bandwidth Transducers (AREA)
Abstract
本申请公开了一种音频传输方法、装置、存储介质及电子设备,其中,该音频传输方法包括获取音频数据;对音频数据进行分帧处理,生成若干音频帧;采用第一传输通道向音频裁决模块发送若干音频帧,以使音频裁决模块得到第一音频帧;采用第二传输通道向音频裁决模块发送若干音频帧,以使音频裁决模块得到第二音频帧;通过音频裁决模块确定将第一音频帧或第二音频帧作为当前输出音频帧进行输出。本方案可以音频卡顿的现象。
Description
技术领域
本申请实施例涉及音频传输技术领域,具体涉及一种音频传输方法、装置、存储介质及电子设备。
背景技术
随着音频技术的普及,各式各样不同的应用程序应运而生。针对一些特别的应用,对无线音频传输的低延迟要求较高,例如电竞游戏类应用,用户在玩游戏时,游戏画面跟需要与传输至用户佩戴耳机的声音几乎完全同步。
但是,在无线音频传输的过程中,由于环境因素的影响(比如厚实的墙壁,金属隔离带,电子干扰等),不可避免的会出现丢包,从而导致音频出现卡顿现象,严重影响了用户体验。
发明内容
本申请实施例提供了一种音频传输方法、装置、存储介质及电子设备,可以减少音频卡顿的现象。
第一方面,本申请实施例提供了一种音频传输方法,包括:
获取音频数据;
对所述音频数据进行分帧处理,生成若干音频帧;
采用第一传输通道向音频裁决模块发送若干所述音频帧,以使所述音频裁决模块得到第一音频帧;
采用第二传输通道向所述音频裁决模块发送若干所述音频帧,以使所述音频裁决模块得到第二音频帧;
通过所述音频裁决模块确定将所述第一音频帧或所述第二音频帧作为当前输出音频帧进行输出。
在本申请实施例提供的音频传输方法中,所述通过所述音频裁决模块确定将所述第一音频帧或所述第二音频帧作为当前输出音频帧进行输出,包括:
当所述音频裁决模块在预设时间内接收到当前第一音频帧时,将所述当前第一音频帧作为当前输出音频帧;
当所述音频裁决模块在预设时间内未接收到所述当前第一音频帧时,将与所述当前第一音频帧对应的目标第二音频帧作为当前输出音频帧;
按照预设策略输出所述当前输出音频帧。
在本申请实施例提供的音频传输方法中,所述按照预设策略输出所述当前输出音频帧,包括:
判断上一输出音频帧与所述当前输出音频帧是否为同一类型;
根据判断结果对所述当前输出音频帧进行相应数据处理,并将处理后的所述当前输出音频帧进行输出。
在本申请实施例提供的音频传输方法中,所述根据判断结果对所述当前输出音频帧进行相应数据处理,包括:
当上一当前输出音频帧与所述当前输出音频帧为同一类型时,对所述当前输出音频帧进行第一预处理;
当上一当前输出音频帧与所述当前输出音频帧为不同类型时,对所述当前输出音频帧进行第二预处理。
在本申请实施例提供的音频传输方法中,所述对所述当前输出音频帧进行第一预处理,包括:
根据预设采样率对所述当前输出音频帧的采样率进行调整。
在本申请实施例提供的音频传输方法中,对所述当前输出音频帧进行第二预处理,包括:
根据预设采样率对所述当前输出音频帧的采样率进行调整;
对调整后的所述当前输出音频帧做交叉渐入处理。
在本申请实施例提供的音频传输方法中,所述对所述音频数据进行分帧处理,生成若干音频帧,包括:
获取第一传输通道的传输帧长;
根据所述传输帧长对所述音频数据进行分帧处理。
第二方面,本申请实施例提供了一种音频传输装置,包括:
音频获取单元,用于获取音频数据;
音频分帧单元,用于对所述音频数据进行分帧处理,生成若干音频帧;
第一发送单元,用于采用第一传输通道向音频裁决模块发送若干所述音频帧,以使所述音频裁决模块得到第一音频帧;
第二发送单元,用于采用第二传输通道向所述音频裁决模块发送若干所述音频帧,以使所述音频裁决模块得到第二音频帧;
音频输出单元,用于通过所述音频裁决模块确定将所述第一音频帧或所述第二音频帧作为当前输出音频帧进行输出。
第三方面,本申请提供了一种存储介质,所述存储介质存储有多条指令,所述指令适于处理器进行加载,以执行上述任一项所述的音频传输方法。
第四方面,本申请提供了一种电子设备,包括存储器,处理器及存储在存储器上并可在处理器上运行的计算机程序,其中,所述处理器执行所述计算机程序时实现上述任一项所述的音频传输方法。
综上所述,本申请实施例提供的音频传输方法包括获取音频数据;对所述音频数据进行分帧处理,生成若干音频帧;采用第一传输通道向音频裁决模块发送若干所述音频帧,以使所述音频裁决模块得到第一音频帧;采用第二传输通道向所述音频裁决模块发送若干所述音频帧,以使所述音频裁决模块得到第二音频帧;通过所述音频裁决模块确定将所述第一音频帧或所述第二音频帧作为当前输出音频帧进行输出。本方案通过采用两个传输通道对音频帧进行发送,可以减少由于丢包导致音频帧缺失,造成音频卡顿的现象。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的音频传输系统的结构示意图。
图2是本申请实施例提供的音频传输系统的另一结构示意图。
图3是本申请实施例提供的音频传输方法的流程示意图。
图4是本申请实施例提供的音频传输装置的结构示意图。
图5是本申请实施例提供的电子设备的结构示意图。
具体实施方式
这里将详细地对示例性实施例进行说明,其示例表示在附图中。下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。
需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素,此外,本申请不同实施例中具有同样命名的部件、特征、要素可能具有相同含义,也可能具有不同含义,其具体含义需以其在该具体实施例中的解释或者进一步结合该具体实施例中上下文进行确定。
应当理解,此处所描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。
在后续的描述中,使用用于表示元件的诸如“模块”、“部件”或者“单元”的后缀仅为了有利于本申请的说明,其本身没有特定的意义。因此,“模块”、“部件”或者“单元”可以混合地使用。
在本申请的描述中,需要说明的是,术语“上”、“下”、“左”、“右”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系,仅是为了便于描述本申请和简化描述,而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作,因此不能理解为对本申请的限制。此外,“第一”、“第二”等术语仅用于描述目的,而不能理解为指示或暗示相对重要性。
在无线音频传输的过程中,由于环境因素的影响(比如厚实的墙壁,金属隔离带,电子干扰等),不可避免的会出现丢包,从而导致音频出现卡顿现象,严重影响了用户体验。
基于此,本申请实施例提供了一种音频传输方法、装置、存储介质及电子设备,具体的,该音频传输装置可以集成在电子设备中,该电子设备可以是服务器,也可以是终端等设备;其中,该终端可以包括手机、穿戴式智能设备、平板电脑、笔记本电脑、以及个人计算机(Personal Computer,PC)等;该服务器可以是单台服务器,也可以是由多个服务器组成的服务器集群,可以是实体的服务器,也可是虚拟服务器。
例如,请参阅图1,图1是本申请实施例提供的音频传输系统的结构示意图。该音频传输系统可以包括发送端1000和接收端2000。
其中,发送端1000可以通过网络与接收端2000连接。在本实施例中,可以由发送端1000和接收端2000执行本申请实施例提供的音频传输方法。
比如,发送端1000获取音频数据;发送端1000对所述音频数据进行分帧处理,生成若干音频帧;发送端1000采用第一传输通道向音频裁决模块发送若干所述音频帧,以使所述音频裁决模块得到第一音频帧;发送端1000采用第二传输通道向所述音频裁决模块发送若干所述音频帧,以使所述音频裁决模块得到第二音频帧;其中,该音频裁决模块可以集成于接收端2000中。接收端2000通过所述音频裁决模块确定将所述第一音频帧或所述第二音频帧作为当前输出音频帧进行输出。
再例如,请参阅图2,图2是本申请实施例提供的音频传输系统的另一结构示意图。该音频传输系统可以包括发送端1000、接收端2000和服务器3000。
其中,发送端1000和接收端2000可以分别通过网络连接服务器3000。发送端1000和接收端2000通过服务器3000间接通信。
在本实施例中,可以由服务器3000执行本申请实施例提供的音频传输方法。具体的,服务器3000获取音频数据;服务器3000对所述音频数据进行分帧处理,生成若干音频帧;服务器3000采用第一传输通道向音频裁决模块发送若干所述音频帧,以使所述音频裁决模块得到第一音频帧;服务器3000采用第二传输通道向所述音频裁决模块发送若干所述音频帧,以使所述音频裁决模块得到第二音频帧;服务器3000通过所述音频裁决模块确定将所述第一音频帧或所述第二音频帧作为当前输出音频帧进行输出。
在本申请实施例中,发送端1000和接收端2000可以是具有计算硬件的电子设备,该计算硬件能够支持和执行与多媒体对应的软件产品。需要说明的是,网络可以是比如无线局域网(WLAN)、局域网(LAN)、蜂窝网络、蓝牙、2G网络、3G网络、4G网络、5G网络等无线网络。
以下将通过具体实施例分别对本申请所示的技术方案进行详细说明。需要说明的是,以下实施例的描述顺序不作为对实施例优先顺序的限定。
请参阅图3,图3是本申请实施例提供的音频传输方法的流程示意图。该音频传输方法的具体流程可以如下:
101、获取音频数据。
其中,该音频数据指的是通过音频方式传输的数据。需要说明的是,该音频数据包括但不限于为具有联网功能的音频录制设备实时录制的原始无损音频。
在一些实施例中,该音频录制设备可以集成于发送端内,发送端可以直接通过音频录制设备获取音频数据。音频录制设备还可以为独立于发送端之外的设备,该音频数据可以是音频录制设备采集得到,之后再由发送端通过数据交互从音频录制设备中获取音频数据。
102、对音频数据进行分帧处理,生成若干音频帧。
其中,分帧处理可以是按照预设帧长对音频数据进行分帧,然后对每一帧数据进行封装,就可以得到若干音频帧。每一待音频帧可以包括整个音频频段,也可以包括部分音频频段。
在一实施例中,若干音频帧可以携带其标识信息,该标识信息用于表征对应音频帧在音频数据中位置关系。其中,该标识信息可以为帧序号或时间戳。
其中,若干音频帧可以通过第一传输通道和/或第二传输通道进行传输。
需要说明的是,第一传输通道和第二传输通道采用不同的传输协议。在本申请实施例中,第一传输通道可以采用超宽带(UltraWide Band,UWB)传输协议。第二传输通道可以采用蓝牙传输协议。也即,第一传输通道可以为UWB传输通道。第二传输通道可以为蓝牙传输通道。
蓝牙传输是现在已经很通用的技术,由于蓝牙传输的带宽是有限的。一般都是传输采样率在48K以下的音频数据,且是压缩、有损的音频数据。而由于UWB传输具有高带宽、低延迟的优势,可以传输高采样率、无压缩、无损的音频数据。
因此,为了降低音频传输的延迟,并保证输出音频的质量,在本申请实施例中,采用UWB传输通道发送的音频帧为主进行输出,而蓝牙传输通道发送的音频帧则作为补充数据,从而在UWB传输通道发生丢包现象时,采用蓝牙传输通道发送的音频帧进行替补输出,避免出现音频帧缺失,造成音频卡顿的现象。
由于本申请实施例输出的音频帧以UWB传输通道发送的音频帧为主,因此在对音频数据进行分帧处理时,可以采用UWB传输通道的传输帧长作为预设帧长对音频数据进行分帧处理。
也即,步骤“对音频数据进行分帧处理,生成若干音频帧”可以包括获取第一传输通道的传输帧长;根据传输帧长对音频数据进行分帧处理。
103、采用第一传输通道向音频裁决模块发送若干音频帧,以使音频裁决模块得到第一音频帧。
可以理解的是,由于第一传输通道为UWB传输通道,因此,通过第一传输通道发送的音频帧为无损的第一音频帧。
104、采用第二传输通道向音频裁决模块发送若干音频帧,以使音频裁决模块得到第二音频帧。
可以理解的是,由于第二传输通道为UWB传输通道,通过第二传输通道发送的音频帧为压缩、有损的第二音频帧。因此,在采用第二传输通道向音频裁决模块发送若干音频帧之前,还需要对待传输的若干音频帧进行压缩处理。
105、通过音频裁决模块确定将第一音频帧或第二音频帧作为当前输出音频帧进行输出。
在本申请实施例中,采用UWB传输通道发送的音频帧为主进行输出,而蓝牙传输通道发送的音频帧则作为补充数据。
因此,在一些实施例中,当音频裁决模块在预设时间内接收到当前第一音频帧时,将当前第一音频帧作为当前输出音频帧;当音频裁决模块在预设时间内未接收到当前第一音频帧时,将与当前第一音频帧对应的目标第二音频帧作为当前输出音频帧;按照预设策略输出当前输出音频帧。
其中,该预设时间指的是预设重传次数N所需要的总时间T。
在采用第一传输通道发送某一音频帧时,若音频裁决模块接收到该音频帧时,会向发送端返回一确认信息,若音频裁决模块接收到该音频帧时,则不会向发送端返回该确认信息。若发送端在预设时间段t内未接收到该确认信息,则重新通过第一传输通道向音频裁决模块发送该音频帧(重传)。直至发送端接收到返回的确认信息,或发送端在预设时间T内未接收到该确认信息为止。此时,可以通过第一传输通道向音频裁决模块发送下一音频帧。
可以理解的是,由于第一音频帧和第二音频帧的类型不同,在当前输出的音频帧由第一音频帧切换为第二音频帧,或由第二音频帧切换为第一音频帧时,会导致当前输出的音频帧与上一输出的音频帧之间出现不连贯的现象,导致用户听到的声音不连续。为了避免出现该现象,使得不同类型的音频帧之间可以平滑切换,在不同类型的音频帧进行切换时,需要进行相应的数据处理。
也即,在一些实施例中,步骤“按照预设策略输出当前输出音频帧”具体可以为:判断上一输出音频帧与所述当前输出音频帧是否为同一类型;根据判断结果对所述当前输出音频帧进行相应数据处理,并将处理后的所述当前输出音频帧进行输出。
其中,当上一当前输出音频帧与当前输出音频帧为同一类型时,对当前输出音频帧进行第一预处理;当上一当前输出音频帧与当前输出音频帧为不同类型时,对当前输出音频帧进行第二预处理。
具体的,当上一当前输出音频帧与当前输出音频帧为同一类型时,可以根据预设采样率对当前输出音频帧的采样率进行调整。当上一当前输出音频帧与当前输出音频帧为不同类型时,可以先根据预设采样率对当前输出音频帧的采样率进行调整;再对调整后的当前输出音频帧做交叉渐入处理(CrossFade)。
其中,该预设采样率指的是第一音频帧的采样率。可以理解的是,由于本申请实施例采用第一音频帧为主进行输出,而蓝牙传输通道发送的第二音频帧则作为补充数据。因此,在将第二音频帧作为补充数据进行输出时,需要对第二音频帧的采样率进行调整,使得第二音频帧的采样率与第一音频帧的采样率相同,从而避免由于前一输出音频帧与当前输出音频帧的采样率不同而影响音频输出效果。
在一些实施例中,可以通过插值法对第二音频帧的采样率进行调整。比如,在两个采样点之间插入前后两个相邻样点的平均值,从而使得第二音频帧的采样率倍增。
在一些实施例中,设当前输出音频帧的帧长为N,其尾部有M点需要做交叉渐入处理,x是第一音频帧,y是第二音频帧。那么,对调整后的当前输出音频帧做交叉渐入处理的具体过程可以如下式:
For(i=0;i<(N-M);i++)out[i]=x[i];
For(i=0;i<(N-M);i++)out[i+N-M]=x(i+N-M)*i/N-M+y(i+N-M)*(1-i/(N-M))。
可以理解的是,在将第二音频帧作为补充数据进行输出时,需要对该第二音频帧进行解压缩处理。
在一些实施例中,与当前第一音频帧对应的目标第二音频帧可以为音频裁决模块接收到的第二音频帧中标识信息与当前第一音频帧的标识信息相同的第二音频帧。
在另一实施例中,当音频裁决模块接收到的第二音频帧中没有与当前第一音频帧的标识信息相同的第二音频帧时,可以将音频裁决模块中与该第二音频帧相邻的第二音频帧作为当前输出音频帧进行输出。虽然可能导致输出的音频不顺滑,但是也比整个音频帧缺失的效果好很多。
比如,当前第一音频帧的标识信息为N,但是音频裁决模块未接收到当前第一音频帧,那么此时可以采用标识信息为N的第二音频帧作为当前输出音频帧进行输出。但是,也存在音频裁决模块中没有标识信息为N的第二音频帧的情况,那么此时可以将标识信息为N+1的第二音频帧作为当前输出音频帧进行输出。
综上所述,本申请实施例提供的音频传输方法包括获取音频数据;对所述音频数据进行分帧处理,生成若干音频帧;采用第一传输通道向音频裁决模块发送若干所述音频帧,以使所述音频裁决模块得到第一音频帧;采用第二传输通道向所述音频裁决模块发送若干所述音频帧,以使所述音频裁决模块得到第二音频帧;通过所述音频裁决模块确定将所述第一音频帧或所述第二音频帧作为当前输出音频帧进行输出。本方案通过采用两个传输通道对音频帧进行发送,以第一传输通道发送的音频帧为主进行输出,若是第一传输通道发送的某一音频帧在在多次重传之后仍然丢失,则采用第一传输通道发送的音频帧进行输出。也即,本方案可以减少由于丢包导致音频帧缺失,造成音频卡顿的现象。
为便于更好的实施本申请实施例提供的音频传输方法,本申请实施例还提供了一种音频传输装置。其中名词的含义与上述音频传输方法中相同,具体实现细节可以参考方法实施例中的说明。
请参阅图4,图4是本申请实施例提供的音频传输装置的结构示意图。该音频传输装置可以包括音频获取单元201、音频分帧单元202、第一发送单元203、第二发送单元204和音频输出单元205。其中,
音频获取单元201,用于获取音频数据;
音频分帧单元202,用于对音频数据进行分帧处理,生成若干音频帧;
第一发送单元203,用于采用第一传输通道向音频裁决模块发送若干音频帧,以使音频裁决模块得到第一音频帧;
第二发送单元204,用于采用第二传输通道向音频裁决模块发送若干音频帧,以使音频裁决模块得到第二音频帧;
音频输出单元205,用于通过音频裁决模块确定将第一音频帧或第二音频帧作为当前输出音频帧进行输出。
以上各个单元的具体实施方式可参见上述的音频传输方法的实施例,在此不再一一赘述。
综上所述,本申请实施例提供的音频传输装置可以通过音频获取单元201获取音频数据;由音频分帧单元202对音频数据进行分帧处理,生成若干音频帧;由第一发送单元203采用第一传输通道向音频裁决模块发送若干音频帧,以使音频裁决模块得到第一音频帧;由第二发送单元204采用第二传输通道向音频裁决模块发送若干音频帧,以使音频裁决模块得到第二音频帧;由音频输出单元205通过音频裁决模块确定将第一音频帧或第二音频帧作为当前输出音频帧进行输出。本方案通过采用两个传输通道对音频帧进行发送,以第一传输通道发送的音频帧为主进行输出,若是第一传输通道发送的某一音频帧在在多次重传之后仍然丢失,则采用第一传输通道发送的音频帧进行输出。也即,本方案可以减少由于丢包导致音频帧缺失,造成音频卡顿的现象。
本申请实施例还提供一种电子设备,其中可以集成有本申请实施例的音频传输装置,如图5所示,其示出了本申请实施例所涉及的电子设备的结构示意图,具体来讲:
该电子设备可以包括射频(Radio Frequency,RF)电路601、包括有一个或一个以上计算机可读存储介质的存储器602、输入单元603、显示单元604、传感器605、音频电路606、无线保真(Wireless Fidelity,WiFi)模块607、包括有一个或者一个以上处理核心的处理器608、以及电源609等部件。本领域技术人员可以理解,图5中示出的电子设备结构并不构成对电子设备的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。其中:
RF电路601可用于收发信息或通话过程中,信号的接收和发送,特别地,将基站的下行信息接收后,交由一个或者一个以上处理器608处理;另外,将涉及上行的数据发送给基站。通常,RF电路601包括但不限于天线、至少一个放大器、调谐器、一个或多个振荡器、用户身份模块(Subscriber Identity Module,SIM)卡、收发信机、耦合器、低噪声放大器(LowNoise Amplifier,LNA)、双工器等。此外,RF电路601还可以通过无线通信与网络和其他设备通信。无线通信可以使用任一通信标准或协议,包括但不限于全球移动通讯系统(Global System of Mobile communication,GSM)、通用分组无线服务(General PacketRadio Service,GPRS)、码分多址(Code Division Multiple Access,CDMA)、宽带码分多址(Wideband Code Division Multiple Access,WCDMA)、长期演进(Long Term Evolution,LTE)、电子邮件、短消息服务(Short Messaging Service,SMS)等。
存储器602可用于存储软件程序以及模块,处理器608通过运行存储在存储器602的软件程序以及模块,从而执行各种功能应用以及信息处理。存储器602可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等;存储数据区可存储根据电子设备的使用所创建的数据(比如音频数据、电话本等)等。此外,存储器602可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地,存储器602还可以包括存储器控制器,以提供处理器608和输入单元603对存储器602的访问。
输入单元603可用于接收输入的数字或字符信息,以及产生与用户设置以及功能控制有关的键盘、鼠标、操作杆、光学或者轨迹球信号输入。具体地,在一个具体的实施例中,输入单元603可包括触敏表面以及其他输入设备。触敏表面,也称为触摸显示屏或者触控板,可收集用户在其上或附近的触摸操作(比如用户使用手指、触笔等任何适合的物体或附件在触敏表面上或在触敏表面附近的操作),并根据预先设定的程式驱动相应的连接装置。可选的,触敏表面可包括触摸检测装置和触摸控制器两个部分。其中,触摸检测装置检测用户的触摸方位,并检测触摸操作带来的信号,将信号传送给触摸控制器;触摸控制器从触摸检测装置上接收触摸信息,并将它转换成触点坐标,再送给处理器608,并能接收处理器608发来的命令并加以执行。此外,可以采用电阻式、电容式、红外线以及表面声波等多种类型实现触敏表面。除了触敏表面,输入单元603还可以包括其他输入设备。具体地,其他输入设备可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆等中的一种或多种。
显示单元604可用于显示由用户输入的信息或提供给用户的信息以及电子设备的各种图形用户接口,这些图形用户接口可以由图形、文本、图标、视频和其任意组合来构成。显示单元604可包括显示面板,可选的,可以采用液晶显示器(Liquid Crystal Display,LCD)、有机发光二极管(Organic Light-Emitting Diode,OLED)等形式来配置显示面板。进一步的,触敏表面可覆盖显示面板,当触敏表面检测到在其上或附近的触摸操作后,传送给处理器608以确定触摸事件的类型,随后处理器608根据触摸事件的类型在显示面板上提供相应的视觉输出。虽然在图5中,触敏表面与显示面板是作为两个独立的部件来实现输入和输入功能,但是在某些实施例中,可以将触敏表面与显示面板集成而实现输入和输出功能。
电子设备还可包括至少一种传感器605,比如光传感器、运动传感器以及其他传感器。具体地,光传感器可包括环境光传感器及接近传感器,其中,环境光传感器可根据环境光线的明暗来调节显示面板的亮度,接近传感器可在电子设备移动到耳边时,关闭显示面板和/或背光。作为运动传感器的一种,重力加速度传感器可检测各个方向上(一般为三轴)加速度的大小,静止时可检测出重力的大小及方向,可用于识别手机姿态的应用(比如横竖屏切换、相关游戏、磁力计姿态校准)、振动识别相关功能(比如计步器、敲击)等; 至于电子设备还可配置的陀螺仪、气压计、湿度计、温度计、红外线传感器等其他传感器,在此不再赘述。
音频电路606、扬声器,传声器可提供用户与电子设备之间的音频接口。音频电路606可将接收到的音频数据转换后的电信号,传输到扬声器,由扬声器转换为声音信号输出;另一方面,传声器将收集的声音信号转换为电信号,由音频电路606接收后转换为音频数据,再将音频数据输出处理器608处理后,经RF电路601以发送给比如另一电子设备,或者将音频数据输出至存储器602以便进一步处理。音频电路606还可能包括耳塞插孔,以提供外设耳机与电子设备的通信。
WiFi属于短距离无线传输技术,电子设备通过WiFi模块607可以帮助用户收发电子邮件、浏览网页和访问流式媒体等,它为用户提供了无线的宽带互联网访问。虽然图5,示出了WiFi模块607,但是可以理解的是,其并不属于电子设备的必须构成,完全可以根据需要在不改变发明的本质的范围内而省略。
处理器608是电子设备的控制中心,利用各种接口和线路连接整个手机的各个部分,通过运行或执行存储在存储器602内的软件程序和/或模块,以及调用存储在存储器602内的数据,执行电子设备的各种功能和处理数据,从而对手机进行整体监控。可选的,处理器608可包括一个或多个处理核心;优选的,处理器608可集成应用处理器和调制解调处理器,其中,应用处理器主要处理操作系统、用户界面和应用程序等,调制解调处理器主要处理无线通信。可以理解的是,上述调制解调处理器也可以不集成到处理器608中。
电子设备还包括给各个部件供电的电源609(比如电池),优选的,电源可以通过电源管理系统与处理器608逻辑相连,从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。电源609还可以包括一个或一个以上的直流或交流电源、再充电系统、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。
尽管未示出,电子设备还可以包括摄像头、蓝牙模块等,在此不再赘述。具体在本实施例中,电子设备中的处理器608会按照如下的指令,将一个或一个以上的应用程序的进程对应的可执行文件加载到存储器602中,并由处理器608来运行存储在存储器602中的应用程序,从而实现各种功能,比如:
获取音频数据;
对音频数据进行分帧处理,生成若干音频帧;
采用第一传输通道向音频裁决模块发送若干音频帧,以使音频裁决模块得到第一音频帧;
采用第二传输通道向音频裁决模块发送若干音频帧,以使音频裁决模块得到第二音频帧;
通过音频裁决模块确定将第一音频帧或第二音频帧作为当前输出音频帧进行输出。
综上所述,本申请实施例提供的电子设备通过获取音频数据;对所述音频数据进行分帧处理,生成若干音频帧;采用第一传输通道向音频裁决模块发送若干所述音频帧,以使所述音频裁决模块得到第一音频帧;采用第二传输通道向所述音频裁决模块发送若干所述音频帧,以使所述音频裁决模块得到第二音频帧;通过所述音频裁决模块确定将所述第一音频帧或所述第二音频帧作为当前输出音频帧进行输出。本方案通过采用两个传输通道对音频帧进行发送,以第一传输通道发送的音频帧为主进行输出,若是第一传输通道发送的某一音频帧在在多次重传之后仍然丢失,则采用第一传输通道发送的音频帧进行输出。也即,本方案可以减少由于丢包导致音频帧缺失,造成音频卡顿的现象。
在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见上文针对音频传输方法的详细描述,此处不再赘述。
需要说明的是,对本申请实施例中的音频传输方法而言,本领域技术人员可以理解实现本申请实施例中的音频传输方法的全部或部分流程,是可以通过计算机程序来控制相关的硬件来完成,该计算机程序可存储于一计算机可读取存储介质中,如存储在终端的存储器中,并被该终端内的至少一个处理器执行,在执行过程中可包括如音频传输方法的实施例的流程。
对本申请实施例的音频传输装置而言,其各功能模块可以集成在一个处理芯片中,也可以是各个模块单独物理存在,还可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时,也可以存储在一个计算机可读取存储介质中。
为此,本申请实施例提供一种存储介质,其中存储有多条指令,该指令能够被处理器进行加载,以执行本申请实施例所提供的任一种音频传输方法中的步骤。其中,该存储介质可以为磁碟、光盘、只读存储器(Read Only MeMory,ROM)、随机存取记忆体(RandomAccess Memory,RAM)等。
以上分别对本申请所提供的音频传输方法、装置、存储介质及电子设备进行了详细介绍,本文中应用了具体个例对本申请的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本申请的核心思想;同时,对于本领域的技术人员,依据本申请的思想,在具体实施方式及应用范围上均会有改变之处,综上,本说明书内容不应理解为对本申请的限制。
Claims (9)
1.一种音频传输方法,其特征在于,包括:
获取音频数据;
对所述音频数据进行分帧处理,生成若干音频帧;
采用第一传输通道向音频裁决模块发送若干所述音频帧,以使所述音频裁决模块得到第一音频帧;
采用第二传输通道向所述音频裁决模块发送若干所述音频帧,以使所述音频裁决模块得到第二音频帧;
当所述音频裁决模块在预设时间内接收到当前第一音频帧时,将所述当前第一音频帧作为当前输出音频帧,所述预设时间为预设重传次数所需要的总时间;
当所述音频裁决模块在预设时间内未接收到所述当前第一音频帧时,将与所述当前第一音频帧对应的目标第二音频帧作为当前输出音频帧;
按照预设策略输出所述当前输出音频帧。
2.如权利要求1所述的音频传输方法,其特征在于,所述按照预设策略输出所述当前输出音频帧,包括:
判断上一输出音频帧与所述当前输出音频帧是否为同一类型;
根据判断结果对所述当前输出音频帧进行相应数据处理,并将处理后的所述当前输出音频帧进行输出。
3.如权利要求2所述的音频传输方法,其特征在于,所述根据判断结果对所述当前输出音频帧进行相应数据处理,包括:
当上一输出音频帧与所述当前输出音频帧为同一类型时,对所述当前输出音频帧进行第一预处理;
当上一输出音频帧与所述当前输出音频帧为不同类型时,对所述当前输出音频帧进行第二预处理。
4.如权利要求3所述的音频传输方法,其特征在于,所述对所述当前输出音频帧进行第一预处理,包括:
根据预设采样率对所述当前输出音频帧的采样率进行调整。
5.如权利要求3所述的音频传输方法,其特征在于,对所述当前输出音频帧进行第二预处理,包括:
根据预设采样率对所述当前输出音频帧的采样率进行调整;
对调整后的所述当前输出音频帧做交叉渐入处理。
6.如权利要求1-5任一项所述的音频传输方法,其特征在于,所述对所述音频数据进行分帧处理,生成若干音频帧,包括:
获取第一传输通道的传输帧长;
根据所述传输帧长对所述音频数据进行分帧处理。
7.一种音频传输装置,其特征在于,包括:
音频获取单元,用于获取音频数据;
音频分帧单元,用于对所述音频数据进行分帧处理,生成若干音频帧;
第一发送单元,用于采用第一传输通道向音频裁决模块发送若干所述音频帧,以使所述音频裁决模块得到第一音频帧;
第二发送单元,用于采用第二传输通道向所述音频裁决模块发送若干所述音频帧,以使所述音频裁决模块得到第二音频帧;
音频输出单元,用于当所述音频裁决模块在预设时间内接收到当前第一音频帧时,将所述当前第一音频帧作为当前输出音频帧,所述预设时间为预设重传次数所需要的总时间;当所述音频裁决模块在预设时间内未接收到所述当前第一音频帧时,将与所述当前第一音频帧对应的目标第二音频帧作为当前输出音频帧;按照预设策略输出所述当前输出音频帧。
8.一种存储介质,其特征在于,所述存储介质存储有多条指令,所述指令适于处理器进行加载,以执行权利要求1-6任一项所述的音频传输方法。
9.一种电子设备,其特征在于,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其中,所述处理器执行所述计算机程序时实现如权利要求1-6任一项所述的音频传输方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202410019484.8A CN117527771B (zh) | 2024-01-05 | 2024-01-05 | 音频传输方法、装置、存储介质及电子设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202410019484.8A CN117527771B (zh) | 2024-01-05 | 2024-01-05 | 音频传输方法、装置、存储介质及电子设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN117527771A CN117527771A (zh) | 2024-02-06 |
CN117527771B true CN117527771B (zh) | 2024-03-29 |
Family
ID=89764942
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202410019484.8A Active CN117527771B (zh) | 2024-01-05 | 2024-01-05 | 音频传输方法、装置、存储介质及电子设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117527771B (zh) |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1507731A (zh) * | 2001-05-04 | 2004-06-23 | Ssi��ʽ���� | 演示内容重放速率的实时控制技术 |
CN105989844A (zh) * | 2015-01-29 | 2016-10-05 | 中国移动通信集团公司 | 一种音频传输的自适应方法及装置 |
US9812146B1 (en) * | 2016-02-16 | 2017-11-07 | Amazon Technologies, Inc. | Synchronization of inbound and outbound audio in a heterogeneous echo cancellation system |
CN110620986A (zh) * | 2019-09-24 | 2019-12-27 | 深圳市东微智能科技股份有限公司 | 音频处理算法的调度方法、装置、音频处理器和存储介质 |
CN113114614A (zh) * | 2020-01-10 | 2021-07-13 | 索诺瓦公司 | 允许空间分集或自己语音拾取(ovpu)的双无线音频流传输 |
CN113555030A (zh) * | 2021-07-29 | 2021-10-26 | 杭州萤石软件有限公司 | 音频信号的处理方法、装置及设备 |
WO2023146565A1 (en) * | 2022-01-26 | 2023-08-03 | sdQUALCOMM INCORPORATED | Wireless microphone synchronization for btoip tws earbuds |
-
2024
- 2024-01-05 CN CN202410019484.8A patent/CN117527771B/zh active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1507731A (zh) * | 2001-05-04 | 2004-06-23 | Ssi��ʽ���� | 演示内容重放速率的实时控制技术 |
CN105989844A (zh) * | 2015-01-29 | 2016-10-05 | 中国移动通信集团公司 | 一种音频传输的自适应方法及装置 |
US9812146B1 (en) * | 2016-02-16 | 2017-11-07 | Amazon Technologies, Inc. | Synchronization of inbound and outbound audio in a heterogeneous echo cancellation system |
CN110620986A (zh) * | 2019-09-24 | 2019-12-27 | 深圳市东微智能科技股份有限公司 | 音频处理算法的调度方法、装置、音频处理器和存储介质 |
CN113114614A (zh) * | 2020-01-10 | 2021-07-13 | 索诺瓦公司 | 允许空间分集或自己语音拾取(ovpu)的双无线音频流传输 |
CN113555030A (zh) * | 2021-07-29 | 2021-10-26 | 杭州萤石软件有限公司 | 音频信号的处理方法、装置及设备 |
WO2023146565A1 (en) * | 2022-01-26 | 2023-08-03 | sdQUALCOMM INCORPORATED | Wireless microphone synchronization for btoip tws earbuds |
Non-Patent Citations (1)
Title |
---|
利用移动数据信道"复合捆绑技术"实现高保真数字音频广播的直播传输;李化;莫克;荆错;刘永庆;;数字通信世界;20120901(09);全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN117527771A (zh) | 2024-02-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109511037B (zh) | 耳机音量调节方法、装置及计算机可读存储介质 | |
WO2017020663A1 (zh) | 弹幕视频直播方法、装置、视频源设备及网络接入设备 | |
EP4175349A1 (en) | Method for processing relax measurement parameter update and terminal device | |
CN108337533B (zh) | 视频压缩方法和装置 | |
CN112019929A (zh) | 一种音量调节方法和装置 | |
CN104967865A (zh) | 视频预览方法和装置 | |
WO2023246516A1 (zh) | 一种临床研究项目的访视报告生成方法和装置 | |
CN108492837B (zh) | 音频突发白噪声的检测方法、装置及存储介质 | |
CN113805837A (zh) | 音频处理方法、移动终端及存储介质 | |
CN113286335B (zh) | 频点切换方法、装置、存储介质及接入点 | |
WO2017049933A1 (zh) | 一种直通呼叫通信方法及终端 | |
CN111970738B (zh) | 一种网络切换控制方法、设备及计算机可读存储介质 | |
CN111642000B (zh) | 数据传输方法、装置、电子设备及计算机可读存储介质 | |
CN113079536A (zh) | 一种定时提前量的更新方法、装置及移动终端 | |
CN116994596A (zh) | 啸叫抑制方法、装置、存储介质及电子设备 | |
CN111372003A (zh) | 一种摄像头切换方法、装置及终端 | |
CN107948443B (zh) | 通信中防止扬声器干扰的方法、装置以及计算机存储介质 | |
CN117527771B (zh) | 音频传输方法、装置、存储介质及电子设备 | |
CN107659996B (zh) | 信道接入方法及设备 | |
CN106815077B (zh) | 一种基于智能设备架构的数据处理方法,及智能设备 | |
CN112367425B (zh) | 一种音量调节方法、装置及终端 | |
CN114257902A (zh) | 一种音腔及其温度控制方法、终端及存储介质 | |
CN117545054B (zh) | Uwb通信方法、装置、存储介质及电子设备 | |
CN118337770B (zh) | 音频传输方法、装置、存储介质及电子设备 | |
CN108111553B (zh) | 提供服务的方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
REG | Reference to a national code |
Ref country code: HK Ref legal event code: DE Ref document number: 40106556 Country of ref document: HK |