CN115223579A - 一种编解码器协商与切换方法 - Google Patents

一种编解码器协商与切换方法 Download PDF

Info

Publication number
CN115223579A
CN115223579A CN202110423987.8A CN202110423987A CN115223579A CN 115223579 A CN115223579 A CN 115223579A CN 202110423987 A CN202110423987 A CN 202110423987A CN 115223579 A CN115223579 A CN 115223579A
Authority
CN
China
Prior art keywords
audio
category
encoder
electronic device
decoder
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110423987.8A
Other languages
English (en)
Inventor
提纯利
卢曰万
韦家毅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Priority to CN202110423987.8A priority Critical patent/CN115223579A/zh
Priority to EP22790822.5A priority patent/EP4318467A1/en
Priority to JP2023564200A priority patent/JP2024515684A/ja
Priority to PCT/CN2022/083816 priority patent/WO2022222713A1/zh
Publication of CN115223579A publication Critical patent/CN115223579A/zh
Priority to US18/489,217 priority patent/US20240045643A1/en
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/16Vocoder architecture
    • G10L19/18Vocoders using multiple modes
    • G10L19/22Mode decision, i.e. based on audio signal content versus external parameters
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16Sound input; Sound output
    • G06F3/162Interface to dedicated audio devices, e.g. audio drivers, interface to CODECs
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/16Vocoder architecture
    • G10L19/18Vocoders using multiple modes
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/02Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
    • G10L19/032Quantisation or dequantisation of spectral components
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/16Vocoder architecture
    • G10L19/167Audio streaming, i.e. formatting and decoding of an encoded audio signal representation into a data stream for transmission or storage purposes
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/008Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/16Vocoder architecture
    • G10L19/18Vocoders using multiple modes
    • G10L19/24Variable rate codecs, e.g. for generating different qualities using a scalable representation such as hierarchical encoding or layered encoding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W4/00Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/80Services using short range communication, e.g. near-field communication [NFC], radio-frequency identification [RFID] or low energy communication

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computational Linguistics (AREA)
  • Acoustics & Sound (AREA)
  • Theoretical Computer Science (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

本申请提供了一种编解码器协商与切换方法,应用于编解码器协商与切换系统,系统包括电子设备和音频播放设备。电子设备与音频播放设备在传输音频数据之前,将编解码器划分到多个类别,并确定出电子设备与音频播放设备共有的编解码器类别(例如第一类别和第二类别)。之后,电子设备根据第一类别中的编解码器与音频播放设备进行音频数据的传输,当需要切换编解码器时,电子设备不需要与音频播放设备重协商编解码器的类型,直接根据第二类别中的编解码器进行音频数据的传输。实现了当电子设备切换编码器时,不需要再和音频播放设备重新协商编解码器的类型,解决了电子设备与音频播放设备切换编解码器时音频数据中断和卡顿的问题,提高了用户体验。

Description

一种编解码器协商与切换方法
技术领域
本申请涉及音频处理技术领域,尤其涉及一种编解码器协商与切换方法。
背景技术
随着用户对音频体验追求的不断提升,支持高清音质、多声道、3D Audio等特性的音频内容日渐丰富,相应的编解码技术也迅速涌现,配备多个音频编解码器(Coder-Decoder,Codec)成为无线音频设备的常态。
在电子设备与音频播放设备每次建立连接时,电子设备和音频播放设备会协商并得到双方都支持的编解码器类型,之后,电子设备根据双方都支持的编解码器类型对音频数据进行处理,然后电子设备将编码后的音频数据发送至音频播放设备,音频播放设备接收到编码后的音频数据,并采用对应的解码器解码出来进行播放。
当电子设备的网络变差或者用户选择了更高质量音质时,电子设备需要切换编码器。这时,电子设备与音频播放设备需要重新协商编解码器的类型。在电子设备与音频播放设备重新协商编解码器的类型过程中,电子设备会暂停发送音频数据至音频播放设备,导致出现音频数据断流、卡顿的情况,影响用户体验。因此,如何实现电子设备与音频播放设备编解码器快速切换和切换过程中音频数据无断流是亟待解决的问题。
发明内容
本申请提供了一种编解码器协商与切换方法,实现了当电子设备需要切换编码器时,不需要再和音频播放设备重新协商编解码的类型,直接从之前协商好的双方均支持的编解码器类别中选择一个类别中的编解码器进行音频数据传输,解决了电子设备与音频播放设备切换编解码器时音频数据中断和卡顿的问题,提高了用户体验。
第一方面,本申请提供了一种编解码器协商与切换系统,系统包括电子设备和音频播放设备,其中:电子设备用于:当音频数据的第一参数信息满足第一条件时,根据第一类别中的第一编码器将音频数据编码成第一编码音频数据,并将第一编码音频数据发送至音频播放设备;其中,第一类别为电子设备在获取音频数据之前,确定出电子设备与音频播放设备共有的编解码器类别;将第一类别的标识至音频播放设备;音频播放设备用于:接收电子设备发送的第一类别的标识;通过第一类别中的第一解码器将第一编码音频数据解码成第一播放音频数据;电子设备还用于:当音频数据的第二参数信息满足第二条件时,根据第二类别中的第二编码器将音频数据编码成第二编码音频数据,并将第二编码音频数据发送至音频播放设备;其中,第二类别为电子设备在获取音频数据之前,确定的电子设备与音频播放设备共有的编解码器类别;将第二类别的标识发送至音频播放设备;音频播放设备还用于:接收电子设备发送的第二类别的标识;通过第二类别中的第二解码器将第二编码音频数据解码成第二播放音频数据;其中,第一条件与第二条件不同,第一类别与第二类别不同。
通过第一方面的系统,电子设备与音频播放设备在传输音频数据之前,将编解码器划分到多个类别中,并确定出电子设备与音频播放设备共有的编解码器类别(例如第一类别和第二类别)。之后,电子设备获取音频数据的第一参数信息,当音频数据的第一参数信息满足第一条件时,从共有的编解码器类别中选用第一类别中的编解码器进行音频数据的传输。当播放的音频数据内容、播放的音频数据的应用、用户选择、或者网络条件变化之后,电子设备获取音频数据的第二参数,当音频数据的第二参数满足第二条件时,电子设备不需要再次和音频播放设备协商编解码器,直接选用共有的编解码器类别中的第二类别中的编解码器进行音频数据的传输。这样,当电子设备需要切换编码器时,不需要再和音频播放设备重新协商编解码器的类型,直接从之前协商好的双方均支持的编解码器类别中选择一个类别中的编解码器进行音频数据传输,解决了电子设备与音频播放设备切换编解码器时音频数据中断和卡顿的问题,提高了用户体验。
结合第一方面,在一种可能的实现方式中,第一类别中的编码器至少包括第一编码器,第二类别中的编码器至少包括第二编码器。
结合第一方面,在一种可能的实现方式中,电子设备还用于:接收音频播放设备发送的第一类别的标识和第二类别的标识;其中,第一类别中的解码器至少包括第一解码器,第二类别中的解码器的至少包括第二解码器。这样,音频播放设备根据编解码器分类标准将解码器划分到多个类别中。示例性的,划分到多个类别中的解码器标识大于等于1的编解码器类别为第一类别和第二类别。划分到第一类别中的解码器至少包括第一解码器,还可以包括其他的解码器,例如第三解码器;划分到第二类别中的解码器至少包括第二解码器,还可以包括其他的解码器,例如第四解码器。
结合第一方面,在一种可能的实现方式中,电子设备还用于:确认出电子设备与音频播放设备的共有类别为第一类别和第二类别;将第一类别的标识和第二类别的标识发送至音频播放设备;音频播放设备,还用于:接收电子设备发送的第一类别的标识和第二类别的标识。电子设备将双方均支持的编解码器类别发送至音频播放设备,使得音频播放设备知道双方均支持的编解码器类别。
在另一种可能的实现方式中,电子设备也可以不需要将第一类别的标识和第二类别的标识发送至音频播放设备。在传输音频数据时,电子设备只需将根据音频数据的参数信息采用的编解码器类别的标识发送至音频播放设备。
结合第一方面,在一种可能的实现方式中,第一类别中的编码器只包括第一编码器,第一类别中的解码器只包括第一解码器;在电子设备确认出电子设备与音频播放设备的共有类别为第一类别和第二类别之后,电子设备还用于:当第一参数信息满足第一条件时,通过第一类别中的第一编码器将音频数据编码成第一编码音频数据,并将第一编码音频数据发送至音频播放设备;音频播放设备,还用于通过第一类别中的第一解码器将第一编码音频数据解码成第一播放音频数据。电子设备与音频播放设备均支持的编解码器类别为第一类别和第二类别,当第一类别中只包括一个编码器和一个解码器时,电子设备将该类别中的一个编码器和一个解码器作为默认的编码器和解码器。之后,当电子设备与音频播放设备采用第一类别中的编解码器进行音频数据传输时,根据第一类别中默认的编码器将音频数据编码为第一编码音频数据,之后,电子设备将第一编码音频数据发送至音频播放设备,音频播放设备采用第一类别中默认的解码器将第一编码音频数据解码为第一播放音频数据。
结合第一方面,在一种可能的实现方式中,第一类别中的编码器还包括第三编码器,第一类别中的解码器还包括第三解码器;在电子设备确认出电子设备与音频播放设备的共有类别为第一类别和第二类别之后,电子设备还用于:当第一参数信息满足第一条件时,通过第一类别中的第一编码器将音频数据编码成第一编码音频数据,并将第一编码音频数据发送至音频播放设备;其中,第一编码器的功耗低于第三编码器,或者,第一编码器的优先级或功率高于第三编码器;音频播放设备,还用于通过第一类别中的第一解码器将第一编码音频数据解码成第一播放音频数据;其中,第一解码器的功耗低于第二解码器,或者,第一解码器的优先级或功率高于第二解码器。电子设备与音频播放设备均支持的编解码器类别为第一类别和第二类别,当第一类别中包括多个编码器和多个解码器时,电子设备将从多个编码器根据预设的规则确定出一个编码器作为默认的编码器,根据预设规则从多个解码器确定出一个解码器作为默认的解码器。默认的规则可以是优先级规则、效率高低规则和功耗高低规则等等。需要说明的是,电子设备可以从多个编码器根据预设的规则确定出一个编码器作为默认的编码器,并根据预设规则从多个解码器确定出一个解码器作为默认的解码器。在另一种可能的实现方式中,电子设备只需从多个编码器根据预设的规则确定出一个编码器作为默认的编码器,音频播放设备根据预设规则从多个解码器确定出一个解码器作为默认的解码器。本申请在此不做限定。
结合第一方面,在一种可能的实现方式中,电子设备与音频播放设备共有的编码器类别只包括第一类别时,电子设备还用于:当第二参数信息满足第二条件时,通过第一类别中的第一编码器将音频数据编码成第三编码音频数据,并将第三编码音频数据发送至音频播放设备;音频播放设备,还用于通过第一类别中的第一解码器将第三编码音频数据解码成第三播放音频数据。当电子设备与音频播放设备只支持一种编解码器类别时,这种情况下,当音频数据的参数信息由第一参数信息变化为第二参数信息时,并且第二参数信息满足第二条件,电子设备无法切换编解码器,电子设备还是采用第一类别中默认的编解码器与音频播放设备进行音频数据的传输。
结合第一方面,在一种可能的实现方式中,电子设备与音频播放设备共有的编码器类别只包括第一类别,包括:电子设备未收到音频播放设备发送的第二类别的标识;或电子设备划分到第二类别中的编码器的数量为0。
结合第一方面,在一种可能的实现方式中,第一类别中的编码器只包括第一编码器,第一类别中的解码器只包括第一解码器;当第一参数信息满足第一条件时,电子设备还用于:根据第一类别中的第一编码器将音频数据编码成第一编码音频数据,并将第一编码音频数据发送至音频播放设备;音频播放设备,还用于通过第一类别中的第一解码器将第一编码音频数据解码成第一播放音频数据。电子设备与音频播放设备均支持的编解码器类别只包括第一类别,当第一类别中只包括一个编码器和一个解码器时,电子设备将该类别中的一个编码器和一个解码器作为默认的编码器和解码器。之后,当电子设备与音频播放设备采用第一类别中的编解码器进行音频数据传输时,根据第一类别中默认的编码器将音频数据编码为第一编码音频数据,之后,电子设备将第一编码音频数据发送至音频播放设备,音频播放设备采用第一类别中默认的解码器将第一编码音频数据解码为第一播放音频数据。
结合第一方面,在一种可能的实现方式中,第一类别中的编码器还包括第三编码器,第一类别中的解码器还包括第三解码器;当第一参数信息满足第一条件时,电子设备还用于:第一类别中的第一编码器将音频数据编码成第一编码音频数据,并将第一编码音频数据发送至音频播放设备;其中,第一编码器的功耗低于第三编码器,或者,第一编码器的优先级或功率高于第三编码器;音频播放设备,还用于通过第一类别中的第一解码器将第一编码音频数据解码成第一播放音频数据;其中,第一解码器的功耗低于第三解码器,或者,第一解码器的优先级或功率高于第三解码器。电子设备与音频播放设备均支持的编解码器类别只包括第一类别,当第一类别中包括多个编码器和多个解码器时,电子设备将从多个编码器根据预设的规则确定出一个编码器作为默认的编码器,根据预设规则从多个解码器确定出一个解码器作为默认的解码器。默认的规则可以是优先级规则、效率高低规则和功耗高低规则等等。需要说明的是,电子设备可以从多个编码器根据预设的规则确定出一个编码器作为默认的编码器,并根据预设规则从多个解码器确定出一个解码器作为默认的解码器。在另一种可能的实现方式中,电子设备只需从多个编码器根据预设的规则确定出一个编码器作为默认的编码器,音频播放设备根据预设规则从多个解码器确定出一个解码器作为默认的解码器。本申请在此不做限定。
结合第一方面,在一种可能的实现方式中,第一类别中的编解码器为高清音质编解码器,第二类别中的编解码器为标准音质编解码器;或第一类别中的编解码器为标准音质编解码器,第二类别中的编解码器为高清音质编解码器。
结合第一方面,在一种可能的实现方式中,在电子设备获取音频数据之前,电子设备还用于:基于第一编码器的参数信息以及编解码器分类标准将第一编码器划到第一类别中,基于第二编码器的参数信息以及编解码器分类标准将第二编码器划分到第二类别中;其中,第一编码器的参数信息和第二编码器的参数信息包括采样率、码率、量化位深、声道数和音频流格式中的一个或多个;音频播放设备还用于:基于第一解码器的参数信息以及编解码器分类标准将第一解码器划到第一类别中,基于第二解码器的参数信息以及编解码器分类标准将第二解码器划分到第二类别中;其中,第一解码器的参数信息和第二解码器的参数信息包括采样率、码率、量化位深、声道数和音频流格式中的一个或多个;其中,编解码器分类标准包括编解码器类别与编解码器的参数信息的映射关系。需要说明的是,第一编码器的参数信息、第二编码器的参数信息、第一解码器的参数信息和第二解码器的参数信息均相同。
结合第一方面,在一种可能的实现方式中,第一类别中的编解码器的采样率大于等于目标采样率,第二类别中的编解码器的采样率小于目标采样率;和/或,第一类别中的编解码器的码率大于等于目标码率,第二类别中的编解码器的码率小于目标码率;和/或,第一类别中的编解码器的声道数大于等于目标声道数,第二类别中的编解码器的声道数小于目标声道数;和/或,第一类别中的编解码器的量化位深大于等于目标量化位深,第二类别中的编解码器的量化位深小于目标量化位深;和/或,第一类别中的编解码器的音频流格式为目标音频流格式,第二类别中的编解码器的音频流格式为目标音频流格式。
结合第一方面,在一种可能的实现方式中,第一参数信息中的参数种类、第一编码器的参数信息中的参数种类、第一解码器的参数信息中的参数种类、第二参数信息中的参数种类、第二编码器的参数信息中的参数种类、第二解码器的参数信息中的参数种类相同;第一参数信息满足第一条件,第二参数信息满足第二条件,具体包括:第一参数信息中的采样率大于等于目标采样率,第二参数信息中的采样率小于目标采样率;和/或,第一参数信息中的码率大于等于目标码率,第二参数信息中的码率小于目标码率;和/或,第一参数信息中的量化位深大于等于目标量化位深,第二参数信息中的量化位深小于目标量化位深;和/或,第一参数信息中的声道数大于等于目标声道数,第二参数信息中的声道数小于于目标声道数;和/或,第一参数信息中的音频流格式为目标音频流格式,第二参数信息中的音频流格式为目标音频流格式。
结合第一方面,在一种可能的实现方式中,当第一编码器与第二编码器的时延相同时,电子设备还用于:通过第一编码器将音频数据中的第一音频帧编码成第一编码音频帧,并将第一编码音频帧发送给音频播放设备;通过第二编码器将音频数据中的第一音频帧编码成第二编码音频帧,并将第二编码音频帧发送至音频播放设备,通过第二编码器将音频数据中的第二音频帧编码成第N编码音频帧,并将第N编码音频帧发送至音频播放设备;音频播放设备,还用于:通过第一解码器将第一编码音频帧解码为第一解码音频帧,通过第二解码器将第二编码音频帧解码为第二解码音频帧,通过第二解码器将第N编码音频帧解码为第N播放音频帧;对第一解码音频帧和第二解码音频帧进行平滑处理,得到第一播放音频帧。电子设备100首先播放第一播放音频帧,之后,电子设备100播放第N播放音频帧。这样,当第一编码器与第二编码器的时延相同时,第一编码器与第二编码器的切换需要在一帧内完成,该一帧即为第一音频帧,音频播放设备对第一音频帧进行平滑处理之后在播放,防止编解码器切换时出现卡顿的情况,实现平滑过渡。对第一音频帧之后相邻的音频帧,例如第二音频帧,不需要平滑处理,直接将第二解码器进行解码并播放出来。
结合第一方面,在一种可能的实现方式中,当第一编码器与第二编码器的时延不同,电子设备还用于:通过公式D=取整((max(编码器一的总时延,编码器二的总时延)+(帧长-编码器一的总时延%帧长)+帧长-1)/帧长)获取D帧音频数据帧;其中,D表示第一编码器与第二编码器切换过程中的总音频数据帧数,max表示取最大值操作,%表示取余操作,帧长表示一帧音频数据的时长;通过第一编码器将音频数据中的第一音频帧至第D音频帧进行编码,得到第三编码音频帧至第D+2编码音频帧;通过第二编码器将音频数据中的第D音频帧进行编码,得到第D+3编码音频帧,通过第二编码器将音频数据中的第D+1音频帧进行编码,得到第N编码音频帧;将第三编码音频帧至第D+2编码音频帧、第D+3编码音频帧、第N编码音频帧发送至音频播放设备;音频播放设备,还用于:通过第一解码器将第三编码音频帧至第D+2编码音频帧解码为第二播放音频帧至第D+1播放音频帧,通过第二解码器将D+3编码音频帧解码为第三解码音频帧;播放第二播放音频帧至第D播放音频帧;对第D+1播放音频帧和第三解码音频帧进行平滑处理,得到目标播放音频帧,播放目标播放音频帧;通过第二解码器将第N编码音频帧解码为第N解码音频帧,播放第N解码音频帧。这样,当第一编码器与第二编码器的时延不同时,第一编码器与第二编码器的切换需要在多帧(D帧)内完成,这样,使得第一编码器与第二编码器切换过程中的,由第一编码器编码的音频数据到达音频播放设备并解码出来,由第二编码器编码的音频数据到达音频播放设备并解码出来的时刻是一样的。若编码器切换需要在D帧内完成,音频播放设备直接将第一音频帧至第D-1音频帧解码并播放出啦,音频播放设备对第D音频帧进行平滑处理之后再播放,防止编解码器切换时出现卡顿的情况,实现平滑过渡。对第D音频帧之后相邻的音频帧,例如第N音频帧,不需要平滑处理,直接将第N解码器进行解码并播放出来。
结合第一方面,在一种可能的实现方式中,音频播放设备,还用于:通过公式Pcm=wi*pcmA+(1-wi)*pcmB得到第一播放音频帧;其中,Pcm为第一播放音频帧,wi为平滑系数,wi i大于0小于1,pcmA为第一解码音频帧,pcmB为第二解码音频帧。
结合第一方面,在一种可能的实现方式中,音频播放设备,还用于:通过公式Pcm=wi*pcmA+(1-wi)*pcmB得到第一播放音频帧;其中,Pcm为第一播放音频帧,wi为平滑系数,wi i大于0小于1,pcmA为第一解码音频帧,pcmB为第二解码音频帧。
结合第一方面,在一种可能的实现方式中,音频播放设备,还用于:通过公式Pcm=wi*pcmA+(1-wi)*pcmB得到目标播放音频帧;其中,Pcm为目标播放音频帧,wi为平滑系数,wi i大于0小于1,pcmA为第D+1播放音频帧,pcmB为第三解码音频帧。
第二方面,本申请提供另了编解码器协商与切换方法,方法包括:当音频数据的第一参数信息满足第一条件时,电子设备根据第一类别中的第一编码器将音频数据编码成第一编码音频数据,并将第一编码音频数据发送至音频播放设备;其中,第二类别为电子设备在获取音频数据之前,确定出电子设备与音频播放设备共有的编解码器类别;当第二参数信息满足第二条件时,电子设备根据第二类别中的第二编码器将音频数据编码成第二编码音频数据,并将第二编码音频数据发送至音频播放设备;其中,第二类别为电子设备在获取音频数据之前,确定出电子设备与音频播放设备共有的编解码器类别;其中,第二类别为电子设备在获取音频数据之前,确定出电子设备与音频播放设备共有的编解码器类别,第一条件与第二条件不同,第一类别与第二类别不同。
通过第一方面的方法,电子设备与音频播放设备在传输音频数据之前,将编解码器划分到多个类别中,并确定出电子设备与音频播放设备共有的编解码器类别(例如第一类别和第二类别)。之后,电子设备获取音频数据的第一参数信息,当音频数据的第一参数信息满足第一条件时,从共有的编解码器类别中选用第一类别中的编解码器进行音频数据的传输。当播放的音频数据内容、播放的音频数据的应用、用户选择、或者网络条件变化之后,电子设备获取音频数据的第二参数,当音频数据的第二参数满足第二条件时,电子设备不需要再次和音频播放设备协商编解码器,直接选用共有的编解码器类别中的第二类别中的编解码器进行音频数据的传输。这样,当电子设备需要切换编码器时,不需要再和音频播放设备重新协商编解码的类型,直接从之前协商好的双方均支持的编解码器类别中选择一个类别中的编解码器进行音频数据传输,解决了电子设备与音频播放设备切换编解码器时音频数据中断和卡顿的问题,提高了用户体验。
结合第一方面,在一种可能的实现方式中,第一类别中的编码器至少包括第一编码器,第二类别中的编码器至少包括第二编码器。
结合第一方面,在一种可能的实现方式中,方法还包括:电子设备接收音频播放设备发送的第一类别的标识和第二类别的标识;其中,第一类别中的解码器至少包括第一解码器,第二类别中的解码器的至少包括第二解码器。这样,音频播放设备根据编解码器分类标准将解码器划分到多个类别中。示例性的,划分到多个类别中的解码器标识大于等于1的编解码器类别为第一类别和第二类别。划分到第一类别中的解码器至少包括第一解码器,还可以包括其他的解码器,例如第三解码器;划分到第二类别中的解码器至少包括第二解码器,还可以包括其他的解码器,例如第四解码器。
结合第一方面,在一种可能的实现方式中,方法还包括:电子设备确认出电子设备与音频播放设备的共有类别为第一类别和第二类别;电子设备将第一类别的标识和第二类别的标识发送至音频播放设备。电子设备将双方均支持的编解码器类别发送至音频播放设备,使得音频播放设备知道双方均支持的编解码器类别。
结合第一方面,在一种可能的实现方式中,第一类别中的编码器只包括第一编码器;在电子设备确认出电子设备与音频播放设备的共有类别为第一类别和第二类别之后,方法还包括:当第一参数信息满足第一条件时,电子设备通过第一类别中的第一编码器将音频数据编码成第一编码音频数据,并将第一编码音频数据发送至音频播放设备。电子设备与音频播放设备均支持的编解码器类别为第一类别和第二类别,当第一类别中只包括一个编码器时,电子设备将该类别中的一个编码器作为默认的编码器和解码器。之后,当电子设备与音频播放设备采用第一类别中的编解码器进行音频数据传输时,根据第一类别中默认的编码器将音频数据编码为第一编码音频数据,之后,电子设备将第一编码音频数据发送至音频播放设备。
结合第一方面,在一种可能的实现方式中,第一类别中的编码器还包括第三编码器;在电子设备确认出电子设备与音频播放设备的共有类别为第一类别和第二类别之后,方法还包括:当第一参数信息满足第一条件时,电子设备通过第一类别中的第一编码器将音频数据编码成第一编码音频数据,并将第一编码音频数据发送至音频播放设备;其中,第一编码器的功耗低于第三编码器,或者,第一编码器的优先级或功率高于第三编码器。电子设备与音频播放设备均支持的编解码器类别为第一类别和第二类别,当第一类别中包括多个编码器时,电子设备将从多个编码器根据预设的规则确定出一个编码器作为默认的编码器。默认的规则可以是优先级规则、效率高低规则和功耗高低规则等等。
结合第一方面,在一种可能的实现方式中,当电子设备与音频播放设备共有的编码器类别只包括第一类别时,方法还包括:当第二参数信息满足第二条件时,电子设备通过第一类别中的第一编码器将音频数据编码成第三编码音频数据,并将第三编码音频数据发送至音频播放设备。当电子设备与音频播放设备只支持一种编解码器类别时,这种情况下,当音频数据的参数信息由第一参数信息变化为第二参数信息时,并且第二参数信息满足第二条件,电子设备无法切换编解码器,电子设备还是采用第一类别中默认的编解码器与音频播放设备进行音频数据的传输。
结合第一方面,在一种可能的实现方式中,当电子设备未收到音频播放设备发送的第二类别的标识或电子设备划分到第二类别中的编码器的数量为0时,电子设备与音频播放设备共有的编码器类别只包括第一类别。
结合第一方面,在一种可能的实现方式中,第一类别中的编码器只包括第一编码器,第一类别中的解码器只包括第一解码器;当第一参数信息满足第一条件时,电子设备根据第一类别中的第一编码器将音频数据编码成第一编码音频数据,并将第一编码音频数据发送至音频播放设备。电子设备与音频播放设备均支持的编解码器类别只包括第一类别,当第一类别中只包括一个编码器时,电子设备将该类别中的一个编码器作为默认的编码器。之后,当电子设备与音频播放设备采用第一类别中的编解码器进行音频数据传输时,根据第一类别中默认的编码器将音频数据编码为第一编码音频数据,之后,电子设备将第一编码音频数据发送至音频播放设备。
结合第一方面,在一种可能的实现方式中,第一类别中的编码器还包括第三编码器,第一类别中的解码器还包括第三解码器;当第一参数信息满足第一条件时,电子设备根据第一类别中的第一编码器将音频数据编码成第一编码音频数据,并将第一编码音频数据发送至音频播放设备;其中,第一编码器的功耗低于第三编码器,或者,第一编码器的优先级或功率高于第三编码器。电子设备与音频播放设备均支持的编解码器类别只包括第一类别,当第一类别中包括多个编码器时,电子设备将从多个编码器根据预设的规则确定出一个编码器作为默认的编码器。默认的规则可以是优先级规则、效率高低规则和功耗高低规则等等。
结合第一方面,在一种可能的实现方式中,第一类别中的编解码器为高清音质编解码器,第二类别中的编解码器为标准音质编解码器;或第一类别中的编解码器为标准音质编解码器,第二类别中的编解码器为高清音质编解码器。
结合第一方面,在一种可能的实现方式中,在电子设备获取音频数据之前,方法还包括:电子设备基于第一编码器的参数信息以及编解码器分类标准将第一编码器划到第一类别中,基于第二编码器的参数信息以及编解码器分类标准将第二编码器划分到第二类别中;其中,第一编码器的参数信息和第二编码器的参数信息包括采样率、码率、量化位深、声道数和音频流格式中的一个或多个;编解码器分类标准包括编解码器类别与编解码器的参数信息的映射关系。需要说明的是,第一编码器的参数信息、第二编码器的参数信息均相同。
结合第一方面,在一种可能的实现方式中,第一类别中的编解码器的采样率大于等于目标采样率,第二类别中的编解码器的采样率小于目标采样率;和/或,第一类别中的编解码器的码率大于等于目标码率,第二类别中的编解码器的码率小于目标码率;和/或,第一类别中的编解码器的声道数大于等于目标声道数,第二类别中的编解码器的声道数小于目标声道数;和/或,第一类别中的编解码器的量化位深大于等于目标量化位深,第二类别中的编解码器的量化位深小于目标量化位深;和/或,第一类别中的编解码器的音频流格式为目标音频流格式,第二类别中的编解码器的音频流格式为目标音频流格式。
结合第一方面,在一种可能的实现方式中,第一参数信息中的参数种类、第一编码器的参数信息中的参数种类、第一解码器的参数信息中的参数种类、第二参数信息中的参数种类、第二编码器的参数信息中的参数种类、第二解码器的参数信息中的参数种类相同;第一参数信息满足第一条件,第二参数信息满足第二条件,具体包括:第一参数信息中的采样率大于等于目标采样率,第二参数信息中的采样率小于目标采样率;和/或,第一参数信息中的码率大于等于目标码率,第二参数信息中的码率小于目标码率;和/或,第一参数信息中的量化位深大于等于目标量化位深,第二参数信息中的量化位深小于目标量化位深;和/或,第一参数信息中的声道数大于等于目标声道数,第二参数信息中的声道数小于于目标声道数;和/或,第一参数信息中的音频流格式为目标音频流格式,第二参数信息中的音频流格式为目标音频流格式。
第三方面,本申请提供了一种电子设备,包括一个或多个处理器、一个或多个存储器,一个或多个编码器;一个或多个存储器、一个或多个编码器与一个或多个处理器耦合,一个或多个存储器用于存储计算机程序代码,计算机程序代码包括计算机指令,一个或多个处理器调用计算机指令以使得电子设备执行如第二方面中任一种可能的实现方式中的一种编解码器协商与切换方法。
第四方面,本申请提供了一种计算机可读存储介质,计算机可读存储介质中存储有计算机可执行指令,计算机可执行指令在被计算机调用时用于使计算机执行上述第二方面中任一种可能的实现方式中提供的一种编解码器协商与切换方法。
第五方面,本申请提供了一种包含指令的计算机程序产品,当计算机程序产品在计算机上运行时,使得计算机执行上述第二方面中任一种可能的实现方式中提供的一种编解码器协商与切换方法。
附图说明
图1为本申请实施例提供的一种电子设备与音频播放设备传输音频数据的过程示意图;
图2为本申请实施例提供的一种系统示意图;
图3为本申请实施例提供的一种组网传输的系统示意图;
图4为本申请实施例提供的另一种电子设备100与音频播放设备200传输音频数据的过程示意图;
图5为本申请实施例提供的一种电子设备100的结构示意图;
图6为本申请实施例提供的一种电子设备100(例如手机)的软件结构框图;
图7为本申请实施例提供的一种音频播放设备200的硬件结构示意图;
图8为本申请实施例提供的一种电子设备100与音频播放设备200协商共有的编解码器类别的示意图;
图9为本申请实施例提供的一种编解码器协商与切换方法的流程图;
图9A-图9C为本申请实施例提供的一组电子设备100与音频播放设备200通过蓝牙建立通信连接的UI图;
图10A-图10D为本申请实施例提供的另一组UI图。
具体实施方式
下面将结合附图对本申请实施例中的技术方案进行清除、详尽地描述。其中,在本申请实施例的描述中,除非另有说明,“/”表示或的意思,例如,A/B可以表示A或B;文本中的“和/或”仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况,另外,在本申请实施例的描述中,“多个”是指两个或多于两个。
以下,术语“第一”、“第二”仅用于描述目的,而不能理解为暗示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征,在本申请实施例的描述中,除非另有说明,“多个”的含义是两个或两个以上。
本申请的说明书和权利要求书及附图中的术语“用户界面(user interface,UI)”,是应用程序或操作系统与用户之间进行交互和信息交换的介质接口,它实现信息的内部形式与用户可以接受形式之间的转换。应用程序的用户界面是通过java、可扩展标记语言(extensible markup language,XML)等特定计算机语言编写的源代码,界面源代码在终端设备上经过解析,渲染,最终呈现为用户可以识别的内容,比如图像、文本、按钮等控件。控件(control)也称为部件(widget),是用户界面的基本元素,典型的控件有工具栏(toolbar)、菜单栏(menu bar)、输入框、按钮(button)、滚动条(scrollbar)、图像和文本。界面中的控件的属性和内容是通过标签或者节点来定义的,比如XML通过<Textview>、<ImgView>、<VideoView>等节点来规定界面所包含的控件。一个节点对应界面中一个控件或属性,节点经过解析和渲染之后呈现为用户可视的内容。此外,很多应用程序,比如混合应用(hybrid application)的界面中通常还包含有网页。网页,也称为页面,可以理解为内嵌在应用程序界面中的一个特殊的控件,网页是通过特定计算机语言编写的源代码,例如超文本标记语言(hyper text markup language,HTML),层叠样式表(cascading stylesheets,CSS),java脚本(JavaScript,JS)等,网页源代码可以由浏览器或与浏览器功能类似的网页显示组件加载和显示为用户可识别的内容。网页所包含的具体内容也是通过网页源代码中的标签或者节点来定义的,比如HTML通过<p>、<img>、<video>、<canvas>来定义网页的元素和属性。
用户界面常用的表现形式是图形用户界面(graphic user interface,GUI),是指采用图形方式显示的与计算机操作相关的用户界面。它可以是在电子设备的显示屏中显示的一个窗口、控件等界面元素。
目前,电子设备(例如手机)与音频播放设备(例如耳机)建立通信连接之后,电子设备将音频数据发送至音频播放设备,音频播放设备将播放电子设备发送的音频数据。在电子设备将音频数据发送至音频播放设备之前,电子设备与音频播放设备协商编解码器类型,电子设备将选择双方都支持的编解码器对音频数据进行编码,并将编码后的音频数据发送至音频播放设备。
如图1所示,图1示例性示出了一种电子设备与音频播放设备传输音频数据的过程示意图。
其中,电子设备可以是音频信号源端(Source,SRS),音频播放设备可以是音频信号宿端(Sink,SNK)。
电子设备包括音频数据获取单元、音频流解码单元、混音渲染单元、无线音频编码单元、能力协商单元和无线传输单元。
音频播放设备包括无线传输单元、无线音频解码单元、音频功放单元、音频播放单元和能力协商单元。
在电子设备将获取的音频数据发送给音频播放设备之前,电子设备与音频播放设备将协商得到双方均支持的一种类型的编解码器进行数据传输。具体的,在电子设备与音频播放设备建立通信连接之后,音频播放设备通过能力协商单元将所有的解码器标识和所有解码器的能力发送至音频播放设备侧的无线传输单元,其中,解码器的标识为解码器的编号,音频播放设备可以根据解码器的标识找到解码器的标识对应的解码器,并获取到解码器的标识对应的解码器的能力;音频播放设备侧的无线传输单元将所有的解码器标识和所有解码器的能力发送至电子设备侧的无线传输单元,电子设备侧的无线传输单元将所有的解码器标识和所有解码器的能力发送至电子设备侧的能力协商单元。电子设备侧的能力协商单元获取电子设备中所有编码器的标识和所有编码器的能力,其中,编码器的标识为编码器的编号,电子设备可以根据编码器的标识找到编码器的标识对应的编码器,并获取到编码器的标识对应的编码器的能力。电子设备侧的能力协商单元根据所有编解码器的能力,得到电子设备和音频播放设备共有的一种或多种能力的编解码器,其中,编解码器的能力包括编解码器的支持的采样率数值、量化位深的数值、码率、声道数等等。电子设备将根据播放的音频类型等因素从电子设备和音频播放设备共有的一种或多种能力的编解码器中确定出一个编解码器标识,作为默认的编解码器。之后,电子设备和音频播放设备将根据该默认的编解码器标识进行音频数据的传输。电子设备的能力协商单元将默认的编码器标识发送至无线编码单元。同时,电子设备的能力协商单元将默认的解码器标识发送至电子设备侧的无线传输单元,电子设备侧的无线传输单元将默认的解码器标识发送至音频播放设备侧的无线传输单元,音频播放设备侧的无线传输单元将默认的解码器标识发送至音频播放设备的能力协商单元,音频播放设备通过能力协商单元将默认的解码器标识发送至无线音频解码单元。
在一些实施例中,电子设备和音频播放设备也可以不包括能力协商单元。当电子设备和音频播放设备中没有能力协商单元时,电子设备和音频播放设备中的无线传输单元可以实现编解码器能力协商的功能。
对于电子设备,音频数据获取单元用于获取音频码流,该音频码流可以是电子设备实时获取的网络音频码流,也可以是电子设备设备中缓存的音频码流。音频数据获取音频码流之后,将音频码流发送至音频内容解码单元。
音频内容解码单元接收音频数据获取单元发送的音频码流,将音频码流解码出来,得到未压缩的音频码流。之后,音频内容解码单元将未压缩的音频码流发送至混音渲染单元。
混音渲染单元接收音频内容解码单元发送的未压缩的音频码流,对未压缩的音频码流进行混音和渲染,将混音和渲染后的音频码流称为音频数据。混音即将未压缩的音频码流与具有环境色彩的音频数据进行混音,使得混音渲染后的音频码流具有环境色彩,可以理解的是,电子设备可以提供多路用于混音渲染的音频数据。例如,在纪录片的配音解说中,配音员录制好解说的音频码流,为了使得音频码流与纪录片的画面相符,需要渲染音频码流的环境色彩,增加神秘气氛。渲染是对音频数据的采样率、采样位深、声道数等进行渲染调整。
需要说明的是,在一些实施例中,电子设备也可以不包括混音渲染单元,即电子设备不需要对音频码流进行混音渲染处理。本申请在此不做限定。之后,混音渲染单元将音频数据发送至无线音频编码单元。
无线音频编码单元接收混音渲染单元发送的音频数据,并根据默认的编码器标识将音频数据进行编码,之后,无线音频编码单元将编码后的音频数据发送至无线传输单元。
无线传输单元接收无线音频编码单元发送的编码后的音频数据,并将编码后的音频数据通过电子设备与音频播放设备之间的传输通道发送至音频播放设备的无线传输单元。
音频播放设备的无线传输单元接收电子设备的无线传输单元发送的编码后的音频数据,音频播放设备的无线传输单元将编码后的音频数据发送至音频播放设备的无线音频解码单元。
音频播放设备的无线音频解码单元接收无线传输单元发送的编码后的音频数据,并根据默认的解码器标识将编码后的音频数据进行音频解码,得到未压缩的音频数据。音频播放设备的无线音频解码单元将未压缩的音频数据发送至音频播放设备的音频功放单元。
音频播放设备的音频功放单元接收未压缩的音频数据,并将未压缩的音频数据进行数模转换、功率放大等操作,再通过音频播放单元将音频数据播放出去。
电子设备与音频播放设备在初始建立通信连接时,将根据协商得到的默认的编解码标识进行音频数据传输。但是当网络变差,或者电子设备使用更高清音质进行传输时,电子设备需要切换至适应于网络传输的编码器或者更高清音质的编码器。但是,电子设备切换编码器时,电子设备需要重新与音频播放设备协商编解码器的能力。在电子设备重新与音频播放设备协商编解码器的能力时,电子设备会暂停发送音频数据至音频播放设备,导致电子设备与音频播放设备在切换编解码器的过程中导致音频数据中断和播放卡顿的问题,影响用户体验。
因此,本申请提供了一种编解码器协商与切换方法。方法包括:在电子设备与音频播放设备建立通信连接之前,电子设备与音频播放设备根据采样率、量化位深、码率、声道数等参数将一个或多个编解码器分为多个类别。在电子设备与音频播放设备建立通信连接之后,在电子设备将音频数据发送至音频播放设备之前,音频播放设备将解码器标识数量大于等于1的类别标识发送至电子设备。电子设备根据解码器的标识数量大于等于1的类别和编码器的标识数量大于等于1的类别,得到共有的类别。之后,电子设备根据用户选择、播放音频数据特性、电子设备音频渲染能力是否开启、应用类型等条件选择其中一个类别下默认的一个编解码器进行音频数据传输。当用户选择、播放音频数据特性、电子设备音频渲染能力是否开启、应用类型等条件发生改变时,电子设备将重新选择另一个类别下默认的编码器进行编码传输,并将重新选择的另一个类别的标识发送至音频播放设备,音频播放设备采用该类别下默认的解码器进行解码并播放音频数据。这样,当电子设备需要切换编码器时,不需要再和音频播放设备重新协商编解码的类型,解决了电子设备与音频播放设备切换编解码器时音频数据中断和卡顿的问题,提高了用户体验。
本技术方案适用于以手机与无线耳机点对点连接的无线音频播放场景;也适用于以平板/PC/智能手表等穿戴设备等与无线耳机点对点连接的场景;也适用于以手机/PC/平板/智能电视/机顶盒/智能音箱/智能路由为中心进行组网的智能家庭场景,音频播放设备可以为音箱/回音壁/智能电视中的一类或多类进行组网播放。
接下来介绍本申请实施例提供的一种无线音频播放系统架构。
如图2所示,图2为本申请实施例提供的一种系统示意图。
首先,电子设备100与音频播放设备200建立通信连接,电子设备100可以将音频数据发送至音频播放设备,音频播放设备播放音频数据。
电子设备100可以是手机、平板电脑、桌面型计算机、膝上型计算机、手持计算机、笔记本电脑、超级移动个人计算机(ultra-mobile personal computer,UMPC)、上网本,以及蜂窝电话、个人数字助理(personal digital assistant,PDA)、增强现实(augmentedreality,AR)设备、虚拟现实(virtual reality,VR)设备、人工智能(artificialintelligence,AI)设备、可穿戴式设备、车载设备、智能家居设备和/或智慧城市设备,本申请实施例对电子设备100的具体类型不作特殊限制。电子设备100的软件系统包括但不限于
Figure BDA0003029114630000121
Figure BDA0003029114630000122
Linux或者其它操作系统。
Figure BDA0003029114630000123
为华为的鸿蒙系统。
音频播放设备200是指具备音频播放能力的设备,音频播放设备可以是但不仅限于耳机、音箱、电视、AR/VR眼镜设备、平板/PC/智能手表等穿戴设备等。
本申请以下实施例以电子设备100为手机,音频播放设备200为蓝牙耳机为例进行说明。
电子设备100与音频播放设备200之间可以通过无线通信技术连接并进行通信。这里的无线通信技术包括但不仅限于:无线局域网(wireless local area network,WLAN)技术、蓝牙(bluetooth)、红外线、近场通信(near field communication,NFC)、ZigBee、无线保真直连(wireless fidelity direct,Wi-Fi direct)(又称为无线保真点对点(wirelessfidelity peer-to-peer,Wi-Fi P2P))以及后续发展中出现的其他无线通信技术等。为了描述方便,以下实施例将以电子设备100与音频播放设备200之间通过蓝牙(bluetooth)无线通信技术通信为例进行说明。
当音频播放设备200通过蓝牙技术连接到电子设备100时,之后,电子设备100向音频播放设备200发送同步对时信息(例如握手信息)来进行网络同步。在组网成功并完成同步之后,音频播放设备200在电子设备100的控制下播放音频。即电子设备100通过建立的蓝牙通道将音频数据发送给该音频播放设备200,音频播放设备200播放电子设备100发送的音频数据。
图2所示的系统示意图只是示例性的示出了一种系统,在一些实施例中,电子设备100也可以同时与多个音频播放设备200建立通信连接。本申请以下实施例以电子设备100与一个音频播放设备200建立连接进行说明。需要说明的是,本申请对于音频播放设备200的数量不做限定。
接下来介绍本申请实施例提供的另一种组网连接的无线音频播放系统架构。
如图3所示,电子设备100同时与多个音频播放设备200建立通信连接。
电子设备100可以是手机、平板电脑、桌面型计算机、膝上型计算机、手持计算机、笔记本电脑、超级移动个人计算机(ultra-mobile personal computer,UMPC)、上网本,以及蜂窝电话、个人数字助理(personal digital assistant,PDA)、增强现实(augmentedreality,AR)设备、虚拟现实(virtual reality,VR)设备、人工智能(artificialintelligence,AI)设备、可穿戴式设备、车载设备、智能家居设备和/或智慧城市设备,本申请实施例对电子设备100的具体类型不作特殊限制。电子设备100的软件系统包括但不限于
Figure BDA0003029114630000131
Figure BDA0003029114630000132
Linux或者其它操作系统。
Figure BDA0003029114630000133
为华为的鸿蒙系统。
音频播放设备200是指具备音频播放能力的设备,音频播放设备可以是但不仅限于耳机、音箱、电视、ARVR眼镜设备、平板/PC/智能手表等穿戴设备等。
本申请实施例以电子设备100为手机,多个音频播放设备200分别为耳机、音箱为例进行说明。即手机同时与耳机、音箱建立了连接,手机可以同时将多媒体内容(例如音频数据)发送至耳机、音箱。
当多个音频播放设备200(例如耳机和音箱)对电子设备100传输的同一音频数据无同步时延要求时,这种情况下,可以将电子设备100与多个音频播放设备的连接视为多个独立的系统的组成。即电子设备100与耳机协商共有的编解码器分类类别,以及每个类别下默认的一个编码器标识和一个默认的解码器标识。电子设备100与音箱协商共有的编解码器分类类别,以及每个类别下默认的一个编码器标识和一个默认的解码器标识。电子设备100与耳机可以独立的选择双方共有的编解码器分类类别中的一个类别进行音频数据的传输。电子设备100与音箱可以独立的选择双方共有的编解码器分类类别中的一个类别进行音频数据的传输。电子设备100与耳机选择的编解码器分类类别和电子设备100与音响选择的编解码器分类类别可以相同也可以不相同。并且,电子设备100与耳机或电子设备100与音箱切换编解码器分类类别互不影响。电子设备100与耳机或电子设备100与音箱选择与切换编解码器分类类别的方法与以下实施例介绍的电子设备100与音频播放设备200选择和切换编解码器分类类别的方法一致,本申请在此不再赘述。
当多个音频播放设备200(例如耳机和音箱)对电子设备100传输的同一音频数据有同步时延要求时,这种情况下,电子设备100与多个音频播放设备的连接视为一个完整的系统。具体的,当电子设备100与多个音频播放设备协商得到多方均支持的编解码器分类类别时,耳机将所有编解码器分类类别以及每个类别下的解码器标识发送至电子设备100,音箱将所有编解码器分类类别以及每个类别下的解码器标识发送至电子设备100。电子设备100获取电子设备100中所有编解码器分类类别以及每个类别下的编码器标识。之后,电子设备100从电子设备100中编解码器分类类别、耳机和音箱发送的编解码器分类类别中,确认出共有的编解码器分类类别,即电子设备100、耳机和音箱均支持的编解码器分类类别,电子设备100确认出电子设备100、耳机和音箱均支持的编解码器分类类别的方法与以下实施例介绍的电子设备100与音频播放设备200确认双方均支持的编解码器分类类别的方法一致,本身请在此不再赘述。然后,电子设备100确定出电子设备100、耳机和音箱均支持的编解码器分类类别中一个默认的编码器和一个默认的解码器。电子设备100将电子设备100、耳机和音箱均支持的编解码器分类类别、以及每个类别下默认的一个编码器标识和默认的一个解码器标识发送至耳机和音箱。需要说明的是,电子设备100选择和切换编解码器分类类别与以下实施例介绍的电子设备100与音频播放设备200选择和切换编解码器分类类别的方法一致,本身请在此不再赘述。
以下以电子设备100与一个音频播放设备200建立连接为例,对本实施例提供的一种编解码器协商与切换方法进行说明。电子设备100与对个音频播放设备200建立连接的情况,与电子设备100与一个音频播放设备200建立连接的原理相同,本申请在此不再赘述。
如图4所示,图4示例性示出了另一种电子设备100与音频播放设备200传输音频数据的过程示意图。
电子设备100包括音频数据获取单元、音频流解码单元、混音渲染单元、无线音频编码单元、能力协商单元、编码控制单元和无线传输单元。
音频播放设备200包括无线传输单元、无线音频解码单元、音频功放单元、音频播放单元和能力协商单元和解码控制单元。
其中,电子设备100中的音频数据获取单元、音频流解码单元、混音渲染单元、无线音频编码单元和无线传输单元与图1中所示的音频数据获取单元、音频流解码单元、混音渲染单元、无线音频编码单元和无线传输单元的功能相同,本申请再次不再赘述。
同理,音频播放设备200中的无线传输单元、无线音频解码单元、音频功放单元、音频播放单元与图1中所示的无线传输单元、无线音频解码单元、音频功放单元、音频播放单元的功能相同,本申请再次不再赘述。
对于电子设备100,能力协商单元具体用于获取编解码器分类标准、电子设备100中所有的编码器的标识和所有的编码器能力,编码器能力包括编解码器的采样率、量化位深、码率、声道数等参数信息。并根据编解码器分类标准和电子设备100中所有的编码器的能力,将电子设备100中所有的编码器划分到多个类别。一个编码器可以属于一个或多个类别。需要说明的是,编解码器分类标准是电子设备100中预置的。
同理,对于音频播放设备200,能力协商单元具体用于获取编解码器分类标准、音频播放设备200中所有的解码器的标识和所有的解码器能力。并根据编解码器分类标准以及电子设备100中所有的解码器的能力,将音频播放设备200中所有的解码器分为多个类别。一个解码器可以属于一个或多个类别。需要说明的是,编解码器分类标准是音频播放设备200中预置的。
之后,音频播放设备200通过能力协商单元将音频播放设备200中解码器标识的数量大于等于1的类别标识发送至音频播放设备200中的无线传输单元。音频播放设备200中的无线传输单元将解码器标识的数量大于等于1的类别的标识发送至电子设备100中的无线传输单元。解码器标识的数量大于等于1的类别可以理解为,该类别下包括的解码器标识的数量大于等于1。
电子设备100中的无线传输单元接收并将解码器标识的数量大于等于1的类别标识发送至电子设备100中的能力协商单元。
电子设备100中的能力协商单元接收解码器标识的数量大于等于1的类别的标识。
电子设备100中的能力协商单元也获取到电子设备100中编码器标识的数量大于等于1的类别标识。
电子设备100中的能力协商单元将解码器标识的数量大于等于1的类别标识和编码器标识的数量大于等于1的类别标识发送至电子设备100中的编码控制单元,电子设备100中的编码控制单元从解码器标识的数量大于等于1的类别标识和编码器标识的数量大于等于1的类别标识,确认出共同的类别标识。并确定出每一个共同的类别中,默认的一个编码器。这里,编码控制单元如何协商电子设备100与音频播放设备200每一个共同的类别中中,默认的一个编码器,将在后续实施例详细介绍,本申请在此不做限定。编码控制单元确认出共同的类别以及每个共同的类别下默认的编码器之后,编码控制单元将根据应用类型、播放音频特性(采样率、量化位深、声道数)、电子设备音频渲染能力是否开启、信道的网络条件等等从共同的类别中选择适当的一个类别(例如第一类别),和该类别中默认的编码器进行音频数据传输。编码控制单元如何根据应用类型、播放音频特性(采样率、量化位深、声道数)、电子设备音频渲染能力是否开启、信道的网络条件等等从共同的类别中选择第一类别,将在后续实施例详细介绍,本申请在此不做限定。
之后,编码协商单元将第一类别的标识发送至无线音频编码单元,无线音频编码单元将根据第一类别中默认的编码器标识对应的编码器对音频数据进行编码。
同时,编码协商单元将第一类别的标识发送至无线传输单元,电子设备100通过无线传输单元将第一类别的标识发送至音频播放设备200的无线传输单元,音频播放设备200的无线传输单将第一类别的标识发送至音频播放设备200中的能力协商单元,音频播放设备200的无线传输单能力协商单元将第一类别的标识发送至音频播放设备200中的解码控制单元,音频播放设备200中的解码控制单元将第一类别的标识发送至无线音频解码单元,无线音频解码单元将根据第一类别的标识中默认的解码器标识对应的解码器对电子设备100发送的已编码的音频数据进行解码。
当编码协商单元从共同的类别中选择适当的一个类别(例如第一类别),并采用该第一类别中默认的编解码器进行音频数据传输之后,由于应用类型变化、播放音频特性(采样率、量化位深、声道数)变化、电子设备音频渲染能力开启、信道的网络条件变化等因素,电子设备100将通过编码控制单元重新选择另一个类别,并将该类别的标识告知音频播放设备200中的解码控制单元。电子设备100与音频播放设备200采用另一个类别中默认的编解码器进行音频数据的传输。
如图5所示,图5示例性示出了电子设备100的结构示意图。
下面以电子设备100为手机为例对实施例进行具体说明。应该理解的是,图5所示电子设备100仅是一个范例,并且电子设备100可以具有比图5中所示的更多的或者更少的部件,可以组合两个或多个的部件,或者可以具有不同的部件配置。图中所示出的各种部件可以在包括一个或多个信号处理和/或专用集成电路在内的硬件、软件、或硬件和软件的组合中实现。
电子设备100可以包括:处理器110,外部存储器接口120,内部存储器121,通用串行总线(universal serial bus,USB)接口130,充电管理模块140,电源管理模块141,电池142,天线1,天线2,移动通信模块150,无线通信模块160,音频模块170,扬声器170A,受话器170B,麦克风170C,耳机接口170D,传感器模块180,按键190,马达191,指示器192,摄像头193,显示屏194,以及用户标识模块(subscriber identification module,SIM)卡接口195等。其中传感器模块180可以包括压力传感器180A,陀螺仪传感器180B,气压传感器180C,磁传感器180D,加速度传感器180E,距离传感器180F,接近光传感器180G,指纹传感器180H,温度传感器180J,触摸传感器180K,环境光传感器180L,骨传导传感器180M等。
可以理解的是,本发明实施例示意的结构并不构成对电子设备100的具体限定。在本申请另一些实施例中,电子设备100可以包括比图示更多或更少的部件,或者组合某些部件,或者拆分某些部件,或者不同的部件布置。图示的部件可以以硬件,软件或软件和硬件的组合实现。
处理器110可以包括一个或多个处理单元,例如:处理器110可以包括应用处理器(application processor,AP),调制解调处理器,图形处理器(graphics processingunit,GPU),图像信号处理器(image signal processor,ISP),控制器,存储器,视频编解码器,数字信号处理器(digital signal processor,DSP),基带处理器,和/或神经网络处理器(neural-network processing unit,NPU)等。其中,不同的处理单元可以是独立的器件,也可以集成在一个或多个处理器中。
其中,控制器可以是电子设备100的神经中枢和指挥中心。控制器可以根据指令操作码和时序信号,产生操作控制信号,完成取指令和执行指令的控制。
处理器110中还可以设置存储器,用于存储指令和数据。在一些实施例中,处理器110中的存储器为高速缓冲存储器。该存储器可以保存处理器110刚用过或循环使用的指令或数据。如果处理器110需要再次使用该指令或数据,可从所述存储器中直接调用。避免了重复存取,减少了处理器110的等待时间,因而提高了系统的效率。
在一些实施例中,处理器110可以包括一个或多个接口。接口可以包括集成电路(inter-integrated circuit,I2C)接口,集成电路内置音频(inter-integrated circuitsound,I2S)接口,脉冲编码调制(pulse code modulation,PCM)接口,通用异步收发传输器(universal asynchronous receiver/transmitter,UART)接口,移动产业处理器接口(mobile industry processor interface,MIPI),通用输入输出(general-purposeinput/output,GPIO)接口,用户标识模块(subscriber identity module,SIM)接口,和/或通用串行总线(universal serial bus,USB)接口等。
I2C接口是一种双向同步串行总线,包括一根串行数据线(serial data line,SDA)和一根串行时钟线(derail clock line,SCL)。在一些实施例中,处理器110可以包含多组I2C总线。处理器110可以通过不同的I2C总线接口分别耦合触摸传感器180K,充电器,闪光灯,摄像头193等。例如:处理器110可以通过I2C接口耦合触摸传感器180K,使处理器110与触摸传感器180K通过I2C总线接口通信,实现电子设备100的触摸功能。
I2S接口可以用于音频通信。在一些实施例中,处理器110可以包含多组I2S总线。处理器110可以通过I2S总线与音频模块170耦合,实现处理器110与音频模块170之间的通信。在一些实施例中,音频模块170可以通过I2S接口向无线通信模块160传递音频信号,实现通过蓝牙耳机接听电话的功能。
PCM接口也可以用于音频通信,将模拟信号抽样,量化和编码。在一些实施例中,音频模块170与无线通信模块160可以通过PCM总线接口耦合。在一些实施例中,音频模块170也可以通过PCM接口向无线通信模块160传递音频信号,实现通过蓝牙耳机接听电话的功能。所述I2S接口和所述PCM接口都可以用于音频通信。
UART接口是一种通用串行数据总线,用于异步通信。该总线可以为双向通信总线。它将要传输的数据在串行通信与并行通信之间转换。在一些实施例中,UART接口通常被用于连接处理器110与无线通信模块160。例如:处理器110通过UART接口与无线通信模块160中的蓝牙模块通信,实现蓝牙功能。在一些实施例中,音频模块170可以通过UART接口向无线通信模块160传递音频信号,实现通过蓝牙耳机播放音乐的功能。
MIPI接口可以被用于连接处理器110与显示屏194,摄像头193等外围器件。MIPI接口包括摄像头串行接口(camera serial interface,CSI),显示屏串行接口(displayserial interface,DSI)等。在一些实施例中,处理器110和摄像头193通过CSI接口通信,实现电子设备100的拍摄功能。处理器110和显示屏194通过DSI接口通信,实现电子设备100的显示功能。
GPIO接口可以通过软件配置。GPIO接口可以被配置为控制信号,也可被配置为数据信号。在一些实施例中,GPIO接口可以用于连接处理器110与摄像头193,显示屏194,无线通信模块160,音频模块170,传感器模块180等。GPIO接口还可以被配置为I2C接口,I2S接口,UART接口,MIPI接口等。
USB接口130是符合USB标准规范的接口,具体可以是Mini USB接口,Micro USB接口,USB Type C接口等。USB接口130可以用于连接充电器为电子设备100充电,也可以用于电子设备100与外围设备之间传输数据。也可以用于连接耳机,通过耳机播放音频。该接口还可以用于连接其他电子设备,例如AR设备等。
可以理解的是,本发明实施例示意的各模块间的接口连接关系,只是示意性说明,并不构成对电子设备100的结构限定。在本申请另一些实施例中,电子设备100也可以采用上述实施例中不同的接口连接方式,或多种接口连接方式的组合。
充电管理模块140用于从充电器接收充电输入。其中,充电器可以是无线充电器,也可以是有线充电器。在一些有线充电的实施例中,充电管理模块140可以通过USB接口130接收有线充电器的充电输入。在一些无线充电的实施例中,充电管理模块140可以通过电子设备100的无线充电线圈接收无线充电输入。充电管理模块140为电池142充电的同时,还可以通过电源管理模块141为电子设备供电。
电源管理模块141用于连接电池142,充电管理模块140与处理器110。电源管理模块141接收电池142和/或充电管理模块140的输入,为处理器110,内部存储器121,外部存储器,显示屏194,摄像头193,和无线通信模块160等供电。电源管理模块141还可以用于监测电池容量,电池循环次数,电池健康状态(漏电,阻抗)等参数。在其他一些实施例中,电源管理模块141也可以设置于处理器110中。在另一些实施例中,电源管理模块141和充电管理模块140也可以设置于同一个器件中。
电子设备100的无线通信功能可以通过天线1,天线2,移动通信模块150,无线通信模块160,调制解调处理器以及基带处理器等实现。
天线1和天线2用于发射和接收电磁波信号。电子设备100中的每个天线可用于覆盖单个或多个通信频带。不同的天线还可以复用,以提高天线的利用率。例如:可以将天线1复用为无线局域网的分集天线。在另外一些实施例中,天线可以和调谐开关结合使用。
移动通信模块150可以提供应用在电子设备100上的包括2G/3G/4G/5G等无线通信的解决方案。移动通信模块150可以包括至少一个滤波器,开关,功率放大器,低噪声放大器(low noise amplifier,LNA)等。移动通信模块150可以由天线1接收电磁波,并对接收的电磁波进行滤波,放大等处理,传送至调制解调处理器进行解调。移动通信模块150还可以对经调制解调处理器调制后的信号放大,经天线1转为电磁波辐射出去。在一些实施例中,移动通信模块150的至少部分功能模块可以被设置于处理器110中。在一些实施例中,移动通信模块150的至少部分功能模块可以与处理器110的至少部分模块被设置在同一个器件中。
调制解调处理器可以包括调制器和解调器。其中,调制器用于将待发送的低频基带信号调制成中高频信号。解调器用于将接收的电磁波信号解调为低频基带信号。随后解调器将解调得到的低频基带信号传送至基带处理器处理。低频基带信号经基带处理器处理后,被传递给应用处理器。应用处理器通过音频设备(不限于扬声器170A,受话器170B等)输出声音信号,或通过显示屏194显示图像或视频。在一些实施例中,调制解调处理器可以是独立的器件。在另一些实施例中,调制解调处理器可以独立于处理器110,与移动通信模块150或其他功能模块设置在同一个器件中。
无线通信模块160可以提供应用在电子设备100上的包括无线局域网(wirelesslocal area networks,WLAN)(如无线保真(wireless fidelity,Wi-Fi)网络),蓝牙(bluetooth,BT),全球导航卫星系统(global navigation satellite system,GNSS),调频(frequency modulation,FM),近距离无线通信技术(near field communication,NFC),红外技术(infrared,IR)等无线通信的解决方案。无线通信模块160可以是集成至少一个通信处理模块的一个或多个器件。无线通信模块160经由天线2接收电磁波,将电磁波信号调频以及滤波处理,将处理后的信号发送到处理器110。无线通信模块160还可以从处理器110接收待发送的信号,对其进行调频,放大,经天线2转为电磁波辐射出去。
在一些实施例中,电子设备100的天线1和移动通信模块150耦合,天线2和无线通信模块160耦合,使得电子设备100可以通过无线通信技术与网络以及其他设备通信。所述无线通信技术可以包括全球移动通讯系统(global system for mobile communications,GSM),通用分组无线服务(general packet radio service,GPRS),码分多址接入(codedivision multiple access,CDMA),宽带码分多址(wideband code division multipleaccess,WCDMA),时分码分多址(time-division code division multiple access,TD-SCDMA),长期演进(long term evolution,LTE),BT,GNSS,WLAN,NFC,FM,和/或IR技术等。所述GNSS可以包括全球卫星定位系统(global positioning system,GPS),全球导航卫星系统(global navigation satellite system,GLONASS),北斗卫星导航系统(beidounavigation satellite system,BDS),准天顶卫星系统(quasi-zenith satellitesystem,QZSS)和/或星基增强系统(satellite based augmentation systems,SBAS)。
电子设备100通过GPU,显示屏194,以及应用处理器等实现显示功能。GPU为图像处理的微处理器,连接显示屏194和应用处理器。GPU用于执行数学和几何计算,用于图形渲染。处理器110可包括一个或多个GPU,其执行程序指令以生成或改变显示信息。
显示屏194用于显示图像,视频等。显示屏194包括显示面板。显示面板可以采用液晶显示屏(liquid crystal display,LCD),有机发光二极管(organic light-emittingdiode,OLED),有源矩阵有机发光二极体或主动矩阵有机发光二极体(active-matrixorganic light emitting diode的,AMOLED),柔性发光二极管(flex light-emittingdiode,FLED),Miniled,MicroLed,Micro-oLed,量子点发光二极管(quantum dot lightemitting diodes,QLED)等。在一些实施例中,电子设备100可以包括1个或N个显示屏194,N为大于1的正整数。
电子设备100可以通过ISP,摄像头193,视频编解码器,GPU,显示屏194以及应用处理器等实现拍摄功能。
ISP用于处理摄像头193反馈的数据。例如,拍照时,打开快门,光线通过镜头被传递到摄像头感光元件上,光信号转换为电信号,摄像头感光元件将所述电信号传递给ISP处理,转化为肉眼可见的图像。ISP还可以对图像的噪点,亮度,肤色进行算法优化。ISP还可以对拍摄场景的曝光,色温等参数优化。在一些实施例中,ISP可以设置在摄像头193中。
摄像头193用于捕获静态图像或视频。物体通过镜头生成光学图像投射到感光元件。感光元件可以是电荷耦合器件(charge coupled device,CCD)或互补金属氧化物半导体(complementary metal-oxide-semiconductor,CMOS)光电晶体管。感光元件把光信号转换成电信号,之后将电信号传递给ISP转换成数字图像信号。ISP将数字图像信号输出到DSP加工处理。DSP将数字图像信号转换成标准的RGB,YUV等格式的图像信号。在一些实施例中,电子设备100可以包括1个或N个摄像头193,N为大于1的正整数。
数字信号处理器用于处理数字信号,除了可以处理数字图像信号,还可以处理其他数字信号。例如,当电子设备100在频点选择时,数字信号处理器用于对频点能量进行傅里叶变换等。
视频编解码器用于对数字视频压缩或解压缩。电子设备100可以支持一种或多种视频编解码器。这样,电子设备100可以播放或录制多种编码格式的视频,例如:动态图像专家组(moving picture experts group,MPEG)1,MPEG2,MPEG3,MPEG4等。
NPU为神经网络(neural-network,NN)计算处理器,通过借鉴生物神经网络结构,例如借鉴人脑神经元之间传递模式,对输入信息快速处理,还可以不断的自学习。通过NPU可以实现电子设备100的智能认知等应用,例如:图像识别,人脸识别,语音识别,文本理解等。
外部存储器接口120可以用于连接外部存储卡,例如Micro SD卡,实现扩展电子设备100的存储能力。外部存储卡通过外部存储器接口120与处理器110通信,实现数据存储功能。例如将音乐,视频等文件保存在外部存储卡中。
内部存储器121可以用于存储计算机可执行程序代码,所述可执行程序代码包括指令。处理器110通过运行存储在内部存储器121的指令,从而执行电子设备100的各种功能应用以及数据处理。内部存储器121可以包括存储程序区和存储数据区。其中,存储程序区可存储操作系统,至少一个功能所需的应用程序(比如声音播放功能,图像播放功能等)等。存储数据区可存储电子设备100使用过程中所创建的数据(比如音频数据,电话本等)等。此外,内部存储器121可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件,闪存器件,通用闪存存储器(universal flash storage,UFS)等。
电子设备100可以通过音频模块170,扬声器170A,受话器170B,麦克风170C,耳机接口170D,以及应用处理器等实现音频功能。例如音乐播放,录音等。
音频模块170用于将数字音频信息转换成模拟音频信号输出,也用于将模拟音频输入转换为数字音频信号。音频模块170还可以用于对音频信号编码和解码。在一些实施例中,音频模块170可以设置于处理器110中,或将音频模块170的部分功能模块设置于处理器110中。
扬声器170A,也称“喇叭”,用于将音频电信号转换为声音信号。电子设备100可以通过扬声器170A收听音乐,或收听免提通话。
受话器170B,也称“听筒”,用于将音频电信号转换成声音信号。当电子设备100接听电话或语音信息时,可以通过将受话器170B靠近人耳接听语音。
麦克风170C,也称“话筒”,“传声器”,用于将声音信号转换为电信号。当拨打电话或发送语音信息时,用户可以通过人嘴靠近麦克风170C发声,将声音信号输入到麦克风170C。电子设备100可以设置至少一个麦克风170C。在另一些实施例中,电子设备100可以设置两个麦克风170C,除了采集声音信号,还可以实现降噪功能。在另一些实施例中,电子设备100还可以设置三个,四个或更多麦克风170C,实现采集声音信号,降噪,还可以识别声音来源,实现定向录音功能等。
耳机接口170D用于连接有线耳机。耳机接口170D可以是USB接口130,也可以是3.5mm的开放移动电子设备平台(open mobile terminal platform,OMTP)标准接口,美国蜂窝电信工业协会(cellular telecommunications industry association of the USA,CTIA)标准接口。
压力传感器180A用于感受压力信号,可以将压力信号转换成电信号。在一些实施例中,压力传感器180A可以设置于显示屏194。压力传感器180A的种类很多,如电阻式压力传感器,电感式压力传感器,电容式压力传感器等。电容式压力传感器可以是包括至少两个具有导电材料的平行板。当有力作用于压力传感器180A,电极之间的电容改变。电子设备100根据电容的变化确定压力的强度。当有触摸操作作用于显示屏194,电子设备100根据压力传感器180A检测所述触摸操作强度。电子设备100也可以根据压力传感器180A的检测信号计算触摸的位置。在一些实施例中,作用于相同触摸位置,但不同触摸操作强度的触摸操作,可以对应不同的操作指令。例如:当有触摸操作强度小于第一压力阈值的触摸操作作用于短消息应用图标时,执行查看短消息的指令。当有触摸操作强度大于或等于第一压力阈值的触摸操作作用于短消息应用图标时,执行新建短消息的指令。
陀螺仪传感器180B可以用于确定电子设备100的运动姿态。在一些实施例中,可以通过陀螺仪传感器180B确定电子设备100围绕三个轴(即,x,y和z轴)的角速度。陀螺仪传感器180B可以用于拍摄防抖。示例性的,当按下快门,陀螺仪传感器180B检测电子设备100抖动的角度,根据角度计算出镜头模组需要补偿的距离,让镜头通过反向运动抵消电子设备100的抖动,实现防抖。陀螺仪传感器180B还可以用于导航,体感游戏场景。
气压传感器180C用于测量气压。在一些实施例中,电子设备100通过气压传感器180C测得的气压值计算海拔高度,辅助定位和导航。
磁传感器180D包括霍尔传感器。电子设备100可以利用磁传感器180D检测翻盖皮套的开合。在一些实施例中,当电子设备100是翻盖机时,电子设备100可以根据磁传感器180D检测翻盖的开合。进而根据检测到的皮套的开合状态或翻盖的开合状态,设置翻盖自动解锁等特性。
加速度传感器180E可检测电子设备100在各个方向上(一般为三轴)加速度的大小。当电子设备100静止时可检测出重力的大小及方向。还可以用于识别电子设备姿态,应用于横竖屏切换,计步器等应用。
距离传感器180F,用于测量距离。电子设备100可以通过红外或激光测量距离。在一些实施例中,拍摄场景,电子设备100可以利用距离传感器180F测距以实现快速对焦。
接近光传感器180G可以包括例如发光二极管(LED)和光检测器,例如光电二极管。发光二极管可以是红外发光二极管。电子设备100通过发光二极管向外发射红外光。电子设备100使用光电二极管检测来自附近物体的红外反射光。当检测到充分的反射光时,可以确定电子设备100附近有物体。当检测到不充分的反射光时,电子设备100可以确定电子设备100附近没有物体。电子设备100可以利用接近光传感器180G检测用户手持电子设备100贴近耳朵通话,以便自动熄灭屏幕达到省电的目的。接近光传感器180G也可用于皮套模式,口袋模式自动解锁与锁屏。
环境光传感器180L用于感知环境光亮度。电子设备100可以根据感知的环境光亮度自适应调节显示屏194亮度。环境光传感器180L也可用于拍照时自动调节白平衡。环境光传感器180L还可以与接近光传感器180G配合,检测电子设备100是否在口袋里,以防误触。
指纹传感器180H用于采集指纹。电子设备100可以利用采集的指纹特性实现指纹解锁,访问应用锁,指纹拍照,指纹接听来电等。
温度传感器180J用于检测温度。在一些实施例中,电子设备100利用温度传感器180J检测的温度,执行温度处理策略。例如,当温度传感器180J上报的温度超过阈值,电子设备100执行降低位于温度传感器180J附近的处理器的性能,以便降低功耗实施热保护。在另一些实施例中,当温度低于另一阈值时,电子设备100对电池142加热,以避免低温导致电子设备100异常关机。在其他一些实施例中,当温度低于又一阈值时,电子设备100对电池142的输出电压执行升压,以避免低温导致的异常关机。
触摸传感器180K,也称“触控面板”。触摸传感器180K可以设置于显示屏194,由触摸传感器180K与显示屏194组成触摸屏,也称“触控屏”。触摸传感器180K用于检测作用于其上或附近的触摸操作。触摸传感器可以将检测到的触摸操作传递给应用处理器,以确定触摸事件类型。可以通过显示屏194提供与触摸操作相关的视觉输出。在另一些实施例中,触摸传感器180K也可以设置于电子设备100的表面,与显示屏194所处的位置不同。
骨传导传感器180M可以获取振动信号。在一些实施例中,骨传导传感器180M可以获取人体声部振动骨块的振动信号。骨传导传感器180M也可以接触人体脉搏,接收血压跳动信号。在一些实施例中,骨传导传感器180M也可以设置于耳机中,结合成骨传导耳机。音频模块170可以基于所述骨传导传感器180M获取的声部振动骨块的振动信号,解析出语音信号,实现语音功能。应用处理器可以基于所述骨传导传感器180M获取的血压跳动信号解析心率信息,实现心率检测功能。
按键190包括开机键,音量键等。按键190可以是机械按键。也可以是触摸式按键。电子设备100可以接收按键输入,产生与电子设备100的用户设置以及功能控制有关的键信号输入。
马达191可以产生振动提示。马达191可以用于来电振动提示,也可以用于触摸振动反馈。例如,作用于不同应用(例如拍照,音频播放等)的触摸操作,可以对应不同的振动反馈效果。作用于显示屏194不同区域的触摸操作,马达191也可对应不同的振动反馈效果。不同的应用场景(例如:时间提醒,接收信息,闹钟,游戏等)也可以对应不同的振动反馈效果。触摸振动反馈效果还可以支持自定义。
指示器192可以是指示灯,可以用于指示充电状态,电量变化,也可以用于指示消息,未接来电,通知等。
SIM卡接口195用于连接SIM卡。SIM卡可以通过插入SIM卡接口195,或从SIM卡接口195拔出,实现和电子设备100的接触和分离。电子设备100可以支持1个或N个SIM卡接口,N为大于1的正整数。SIM卡接口195可以支持Nano SIM卡,Micro SIM卡,SIM卡等。同一个SIM卡接口195可以同时插入多张卡。所述多张卡的类型可以相同,也可以不同。SIM卡接口195也可以兼容不同类型的SIM卡。SIM卡接口195也可以兼容外部存储卡。电子设备100通过SIM卡和网络交互,实现通话以及数据通信等功能。在一些实施例中,电子设备100采用eSIM,即:嵌入式SIM卡。eSIM卡可以嵌在电子设备100中,不能和电子设备100分离。
电子设备100的软件系统可以采用分层架构,事件驱动架构,微核架构,微服务架构,或云架构。本发明实施例以分层架构的Android系统为例,示例性说明电子设备100的软件结构。
图6是本发明实施例的电子设备100(例如手机)的软件结构框图。
分层架构将软件分成若干个层,每一层都有清晰的角色和分工。层与层之间通过软件接口通信。在一些实施例中,将Android系统分为四层,从上至下分别为应用程序层,应用程序框架层,安卓运行时(Android runtime)和系统库,以及内核层。
应用程序层可以包括一系列应用程序包。
如图6所示,应用程序包可以包括相机,图库,日历,通话,地图,导航,WLAN,蓝牙,音乐,视频,短信息等应用程序。
应用程序框架层为应用程序层的应用程序提供应用编程接口(applicationprogramming interface,API)和编程框架。应用程序框架层包括一些预先定义的函数。
如图6所示,应用程序框架层可以包括窗口管理器,内容提供器,视图系统,电话管理器,资源管理器,通知管理器等。
窗口管理器用于管理窗口程序。窗口管理器可以获取显示屏大小,判断是否有状态栏,锁定屏幕,截取屏幕等。
内容提供器用来存放和获取数据,并使这些数据可以被应用程序访问。所述数据可以包括视频,图像,音频,拨打和接听的电话,浏览历史和书签,电话簿等。
视图系统包括可视控件,例如显示文字的控件,显示图片的控件等。视图系统可用于构建应用程序。显示界面可以由一个或多个视图组成的。例如,包括短信通知图标的显示界面,可以包括显示文字的视图以及显示图片的视图。
电话管理器用于提供电子设备100的通信功能。例如通话状态的管理(包括接通,挂断等)。
资源管理器为应用程序提供各种资源,比如本地化字符串,图标,图片,布局文件,视频文件等等。
通知管理器使应用程序可以在状态栏中显示通知信息,可以用于传达告知类型的消息,可以短暂停留后自动消失,无需用户交互。比如通知管理器被用于告知下载完成,消息提醒等。通知管理器还可以是以图表或者滚动条文本形式出现在系统顶部状态栏的通知,例如后台运行的应用程序的通知,还可以是以对话窗口形式出现在屏幕上的通知。例如在状态栏提示文本信息,发出提示音,电子设备振动,指示灯闪烁等。
Android Runtime包括核心库和虚拟机。Android runtime负责安卓系统的调度和管理。
核心库包含两部分:一部分是java语言需要调用的功能函数,另一部分是安卓的核心库。
应用程序层和应用程序框架层运行在虚拟机中。虚拟机将应用程序层和应用程序框架层的java文件执行为二进制文件。虚拟机用于执行对象生命周期的管理,堆栈管理,线程管理,安全和异常的管理,以及垃圾回收等功能。
系统库可以包括多个功能模块。例如:表面管理器(surface manager),媒体库(Media Libraries),三维图形处理库(例如:OpenGL ES),2D图形引擎(例如:SGL)等。
表面管理器用于对显示子系统进行管理,并且为多个应用程序提供了2D和3D图层的融合。
媒体库支持多种常用的音频,视频格式回放和录制,以及静态图像文件等。媒体库可以支持多种音视频编码格式,例如:MPEG4,H.264,MP3,AAC,AMR,JPG,PNG等。
三维图形处理库用于实现三维图形绘图,图像渲染,合成,和图层处理等。
2D图形引擎是2D绘图的绘图引擎。
内核层是硬件和软件之间的层。内核层至少包含显示驱动,摄像头驱动,音频驱动,传感器驱动。
下面结合捕获拍照场景,示例性说明电子设备100软件以及硬件的工作流程。
当触摸传感器180K接收到触摸操作,相应的硬件中断被发给内核层。内核层将触摸操作加工成原始输入事件(包括触摸坐标,触摸操作的时间戳等信息)。原始输入事件被存储在内核层。应用程序框架层从内核层获取原始输入事件,识别该输入事件所对应的控件。以该触摸操作是触摸单击操作,该单击操作所对应的控件为相机应用图标的控件为例,相机应用调用应用框架层的接口,启动相机应用,进而通过调用内核层启动摄像头驱动,通过摄像头193捕获静态图像或视频。
如图7所示,图7示例性示出了音频播放设备200的硬件结构示意图。
图7示例性的示出了本申请实施例提供的音频播放设备200(例如蓝牙设备)的结构示意图。
下面以音频播放设备200为蓝牙设备为例对实施例进行具体说明。应该理解的是,图7所示音频播放设备200仅是一个范例,并且音频播放设备200可以具有比图7中所示的更多或更少的部件,可以组合两个或多个的部件,或者可以具有不同的部件配置。图中所示出的各种部件可以在包括一个或多个信号处理和/或专用集成电路在内的硬件、软件、或硬件和软件的组合中实现。
如图7所示,音频播放设备200可以包括:处理器201,存储器202,蓝牙通信模块203,天线204,电源开关205,USB通信处理模块206,音频模块207。其中:
处理器201可用于读取和执行计算机可读指令。具体实现中,处理器201可主要包括控制器、运算器和寄存器。其中,控制器主要负责指令译码,并为指令对应的操作发出控制信号。运算器主要负责保存指令执行过程中临时存放的寄存器操作数和中间操作结果等。具体实现中,处理器201的硬件架构可以是专用集成电路(ASIC)架构、MIPS架构、ARM架构或者NP架构等等。
在一些实施例中,处理器201可以用于解析蓝牙通信模块203接收到的信号,如终端100发送的配对模式修改请求,等等。处理器201可以用于根据解析结果进行相应的处理操作,如生成配对模式修改响应,等等。
存储器202与处理器201耦合,用于存储各种软件程序和/或多组指令。具体实现中,存储器202可包括高速随机存取的存储器,并且也可包括非易失性存储器,例如一个或多个磁盘存储设备、闪存设备或其他非易失性固态存储设备。存储器202可以存储操作系统,例如uCOS,VxWorks、RTLinux等嵌入式操作系统。存储器202还可以存储通信程序,该通信程序可用于与终端100,一个或多个服务器,或其他设备进行通信。
蓝牙通信模块203可以包括经典蓝牙(BT)模块和低功耗蓝牙(BLE)模块。
在一些实施例中,蓝牙通信模块203、可以监听到其他设备(如终端100)发射的信号,如探测请求、扫描信号等等,并可以发送响应信号、扫描响应等,使得其他设备(如终端100)可以发现音频播放设备200,并去其他设备(如终端100)建立无线通信连接,通过蓝牙与其他设备(如终端100)进行通信。
在另一些实施例中,蓝牙通信模块203也可以发射信号,如广播BLE信号,使得其他设备(如终端100)可以发现音频播放设备200,并与其他设备(如终端100)建立无线通信连接,通过蓝牙与其他设备(如终端100)进行通信。
音频播放设备200的无线通信功能可以通过天线204,蓝牙通信模块203,调制解调处理器等实现。
天线204可用于发射和接收电磁波信号。音频播放设备200中的每个天线可用于覆盖单个或多个通信频带。
在一些实施例中蓝牙通信模块203的天线可以有一个或多个。
电源开关205可用于控制电源向音频播放设备200的供电。
USB通信处理模块206可用于通过USB接口(未示出)与其他设备进行通信。在一些实施例中,音频播放设备200也可以不包括USB通信处理模块206。
音频模块207可用于通过音频输出接口输出音频信号,这样可使得音频播放设备200支持音频播放。音频模块还可用于通过音频输入接口接收音频数据。音频播放设备200可以为蓝牙耳机等媒体播放设备。
在一些实施例中,音频播放设备200还可以包括显示屏(未示出),其中,该显示屏可用于显示图像,提示信息等。显示屏可以采用液晶显示屏(liquid crystal display,LCD),有机发光二极管(organic light-emitting diode,OLED)显示屏,有源矩阵有机发光二极体(active-matrix organic light emitting diode,AMOLED)显示屏,柔性发光二极管(flexible light-emitting diode,FLED)显示屏,量子点发光二极管(quantum dotlight emitting diodes,QLED)显示屏等等。
在一些实施例中,音频播放设备200还可以包括RS-232接口等串行接口。该串行接口可连接至其他设备,如音箱等音频外放设备,使得音频播放设备200和音频外放设备协作播放音视频。
可以理解的是图7示意的结构并不构成对音频播放设备200的具体限定。在本申请另一些实施例中,音频播放设备200可以包括比图示更多或更少的部件,或组合某些部件,或者拆分某些部件,或者不同的部件布置。图示的部件可以以硬件,软件或软件和硬件的组合实现。
在电子设备100与音频播放设备200建立通信连接之前,电子设备100根据编解码器分类标准,将电子设备100中的所有编码器归类到多个类别中,音频播放设备200将音频播放设备200中的所有解码器归类到多个类别中。
在一些实施例中,电子设备100与音频播放设备200也可以在建立通信连接之后,再分别将电子设备100和音频播放设备200的中一个或多个编解码器归类到多个类别中。本申请对于编解码器100与音频播放设备200将一个或多个编解码器进行分类的时间不做限定。
接下来将详细介绍编解码器分类标准,以及电子设备100和音频播放设备200如何根据编解码器分类标准将电子设备100和音频播放设备200中的编码器归类到多个类别下的。
编解码器分类标准。
编解码器分类标准可以根据采样率、量化位深、码率、声道数等中的一个或两个及以上参数的组合得到。示例性的,编解码器分类标准可以根据采样率、量化位深、码率、声道数等中的一个参数得到,例如,一个参数可以是采样率;编解码器分类标准也可以根据两个参数得到,例如,两个参数可以是采样率和量化位深;编解码器分类标准也可以根据三个参数得到,例如,三个参数可以是采样率、量化位深与码率;编解码器分类标准也可以根据四个参数得到,例如,四个参数可以是采样率、量化位深、码率、声道数。本申请对于编解码器分类标准使用的参数种类不做限定。编解码器分类标准还可以参考其他的参数,例如音频格式等等,本申请在此不做限定。示例性地,编解码器分类标准是电子设备100和音频播放设备200中预先存在的。
其中,采样率为单位时间(例如一秒钟)内对声音信号的采样次数,采样率越高,声音的还原就越真实,音质越好。
量化位深为量化精度,它决定数字音频的动态范围。当进行频率采样时,较高的量化位深可以提供更多可能性的振幅值,从而产生更为大的振动范围,更高的信噪比,提高保真度。
码率是指比特率,标识单位时间内传送比特数的数目,单位为比特每秒或者千比特每秒。码率越高,每秒传送的音频数据越多,音质就越清晰。
声道数为支持能不同发声的音响的个数。声道数包括单声道、双声道、2.1声道、5.1声道、7.1声道等等。
音频数据的格式目前使用的一般为PCM数据格式,PCM(pulse code modulation,脉冲编码调制)数据格式是未经压缩的音频数据流,它是由模拟信号经过采样、量化、编码转换成的标准数字音频数据。音频数据的格式还包括MP3数据格式、MPEG数据格式、MPEG-4数据格式、WAVE数据格式、CD数据格式等等。
如上所述,编解码器分类标准是根据一个或多个参数的取值范围对编解码器进行分类的。
示例性的,当编解码器分类标准是根据采样率得到时,可以将采样率按照设备中经常使用的编解码的最低采样率和最高采样率将采样率分为多个段,每一个段的采样率的数值不同。具体的,当编解码器的采样率的数值大于等于第一采样率时,则将该编解码器划分为类别一;当编解码器的采样率的数值小于第一采样率,大于等于第二采样率时,则将该编解码器划分为类别二;当编解码器的采样率的数值小于第二采样率时,则将该编解码器划分为类别三。其中,第一采样率大于第二采样率。
示例性的,当编解码器分类标准是根据采样率、码率得到时,可以将采样率按照设备中经常使用的编解码的最低采样率和最高采样率、最低码率和最高码率将采样率和码率分为多个段。具体的,当编解码器的采样率的数值大于等于第一采样率,并且编解码器的码率的数值大于等于第一码率时,则将该编解码器划分为类别一;当编解码器的采样率的数值小于第一采样率大于等于第二采样率,并且编解码器的码率的数值小于第一码率大于等于第二码率时,则将该编解码器划分为类别二;当编解码器的采样率的数值小于第二采样率,并且编解码器的码率的数值小于第二码率时,则将该编解码器划分为类别三。其中,第一采样率大于第二采样率,第一码率大于第二码率。
示例性的,当编解码器分类标准是根据采样率、码率、量化位深得到时,可以将采样率按照设备中经常使用的编解码的最低采样率和最高采样率、最低码率和最高码率、最低量化位深和最高量化位深将采样率、码率和量化位深分为多个段。具体的,当编解码器的采样率的数值大于等于第一采样率,编解码器的码率的数值大于等于第一码率,并且编解码器的量化位深的数值大于等于第一量化位深时,则将该编解码器划分为类别一;当编解码器的采样率的数值小于第一采样率大于等于第二采样率,编解码器的码率的数值小于第一码率大于等于第二码率时,并且编解码器的量化位深的数值小于第一量化位深大于等于第二量化位深时,则将该编解码器划分为类别二;当编解码器的采样率的数值小于第二采样率,编解码器的码率的数值小于第二码率,并且编解码器的量化位深的数值小于第二量化位深时,则将该编解码器划分为类别三。其中,第一采样率大于第二采样率,第一码率大于第二码率,第一量化位深大于第二量化位深。
示例性的,当编解码器分类标准是根据采样率、码率、量化位深和声道数得到时,可以将采样率按照设备中经常使用的编解码的最低采样率和最高采样率、最低码率和最高码率、最低量化位深和最高量化位深、最常用的最低声道数(例如双声道)将采样率、码率、量化位深和声道数分为多个段。具体的,当编解码器的采样率的数值大于等于第一采样率,编解码器的码率的数值大于等于第一码率,编解码器的量化位深的数值大于等于第一量化位深,编解码器的声道数的数值大于等于第一声道数时,则将该编解码器划分为类别一;当编解码器的采样率的数值小于第一采样率大于等于第二采样率,编解码器的码率的数值小于第一码率大于等于第二码率时,编解码器的量化位深的数值小于第一量化位深大于等于第二量化位深,并且编解码器的声道数的数值大于等于第一声道数时,则将该编解码器划分为类别二;当编解码器的采样率的数值小于第二采样率,编解码器的码率的数值小于第二码率,编解码器的量化位深的数值小于第二量化位深,并且编解码器的声道数的数值大于等于第一声道数时,则将该编解码器划分为类别三。其中,第一采样率大于第二采样率,第一码率大于第二码率,第一量化位深大于第二量化位深。
上述只是示例性的示出了部分编解码器分类标准。具体实现中,编解码器分类标准可以根据不同的需求进行设置得到,本申请在此不再一一列举。
接下来介绍,电子设备100和音频播放设备200如何根据编解码器分类标准将电子设备100中的编码器和音频播放设备200中的解码器归类到多个类别中的。
得到编解码器的分类标准之后,电子设备100将所有的编码器划分到多个类别中,以及音频播放设备200将所有的解码器划分到多个类别中。
具体的,对于电子设备100,电子设备100将获取编解码器的分类标准。其中,编解码器的分类标准可以根据编解码器的一个或多个参数的信息,将编解码器划分到多个类别中。
之后,电子设备100将获取电子设备100中所有编码器对应的一个或多个参数的数值。当电子设备100中编码器对应的一个或多个参数的数值,在编解码器的分类标准采用的一个或多个参数的取值范围内,则电子设备100将该编码器划分到一个或多个类别下。以此类推,电子设备100按照上述方法将所有编码器划分到一个或多个类别中。需要说明的是,一个编码器可以划分为多个类别。电子设备100记录下每一个类别下对应的编码器的标识。例如,当编解码器分类标准的类别为类别一,类别一下对应的编码器的标识包括编码器一和编码器二。
音频播放设备200将所有解码器划分到多个类别,与电子设备100将所有编码器划分到多个类别的方法是一致的,本申请在此不再赘述。音频播放设备200记录下每一个类别下对应的解码器的标识。例如,当编解码器分类标准的类别为类别一,类别一下对应的解码器的标识包括解码器一和解码器二。
接下来结合具体的示例,介绍编解码器分类标准,以及电子设备100将编码器、音频播放设备200将解码器分类到多个类别下的具体实现。
在一种可选的实现方式中,编解码器分类标准可以根据采样率得到。
如表1所示,表1示例性示出了根据采样率得到的编解码器分类标准。
表1
Figure BDA0003029114630000261
Figure BDA0003029114630000271
如表1所示,当编解码器支持的一个或多个采样率的数值大于等于第一采样率,则该编码器属于类别一;当编解码器支持的一个或多个采样率的数值小于第一采样率,大于等于第二采样率,则该编解码器的属于类别二;当编解码器支持的一个或多个采样率的数值小于第二采样率,则该编解码器属于类别三。其中,第二采样率小于第一采样率。
具体实现中,首先,电子设备100获取电子设备100中所有编码器支持的采样率的数值。电子设备100根据电子设备100中所有编码器支持的采样率的数值,将编码器划分到表1所示的类别中。需要说明的是,同一个编码器可以分为多个类别。
如表2所示,表2示例性示出了电子设备100和音频播放设备200根据采样率将电子设备100和音频播放设备200中的编解码器分类到多个类别。
表2
Figure BDA0003029114630000272
可以理解为,本申请实施例中所示的编解码器的标识也可以是用二进制表示,例如编码器一也可以表示为e001,编码器二也可以表示为e010,编码器三也可以表示为e011,解码器一也可以表示为d001,编码器一也可以表示为d010,编码器一也可以表示为d011。
如表2所示,示例性的,第一采样率为48kHz,第二采样率为24kHz。则可以将电子设备100中划分到类别一的编码器称为高清音质编码器,将电子设备100中划分到类别二的编码器称为标清音质编码器;将电子设备100中划分到类别三的编码器称为基础音质编码器。同时,可以将音频播放设备200中划分到类别一的解码器称为高清音质解码器,将音频播放设备200中划分到类别二的解码器称为标清音质解码器;将音频播放设备200中划分到类别三的解码器称为基础音质解码器。
示例性的,电子设备100中有三个编码器,分别为编码器一、编码器二和编码器三。其中,编码器一支持的采样率的数值为8kHz、16kHz、24kHz、32kHz、48kHz和96kHz。编码器二支持的采样率的数值为32kHz和48kHz。编码器三支持的采样率的数值为8kHz和16Hz。根据表2所示的编解码器分类标准,则编码器一属于类别一,同时编码器一也属于类别二和类别三,编码器二属于类别二,编码器三属于类别三。
同理,对于音频播放设备200,当音频播放设备200也有解码器一、解码器二和解码器三。音频播放设备200获取音频播放设备200中所有解码器支持的采样率的数值。音频播放设备200根据音频播放设备200中所有解码器支持的采样率的数值,将解码器划分到表2所示的编解码器分类标准的类别中。音频播放设备200根据音频播放设备200中所有解码器支持的采样率的数值,将解码器划分到表1所示的编解码器分类标准的类别中,与电子设备100根据电子设备100中所有编码器的支持的采样率的数值,将编码器划分到表1所示的编解码器分类标准的类别中的方法是一样的,本申请在此不再赘述。
在一种可选的实现方式中,编解码器分类标准可以根据采样率、量化位深、码率和声道数得到。
如表3所示,表3示例性示出了根据采样率、量化位深、码率和声道数得到的编解码器分类标准。
表3
Figure BDA0003029114630000281
如表3所示,当编解码器支持的一个或多个采样率的数值大于等于第一采样率,编解码器支持的一个或多个量化位深的数值大于等于第一量化位深,编解码器支持的一个或多个码率的数值大于等于第一码率,编解码器支持的声道数大于等于第一声道数,则该编码器属于类别一。当编解码器支持的一个或多个采样率的数值小于第一采样率,大于等于第二采样率,编解码器支持的一个或多个量化位深的数值小于第一量化位深,大于等于第二量化位深,编解码器支持的一个或多个码率的数值小于第一码率,大于等于第二码率,编解码器支持的声道数大于等于第一声道数,则该编解码器的属于类别二。当编解码器支持的一个或多个采样率的数值小于第二采样率,编解码器支持的一个或多个量化位深的数值小于第二量化位深,编解码器支持的一个或多个码率的数值小于第二码率,编解码器支持的声道数大于等于第一声道数,则该编解码器属于类别三。
具体实现中,首先,电子设备100获取电子设备100中所有编码器支持的采样率的数值、所有编码器支持的码率的数值、所有编码器支持的量化位深的数值和所有编码器支持的声道数的数值。电子设备100将电子设备100中所有编码器划分到表3所示的类别中。需要说明的是,同一个编码器可以划分到多个类别。
如表4所示,表4示例性示出了根据采样率采样率、量化位深、码率和声道数将电子设备100和音频播放设备200中的编解码器分类到多个类别。
表4
Figure BDA0003029114630000291
如表4所示,示例性的,当第一采样率为48kHz,第二采样率为24kHz;第一量化位深为24比特,第二量化位深为16比特;第一码率为600kbps,第二码率为300kbps;第一声道数为两声道。则可以将电子设备100中划分到类别一的编码器称为高清音质编码器,将电子设备100中划分到类别二的编码器称为标清音质编码器;将电子设备100中划分到类别三的编码器称为基础音质编码器。
示例性的,电子设备100中有三个编码器,分别为编码器一、编码器二和编码器三。其中,编码器一支持的采样率的数值为8kHz、16kHz、24kHz、32kHz、48kHz和96kHz,编码器一支持的量化位深的数值为16比特、24比特和32比特,编码器一支持的码率的数值为600kbps、900kbps和1200kbps,编码器一支持的声道数为单声道、双声道、2.1声道和5.1声道。编码器二支持的采样率的数值为16比特、32kHz和48kHz,编码器二支持的量化位深的数值为8比特、16比特和24比特,编码器二支持的码率的数值为200kbps、300kbps、400kbps和600kbps,编码器二支持的声道数为单声道和双声道。编码器三支持的采样率的数值为8kHz和16kHz。编码器三支持的量化位深的数值为8比特和16比特,编码器三支持的码率的数值为200kbps、300kbps,编码器三支持的声道数为单声道、双声道、2.1声道和5.1声道和7.1声道。
根据表4所示的编解码器分类标准,则编码器一属于类别一。则编码器二属于类别二,同时,编码器二也属于类别三。编码器三属于类别三。
同理,对于音频播放设备200,当音频播放设备200也有解码器一、解码器二和解码器三。音频播放设备200获取音频播放设备200中所有解码器支持的采样率的数值、所有解码器支持的码率的数值、所有解码器支持的量化位深的数值和所有解码器支持的声道数的数值,将解码器划分到表4所示的编解码器分类标准的类别中,需要说明的是,同一个解码器可以属于多个类别的编解码器分类标准。音频播放设备200根据音频播放设备200中所有解码器支持的采样率的数值、所有解码器支持的码率的数值、所有解码器支持的量化位深的数值和所有解码器支持的声道数的数值,将解码器划分到表4所示的类别中,与电子设备100根据电子设备100中所有编码器支持的采样率的数值、所有编码器支持的码率的数值、所有编码器支持的量化位深的数值和所有编码器支持的声道数的数值,将编码器划分到表4所示的类别中的方法是一样的,本申请在此不再赘述。
电子设备100将编码器、音频播放设备200将解码器划分为多个类别后,电子设备100将与音频播放设备200协商得到共同的类别。之后,电子设备100与音频播放设备200进行音频数据传输时,电子设备100将使用共同的类别下的一个类别中默认的编码器将音频数据进行编码发送至音频播放设备200,音频播放设备200将该类别中默认的解码器将已编码的音频数据进行解码,然后播放此音频数据。
如图8所示,图8示例性示出了一种电子设备100与音频播放设备200协商共同的类别的示意图。
S801、电子设备100与音频播放设备200建立通信连接。
电子设备100可以通过蓝牙、Wi-Fi直连、局域网等任一项与音频播放设备200建立通信连接。电子设备100与音频播放设备200如何建立通信连接的,将在后面详细介绍,本申请在此不再赘述。本申请实施例以电子设备100与音频播放设备200通过蓝牙技术建立通信连接为例进行说明。
S802、音频播放设备200根据编解码器分类标准将所有的解码器分类到多个类别。
音频播放设备200首先获取到编解码器分类标准。可以理解的是,编解码器类别标准是音频播放设备200中预先存在的。
之后,音频播放设备200获取音频播放设备200中所有解码器的一个或多个参数的数值。
音频播放设备200判断出解码器的一个或多个参数的数值,在编解码器分类标准采用的一个或多个参数的取值范围内,则音频播放设备200将该解码器划分到一个或多个类别下。
按照此方法,音频播放设备200将音频播放设备200中所有的解码器划分到多个类别中。需要说明的是,一个解码器可以划分到多个类别中。音频播放设备200记录下每一类别中的解码器的标识。示例性的,当编解码器分类标准的类别为类别一,类别一包括的解码器的标识包括解码器一、解码器二;当编解码器分类标准的类别为类别二,类别二包括的解码器的标识包括解码器二、解码器三;当编解码器分类标准的类别为类别三,类别三包括的解码器的标识包括解码器三;当编解码器分类标准的类别为类别四,类别四包括的解码器的标识为空。
编解码器分类标准以及音频播放设备200如何根据所有解码器的一个或多个参数的数值,将所有解码器划分到多个类别中的,在表1至表4中已经详细介绍了,本申请在此不再赘述。
S803、音频播放设备200获取到每一个类别下的解码器标识。
由S802可知,音频播放设备200将音频播放设备200中所有的解码器划分到多个类别中之后,并记录下每一类别中的解码器的标识。
S804、音频播放设备200将解码器标识的数量大于等于1的类别标识发送至电子设备100。
音频播放设备200获取到每一个类别下的解码器标识后,音频播放设备200只需将解码器标识的数量大于等于1的类别标识发送至电子设备100。
在一些实施例中,音频播放设备200也可以将解码器标识的数量大于等于1的类别标识,以及该每个类别下对应的解码器标识发送至电子设备100。
在一些实施例中,音频播放设备200也可以只将所有的解码器标识和每个解码器对应的一个或多个参数的数值发送至电子设备100。电子设备100根据编解码器分来标准将音频播放设备200中所有的解码器划分到多个类别中,即电子设备100获取到每一个类别下对应的解码器标识。具体的,对于电子设备100,电子设备100将获取编解码器分类标准。可以理解的是,编解码器类别标准是电子设备100中预先存在的。
电子设备100判断出解码器的一个或多个参数的数值,在编解码器分类标准采用的一个或多个参数的取值范围内,则电子设备100将该解码器划分到一个或多个类别下。
按照此方法,电子设备100将音频电子设备100中所有的解码器划分到多个类别中。需要说明的是,一个解码器可以划分到多个类别中。电子设备100记录下每一类别中的解码器的标识。示例性的,当编解码器分类标准的类别为类别一,类别一包括的解码器的标识包括解码器一、解码器二;当编解码器分类标准的类别为类别二,类别二包括的解码器的标识包括解码器二、解码器三;当编解码器分类标准的类别为类别三,类别三包括的解码器的标识包括解码器三;当编解码器分类标准的类别为类别四,类别四包括的解码器的标识为空。
电子设备100获取到每一个类别下的解码器标识后,音频播放设备200可以得到解码器标识的数量大于等于1的类别标识。
S805、电子设备100根据编解码器分类标准将所有的编码器分类到多个类别。
电子设备100首先获取到编解码器分类标准。可以理解的是,编解码器类别标准是音频播放设备200中预先存在的。
之后,电子设备100获取电子设备100中所有编码器的一个或多个参数的数值。
电子设备100判断出编码器的一个或多个参数的数值,在编解码器分类标准采用的一个或多个参数的取值范围内,则音频播放设备200将该编码器划分到一个或多个类别下。
按照此方法,电子设备100将所有编码器按照上述方法将划分到多个类别中。需要说明的是,一个编码器可以划分到多个类别。电子设备100记录下每一个类别下的编码器的标识。示例性的,当编解码器分类标准的类别为类别一,类别一包括的编码器的标识包括编码器一、编码器二;当编解码器分类标准的类别为类别二,类别二包括的编码器的标识包括编码器二、编码器三;当编解码器分类标准的类别为类别三,类别三包括的编码器的标识包括编码器三;当编解码器分类标准的类别为类别四,类别四包括的编码器的标识包括编码器一、编码器四。
编解码器分类标准以及电子设备100如何根据所有编码器的一个或多个参数的数值,将所有编码器划分到多个类别中的,在表1至表4中已经详细介绍了,本申请在此不再赘述。
S806、电子设备100获取每一个类别下的编码器标识。
由S805可知,电子设备100将电子设备100中所有的编码器划分到多个类别中之后,并记录下每一类别中的编码器的标识。可以理解的是,S705-S706可以在S702之前执行,本申请在此不做限定。
S807、电子设备100确认出编码器标识的数量大于等于1的类别与解码器标识的数量大于等于1的类别中,共有的类别。
电子设备100接收音频播放设备200发送的编码器标识的数量大于等于1的类别。示例性的,音频播放设备200发送的编码器标识的数量大于等于1的类别可以是类别一、类别二、类别三和类别四。
电子设备100获取到每一个类别下的编码器标识之后,确认出编码器标识的数量大于等于1的类别。示例性的,电子设备100确认出编码器标识的数量大于等于1的类别可以是类别一、类别二和类别四。
之后,电子设备100从编码器标识的数量大于等于1的类别与解码器标识的数量大于等于1的类别中,确认出共有类别。共有的类别,即编码器标识的数量大于等于1的类别与解码器标识的数量大于等于1的类别的交集。共有的类别是电子设备100可以通过该类别下的编码器和解码器与音频播放设备200进行音频数据的传输。示例性的,共有的可以是类别一、类别二和类别四。
S808、电子设备100确定出共有的类别中默认的编码器标识。
对于任意一个共有类别,若编码器标识的数量为1或者解码器标识的数量为1,则电子设备100确认出该类别下的编码器标识为默认的一个编码器标识,或该类别下的解码器的标识为默认的一个解码器标识。
示例性的,当共有的类别为类别三,类别三包括的编码器的标识包括编码器三,当编解码器分类标准的类别为类别三,类别三包括的解码器的标识包括解码器三。因为类别三只包括一个编码器标识,因此电子设备100确认出编码器三为类别三下默认的一个编码器。因为类别三只包括一个解码器标识,因此电子设备100确认出解码器三为类别三下默认的一个解码器。
对于任意一个共有的类别,若编码器标识的数量大于1或者解码器标识的数量大于1,则电子设备100将根据预设的规则从多于1个的编码器标识中确认出一个默认的编码器标识,或者电子设备100将根据预设的规则从多于1个的解码器标识中确认出一个默认的解码器标识。
预设的规则可以是优先级规则、功率低规则、效率高规则等等。
在一种可选的实现方式中,电子设备100根据优先级规则从多于1个的编码器标识中确认出一个默认的编码器标识,或者电子设备100将根据优先级规则从多于1个的解码器标识中确认出一个默认的解码器标识。
如表5所示,表5示例性示出了编码器和解码器的优先级排名。
表5
Figure BDA0003029114630000331
可以理解的是,编码器和解码器的优先级可以是业界通用的,也可以是开发人员设定的,本申请对于编解码器的优先级顺序不做限定。
电子设备100按照表5所示的编解码器的优先级,从多于1个的编码器标识中确认出一个默认的编码器标识,或者电子设备100将根据优先级规则从多于1个的解码器标识中确认出一个默认的解码器标识。
示例性的,对于类别一,类别一包括的解码器的标识包括解码器一、解码器二,类别一包括的编码器的标识包括编码器一、编码器二。由于编码器一的优先级排名高于编码器二的优先级排名,因此电子设备100确认出编码器一为类别一下默认的一个编码器。由于解码器一的优先级排名高于解码器二的优先级排名,因此电子设备100确认出解码器一为类别一下默认的一个解码器。
在一种可选的实现方式中,电子设备100根据功率低规则从多于1个的编码器标识中确认出一个默认的编码器标识,或者电子设备100将根据功率低规则从多于1个的解码器标识中确认出一个默认的解码器标识。
如表6所示,表6示例性示出了编码器和解码器的功率高低排名。
表6
Figure BDA0003029114630000332
可以理解的是,编码器和解码器的功率高低可以是业界通用的,也可以是开发人员设定的,本申请对于编解码器的功率高低不做限定。
电子设备100按照表6所示的编码器的功率从低到高排名,从多于1个的编码器标识中确认出一个默认的编码器标识,或者电子设备100将根据编码器的功率从低到高排名从多于1个的解码器标识中确认出一个默认的解码器标识。
示例性的,对于类别一,类别一包括的解码器的标识包括解码器一、解码器二,类别一包括的编码器的标识包括编码器一、编码器二。由于编码器一的功率低于编码器二的功率,因此电子设备100确认出编码器一为类别一下默认的一个编码器。由于解码器一的功率低于解码器二的功率,因此电子设备100确认出解码器一为类别一下默认的一个解码器。
在一种可选的实现方式中,电子设备100根据效率高低规则从多于1个的编码器标识中确认出一个默认的编码器标识,或者电子设备100将根据效率高低规则从多于1个的解码器标识中确认出一个默认的解码器标识。
如表7所示,表7示例性示出了编码器和解码器的效率高低排名。
表7
Figure BDA0003029114630000341
可以理解的是,编码器和解码器的效率高低可以是业界通用的,也可以是开发人员设定的,本申请对于编解码器的效率高低不做限定。
电子设备100按照表6所示的编码器的效率高低排名,从多于1个的编码器标识中确认出一个默认的编码器标识,或者电子设备100将根据编码器的效率高低从多于1个的解码器标识中确认出一个默认的解码器标识。
示例性的,对于类别一,类别一包括的解码器的标识包括解码器一、解码器二,类别一包括的编码器的标识包括编码器一、编码器二。由于编码器一的效率高于编码器二的效率,因此电子设备100确认出编码器一为类别一下默认的一个编码器。由于解码器一的效率高于解码器二的效率,因此电子设备100确认出解码器一为类别一下默认的一个解码器。
电子设备100还可以根据其他的规则从多于1个的编码器标识中确认出一个默认的编码器标识,或从多于1个的解码器标识中确认出一个默认的解码器标识,本申请在此不做限定。
在一些实施例中,电子设备100确定出共有的类别中默认的编码器标识,电子设备100还需确认出共有的类别中默认的解码器标识。
具体的,当音频播放设备200将所有的解码器标识和每个解码器对应的一个或多个参数的数值发送至电子设备100,由电子设备100根据编解码器分类标准将音频播放设备200中所有的解码器划分多个类别中,之后,电子设备100确认出电子设备100与音频播放设备200共有的类别。或者音频播放设备200根据编解码器分类标准将音频播放设备200中所有的解码器划分多个类别中,并将解码器标识的数量大于等于1的类别,以及该每个类别下对应的解码器标识发送至电子设备100时,之后,电子设备100确认出电子设备100与音频播放设备200共有的类别。电子设备100确认出共有的类别之后,并确认出每一个共有的类别下默认的一个编码器标识。电子设备100也需确认出每一个共有的类别下默认的一个解码器标识。具体的,当有些共有的类别下,对应的解码器标识的数量为1,则电子设备100确认出该类别下,对应的解码器标识为默认的解码器标识。当有些共有的类别下,对应的解码器标识的数量为大于1时。电子设备100可以采取表5-表7所示的实施例确认出该类别下默认的解码器标识。具体的,本申请在此不再赘述。
S809、电子设备100将共有的类别标识发送至音频播放设备200。
电子设备100确认出共有的类别之后,电子设备100将共有的类别标识发送至音频播放设备200。
音频播放设备200接收电子设备100发送的共有的类别标识。
在一些实施例中,音频播放设备200还需确认出每一个共有的类别中,默认的解码器标识。
对于任意一个共有类别,若解码器标识的数量为1,则音频播放设备200确认出该类别下的解码器的标识为默认的一个解码器标识。
示例性的,当编解码器分类标准的类别为类别三,类别三包括的解码器的标识包括解码器三。因为类别三只包括一个解码器标识,因此音频播放设备200确认出编码器三为类别三下默认的一个解码器。
对于任意一个共有类别,若解码器标识的数量大于1,则音频播放设备200将根据预设的规则从多于1个的编码器标识中确认出一个默认的解码器标识。
预设的规则可以是优先级规则、功率低规则、效率高规则等等。
音频播放设备200根据优先级规则或功率低规则或效率高规则从多于1个的编码器标识中确认出一个默认的解码器标识的方法与前述的电子设备100根据优先级规则或功率低规则或效率高规则从多于1个的编码器标识中确认出一个默认的解码器标识的方法一致,本申请在此不再赘述。
S809也可以在S802之后执行,本申请在此不做限定。
在一些实施例中,当由电子设备100确认出共有的类别中,默认的解码器标识时,电子设备100将共有的类别标识发送至音频播放设备200的同时,还需将共有类别中,默认的解码器标识发送至音频播放设备200。
可选的,电子设备100也可以将共有的类别标识和该每一个类别下默认的解码器标识和默认的编码器标识发送至音频播放设备200。
电子设备100与音频播放设备200确认出共有的类别以及每个共有的类别下默认的编解码器之后,电子设备100将根据应用类型、播放音频特性(采样率、量化位深、声道数)、电子设备音频渲染能力是否开启、信道的网络条件等等从共有的类别中选择适当的一个类别,和该类别中默认的编解码器进行音频数据传输。
接下来介绍电子设备100如何根据应用类型、播放音频特性(采样率、量化位深、声道数)、电子设备音频渲染能力是否开启、信道的网络条件等等从共有类别中选择适当的一个类别的。
1、应用类型:电子设备100中,不同播放音频的应用程序的类型,对播放音频的特性有不同的要求,电子设备100将获取播放音频的应用程序对音频数据的最低采样率、最低量化位深、以及声道数的要求,再根据播放音频的应用程序对音频数据的最低采样率、最低量化位深、以及声道数的要求从共有类别中选择适当的一个类别。例如,有的应用程序对音质要求比较高,对音频数据的采样率的数值、和量化位深的数值要求比较高。例如,一般的播放音频的应用程序对音频数据的采样率的数值在32kHz,对音频数据的量化位深的数值在16比特。但是,对音质要求比较高的应用程序要求音频数据的采样率的数值最低为48kHz,对音频数据的量化位深的数值最低为24比特。电子设备100可以根据采样率的数值包括48kHz和量化位深的数值包括24比特的条件,选择该类别下默认的编解码器进行音频数据传输。
2、播放音频特性:电子设备100中,应用程序可以播放的不同的音频数据,不同的音频数据的特性可能不同。电子设备100将获取正在播放音频数据的最低采样率、最低量化位深、以及声道数的要求,再根据正在播放音频数据的最低采样率、最低量化位深、以及声道数的要求从共有的类别中选择适当的一个类别。例如,有的音频数据对音质要求比较高,音频数据的采样率和量化位深要求比较高。例如,一般音频数据的采样率的数值在32kHz,对音频数据的量化位深的数值在16比特。但是,一些预设的音质比较高的音频数据的采样率的数值最低为48kHz,对音频数据的量化位深的数值最低为24比特。电子设备100可以根据采样率的数值包括48kHz和量化位深的数值包括24比特的条件,选择该类别下默认的编解码器进行音频数据传输。
3、电子设备音频渲染能力是否开启:电子设备当前播放音频的采样率的数值为采样率一,量化位深的数值为量化位深一,码率的数值为码率一,声道数的数值为声道数一。当电子设备100音频渲染能力开启后,电子设备100的渲染单元可以将音频数据的采样率的数值由采样率一提升至采样率二,电子设备100的渲染单元可以将音频数据的量化位深的数值由量化位深一提升至量化位深二,电子设备100的渲染单元可以将音频数据的声道数的数值由声道数一提升至声道数二。其中,采样率二大于采样率一,量化位深二大于量化位深一,声道数二大于声道数一。之后,电子设备100根据音频数据的音频数据的采样率的数值为采样率二,音频数据的量化位深的数值为量化位深二,码率的数值为码率一,音频数据的声道数的数值为声道数二,从共有类别中,选择采样率包括采样率二,量化位深包括量化位深二,码率的数值包括码率一,声道数包括声道数二的一个类别下默认的编解码器进行音频数据的传输。
4、信道的网络条件:电子设备当前播放音频数据的采样率的数值为采样率一,量化位深的数值为量化位深一,声道数的数值为声道数一,码率的数值为码率一。则电子设备100根据音频数据的音频数据的采样率的数值为采样率一,音频数据的量化位深的数值为量化位深一,音频数据的声道数的数值为声道数一,音频数据的码率的数值为码率一,从共有的类别中,选择采样率包括采样率一,量化位深包括量化位深一,声道数包括声道数一,码率包括码率一的一个类别,并采用该类别下默认的编解码器进行音频数据的传输。
需要说明的是,电子设备100还可以根据其他的参数从共有的类别中选择适当的一个类别,不限于上述实施例列举的应用类型、播放音频特性(采样率、量化位深、声道数)、电子设备音频渲染能力是否开启、信道的网络条件等等,本申请再此不再赘述。
电子设备100与音频播放设备200从共有类别中选择适当的一个类别,并采用该类别中默认的编解码器进行音频数据传输之后,由于应用类型变化、播放音频特性(采样率、量化位深、声道数)变化、电子设备音频渲染能力开启、信道的网络条件变化等因素,电子设备100将重新选择另一个类别,并将该类别的标识告知音频播放设备200。电子设备100与音频播放设备200采用另一个类别下默认的编解码器进行音频数据的传输。
1、应用类型由应用类型一变换为应用类型二:电子设备100中,不同播放音频的应用程序的类型,对播放音频的特性有不同的要求。当电子设备100根据应用类型一播放音频数据时,音频数据的采样率的数值为采样率一,量化位深为的数值为量化位深一,码率的数值为码率一,声道数的数值为声道数一。当电子设备100将播放音频数据的应用程序从应用程序一切换为应用程序二之后,若应用程序二对音频数据的音质要求比较高,应用类型二播放音频数据时,音频数据的采样率的数值为采样率二,量化位深为的数值为量化位深二,码率的数值为码率二,声道数的数值为声道数一,其中,采样率二大于采样率一,量化位深二大于量化位深一,码率二大于码率一。由于参数变化,因此电子设备100将重新选择编解码器分类类别。电子设备100从共有类别中,选择采样率包括采样率二,量化位深包括量化位深二,码率的数值包括码率二,声道数包括声道数一的一个类别下默认的编解码器进行音频数据的传输。
2、音频内容由音频数据一切换为音频数据二:电子设备100中,应用程序可以播放的不同的音频数据,不同的音频数据的特性可能不同。当电子设备100根据应用类型播放音频数据一时,音频数据一的采样率的数值为采样率一,量化位深为的数值为量化位深一,码率的数值为码率一,声道数的数值为声道数一。当电子设备100将播放的音频内容由音频数据一切换为音频数据二之后,若音频数据二的音质比较高,电子设备100播放音频数据二时,音频数据二的采样率的数值为采样率二,量化位深为的数值为量化位深二,码率的数值为码率二,声道数的数值为声道数一,其中,采样率二大于采样率一,量化位深二大于量化位深一,码率二大于码率一。由于参数变化,因此电子设备100将重新选择编解码器分类类别。电子设备100从共有类别中,选择采样率包括采样率二,量化位深包括量化位深二,码率的数值包括码率二,声道数包括声道数一的一个类别下默认的编解码器进行音频数据的传输。
3、电子设备音频渲染能力由关闭到开启:电子设备当前播放音频的采样率的数值为采样率一,量化位深的数值为量化位深一,码率的数值为码率一,声道数的数值为声道数一。当电子设备100音频渲染能力开启后,电子设备100的渲染单元可以将音频数据的采样率的数值由采样率一提升至采样率二,电子设备100的渲染单元可以将音频数据的量化位深的数值由量化位深一提升至量化位深二,电子设备100的渲染单元可以将音频数据的声道数的数值由声道数一提升至声道数二。其中,采样率二大于采样率一,量化位深二大于量化位深一,声道数二大于声道数一。由于参数变化,因此电子设备100将重新选择编解码器分类类别。电子设备100将从共有的类别中,选择采样率包括采样率二,量化位深包括量化位深二,码率的数值包括码率一,声道数包括声道数二的一个类别下默认的编解码器进行音频数据的传输。
4、信道的网络条件变差:电子设备当前播放音频数据的采样率的数值为采样率一,量化位深的数值为量化位深一,声道数的数值为声道数一,码率的数值为码率一。无线传输信道由于干扰性强,衰减等原因,导致无线传输信道支持的码率从码率一降为码率二,其中,码率二小于码率一。由于参数变化,因此电子设备100将重新选择编解码器分类类别。电子设备100将从共有的类别中,选择采样率包括采样率一,量化位深二包括量化位深一,码率的数值包括码率二,声道数包括声道数一的一个类别下默认的编解码器进行音频数据的传输。
电子设备100重新选择另一个类别下默认的编解码器之后,电子设备100与音频播放设备200采用另一个类别下默认的编解码器进行音频数据的传输。为了减少编解码器切换时出现卡段情况,本申请实施例可以采用以下方法实现编解码器切换时的平滑过渡。
当电子设备100将的编解码器分类标准的类别从类别一切换为类别二,类别一对应有默认的编码器一和解码器一,类别二对应有默认的编码器二和解码器二。则电子设备100将由编码器一切换为编码器二,音频播放设备200将解码器一切换为解码器二。
当编码器一与编码器二的时延相同时,则电子设备100将编码器一切换为编码器二需要在一帧音频数据帧内完成。将编码器一语编码器二过渡过程的这一帧音频数据帧称为第i帧音频数据。编码器一对第i帧音频数据进行编码,得到packet A(数据包A)。编码器二对第i帧音频数据进行编码,得到packet B(数据包B)。
电子设备100将packet A和packet B发送至音频播放设备200。音频播放设备200采用解码器一将packet A解码出来,得到音频数据pcmA;音频播放设备200也采用解码器二将packet A解码出来,得到音频数据pcmB。然后,音频播放设备200对第i帧音频数据进行平滑处理,平滑过程如公式(1)所示:
Pcm(i)=wi*pcmA(i)+(1-wi)*pcmB(i) 公式(1)
如公式(1)所示,Pcm(i)表示平滑处理之后的第i帧音频数据,wi表示平滑系数,wi可以是线性平滑或者cos平滑等等。wi的取值范围在0~1之间。平滑系数wi越小,平滑作用越强,对预测结果的调整就越小;平滑系数wi越大,平滑作用越弱,对预测结果的调整就越大。pcmA(i)表示解码器一将packet A解码出来得到的音频数据,pcmB(i)表示解码器二将packetB解码出来得到的音频数据。通过公式(1),音频播放设备200可以得到对第i帧音频数据平滑之后的音频数据帧Pcm(i)。这样,音频播放设备200将第i帧音频数据平滑之后的音频数据帧播放出来,可以使编解码器切换过程中的音频数据帧平滑过渡。
当编码器一与编码器二的时延不同时,电子设备100将编码器一切换为编码器二需要在多帧音频数据帧内完成。编码器一与编码器二切换过程的总音频数据帧数D的计算过程如公式(2)所示:
D=取整((max(编码器一的总时延,编码器二的总时延)+(帧长-编码器一的总时延%帧长)+帧长-1)/帧长) 公式(2)
如公式(2)所示,max表示取最大值操作,%表示取余操作,帧长表示编码器一将一段特定时长的音频数据编码为一帧,该特定时长的一帧音频数据为帧长。
对于过渡过程中的总音频数据帧数D,分别对每一帧音频数据使用编码器一和编码器二进行编码,每一帧音频数据可以得到两个数据包,分别为packet A(数据包A)和packet B(数据包B)。电子设备100将packet A和packet B发送至音频播放设备200。音频播放设备接收packet A和packet B,使用解码器一将packet A解码出来,得到音频数据pcmA,使用解码器二将packet B解码出来,得到音频数据pcm B。对于切换过程中的总音频数据帧数D,前D-1个音频数据帧还是采用解码器一解码出来的音频数据,对于第D个音频数据帧,音频播放设备200对第D个音频数据帧进行平滑处理,平滑过程如公式(3)所示:
Pcm(i)=wi*pcmA(i)+(1-wi)*pcmB(i) 公式(3)
如公式(3)所示,Pcm(i)表示平滑处理之后的第D个音频数据帧,wi表示平滑系数,wi可以是线性平滑或者cos平滑等等。wi的取值范围在0~1之间。平滑系数wi越小,平滑作用越强,对预测结果的调整就越小;平滑系数wi越大,平滑作用越弱,对预测结果的调整就越大。pcmA(i)表示解码器一将第D个音频数据帧解码出来得到的音频数据,pcmB(i)表示解码器二将第D个音频数据帧解码出来的音频数据。通过公式(3),音频播放设备200可以得到对第D个音频数据帧平滑之后的音频数据帧Pcm(i)。这样,音频播放设备200将前D-1个音频数据帧和第D帧音频数据平滑之后的音频数据帧播放出来,可以使编解码器切换过程中的音频数据帧平滑过渡。
如图9所示,图9为本申请实施例提供的一种编解码器协商与切换方法的流程图。
S901、电子设备100与音频播放设备200建立通信连接。
电子设备100可以通过蓝牙、Wi-Fi直连、NFC中一项或多项与音频播放设备200建立通信连接。本申请实施例以电子设备100与音频播放设备200通过蓝牙技术建立通信连接为例进行说明。
下面结合UI图具体介绍电子设备100与音频播放设备200如何建立通信连接的。
图9A-图9C示例性示出了电子设备100与音频播放设备200通过蓝牙建立通信连接的UI图。不限于电子设备100与音频播放设备200通过蓝牙建立通信连接,电子设备100还可以通过Wi-Fi直连、NFC中一项或多项与音频播放设备200建立通信连接。
图9A示出了电子设备100上的示例性音频播放用户界面600。如图9A所示,该音频播放界面600包括有音乐名称601、播放控件602、上一首控件603、下一首控件604、播放进度条605、下载控件606、分享控件607、更多按钮608,等等。例如,该音乐名称601可以是“Dreamit possible”。该播放控件602用于触发终端100播放该音乐名称601对应的音频数据。该上一首控件603可用于触发电子设备100切换至播放列表中的上一个音频数据进行播放。该下一首控件604可用于触发电子设备100切换至播放列表中的下一个音频数据进行播放。该播放进度条605可用于指示当前音频数据的播放进度。该下载控件606可用于触发电子设备100下载并保存该音乐名称601的音频数据至本地存储介质中。该分享控件607可用于触发电子设备100分享该音乐名称601对应音频数据的播放链接至其他应用。该更多控件608可用于触发电子设备100显示更多关于音乐播放的功能控件。
不限于音乐播放,电子设备100还可以播放视频应用播放的音频数据、游戏应用播放的音频数据、以及实时通话的音频数据等等,本申请对于电子设备100播放的音频数据的来源不做限定。
如图9B及图9C所示,当电子设备100检测到在显示屏上的向下滑动手势时,响应于该滑动手势,电子设备100在用户界面20上显示如图9C所示的窗口610。如图9C所示,窗口610中可以显示有蓝牙控件611,蓝牙控件611可接收开启/关闭电子设备100的蓝牙功能功能的操作(例如触摸操作、点击操作)。蓝牙控件611的表现形式可以包括图标和/或文本(例如文本“协同投屏”)。窗口610中还可以显示有其他功能例如Wi-Fi、热点、手电筒、响铃、自动旋转、即时分享、飞行模式、移动数据、位置信息、截屏、护眼模式、屏幕录制、、协同投屏、NFC等开关控件,即检测到开启协同投屏功能的用户操作。在一些实施例中,电子设备100检测到作用于蓝牙控件611的用户操作后,可以更改蓝牙控件611的显示形式,例如增加蓝牙控件611时的阴影等。
不限于在如图9B所示的界面上,用户还可以在其他界面上输入向下滑动的手势,触发电子设备100显示窗口610。
不限于图9B及图9C示出的用户在窗口610中作用于蓝牙控件611的用户操作,在本申请实施例中,开启蓝牙功能的用户操作还可以实现为其他形式,本申请实施例不作限制。
例如,电子设备100还可以显示设置(settings)应用提供的设置界面,该设置界面中可包括提供给用户的用于开启/关闭电子设备100的蓝牙功能的控件,用户可通过在该控件上输入用户操作来开启电子设备100的蓝牙功能。
检测到开启蓝牙功能的用户操作,电子设备100通过蓝牙发现该电子设备100附近的其他开启蓝牙功能的电子设备。例如,电子设备100可以通过蓝牙发现并连接附近的音频播放设备200以及其他电子设备。
S902、电子设备100判断与音频播放设备200是否首次建立连接。若电子设备100与音频播放设备200首次建立连接,电子设备100执行S903;否则,电子设备100执行S907。
S903、音频播放设备200将解码器标识的数量大于等于1的类别标识发送至电子设备100。
在音频播放设备200将解码器标识的数量大于等于1的类别标识发送至电子设备100之前,音频播放设备200根据编解码器分类标准将所有的解码器划分到多个类别中。对于音频播放设备200如何根据编解码器分类标准将所有的解码器划分到多个类别中,在S702所示的实施例中已详细介绍,本申请在此不再赘述。
示例性的,音频播放设备200将第一类别的标识和第二类别的标识发送至电子设备100,电子设备100接收音频播放设备200发送的第一类别的标识和第二类别的标识;或者,音频播放设备200将第一类别的标识发送至电子设备100,电子设备100接收音频播放设备200发送的第一类别的标识。其中,第一类别中的解码器至少包括第一解码器,所述第二类别中的解码器的至少包括第二解码器。
在音频播放设备200将解码器标识的数量大于等于1的类别标识发送至电子设备100之前,音频播放设备200基于第一编码器的参数信息以及编解码器分类标准将第一编码器划到第一类别中,基于第二编码器的参数信息以及编解码器分类标准将第二编码器划分到第二类别中;其中,第一编码器的参数信息和第二编码器的参数信息包括采样率、码率、量化位深、声道数和音频流格式中的一个或多个;音频播放设备还用于:基于第一解码器的参数信息以及编解码器分类标准将第一解码器划到第一类别中,基于第二解码器的参数信息以及编解码器分类标准将第二解码器划分到第二类别中;其中,第一解码器的参数信息和第二解码器的参数信息包括采样率、码率、量化位深、声道数和音频流格式中的一个或多个;其中,编解码器分类标准包括编解码器类别与编解码器的参数信息的映射关系。需要说明的是,第一编码器的参数信息、第二编码器的参数信息、第一解码器的参数信息和第二解码器的参数信息均相同。
S904、电子设备100从编码器标识的数量大于等于1的类别与解码器标识的数量大于等于1的类别中,确认出共有的类别。
响应于音频播放设备200发送的解码器标识的数量大于等于1的类别标识,电子设备100接收音频播放设备200发送的解码器标识的数量大于等于1的类别标识。
示例性的,电子设备100确认出电子设备与音频播放设备的共有类别为第一类别和第二类别。
或者电子设备未收到音频播放设备发送的第二类别的标识;或电子设备划分到第二类别中的编码器的数量为0,电子设备100确认出电子设备与音频播放设备的共有类别为第一类别。
共有类别,即电子设备100可以通过该类别下的编解码器与音频播放设备200进行音频数据传输。
可以理解的是,电子设备100在建立连接之前已根据编解码器分类标准将电子设备100中的所有编码器划分到多个类别中,并确认出编码器标识的数量大于等于1的类别。
在一些实施例中,电子设备100也可以在建立连接之后根据预设的编解码器分类标准将电子设备100中的所有编码器划分到多个类别中。音频播放设备200也可以在建立连接之后根据预设的编解码器分类标准将音频播放设备200中的所有解码器划分到多个类别中,并确认出解码器标识的数量大于等于1的类别。本身请在此不做限定。
在一些实施例中,在电子设备100与音频播放设备200建立连接之后,音频播放设备200将音频播放设备200中所有的解码器标识以及每个解码器对应的一个或多个的参数的数值发送至电子设备100,电子设备100根据编解码器分类标准将电子设备100中的所有编码器以及音频播放设备200中所有的解码器分别划分到多个类别中,并确认出编码器标识的数量大于等于1的类别和解码器标识的数量大于等于1的类别。本身请在此不做限定。
编解码器分类标准可以根据采样率、量化位深、码率、声道数、音频流格式等中的一个或两个及以上参数的组合得到。
示例性的,编解码器分类标准根据采样率、量化位深、码率、声道数、音频流格式得到时,可以将编解码器分类标准划分为两个类别。
具体的,当编解码器的采样率的数值大于等于第一采样率(目标采样率),编解码器的码率的数值大于等于第一码率(目标码率),编解码器的量化位深的数值大于等于第一量化位深(目标量化位深),编解码器的声道数的数值大于等于第一声道数(目标声道数),音频流格式为PCM(目标音频流格式)时,则将该编解码器划分为类别一;当编解码器的采样率的数值小于第一采样率,编解码器的码率的数值小于第一码率,编解码器的量化位深的数值小于第一量化位深,并且编解码器的声道数的数值大于等于第一声道数,音频流格式为PCM时,则将该编解码器划分为类别二。
示例性的,第一采样率为48khz,第一码率为600kps,第一量化位深为24比特,第一声道数为2,音频流格式为PCM。则类别一的编解码器分类标准为:编解码器的采样率大于等于48khz,编解码器的码率大于等于600kps,编解码器的量化位深大于等于24比特,编解码器的声道数大于等于2声道,音频流格式为PCM。类别二的编解码器分类标准为:编解码器的采样率小于48khz,编解码器的码率小于等于600kps,编解码器的量化位深小于24比特,编解码器的声道数大于等于2声道,音频流格式为PCM。可以将划分为类别一的编解码器称为高清音质编解码器,将划分为类别二的编解码器称为标准音质编解码器。
音频播放设备200包括解码器一、解码器二和解码器三,并且解码器一属于类别一,解码器二和解码器三属于类别二。
电子设备100包括编码器一、编码器二和编码器三,并且编码器一属于类别一,编码器二、编码器三属于类别二。
则电子设备100和音频播放设备200共有的类别包括类别一和类别二。
电子设备100如何将编码器归类到对应类别的编解码器分类标准,以及音频播放设备200如何将解码器归类到对应类别的编解码器分类标准,上述图7所示的实施例已详细介绍,本申请在此不再赘述。
S905、电子设备100确认出每一个共有的类别中,默认的一个编码器标识和默认的一个解码器标识。
电子设备100确认出电子设备100与音频播放设备200共有的类别后,电子设备100和音频播放设备200可以通过共有的类别中划分的编解码器进行音频数据的传输。
若共有的类别中编码器的数量大于1和/或解码器的数量大于1,电子设备100需要确认出每一个共有的类别下,默认的一个编码器标识和默认的一个解码器标识。之后,电子设备100和音频播放设备200将采用每一个共有的类别下,默认的一个编码器和默认的一个解码器进行音频数据的传输。
对于任意一个共有类别中,若编码器标识的数量为1或者解码器标识的数量为1,则电子设备100确认出该类别下的编码器即为默认的一个编码器,或该类别下的解码器的标识为默认的一个解码器。
示例性的,当共有的类别中为类别一(第一类别)时,划分到类别一中的编解码器为高清音频编解码器。类别一中的编码器包括编码器一(第一编码器),类别一中的解码器的包括解码器一(第一解码器)。因为类别一只包括一个编码器和一个解码器,因此电子设备100确认出编码器一和解码器一为类别一下默认的一个编码器和默认的一个解码器。当电子设备100确认出采用类别一中的编解码器进行音频数据的传输时,电子设备100将采用的类别标识(类别一的标识)发送至音频播放设备200。
电子设备100采用类别一中的编码器一将音频数据编码成第一编码音频数据发送至音频播放设备200,音频播放设备200采用类别一中解码器一将压缩的音频数据解码成(第一播放音频数据),并播放第一播放音频数据。
示例性的,当共有的类别中为类别二时,划分到类别二中的编解码器为基础音频编解码器。类别二中的编码器包括编码器二(第二编码器),类别二中的解码器包括解码器二(第二解码器)。因为类别二只包括一个编码器和一个解码器,因此电子设备100确认出编码器二和解码器二为类别二下默认的一个编码器和默认的一个解码器。当电子设备100确认出采用类别二中的编解码器进行音频数据的传输时,电子设备100将采用的类别标识(类别二的标识)发送至音频播放设备200。
电子设备100采用类别二中的编码器二将音频数据进行打包发送至音频播放设备200,音频播放设备200采用类别二中解码器二将压缩的音频数据解压出来,并播放音频数据。
对于任意一个共有类别中,若编码器标识的数量大于1或者解码器标识的数量大于1,则电子设备100需确认出该类别下的多个编码器的其中一个编码器作为默认的一个编码器,或该类别下的多个解码器的其中一个解码器作为默认的一个解码器。
示例性的,当共有的类别中为类别一时,划分到类别一中的编解码器为高清音频编解码器。类别一中的编码器的包括编码器一(第一编码器)和编码器三(第三编码器),类别一中的解码器的包括解码器一(第一解码器)和解码器三(第三解码器)。因为类别一包括多个编码器和多个解码器,因此电子设备100确认出类别一下默认的一个编码器和默认的一个解码器。电子设备100可以根据预设的规则从多个编码器和多个解码器中确认出类别一下默认的一个编码器和默认的一个解码器,预设的规则可以是优先级规则、功率低规则、效率高规则等等。具体的,电子设备100根据优先级规则、功率低规则、效率高规则从多个编码器和多个解码器中确认出类别一下默认的一个编码器(第一编码器)和默认的一个解码器(第一解码器)的方法,请参考S808所示的实施例,本申请在此不再赘述。当电子设备100确认出编码器一和解码器一为类别一下默认的一个编码器和默认的一个解码器之后,电子设备100将该类别下默认的解码器标识和/或编码器标识发送至音频播放设备200。
之后,当电子设备100确认出采用类别一中的编解码器进行音频数据的传输时,电子设备100将采用的类别标识(类别一的标识)发送至音频播放设备200。
电子设备100采用类别一中的编码器一将音频数据编码为第一编码音频数据发送至音频播放设备200,音频播放设备200采用类别一中解码器一将第一编码音频数据解码成第一播放音频数据,并播放第一播放音频数据。
示例性的,当共有的类别中为类别一和类别二时,划分到类别一中的编解码器为高清音频编解码器,划分到类别二中的编解码器为基础音频编解码器。类别一中的编码器包括编码器一,类别一中的解码器包括解码器一,类别二中的编码器包括编码器二,类别二中的解码器包括解码器二。因为类别一只包括一个编码器和一个解码器,类别二只包括一个解码器和一个编码器,因此电子设备100确认出编码器一和解码器一为类别一下默认的一个编码器和默认的一个解码器,编码器二和解码器二为类别二下默认的一个编码器和默认的一个解码器。当电子设备100可以采用类别一或类别二中的编解码器进行音频数据的传输时,电子设备100将采用的类别标识(类别一的标识或类别二的标识)发送至音频播放设备200。
或者,当共有的类别中为类别一和类别二时,划分到类别一中的编解码器为高清音频编解码器,划分到类别二中的编解码器为基础音频编解码器。类别一中的编码器包括编码器一和编码器三,类别一中的解码器包括解码器一和解码器三,类别二中的编码器包括编码器二和编码器四,类别二中的解码器包括解码器热和解码器四。因为类别一包括多个编码器和多个解码器,类别二也包括多个编码器和多个解码器。电子设备100可以根据预设的规则从多个编码器和多个解码器中确认出类别一和类别二下默认的一个编码器和默认的一个解码器。预设的规则可以是优先级规则、功率低规则、效率高规则等等。具体的,电子设备100根据优先级规则、功率低规则、效率高规则从多个编码器和多个解码器中确认出类别一和类别二下默认的一个编码器和默认的一个解码器的方法,请参考S808所示的实施例,本申请在此不再赘述。当电子设备100确认出编码器一和解码器一为类别一下默认的一个编码器和默认的一个解码器,编码器二和解码器二为类别二下默认的一个编码器和默认的一个解码器之后,电子设备100将类别一下默认的解码器标识和/或编码器标识和类别二下默认的解码器标识和/或编码器标识发送至音频播放设备200。
电子设备100可以采用类别一或类别二中默认的编解码器进行音频数据的传输。示例性的,电子设备100可以采用类别一中的编解码器进行音频数据的传输,类别一中的编解码器为高高清音频编解码器。当网络条件变化或者播放的音频内容变化等等,电子设备100可以将类别一中的编解码器切换为类别二中的编解码器。并采用类别二中的编解码器进行音频数据的传输。
电子设备100确认出电子设备100与音频播放设备200共有的类别之后,在一种可选的实现方式中,电子设备100确认出每一个共有的类别中默认的编码器标识和默认的解码器标识,电子设备100确认出每一个电子设备100与音频播放设备200共有的类别中默认的编码器标识和默认的解码器标识的方法,在图7所示的实施例中已详细介绍,本申请在此不再赘述。
在另一种可选的实现方式中,电子设备100只需确认出电子设备100与音频播放设备200共有的类别中默认的编码器标识。之后,电子设备100将电子设备100与音频播放设备200共有的类别发送至音频播放设备200,音频播放设备200确认出电子设备100与音频播放设备200共有的类别类别中默认的解码器标识。
在一些实施例中,预设的编解码器分类标准可以是每隔固定周期(例如一个月)进行更新的。因此,当编解码器分类标准周期性更新时,电子设备100也需周期性(例如一个月)将编码器划分到多个类别下,音频播放设备200也需周期性(例如一个月)将解码器归类到多个类别下。
在一种可选的实现方式中,电子设备100与音频播放设备200可以根据收集的用户行为习惯,在合适的时机将编解码器分类到多个类别下。
例如在时间段“24:00-7:00”之间,电子设备100与音频播放设备200可以在时间段“24:00-7:00”之间将编解码器分类到多个类别下,因为在时间段“24:00-7:00”之间,用户在家休息,此时,当在这个时间段进行编解码器分类时,不会影响用户使用设备的体验。
S906、电子设备100将共有的类别标识以及每一个共有的类别中,默认的一个解码器标识发送至音频播放设备200。
电子设备100确认出电子设备100与音频播放设备200共有的类别之后,电子设备100将电子设备100与音频播放设备200共有的类别标识(第一类别的标识和第二类别的标识,或者第一类别的标识)以及每一个共有的类别中,默认的一个解码器标识发送至音频播放设备200。
音频播放设备200接收电子设备100发送的电子设备100与音频播放设备200共有的类别标识以及每一个共有的类别中,默认的一个解码器标识。之后,电子设备100与音频播放设备200将采用电子设备100与音频播放设备200共有的类别进行音频数据的传输。
在一些实施例中,若音频播放设备200按照编解码器分类标准将音频播放设备200中所有解码器划分到多个类别中,电子设备100在协商电子设备100与音频播放设备200共有的类别之前,音频播放设备200将每一个类别标志和每一个类别下对应的解码器标识发送至电子设备100。那么,在电子设备100确认出电子设备100共有的类别之后,电子设备100只需将电子设备100与音频播放设备200共有的类别发送至音频播放设备200。
在电子设备100确认出电子设备100与音频播放设备200共有的类别之后,当由音频播放设备200确认出电子设备100与音频播放设备200共有的类别中,默认的解码器标识时。电子设备100只需将电子设备100与音频播放设备200共有的类别标识发送至音频播放设备200。
在一些实施例中,电子设备100在协商共有的类别时,音频播放设备200将音频播放设备200中,所有的解码器标识以及每个解码器对应的一个或多个的参数的数值发送至电子设备100,电子设备100根据编解码器分类标准将电子设备100中的所有编码器以及音频播放设备200中所有的解码器划分到多个类别中。之后,电子设备100确认出电子设备100与音频播放设备200共有的类别。在这种情况下,电子设备100除了需要将电子设备100与音频播放设备200共有的类别发送至音频播放设备200,电子设备100还需要将电子设备100与音频播放设备200共有的类别下的解码器标识发送至音频播放设备200。
进一步的,在电子设备100确认出电子设备100与音频播放设备200共有的类别之后,电子设备100可以确认出电子设备100与音频播放设备200共有的类别中,默认的解码器标识。当由电子设备100确认出电子设备100与音频播放设备200共有的类别中,默认的解码器标识时。电子设备100将电子设备100与音频播放设备200共有的类别标识发送至音频播放设备200的同时,还需将电子设备100与音频播放设备200共有的类别中,默认的解码器标识发送至音频播放设备200。
或者,在电子设备100确认出电子设备100与音频播放设备200共有的类别之后。当由音频播放设备200确认出电子设备100与音频播放设备200共有的类别中,默认的解码器标识时。电子设备100将电子设备100与音频播放设备200共有的类别发送至音频播放设备200的同时,还需将电子设备100与音频播放设备200共有的类别类别下的解码器标识发送至音频播放设备200。
S907、电子设备100从共有类别中,选择第一类别中默认的编解码器进行音频数据的传输。
电子设备100获取音频数据的第一参数信息,当音频数据的第一参数信息满足第一条件时,根据第一类别中的第一编码器将所述音频数据编码成第一编码音频数据,并将所述第一编码音频数据发送至所述音频播放设备。
具体的,电子设备100可以根据应用类型、播放音频特性(采样率、量化位深、声道数)、电子设备音频渲染能力是否开启、信道的网络条件、音频流格式等等从电子设备100与音频播放设备200共有的类别中选择一个类别(例如第一类别)中默认的编解码器进行音频数据的传输,第一类别中默认的编码器为第一编码器,第一类别中默认的解码器为第一解码器。这部分内容在前述实施例已详细介绍,本申请再次不再赘述。
示例性的,电子设备100根据应用类型、播放音频特性(采样率、量化位深、声道数)、电子设备音频渲染能力是否开启、信道的网络条件等确定出第一参数信息为:采样率为第一采样率,量化位深为第一量化位深、码率为第一码率、声道数为第一声道数。电子设备100从共有的类别中,选择采样率包括第一采样率,量化位深包括第一量化位深,码率包括第一码率,声道数包括第一声道数、音频流格式包括PCM的类别中默认的编解码器进行音频数据的传输。
当电子设备100根据应用类型、播放音频特性(采样率、量化位深、声道数)、电子设备音频渲染能力是否开启、信道的网络条件、音频流格式等从电子设备100与音频播放设备200共有的类别中确认出了两个及两个以上类别之后,电子设备100可以从两个及两个以上类别中选择优先级最高的一个类别作为第一类别,并采用该优先级最高的类别中默认的编解码器进行音频数据的传输。可以理解的是,编解码器分类标准中规定的采样率越高、码率越高、量化深度越高,则划分到该类别中的编解码器的音质越好。编解码器的音质越好,则该编解码器所在的类别的优先级越高。
示例性的,电子设备100与音频播放设备20共有的类别中包括类别一和类别二。若电子设备100根据应用类型、播放音频特性(采样率、量化位深、声道数)、电子设备音频渲染能力是否开启、信道的网络条件、音频流格式等等筛选出的类别包括类别一和类别二。由于划分到类别一中的编解码器为高清音质编解码器,划分到类别二中的编解码器为标准音质编解码器。类别一的优先级大于类别二。因此,电子设备100将优先选择类别一中默认的编解码器进行音频数据的传输。
S908、电子设备100将第一类别标识发送至音频播放设备200。
音频播放设备200接收电子设备100发送的第一类别标识,电子设备100与音频播放设备200将采用第一类别标识中默认的编解码器进行音频数据传输。
S909、电子设备100获取音频数据,并采用第一编码器标识对应的编码器将音频数据进行编码,得到编码后的音频数据。
第一编码器标识为第一类别中,默认的编码器标识。
S910、电子设备100将编码后的音频数据(第一编码音频数据)发送至音频播放设备200。
具体的,电子设备100可以通过录音等方式获取当前播放的音频数据,然后将获取的音频数据压缩后,通过和音频播放设备200之间的通信连接发送给音频播放设备200。以电子设备100和音频播放设备200基于miracast共享多媒体内容为例,电子设备100采集电子设备100所播放的音频,使用高级音频编码(advanced audio coding,AAC)算法对该音频进行压缩;然后将压缩后的音频数据封装为传输流(transport stream,TS),之后对TS流按照实时传送协议(real-time transport protocol,RTP)进行编码并将编码后得到的数据通过蓝牙通道连接发送给音频播放设备200。
S911、音频播放设备200接收电子设备100发送的编码后的音频数据,并采用第一解码器标识对应的解码器将编码后的音频数据解码出来,得到音频数据(第一播放音频数据)。
第一解码器标识为第一类别中,默认的解码器标识。
音频播放设备200采用第一解码器标识对应的解码器将编码后的音频数据解码出来,得到未编码的音频数据,并将音频数据播放出来。
S912、电子设备100将第一类别切换为第二类别。
当电子设备100的音频数据的采样率和/或码率和/或量化位深和/或声道数变化,电子设备100将重新选择另一个类别(即第二类别)中的编解码器进行音频数据传输时,电子设备100将该类别的标识告知音频播放设备200。电子设备100与音频播放设备200采用第二类别中的编解码器进行音频数据的传输。这部分内容在前述实施例已经详细介绍过了,本申请在此不再赘述。
当用户选择、应用类型变化、音频内容变化、电子设备音频渲染能力开启、信道的网络条件变差等原因导致电子设备播放音频数据的采样率和/或码率和/或量化位深和/或声道数变化,则电子设备100将第一类别切换为第二类别。
示例性的,当电子设备100接收用户选择高音质模式时,电子设备100将第一编类别切换为第二类别,其中第二类别的中的编解码器的音频质量高于第一类别中的编解码器的音频质量。第二类别中编解码器的采样率、码率、量化位深均大于第一类别中的采样率、码率、量化位深。
如图10A所示,电子设备100接收用户单击更多控件608的操作,响应于用户操作,电子设备100将显示如图10B所示的提示框900。提示框900包括高音质模式控件901、稳定传输模式控件902、开启音频渲染模式控件903。当用户想要电子设备100播放的音频数据的音质更好时,提示框900中的高音质模式控件901可以接收用户的点击操作,响应于用户的点击操作,电子设备100将第一类别切换为第二类别,其中第二类别中的编解码器的音频质量高于第一类别的编解码器分类的音频质量。
示例性的,当电子设备100接收用户操作开启音频渲染能力,电子设备100将播放音频数据的采样率由第一采样率提升至第二采样率,电子设备100的渲染单元可以将音频数据的量化位深的数值由第一量化位深提升至第二量化位深,电子设备100的渲染单元可以将音频数据的声道数的数值由第一声道数提升至第二声道数。其中,第二采样率大于第一采样率,第二量化位深大于第一量化位深,第二声道数大于第一声道数。
如图10C所示,当用户想要电子设备100开启音频渲染能力时,提示框900中的开启音频渲染模式控件903可以接收用户的点击操作,响应于用户的点击操作,电子设备100将第一类别切换为第二类别,其中,第二类别中编解码器的采样率、码率、量化位深、声道数均大于第一类别中编解码器的采样率、码率、量化位深、声道数。
示例性的,当电子设备100的网络不稳定,电子设备100可以接收用户操作将当前音频数据的传输模式切换为稳定传输模式。当用户选择开启稳定传输模式时,电子设备100将第一类别切换为第二类别,其中,第二类别中编解码器的码率低于第一类别中编解码器的码率。或者,电子设备100可以自动的切换至稳定传输模式。本申请在此不做限定。
如图10D所示,当用户选择开启稳定传输模式时,提示框900中的稳定传输模式控件902可以接收用户的点击操作,响应于用户的点击操作,电子设备100将第一类别切换为第二类别,其中,第二类别中编解码器的码率低于第一类别中编解码器的码率。
电子设备100获取音频数据的第二参数信息,当音频数据的第二参数信息满足第二条件时,电子设备100将第一类别切换为第二类别,并根据第二类别中的第二编码器将所述音频数据编码成第二编码音频数据,并将所述第二编码音频数据发送至所述音频播放设备。
电子设备100将第二类别的标识发送至音频播放设备200。
当电子设备100播放的音频数据的应用类型由应用类型一变换为应用类型二,或者电子设备100播放的音频数据音频数据一切换为音频数据二,或者电子设备音频渲染能力开启或开启,使得第二参数信息为:电子设备100播放的音频数据的采样率从第一采样率变化为第二采样率,则电子设备100选择从电子设备100与音频播放设备200共有的类别中,选择采样率包括第二采样率,量化位深包括第一量化位深,码率包括第一码率,声道数包括第一声道数、音频流格式包括PCM的类别中的默认的编解码器进行音频数据的传输。
对于S907-S912中的第一条件和第二条件的具体解释:
第一参数信息中的参数种类、第一编码器的参数信息中的参数种类、第一解码器的参数信息中的参数种类、第二参数信息中的参数种类、第二编码器的参数信息中的参数种类、第二解码器的参数信息中的参数种类相同;第一参数信息满足第一条件,第二参数信息满足第二条件,具体包括:第一参数信息中的采样率大于等于目标采样率,第二参数信息中的采样率小于目标采样率;和/或,第一参数信息中的码率大于等于目标码率,第二参数信息中的码率小于目标码率;和/或,第一参数信息中的量化位深大于等于目标量化位深,第二参数信息中的量化位深小于目标量化位深;和/或,第一参数信息中的声道数大于等于目标声道数,第二参数信息中的声道数小于于目标声道数;和/或,第一参数信息中的音频流格式为目标音频流格式,第二参数信息中的音频流格式为目标音频流格式。
S913、电子设备100将第二类别的标识发送至音频播放设备200。
音频播放设备200接收电子设备100发送的第二类别标识。电子设备100与音频播放设备200将通过第二类别标识中默认的编解码器进行音频数据的传输。
具体的,电子设备100采集音频数据,电子设备100将采用第二编码器标识对应的编码器将音频数据进行编码,得到编码后的音频数据(第二编码音频数据),电子设备100将编码后的音频数据发送至音频播放设备200,音频播放设备200将采用第二解码器标识对应的解码器将音频数据解码出来,得到未编码的音频数据(第二播放音频数据),音频播放设备200将播放未编码的音频数据(第二播放音频数据)。
其中,第二编码器标识为第二类别中,默认的编码器标识;第二解码器标识为第二类别中,默认的解码器标识。
为了避免电子设备100与音频播放设备200在切换编解码器时的画面卡顿,将对电子设备100与音频播放设备200切换过程中的音频数据进行平滑过渡,提高用户的体验。
当第一编码器与第二编码器的时延相同时,电子设备通过第一编码器将音频数据中的第一音频帧编码成第一编码音频帧,并将第一编码音频帧发送给音频播放设备;通过第二编码器将音频数据中的第一音频帧编码成第二编码音频帧,并将第二编码音频帧发送至音频播放设备,通过第二编码器将音频数据中的第二音频帧编码成第N编码音频帧,并将第N编码音频帧发送至音频播放设备;音频播放设备通过第一解码器将第一编码音频帧解码为第一解码音频帧,通过第二解码器将第二编码音频帧解码为第二解码音频帧,通过第二解码器将第N编码音频帧解码为第N播放音频帧;对第一解码音频帧和第二解码音频帧进行平滑处理,得到第一播放音频帧。电子设备100首先播放第一播放音频帧,之后,电子设备100播放第N播放音频帧。这样,当第一编码器与第二编码器的时延相同时,第一编码器与第二编码器的切换需要在一帧内完成,该一帧即为第一音频帧,音频播放设备对第一音频帧进行平滑处理之后在播放,防止编解码器切换时出现卡顿的情况,实现平滑过渡。对第一音频帧之后相邻的音频帧,例如第二音频帧,不需要平滑处理,直接将第二解码器进行解码并播放出来。
音频播放设备通过公式Pcm=wi*pcmA+(1-wi)*pcmB得到第一播放音频帧;其中,Pcm为第一播放音频帧,wi为平滑系数,wi i大于0小于1,pcmA为第一解码音频帧,pcmB为第二解码音频帧。
当第一编码器与第二编码器的时延不同,电子设备通过公式D=取整((max(编码器一的总时延,编码器二的总时延)+(帧长-编码器一的总时延%帧长)+帧长-1)/帧长)获取D帧音频数据帧;其中,D表示第一编码器与第二编码器切换过程中的总音频数据帧数,max表示取最大值操作,%表示取余操作,帧长表示一帧音频数据的时长;通过第一编码器将音频数据中的第一音频帧至第D音频帧进行编码,得到第三编码音频帧至第D+2编码音频帧;通过第二编码器将音频数据中的第D音频帧进行编码,得到第D+3编码音频帧,通过第二编码器将音频数据中的第D+1音频帧进行编码,得到第N编码音频帧;将第三编码音频帧至第D+2编码音频帧、第D+3编码音频帧、第N编码音频帧发送至音频播放设备;音频播放设备通过第一解码器将第三编码音频帧至第D+2编码音频帧解码为第二播放音频帧至第D+1播放音频帧,通过第二解码器将D+3编码音频帧解码为第三解码音频帧;播放第二播放音频帧至第D播放音频帧;对第D+1播放音频帧和第三解码音频帧进行平滑处理,得到目标播放音频帧,播放目标播放音频帧;通过第二解码器将第N编码音频帧解码为第N解码音频帧,播放第N解码音频帧。这样,当第一编码器与第二编码器的时延不同时,第一编码器与第二编码器的切换需要在多帧(D帧)内完成,这样,使得第一编码器与第二编码器切换过程中的,由第一编码器编码的音频数据到达音频播放设备并解码出来,由第二编码器编码的音频数据到达音频播放设备并解码出来的时刻是一样的。若编码器切换需要在D帧内完成,音频播放设备直接将第一音频帧至第D-1音频帧解码并播放出啦,音频播放设备对第D音频帧进行平滑处理之后再播放,防止编解码器切换时出现卡顿的情况,实现平滑过渡。对第D音频帧之后相邻的音频帧,例如第N音频帧,不需要平滑处理,直接将第N解码器进行解码并播放出来。
音频播放设备,通过公式Pcm=wi*pcmA+(1-wi)*pcmB得到目标播放音频帧;其中,Pcm为目标播放音频帧,wi为平滑系数,wi i大于0小于1,pcmA为第D+1播放音频帧,pcmB为第三解码音频帧。
电子设备100与音频播放设备200如何在切换过程中对音频数据进行平滑过渡的,在前述实施例已详细介绍,本身请在此不再赘述。
S912-S913也可以替换为,当第二参数信息满足第二条件时,通过第一类别中的第一编码器将音频数据编码成第三编码音频数据,并将第三编码音频数据发送至音频播放设备;音频播放设备,还用于通过第一类别中的第一解码器将第三编码音频数据解码成第三播放音频数据。当电子设备与音频播放设备只支持一种编解码器类别(第一类别)时,这种情况下,当音频数据的参数信息由第一参数信息变化为第二参数信息时,并且第二参数信息满足第二条件,电子设备无法切换编解码器,电子设备还是采用第一类别中默认的编解码器与音频播放设备进行音频数据的传输。
以上所述,以上实施例仅用以说明本申请的技术方案,而非对其限制;尽管参照前述实施例对本申请进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本申请各实施例技术方案的范围。

Claims (35)

1.一种编解码器协商与切换系统,其特征在于,所述系统包括电子设备和音频播放设备,其中:
所述电子设备用于:
当音频数据的第一参数信息满足第一条件时,根据第一类别中的第一编码器将所述音频数据编码成第一编码音频数据,并将所述第一编码音频数据发送至所述音频播放设备;其中,所述第一类别为所述电子设备在获取所述音频数据之前,确定出所述电子设备与所述音频播放设备共有的编解码器类别;
将所述第一类别的标识发送至所述音频播放设备;
所述音频播放设备用于:
接收所述电子设备发送的所述第一类别的标识;
通过所述第一类别中的第一解码器将所述第一编码音频数据解码成第一播放音频数据;
所述电子设备还用于:
当音频数据的第二参数信息满足第二条件时,根据第二类别中的第二编码器将所述音频数据编码成第二编码音频数据,并将所述第二编码音频数据发送至所述音频播放设备;其中,所述第二类别为所述电子设备在获取所述音频数据之前,确定的所述电子设备与所述音频播放设备共有的编解码器类别;
将所述第二类别的标识发送至所述音频播放设备;
所述音频播放设备还用于:
接收所述电子设备发送的所述第二类别的标识;
通过所述第二类别中的第二解码器将所述第二编码音频数据解码成第二播放音频数据;
其中,所述第一条件与所述第二条件不同,所述第一类别与所述第二类别不同。
2.根据权利要求1所述的系统,其特征在于,所述第一类别中的编码器至少包括所述第一编码器,所述第二类别中的编码器至少包括所述第二编码器。
3.根据权利要求2所述的系统,其特征在于,所述电子设备还用于:
接收所述音频播放设备发送的所述第一类别的标识和所述第二类别的标识;其中,所述第一类别中的解码器至少包括所述第一解码器,所述第二类别中的解码器的至少包括所述第二解码器。
4.根据权利要求3所述的系统,其特征在于,所述电子设备还用于:
确认出所述电子设备与所述音频播放设备的共有类别为所述第一类别和所述第二类别;
将所述第一类别的标识和所述第二类别的标识发送至所述音频播放设备;
所述音频播放设备,还用于:
接收所述电子设备发送的所述第一类别的标识和所述第二类别的标识。
5.根据权利要求4所述的系统,其特征在于,所述第一类别中的编码器只包括所述第一编码器,所述第一类别中的解码器只包括所述第一解码器;
在所述电子设备确认出所述电子设备与所述音频播放设备的共有类别为所述第一类别和所述第二类别之后,所述电子设备还用于:
当所述第一参数信息满足所述第一条件时,通过所述第一类别中的所述第一编码器将所述音频数据编码成所述第一编码音频数据,并将所述第一编码音频数据发送至所述音频播放设备;
所述音频播放设备,还用于通过所述第一类别中的所述第一解码器将所述第一编码音频数据解码成所述第一播放音频数据。
6.根据权利要求5所述的系统,其特征在于,所述第一类别中的编码器还包括第三编码器,所述第一类别中的解码器还包括第三解码器;
在所述电子设备确认出所述电子设备与所述音频播放设备的共有类别为所述第一类别和所述第二类别之后,所述电子设备还用于:
当所述第一参数信息满足所述第一条件时,通过所述第一类别中的第一编码器将所述音频数据编码成第一编码音频数据,并将所述第一编码音频数据发送至所述音频播放设备;其中,所述第一编码器的功耗低于所述第三编码器,或者,所述第一编码器的优先级或功率高于所述第三编码器;
所述音频播放设备,还用于通过所述第一类别中的所述第一解码器将所述第一编码音频数据解码成第一播放音频数据;其中,所述第一解码器的功耗低于所述第二解码器,或者,所述第一解码器的优先级或功率高于所述第二解码器。
7.根据权利要求1所述的系统,其特征在于,当所述电子设备与所述音频播放设备共有的编码器类别只包括所述第一类别时,所述电子设备还用于:
当所述第二参数信息满足所述第二条件时,通过所述第一类别中的所述第一编码器将所述音频数据编码成第三编码音频数据,并将所述第三编码音频数据发送至所述音频播放设备;
所述音频播放设备,还用于通过所述第一类别中的所述第一解码器将所述第三编码音频数据解码成第三播放音频数据。
8.根据权利要求7所述的方法,其特征在于,所述电子设备与所述音频播放设备共有的编码器类别只包括所述第一类别,包括:
所述电子设备未收到所述音频播放设备发送的所述第二类别的标识或所述电子设备划分到所述第二类别中的编码器的数量为0。
9.根据权利要求7所述的系统,其特征在于,所述第一类别中的编码器只包括所述第一编码器,所述第一类别中的解码器只包括所述第一解码器;
当所述第一参数信息满足所述第一条件时,所述电子设备还用于:
根据所述第一类别中的所述第一编码器将所述音频数据编码成所述第一编码音频数据,并将所述第一编码音频数据发送至所述音频播放设备;
所述音频播放设备,还用于通过所述第一类别中的所述第一解码器将所述第一编码音频数据解码成所述第一播放音频数据。
10.根据权利要求7所述的系统,其特征在于,所述第一类别中的编码器还包括第三编码器,所述第一类别中的解码器还包括第三解码器;
当所述第一参数信息满足所述第一条件时,所述电子设备还用于:
根据所述第一类别中的所述第一编码器将所述音频数据编码成所述第一编码音频数据,并将所述第一编码音频数据发送至所述音频播放设备;其中,所述第一编码器的功耗低于所述第三编码器,或者,所述第一编码器的优先级或功率高于所述第三编码器;
所述音频播放设备,还用于通过所述第一类别中的所述第一解码器将所述第一编码音频数据解码成所述第一播放音频数据;其中,所述第一解码器的功耗低于所述第三解码器,或者,所述第一解码器的优先级或功率高于所述第三解码器。
11.根据权利要求2-10任一项所述的系统,其特征在于,所述第一类别中的编解码器为高清音质编解码器,所述第二类别中的编解码器为标准音质编解码器;或
所述第一类别中的编解码器为标准音质编解码器,所述第二类别中的编解码器为高清音质编解码器。
12.根据权利要求1所述的系统,其特征在于,在所述电子设备获取音频数据之前,所述电子设备还用于:
基于所述第一编码器的参数信息以及编解码器分类标准将所述第一编码器划到所述第一类别中,基于所述第二编码器的参数信息以及所述编解码器分类标准将所述第二编码器划分到所述第二类别中;其中,所述第一编码器的参数信息和所述第二编码器的参数信息包括采样率、码率、量化位深、声道数和音频流格式中的一个或多个;
所述音频播放设备还用于:
基于所述第一解码器的参数信息以及所述编解码器分类标准将所述第一解码器划到所述第一类别中,基于所述第二解码器的参数信息以及所述编解码器分类标准将所述第二解码器划分到所述第二类别中;其中,所述第一解码器的参数信息和所述第二解码器的参数信息包括采样率、码率、量化位深、声道数和音频流格式中的一个或多个;
其中,所述编解码器分类标准包括编解码器类别与编解码器的参数信息的映射关系。
13.根据权利要求12所述的系统,其特征在于,所述第一类别中的编解码器的采样率大于等于目标采样率,所述第二类别中的编解码器的采样率小于目标采样率;和/或,
所述第一类别中的编解码器的码率大于等于目标码率,所述第二类别中的编解码器的码率小于目标码率;和/或,
所述第一类别中的编解码器的声道数大于等于目标声道数,所述第二类别中的编解码器的声道数小于目标声道数;和/或,
所述第一类别中的编解码器的量化位深大于等于目标量化位深,所述第二类别中的编解码器的量化位深小于目标量化位深;和/或,
所述第一类别中的编解码器的音频流格式为目标音频流格式,所述第二类别中的编解码器的音频流格式为所述目标音频流格式。
14.根据权利要求13所述的系统,其特征在于,所述第一参数信息中的参数种类、所述第一编码器的参数信息中的参数种类、所述第一解码器的参数信息中的参数种类、所述第二参数信息中的参数种类、所述第二编码器的参数信息中的参数种类、所述第二解码器的参数信息中的参数种类相同;
所述第一参数信息满足所述第一条件,所述第二参数信息满足所述第二条件,具体包括:
所述第一参数信息中的采样率大于等于所述目标采样率,所述第二参数信息中的采样率小于所述目标采样率;和/或,
所述第一参数信息中的码率大于等于所述目标码率,所述第二参数信息中的码率小于所述目标码率;和/或,
所述第一参数信息中的量化位深大于等于所述目标量化位深,所述第二参数信息中的量化位深小于所述目标量化位深;和/或,
所述第一参数信息中的声道数大于等于所述目标声道数,所述第二参数信息中的声道数小于于所述目标声道数;和/或,
所述第一参数信息中的音频流格式为所述目标音频流格式,所述第二参数信息中的音频流格式为所述目标音频流格式。
15.根据权利要求1所述的系统,其特征在于,当所述第一编码器与所述第二编码器的时延相同时,所述电子设备还用于:
通过所述第一编码器将所述音频数据中的第一音频帧编码成第一编码音频帧,并将所述第一编码音频帧发送给所述音频播放设备;
通过所述第二编码器将所述音频数据中的第一音频帧编码成第二编码音频帧,并将所述第二编码音频帧发送至所述音频播放设备;
所述音频播放设备,还用于:
通过所述第一解码器将所述第一编码音频帧解码为第一解码音频帧,通过所述第二解码器将所述第二编码音频帧解码为第二解码音频帧;
对所述第一解码音频帧和所述第二解码音频帧进行平滑处理,得到第一播放音频帧。
16.根据权利要求1所述的系统,其特征在于,当所述第一编码器与所述第二编码器的时延不同,所述电子设备还用于:
通过公式D=取整((max(编码器一的总时延,编码器二的总时延)+(帧长-编码器一的总时延%帧长)+帧长-1)/帧长)获取D帧音频数据帧;其中,D表示所述第一编码器与所述第二编码器切换过程中的总音频数据帧数,max表示取最大值操作,%表示取余操作,帧长表示一帧音频数据的时长;
通过所述第一编码器将所述音频数据中的第一音频帧至第D音频帧进行编码,得到第三编码音频帧至第D+2编码音频帧;
通过所述第二编码器将所述音频数据中的所述第D音频帧进行编码,得到第D+3编码音频帧;
将所述第三编码音频帧至所述第D+2编码音频帧、所述第D+3编码音频帧发送至所述音频播放设备;
所述音频播放设备,还用于:
通过所述第一解码器将所述第三编码音频帧至所述第D+2编码音频帧解码为第二播放音频帧至第D+1播放音频帧,通过第二解码器将所述D+3编码音频帧解码为第三解码音频帧;
播放所述第二播放音频帧至第D播放音频帧;
对所述第D+1播放音频帧和所述第三解码音频帧进行平滑处理,得到目标播放音频帧。
17.根据权利要求15所述的系统,其特征在于,所述音频播放设备,还用于:
通过公式Pcm=wi*pcmA+(1-wi)*pcmB得到所述第一播放音频帧;其中,Pcm为所述第一播放音频帧,wi为平滑系数,wii大于0小于1,pcmA为所述第一解码音频帧,pcmB为所述第二解码音频帧。
18.根据权利要求16所述的系统,其特征在于,所述音频播放设备,还用于:
通过公式Pcm=wi*pcmA+(1-wi)*pcmB得到所述目标播放音频帧;其中,Pcm为所述目标播放音频帧,wi为平滑系数,wii大于0小于1,pcmA为所述第D+1播放音频帧,pcmB为所述第三解码音频帧。
19.一种编解码器协商与切换方法,其特征在于,所述方法包括:
当音频数据的第一参数信息满足第一条件时,所述电子设备根据第一类别中的第一编码器将所述音频数据编码成第一编码音频数据,并将所述第一编码音频数据发送至所述音频播放设备;其中,所述第二类别为所述电子设备在获取所述音频数据之前,确定的所述电子设备与所述音频播放设备共有的编解码器类别;
当所述第二参数信息满足第二条件时,所述电子设备根据第二类别中的第二编码器将所述音频数据编码成第二编码音频数据,并将所述第二编码音频数据发送至所述音频播放设备;其中,所述第二类别为所述电子设备在获取所述音频数据之前,确定出所述电子设备与所述音频播放设备共有的编解码器类别;其中,所述第二类别为所述电子设备在获取所述音频数据之前,确定的所述电子设备与所述音频播放设备共有的编解码器类别,所述第一条件与所述第二条件不同,所述第一类别与所述第二类别不同。
20.根据权利要求19所述的方法,其特征在于,所述第一类别中的编码器至少包括所述第一编码器,所述第二类别中的编码器至少包括所述第二编码器。
21.根据权利要求20所述的方法,其特征在于,所述方法还包括:
所述电子设备接收所述音频播放设备发送的所述第一类别的标识和所述第二类别的标识;其中,所述第一类别中的解码器至少包括所述第一解码器,所述第二类别中的解码器的至少包括所述第二解码器。
22.根据权利要求21所述的方法,其特征在于,所述方法还包括:
所述电子设备确认出所述电子设备与所述音频播放设备的共有类别为所述第一类别和所述第二类别;
所述电子设备将所述第一类别的标识和所述第二类别的标识发送至所述音频播放设备。
23.根据权利要求22所述的方法,其特征在于,所述第一类别中的编码器只包括所述第一编码器;在所述电子设备确认出所述电子设备与所述音频播放设备的共有类别为所述第一类别和所述第二类别之后,所述方法还包括:
当所述第一参数信息满足所述第一条件时,所述电子设备通过所述第一类别中的所述第一编码器将所述音频数据编码成所述第一编码音频数据,并将所述第一编码音频数据发送至所述音频播放设备。
24.根据权利要求23所述的方法,其特征在于,所述第一类别中的编码器还包括第三编码器;在所述电子设备确认出所述电子设备与所述音频播放设备的共有类别为所述第一类别和所述第二类别之后,所述方法还包括:
当所述第一参数信息满足所述第一条件时,所述电子设备通过所述第一类别中的第一编码器将所述音频数据编码成第一编码音频数据,并将所述第一编码音频数据发送至所述音频播放设备;其中,所述第一编码器的功耗低于所述第三编码器,或者,所述第一编码器的优先级或功率高于所述第三编码器。
25.根据权利要求19所述的方法,其特征在于,当所述电子设备与所述音频播放设备共有的编码器类别只包括所述第一类别时,所述方法还包括:
当所述第二参数信息满足所述第二条件时,所述电子设备通过所述第一类别中的所述第一编码器将所述音频数据编码成第三编码音频数据,并将所述第三编码音频数据发送至所述音频播放设备。
26.根据权利要求25所述的方法,其特征在于,所述电子设备与所述音频播放设备共有的编码器类别只包括所述第一类别,包括:所述电子设备未收到所述音频播放设备发送的所述第二类别的标识;或所述电子设备划分到所述第二类别中的编码器的数量为0。
27.根据权利要求25所述的方法,其特征在于,所述第一类别中的编码器只包括所述第一编码器,所述第一类别中的解码器只包括所述第一解码器;
当所述第一参数信息满足所述第一条件时,所述电子设备根据所述第一类别中的所述第一编码器将所述音频数据编码成所述第一编码音频数据,并将所述第一编码音频数据发送至所述音频播放设备。
28.根据权利要求25所述的方法,其特征在于,所述第一类别中的编码器还包括第三编码器,所述第一类别中的解码器还包括第三解码器;
当所述第一参数信息满足所述第一条件时,所述电子设备根据所述第一类别中的所述第一编码器将所述音频数据编码成所述第一编码音频数据,并将所述第一编码音频数据发送至所述音频播放设备;其中,所述第一编码器的功耗低于所述第三编码器,或者,所述第一编码器的优先级或功率高于所述第三编码器。
29.根据权利要求20-28任一项所述的方法,其特征在于,所述第一类别中的编解码器为高清音质编解码器,所述第二类别中的编解码器为标准音质编解码器;或
所述第一类别中的编解码器为标准音质编解码器,所述第二类别中的编解码器为高清音质编解码器。
30.根据权利要求10所述的方法,其特征在于,在所述电子设备获取音频数据之前,所述方法还包括:
所述电子设备基于所述第一编码器的参数信息以及编解码器分类标准将所述第一编码器划到所述第一类别中,基于所述第二编码器的参数信息以及所述编解码器分类标准将所述第二编码器划分到所述第二类别中;其中,所述第一编码器的参数信息和所述第二编码器的参数信息包括采样率、码率、量化位深、声道数和音频流格式中的一个或多个;所述编解码器分类标准包括编解码器类别与编解码器的参数信息的映射关系。
31.根据权利要求30所述的方法,其特征在于,所述第一类别中的编解码器的采样率大于等于目标采样率,所述第二类别中的编解码器的采样率小于目标采样率;和/或,
所述第一类别中的编解码器的码率大于等于目标码率,所述第二类别中的编解码器的码率小于目标码率;和/或,
所述第一类别中的编解码器的声道数大于等于目标声道数,所述第二类别中的编解码器的声道数小于目标声道数;和/或,
所述第一类别中的编解码器的量化位深大于等于目标量化位深,所述第二类别中的编解码器的量化位深小于目标量化位深;和/或,
所述第一类别中的编解码器的音频流格式为目标音频流格式,所述第二类别中的编解码器的音频流格式为所述目标音频流格式。
32.根据权利要求31所述的方法,其特征在于,所述第一参数信息中的参数种类、所述第一编码器的参数信息中的参数种类、所述第一解码器的参数信息中的参数种类、所述第二参数信息中的参数种类、所述第二编码器的参数信息中的参数种类、所述第二解码器的参数信息中的参数种类相同;
所述第一参数信息满足所述第一条件,所述第二参数信息满足所述第二条件,具体包括:
所述第一参数信息中的采样率大于等于所述目标采样率,所述第二参数信息中的采样率小于所述目标采样率;和/或,
所述第一参数信息中的码率大于等于所述目标码率,所述第二参数信息中的码率小于所述目标码率;和/或,
所述第一参数信息中的量化位深大于等于所述目标量化位深,所述第二参数信息中的量化位深小于所述目标量化位深;和/或,
所述第一参数信息中的声道数大于等于所述目标声道数,所述第二参数信息中的声道数小于于所述目标声道数;和/或,
所述第一参数信息中的音频流格式为所述目标音频流格式,所述第二参数信息中的音频流格式为所述目标音频流格式。
33.一种电子设备,其特征在于,包括一个或多个处理器、一个或多个存储器,一个或多个编码器;所述一个或多个存储器、所述一个或多个编码器与所述一个或多个处理器耦合,所述一个或多个存储器用于存储计算机程序代码,所述计算机程序代码包括计算机指令,所述一个或多个处理器调用所述计算机指令以使得所述电子设备执行如权利要求19至32任一项所述的方法。
34.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质中存储有计算机可执行指令,所述计算机可执行指令在被所述计算机调用时用于执行如权利要求19至32任一项所述的方法。
35.一种包含指令的计算机程序产品,其特征在于,当所述计算机程序产品在计算机上运行时,使得所述计算机执行如权利要求19至32中任意一项所述的方法。
CN202110423987.8A 2021-04-20 2021-04-20 一种编解码器协商与切换方法 Pending CN115223579A (zh)

Priority Applications (5)

Application Number Priority Date Filing Date Title
CN202110423987.8A CN115223579A (zh) 2021-04-20 2021-04-20 一种编解码器协商与切换方法
EP22790822.5A EP4318467A1 (en) 2021-04-20 2022-03-29 Codec negotiation and switching method
JP2023564200A JP2024515684A (ja) 2021-04-20 2022-03-29 コーデックネゴシエーションおよび切替方法
PCT/CN2022/083816 WO2022222713A1 (zh) 2021-04-20 2022-03-29 一种编解码器协商与切换方法
US18/489,217 US20240045643A1 (en) 2021-04-20 2023-10-18 Codec negotiation and switching method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110423987.8A CN115223579A (zh) 2021-04-20 2021-04-20 一种编解码器协商与切换方法

Publications (1)

Publication Number Publication Date
CN115223579A true CN115223579A (zh) 2022-10-21

Family

ID=83604709

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110423987.8A Pending CN115223579A (zh) 2021-04-20 2021-04-20 一种编解码器协商与切换方法

Country Status (5)

Country Link
US (1) US20240045643A1 (zh)
EP (1) EP4318467A1 (zh)
JP (1) JP2024515684A (zh)
CN (1) CN115223579A (zh)
WO (1) WO2022222713A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116261008A (zh) * 2022-12-14 2023-06-13 海信视像科技股份有限公司 音频处理方法和音频处理装置
CN116580716A (zh) * 2023-07-12 2023-08-11 腾讯科技(深圳)有限公司 音频编码方法、装置、存储介质及计算机设备

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2792156B1 (fr) * 1999-04-06 2001-06-15 Cit Alcatel Procede et dispositif de transmission de donnees sur un canal de parole
US20070255433A1 (en) * 2006-04-25 2007-11-01 Choo Eugene K Method and system for automatically selecting digital audio format based on sink device
EP2772914A4 (en) * 2011-10-28 2015-07-15 Panasonic Corp DECODER FOR HYBRID SOUND SIGNALS, COORDINATORS FOR HYBRID SOUND SIGNALS, DECODING PROCEDURE FOR SOUND SIGNALS AND CODING SIGNALING PROCESSES
US20130282917A1 (en) * 2012-04-24 2013-10-24 Vid Scale, Inc. Method and apparatus for smooth stream switching in mpeg/3gpp-dash
CN113470668B (zh) * 2017-08-14 2024-03-12 海信视像科技股份有限公司 显示设备及调节蓝牙a2dp编码设置的方法
WO2020239985A1 (en) * 2019-05-31 2020-12-03 Tap Sound System Method for operating a bluetooth device
EP3771238B1 (en) * 2019-07-26 2022-09-21 Google LLC Method for managing a plurality of multimedia communication links in a point-to-multipoint bluetooth network

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116261008A (zh) * 2022-12-14 2023-06-13 海信视像科技股份有限公司 音频处理方法和音频处理装置
CN116580716A (zh) * 2023-07-12 2023-08-11 腾讯科技(深圳)有限公司 音频编码方法、装置、存储介质及计算机设备
CN116580716B (zh) * 2023-07-12 2023-10-27 腾讯科技(深圳)有限公司 音频编码方法、装置、存储介质及计算机设备

Also Published As

Publication number Publication date
JP2024515684A (ja) 2024-04-10
US20240045643A1 (en) 2024-02-08
EP4318467A1 (en) 2024-02-07
WO2022222713A1 (zh) 2022-10-27

Similar Documents

Publication Publication Date Title
WO2020253719A1 (zh) 一种录屏方法及电子设备
CN111316598B (zh) 一种多屏互动方法及设备
CN110109636B (zh) 投屏方法、电子设备以及系统
CN113542839B (zh) 电子设备的投屏方法和电子设备
CN113726950B (zh) 一种图像处理方法和电子设备
CN113497909B (zh) 一种设备交互的方法和电子设备
WO2021147415A1 (zh) 实现立体声输出的方法及终端
CN113438354B (zh) 数据传输方法、装置、电子设备和存储介质
CN113838490B (zh) 视频合成方法、装置、电子设备及存储介质
JP7416519B2 (ja) マルチ端末マルチメディアデータ通信方法及びシステム
CN109819306B (zh) 一种媒体文件裁剪的方法、电子设备和服务器
US20240045643A1 (en) Codec negotiation and switching method
CN114185503B (zh) 多屏交互的系统、方法、装置和介质
US20210377642A1 (en) Method and Apparatus for Implementing Automatic Translation by Using a Plurality of TWS Headsets Connected in Forwarding Mode
CN114040242A (zh) 投屏方法和电子设备
CN115756268A (zh) 跨设备交互的方法、装置、投屏系统及终端
CN114125793A (zh) 一种蓝牙数据传输方法及相关装置
CN112437341B (zh) 一种视频流处理方法及电子设备
CN114173184A (zh) 投屏方法和电子设备
CN116939559A (zh) 蓝牙音频编码数据分发方法、电子设备及存储介质
CN116170629A (zh) 一种传输码流的方法、电子设备及计算机可读存储介质
CN114827098A (zh) 合拍的方法、装置、电子设备和可读存储介质
CN116668762B (zh) 录屏方法及装置
CN116668764B (zh) 处理视频的方法及装置
CN115460445A (zh) 电子设备的投屏方法和电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination