CN116348952A - 一种音频信号处理、装置、设备及存储介质 - Google Patents

一种音频信号处理、装置、设备及存储介质 Download PDF

Info

Publication number
CN116348952A
CN116348952A CN202380008204.7A CN202380008204A CN116348952A CN 116348952 A CN116348952 A CN 116348952A CN 202380008204 A CN202380008204 A CN 202380008204A CN 116348952 A CN116348952 A CN 116348952A
Authority
CN
China
Prior art keywords
encoding
coding
target
mode
audio signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202380008204.7A
Other languages
English (en)
Inventor
王宾
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Xiaomi Mobile Software Co Ltd
Original Assignee
Beijing Xiaomi Mobile Software Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Xiaomi Mobile Software Co Ltd filed Critical Beijing Xiaomi Mobile Software Co Ltd
Publication of CN116348952A publication Critical patent/CN116348952A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/16Vocoder architecture
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02DCLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D30/00Reducing energy consumption in communication networks
    • Y02D30/70Reducing energy consumption in communication networks in wireless communication networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

本公开提出一种音频信号处理、装置、设备及存储介质,方法包括:确定音频信号对应的目标编码速率;确定音频信号对应的目标编码方式,所述目标编码方式为从多个编码方式中选择出的编码方式,其中,不同编码方式之间的区别包括以下至少之一:编码计算复杂度不同、编码所需存储空间不同;基于所述目标编码速率和所述目标编码方式,对所述音频信号进行编码得到码流信号。本公开的方法提高了音频信号编码时的灵活性。

Description

一种音频信号处理、装置、设备及存储介质
技术领域
本公开涉及音频处理技术领域,尤其涉及一种音频信号处理、装置、设备及存储介质。
背景技术
在对音频信号编码时,通常先需要确定该音频信号对应的编码方式。
发明内容
本公开提出一种音频信号处理、装置、设备及存储介质。
第一方面,本公开实施例提供一种音频信号处理,包括:
确定音频信号对应的目标编码速率;
确定音频信号对应的目标编码方式,所述目标编码方式为从多个编码方式中选择出的编码方式,其中,不同编码方式之间的区别包括以下至少之一:编码计算复杂度不同、编码所需存储空间不同;
基于所述目标编码速率和所述目标编码方式,对所述音频信号进行编码得到码流信号。
本公开中,编码设备确定的音频信号对应的目标编码方式为从多个编码方式中选择出的编码方式,其中,不同编码方式之间的区别包括以下至少之一:编码计算复杂度不同、编码所需存储空间不同。由此可知,本公开方法中,针对音频信号可以灵活选择编码计算复杂度不同和/或编码所需存储空间不同的编码方式,基于此,针对相同或相近的编码速率,当编码设备处于不同场景时(如编码设备所处网络环境的网络质量不同、编码设备当前所需的音频质量要求不同时),可以从该多个编码方式中灵活选择出不同的目标编码方式,从而实现“在不同场景下,针对相同或相近的编码速率灵活采用不同的编码方式来进行编码”的方案,提高了音频信号编码时的灵活性。
可选的,所述目标编码方式是基于所述编码设备所处网络环境的网络质量、所述编码设备的剩余电量、所述编码设备的充电便利程度、所述编码设备的软件配置、所述编码设备的硬件配置、当前所需的音频质量要求中的至少一种从所述多个编码方式中选择出的。
可选的,所述目标编码方式为预先设置的。
可选的,所述确定目标编码方式和目标编码速率,包括:
获取控制参数,所述控制参数包括所述目标编码速率和所述目标编码方式。
可选的,所述码流信号中包含指示信息;所述指示信息用于指示以下至少一种:
所述目标编码方式;
所述目标编码方式对应的目标解码方式;其中,所述目标解码方式的解码处理过程是所述目标编码方式的编码处理过程的逆过程。
可选的,所述方法还包括:
向解码设备发送码流信号。
可选的,所述音频信号包括以下至少之一:
基于声道的音频信号;
基于对象的音频信号;
基于场景的音频信号。
第二方面,本公开实施例提供一种音频信号处理,包括:
接收编码设备发送的码流信号;所述码流信号为所述编码设备基于目标编码速率和目标编码方式对音频信号编码后的信号,所述目标编码方式为从多个编码方式中选择出的编码方式,其中,不同编码方式之间的区别包括以下至少之一:编码计算复杂度不同、编码所需存储空间不同;
可选的,对所述码流信号进行解码。
所述码流信号中包含指示信息,所述指示信息用于指示以下至少一种:
所述目标编码方式;
所述目标编码方式对应的目标解码方式;其中,所述目标解码方式的解码处理过程是所述目标编码方式的编码处理过程的逆过程。
可选的,所述对所述码流信号进行解码,包括:
基于所述码流信号确定所述指示信息;
基于所述指示信息确定目标编码方式对应的目标解码方式;
基于所述目标解码方式进行解码。
第三方面,本公开实施例提供一种通信装置,包括:
处理模块,用于确定音频信号对应的目标编码速率;
所述处理模块,还用于确定音频信号对应的目标编码方式,所述目标编码方式为从多个编码方式中选择出的编码方式,其中,不同编码方式之间的区别包括以下至少之一:编码计算复杂度不同、编码所需存储空间不同;
所述处理模块,还用于基于所述目标编码速率和所述目标编码方式,对所述音频信号进行编码得到码流信号。
第四方面,本公开实施例提供一种通信装置,包括:
收发模块,用于接收编码设备发送的码流信号;所述码流信号为所述编码设备基于目标编码速率和目标编码方式对音频信号编码后的信号,所述目标编码方式为从多个编码方式中选择出的编码方式,其中,不同编码方式之间的区别包括以下至少之一:编码计算复杂度不同、编码所需存储空间不同;
处理模块,用于对所述码流信号进行解码。
第五方面,本公开实施例提供一种通信装置,该通信装置包括处理器,当该处理器调用存储器中的计算机程序时,执行上述第一方面或第二方面所述的方法。
第六方面,本公开实施例提供一种通信装置,该通信装置包括处理器和存储器,该存储器中存储有计算机程序;所述处理器执行该存储器所存储的计算机程序,以使该通信装置执行上述第一方面或第二方面所述的方法。
第七方面,本公开实施例提供一种通信装置,该装置包括处理器和接口电路,该接口电路用于接收代码指令并传输至该处理器,该处理器用于运行所述代码指令以使该装置执行上述第一方面或第二方面所述的方法。
第八方面,本公开实施例提供一种通信系统,该系统包括第三方面至第四方面任一所述的通信装置,或者,该系统包括第五方面所述的通信装置,或者,该系统包括第六方面所述的通信装置,或者,该系统包括第七方面所述的通信装置。
第九方面,本发明实施例提供一种计算机可读存储介质,用于储存为上述网络设备所用的指令,当所述指令被执行时,使所述终端设备执行上述第一方面或第二方面所述的方法。
第十方面,本公开还提供一种包括计算机程序的计算机程序产品,当其在计算机上运行时,使得计算机执行上述第一方面或第二方面所述的方法。
第十一方面,本公开提供一种芯片系统,该芯片系统包括至少一个处理器和接口,用于支持网络设备实现第一方面或第二方面所述的方法所涉及的功能,例如,确定或处理上述方法中所涉及的数据和信息中的至少一种。在一种可能的设计中,所述芯片系统还包括存储器,所述存储器,用于保存源辅节点必要的计算机程序和数据。该芯片系统,可以由芯片构成,也可以包括芯片和其他分立器件。
第十二方面,本公开提供一种计算机程序,当其在计算机上运行时,使得计算机执行上述第一方面或第二方面所述的方法。
附图说明
本公开上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解,其中:
图1为本公开实施例提供的一种通信系统的架构示意图;
图2为本公开再一个实施例所提供的音频信号处理的流程示意图;
图3为本公开再一个实施例所提供的音频信号处理的流程示意图;
图4为本公开又一个实施例所提供的音频信号处理的流程示意图;
图5为本公开又一个实施例所提供的音频信号处理的流程示意图;
图6为本公开又一个实施例所提供的音频信号处理的流程示意图;
图7为本公开又一个实施例所提供的音频信号处理的流程示意图;
图8为本公开又一个实施例所提供的音频信号处理的流程示意图;
图9为本公开再一个实施例所提供的通信装置的结构示意图;
图10为本公开再一个实施例所提供的通信装置的结构示意图;
图11是本申请实施例提供的一种通信装置的结构示意图;
图12为本公开一个实施例所提供的一种芯片的结构示意图。
具体实施方式
这里将详细地对示例性实施例进行说明,其示例表示在附图中。下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开实施例相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本公开实施例的一些方面相一致的装置和方法的例子。
在本公开实施例使用的术语是仅仅出于描述特定实施例的目的,而非旨在限制本公开实施例。在本公开实施例和所附权利要求书中所使用的单数形式的“一种”和“该”也旨在包括多数形式,除非上下文清楚地表示其他含义。还应当理解,本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
应当理解,尽管在本公开实施例可能采用术语第一、第二、第三等来描述各种信息,但这些信息不应限于这些术语。这些术语仅用来将同一类型的信号彼此区分开。例如,在不脱离本公开实施例范围的情况下,第一信息也可以被称为第二信息,类似地,第二信息也可以被称为第一信息。取决于语境,如在此所使用的词语“如果”及“若”可以被解释成为“在……时”或“当……时”或“响应于确定”。
下面详细描述本公开的实施例,所述实施例的示例在附图中示出,其中自始至终相同或类似的标号表示相同或类似的要素。下面通过参考附图描述的实施例是示例性的,旨在用于解释本公开,而不能理解为对本公开的限制。
在音频处理领域中,音频信号的编码方式通常是基于音频信号的编码速率确定的,其中,相同或相近的编码速率固定对应有同一编码方式。也即是,针对相同或相近的编码速率,无论在任何场景下,都是采用固定的编码方式来进行编码,例如都是采用固定的编码计算复杂度,和/或,固定的编码所需存储空间所对应的编码方式进行编码,而无法实现“在不同场景下,针对相同或相近的编码速率灵活采用不同的编码方式来进行编码”的方案,灵活性较低。
基于此,本公开提出了一种音频信号处理方法。
可选的,在本公开的一个实施例之中,上述的“相近的编码速率”可以理解为:编码速率的差值较小,例如可以是差值小于预设阈值的编码速率,如,若编码速率#1与编码速率#2之间的差值小于预设阈值,则认为编码速率#1与编码速率#2为相近的编码速率。其中,该预设阈值可以是预先设置的,该预设阈值的取值应当较小,示例的,该预设阈值可以为:2bit、3bit、4bit等。需要说明的是,上述的预设阈值的取值仅是示例,应当理解,其他用于解释“相近的编码速率”取值也应当在本公开的保护范围内。
此外,上述的“相近的”也仅是本公开的一个示例性描述,其他的具有相同意思的概念,如:靠近的、接近的、近似的等,也均在本公开的保护范围内。
请参见图1,图1为本公开实施例提供的一种通信系统的架构示意图。该通信系统可包括但不限于编码设备、解码设备,其中,编码设备可以为终端设备或网络设备,该解码设备可以为终端设备或网络设备。可选的,图1所示的设备数量和形态用于举例并不构成对本公开实施例的限定,实际应用中可以包括一个或一个以上的编码设备,或者一个或一个以上的解码设备可选的,图1所示的通信系统以包括一个信号编码设备,该编码设备为终端设备,一个解码设备,该解码设备为网络设备为例。
需要说明的是,本公开实施例的技术方案可以应用于各种通信系统。例如:长期演进(long term evolution,LTE)系统、第五代(5th generation,5G)移动通信系统、5G新空口(new radio,NR)系统,或者其他未来的新型移动通信系统等。
本公开实施例中的终端设备可以是用户侧的一种用于接收或发射信号的实体,如手机。终端设备也可以称为终端(terminal)、用户设备(user equipment,UE)、移动台(mobile station,MS)、移动终端设备(mobile terminal,MT)等。终端设备可以是具备通信功能的汽车、智能汽车、手机(mobile phone)、穿戴式设备、平板电脑(Pad)、带无线收发功能的电脑、虚拟现实(virtual reality,VR)终端设备、增强现实(augmented reality,AR)终端设备、工业控制(industrial control)中的无线终端设备、无人驾驶(self-driving)中的无线终端设备、远程手术(remote medical surgery)中的无线终端设备、智能电网(smart grid)中的无线终端设备、运输安全(transportation safety)中的无线终端设备、智慧城市(smart city)中的无线终端设备、智慧家庭(smart home)中的无线终端设备等等。本公开的实施例对终端设备所采用的具体技术和具体设备形态不做限定。
本公开实施例中的网络设备可以是网络侧的一种用于发射或接收信号的实体。例如,网络设备可以为演进型基站(evolved NodeB,eNB)、发送接收点(transmissionreception point,TRP)、NR系统中的下一代基站(next generation NodeB,gNB)、其他未来移动通信系统中的基站或无线保真(wireless fidelity,WiFi)系统中的接入节点等。本公开的实施例对网络设备所采用的具体技术和具体设备形态不做限定。本公开实施例提供的MN或SN可以是由集中单元(central unit,CU)与分布式单元(distributed unit,DU)组成的,其中,CU也可以称为控制单元(control unit),采用CU-DU的结构可以将网络设备,例如基站的协议层拆分开,部分协议层的功能放在CU集中控制,剩下部分或全部协议层的功能分布在DU中,由CU集中控制DU。
可以理解的是,本公开实施例描述的通信系统是为了更加清楚的说明本公开实施例的技术方案,并不构成对于本公开实施例提供的技术方案的限定,本领域普通技术人员可知,随着系统架构的演变和新业务场景的出现,本公开实施例提供的技术方案对于类似的技术问题,同样适用。
下面参考附图对本公开实施例所提供的音频信号处理、装置、设备及存储介质进行详细描述。
需要说明的是,本公开中,任一个实施例提供的音频信号处理可以单独执行,实施例中任一实现方式也可以单独执行,或是结合其他实施例,或其他实施例中的可能的实现方法一起被执行,还可以结合相关技术中的任一种技术方案一起被执行。
图2为本公开实施例所提供的一种音频信号处理的流程示意图,该方法由编码设备执行,如图2所示,该音频信号处理可以包括以下步骤:
步骤201、确定音频信号对应的目标编码速率。
可选的,在本公开的一个实施例之中,该目标编码速率可以是基于编码设备所处网络环境的网络质量确定的。可选的,目标编码速率可以与编码设备所处网络环境的网络质量呈正相关,例如,编码设备所处网络环境的网络质量较高时,可以选择较高的编码速率,以保证音频传输的准确性和高质量。当编码设备所处网络环境的网络质量较低时,可以选择较低的编码速率,以保证解码设备端用户在信号较弱的情况下仍然能够获取需要的音频信号。
可选的,在本公开的另一个实施例之中,该目标编码速率可以是基于当前所需的音频质量要求(或称为当前应用场景对音频服务质量要求)确定的。可选的,目标编码速率可以与当前所需的音频质量要求呈正相关,例如,当前所需的音频质量要求较高时,可以选择较高的编码速率。当前所需的音频质量要求时,可以选择较低的编码速率。
可选的,在本公开的另一个实施例之中,确定目标编码速率的方法可以包括:获取控制参数,该控制参数中包括目标编码速率。可选的,该控制参数可以是人为输入的和/或其他设备输入的。
可选的,在本公开的一个实施例之中,上述的音频信号可以包括以下至少之一:
基于声道的音频信号;
基于对象的音频信号;
基于场景的音频信号。
可选的,上述的基于声道的音频信号可以包括单声道信号、立体声信号(Stereo)、双耳信号(Binaural),5.1,7.1环绕声信号(Surround)、5.1.4,7.1.4环绕声信号(Surround)中的至少一种,其中.4代表高度声道信号(Height);基于场景的音频信号可以包括一阶高保真度立体环绕声(FOA)、二阶高保真度立体环绕声(HOA2)、三阶高保真度立体环绕声(HOA3)中的至少一种;基于对象的音频信号可以包含音频数据和/或元数据。
可选的,当音频信号包括上述至少两种信号时,则认为该音频信号为混合格式音频信号,例如,该混合格式音频信号可以为:基于声道音频信号和基于对象音频信号组合的混合格式音频信号,基于声道音频信号和基于对象音频信号组合的混合格式音频信号等。
可选的,当音频信号为混合格式音频信号时,可以基于预设的选择条件从上述三种信号中选择出需要混合的音频信号,例如可以基于选择条件选择将基于声道音频信号和基于对象音频信号进行混合。
步骤202、确定音频信号对应的目标编码方式,该目标编码方式为从多个编码方式中选择出的编码方式。
可选的,在本公开的一个实施例之中,目标编码速率与目标编码方式可以对应。可选的,在一些实施例之中,当目标编码速率与目标编码方式对应时,则在该目标编码速率下,可以采用该目标编码速率对应的目标编码方式来进行编码。
可选的,在本公开的一个实施例之中,不同编码方式之间的区别可以包括以下至少之一:
编码计算复杂度不同;
编码所需存储空间不同。
可选的,在本公开的一个实施例之中,上述的编码计算复杂度可以体现为:编码设备在编码时所用到的编码功能模块的数量。
可选的,在本公开的一个实施例之中,不同编码方式之间的区别还可以包括:编码所耗费电量不同。
可选的,在本公开的一个实施例之中,该目标编码方式可以是预先设置好的;例如,在本公开的一个实施例之中,可以先从多个编码方式中选择出目标编码方式(如可以人为从多个编码方式中选择出目标编码方式,和/或,编码设备自主从多个编码方式中选择出目标编码方式),之后,在编码设备中预先设置该目标编码方式(如可以人为在编码设备中预先设置该目标编码方式,和/或,编码设备自主预先设置该目标编码方式)。
可选的,在本公开的另一个实施例之中,该目标编码方式可以是编码设备基于输入至编码设备的信息确定的,其中,该输入至编码设备的信息可以是人为输入的和/或其他设备输入的,该输入至编码设备的信息例如可以为控制参数,该控制参数中包括有目标编码方式,该输入至编码设备的信息中所包括的目标编码方式可以是人为从多个编码方式中选择出的编码方式,和/或,其他设备从多个编码方式中选择出的编码方式。
可选的,在本公开的又一个实施例之中,该目标编码方式可以是编码设备直接从预先配置在编码设备中的多个编码方式中选择出的。
可选的,在本公开的一个实施例之中,该目标编码方式可以是基于以下至少一个因素从多个编码方式中选择出的:
编码设备所处网络环境的网络质量;
编码设备的剩余电量;
编码设备的充电便利程度;
编码设备的软件配置;
编码设备的硬件配置;
当前所需的音频质量要求。
可选的,在本公开的一个实施例之中,目标编码方式的编码计算复杂度、编码所需存储空间可以与编码设备的剩余电量呈正相关。示例的,针对上述的“编码设备的剩余电量”而言,当编码设备的剩余电量较多时,所选择的目标编码方式可以是编码计算复杂度较高,和/或,编码所需存储空间较大的编码方式;当编码设备的剩余电量较少时,所选择的目标编码方式可以是编码计算复杂度较低,和/或,编码所需存储空间较小的编码方式。可选的,在本公开的一个实施例之中,当是人为从多个编码方式中选择目标编码方式时,可以人为查看编码设备的剩余电量,并基于所查看的剩余电量选择目标编码设备;当是由其他设备和/或编码设备从多个编码方式中选择目标编码方式时,其他设备和/或编码设备可以获取编码设备的剩余电量,并基于所获取的剩余电量选择目标编码设备。
可选的,在本公开的一个实施例之中,目标编码方式的编码计算复杂度、编码所需存储空间可以与编码设备的充电便利程度呈正相关。示例的,针对上述的“编码设备的充电便利程度”而言,当编码设备的充电便利程度为:较便利时,所选择的目标编码方式可以是编码计算复杂度较高,和/或,编码所需存储空间较大的编码方式;当编码设备的充电便利程度为:不便利时,所选择的目标编码方式可以是编码计算复杂度较低,和/或,编码所需存储空间较小的编码方式。可选的,在本公开的一个实施例之中,当是人为从多个编码方式中选择目标编码方式时,可以人为确定编码设备的充电便利程度,并基于所确定的编码设备的充电便利程度选择目标编码设备;当是由其他设备和/或编码设备从多个编码方式中选择目标编码方式时,其他设备和/或编码设备可以获取编码设备的位置,并基于编码设备的位置确定编码设备的充电便利程度,具体的,若该编码设备的位置位于住宅中,则确定该编码设备充电便利程度为:较便利,若该编码设备的位置未位于住宅中,则基于编码设备的位置获取该编码设备附近的可充电设备(例如共享充电宝),若该编码设备周围具备有可充电设备,且距离较近,则确定该编码设备充电便利程度为:较便利;否则,该编码设备充电便利程度为:不便利。
可选的,在本公开的一个实施例之中,目标编码方式的编码计算复杂度、编码所需存储空间可以与编码设备的软件配置呈正相关。示例的,针对上述的“编码设备的软件配置”而言,当编码设备的软件配置较高时,所选择的目标编码方式可以是编码计算复杂度较高,和/或,编码所需存储空间较大的编码方式;当编码设备的软件配置较低时,所选择的目标编码方式可以是编码计算复杂度较低,和/或,编码所需存储空间较小的编码方式。可选的,在本公开的一个实施例之中,当是人为从多个编码方式中选择目标编码方式时,可以人为查看编码设备的软件配置,并基于查看结果选择目标编码设备;当是由其他设备和/或编码设备从多个编码方式中选择目标编码方式时,其他设备和/或编码设备可以获取编码设备的软件配置,并基于获取结果选择目标编码设备。
可选的,在本公开的一个实施例之中,目标编码方式的编码计算复杂度、编码所需存储空间可以与编码设备的硬件配置呈正相关。示例的,针对上述的“编码设备的硬件配置”而言,当编码设备的硬件配置较高(如中央处理器(Central Processing Unit,CPU)运算速度较大)时,所选择的目标编码方式可以是编码计算复杂度较高,和/或,编码所需存储空间较大的编码方式;当编码设备的硬件配置较低时,所选择的目标编码方式可以是编码计算复杂度较低,和/或,编码所需存储空间较小的编码方式。可选的,在本公开的一个实施例之中,当是人为从多个编码方式中选择目标编码方式时,可以人为查看编码设备的硬件配置,并基于查看结果选择目标编码设备;当是由其他设备和/或编码设备从多个编码方式中选择目标编码方式时,其他设备和/或编码设备可以获取编码设备的硬件配置,并基于获取结果选择目标编码设备。
可选的,在本公开的一个实施例之中,目标编码方式的编码计算复杂度、编码所需存储空间可以与当前所需的音频质量要求呈正相关。示例的,针对上述的“当前所需的音频质量要求较高”而言,若当前所需的音频质量要求较高(如编码设备当前所处场景的声场丰富程度较高)时,所选择的目标编码方式可以是编码计算复杂度较高,和/或,编码所需存储空间较大的编码方式;若当前所需的音频质量要求较低(如编码设备当前所处场景的声场丰富程度较低)时,所选择的目标编码方式可以是编码计算复杂度较低,和/或,编码所需存储空间较小的编码方式。其中,该“编码设备当前所处场景的声场丰富程度”例如可以理解为:编码设备当前所处场景的发声者的数量,具体的,当编码设备当前所处场景的发声者的数量较多时,认为编码设备当前所处场景的声场丰富程度较高,当编码设备当前所处场景的发声者的数量较少时,认为编码设备当前所处场景的声场丰富程度较低。可选的,在本公开的一个实施例之中,当是人为从多个编码方式中选择目标编码方式时,可以人为感受编码设备当前所处场景的声场丰富程度,并基于感受结果选择目标编码设备;当是由其他设备和/或编码设备从多个编码方式中选择目标编码方式时,其他设备和/或编码设备可以检测编码设备当前所处场景的声场丰富程度,并基于检测结果选择目标编码设备。
可选的,在本公开的一个实施例之中,针对上述的“编码设备所处网络环境的网络质量”而言,当编码设备所处网络环境的网络质量较高时,所选择的目标编码方式可以是编码计算复杂度较高,和/或,编码所需存储空间较大的编码方式。当编码设备所处网络环境的网络质量较差时,所选择的目标编码方式可以是编码计算复杂度较低,和/或,编码所需存储空间较小的编码方式。
需要说明的是,在本公开的一个实施例之中,针对“编码设备所处网络环境的网络质量”而言,若编码设备所处网络环境的网络质量较高,但是,存在以下至少一种情况:编码设备的剩余电量较低、编码设备的充电便利程度较低、编码设备的软件配置较低、编码设备的硬件配置较低、当前所需的音频质量要求较低,则所选的目标编码方式可以是编码计算复杂度较低,和/或,编码所需存储空间较小的编码方式;以及,若编码设备所处网络环境的网络质量较低,但是,存在以下至少一种情况:编码设备的剩余电量较高、编码设备的充电便利程度较高、编码设备的软件配置较高、编码设备的硬件配置较高、当前所需的音频质量要求较高,则所选的目标编码方式可以是编码计算复杂度较高,和/或,编码所需存储空间较大的编码方式。
示例的,在本公开的一个实施例之中,当编码设备所处网络环境的网络质量较高时,通常会选择较高的编码速率,以保证音频传输的准确性和高质量。但是,若此时编码设备的剩余电量较低、编码设备的充电便利程度较低、编码设备的软件配置较低、编码设备的硬件配置较低、或者当前所需的音频质量要求较低时,可以选择编码计算复杂度较低和/或编码所需存储空间较小的编码方式,以避免出现在选择了编码计算复杂度较高和/或编码所需存储空间较大的编码方式时,“由于编码设备电量较低或者编码设备软硬件配置较低,导致编码设备无法正常支持该编码计算复杂度较高和/或编码所需存储空间较大的编码方式的执行”的情况,或者,出现“由于当前所需的音频质量要求较低,则可无需进行复杂的编码,但是又选择了编码计算复杂度较高和/或编码所需存储空间较大的编码方式,而导致资源浪费”的情况。由此在保证了音频传输的准确性和高质量的同时,还可以避免编码设备电量或软硬件配置不支持编码方式的情况,同时还可以避免资源的浪费。
在本公开的另一个实施例之中,当编码设备所处网络环境的网络质量较低时,通常会选择较低的编码速率,以保证解码设备端用户在信号较弱的情况下仍然能够获取需要的音频信号。但是,若此时编码设备的剩余电量较高、编码设备的充电便利程度较高、编码设备的软件配置较高、编码设备的硬件配置较高、或者当前所需的音频质量要求较高时,说明当前编码设备的电量和/或软硬件配置支持编码计算复杂度较高和/或编码所需存储空间较大的编码方式,或者,说明当前所需的音频质量要求编码计算复杂度较高和/或编码所需存储空间较大的编码方式,则此时可以选择编码计算复杂度较高和/或编码所需存储空间较大的编码方式,以提升编码质量和效率,确保音频处理的准确性和高质量。
则结合前述内容可知,在本公开的一个实施例之中,当针对音频信号确定了目标编码速率时,该目标编码速率下所采用的目标编码方式是从多个编码方式中选择出的,也即是,目标编码速率所采用的目标编码方式具备有多种可能,其可能是多个编码方式中的任一种,而并非是固定对应一种编码方式。由此本公开的方法可以针对编码速率灵活配置编码方式,则针对相同或相近的编码速率,当编码设备处于不同场景时(如编码设备所处网络环境的网络质量不同、编码设备当前所需的音频质量要求不同时),可以从该多个编码方式中灵活选择出不同的目标编码方式,例如,针对编码速率#1而言,在场景#1下,可以选择第一编码方式,在场景#2下,可以选择第二编码方式。从而实现“在不同场景下,针对相同或相近的编码速率灵活采用不同的编码方式来进行编码”的方案,提高了音频信号编码时的灵活性。
步骤203、基于目标编码速率和目标编码方式对音频信号进行编码得到码流信号。
可选的,在本公开的一个实施例之中,该码流信号中可以包括指示信息;可选的,该指示信息可以用于指示以下至少一种:
目标编码方式;
目标编码方式对应的目标解码方式;其中,该目标解码方式的解码处理过程是目标编码方式的编码处理过程的逆过程。
可选的,在本公开的一个实施例之中,不同解码方式之间的区别包括以下至少之一:解码计算复杂度不同、解码所需存储空间不同。
可选的,在本公开的一个实施例之中,上述的解码计算复杂度可以体现为:解码设备在解码时所用到的解码功能模块的数量。
可选的,在本公开的一个实施例之中,不同解码方式之间的区别还可以包括:解码所耗费电量不同。
可选的,在本公开的一个实施例之中,通过在码流信号中携带指示信息,以便编码设备将码流信号发送至解码设备后,该解码设备可以基于码流信号中的指示信息确定出目标编码方式对应的目标解码方式,并采用目标解码方式来成功进行解码。
综上所述,本公开实施例提供的音频信号处理方法之中,编码设备确定的音频信号对应的目标编码方式为从多个编码方式中选择出的编码方式,其中,不同编码方式之间的区别包括以下至少之一:编码计算复杂度不同、编码所需存储空间不同。由此可知,本公开方法中,针对音频信号可以灵活选择编码计算复杂度不同和/或编码所需存储空间不同的编码方式,基于此,针对相同或相近的编码速率,当编码设备处于不同场景时(如编码设备所处网络环境的网络质量不同、编码设备当前所需的音频质量要求不同时),可以从该多个编码方式中灵活选择出不同的目标编码方式,从而实现“在不同场景下,针对相同或相近的编码速率灵活采用不同的编码方式来进行编码”的方案,提高了音频信号编码时的灵活性。
图3为本公开实施例所提供的一种音频信号处理的流程示意图,该方法由编码设备执行,如图3所示,该音频信号处理可以包括以下步骤:
步骤301、向解码设备发送码流信号。
综上所述,本公开实施例提供的音频信号处理方法之中,编码设备确定的音频信号对应的目标编码方式为从多个编码方式中选择出的编码方式,其中,不同编码方式之间的区别包括以下至少之一:编码计算复杂度不同、编码所需存储空间不同。由此可知,本公开方法中,针对音频信号可以灵活选择编码计算复杂度不同和/或编码所需存储空间不同的编码方式,基于此,针对相同或相近的编码速率,当编码设备处于不同场景时(如编码设备所处网络环境的网络质量不同、编码设备当前所需的音频质量要求不同时),可以从该多个编码方式中灵活选择出不同的目标编码方式,从而实现“在不同场景下,针对相同或相近的编码速率灵活采用不同的编码方式来进行编码”的方案,提高了音频信号编码时的灵活性。
图4为本公开实施例所提供的一种音频信号处理的流程示意图,该方法由解码设备执行,如图4所示,该音频信号处理可以包括以下步骤:
步骤401、接收编码设备发送的码流信号。
可选的,所述码流信号为所述编码设备基于目标编码方式对音频信号编码后的信号,所述目标编码方式为从多个编码方式中选择出的编码方式,其中,不同编码方式之间的区别包括以下至少之一:编码计算复杂度不同、编码所需存储空间不同。
步骤402、对码流信号进行解码。
可选的,在本公开的一个实施例之中,解码后的音频信号可以包括以下至少一种:
基于声道的音频信号;
基于对象的音频信号;
基于场景的音频信号。
关于步骤401-402的详细描述可以参考前述实施例。
综上所述,本公开实施例提供的音频信号处理方法之中,编码设备确定的音频信号对应的目标编码方式为从多个编码方式中选择出的编码方式,其中,不同编码方式之间的区别包括以下至少之一:编码计算复杂度不同、编码所需存储空间不同。由此可知,本公开方法中,针对音频信号可以灵活选择编码计算复杂度不同和/或编码所需存储空间不同的编码方式,基于此,针对相同或相近的编码速率,当编码设备处于不同场景时(如编码设备所处网络环境的网络质量不同、编码设备当前所需的音频质量要求不同时),可以从该多个编码方式中灵活选择出不同的目标编码方式,从而实现“在不同场景下,针对相同或相近的编码速率灵活采用不同的编码方式来进行编码”的方案,提高了音频信号编码时的灵活性。
图5为本公开实施例所提供的一种音频信号处理的流程示意图,该方法由解码设备执行,如图5所示,该音频信号处理可以包括以下步骤:
步骤501、接收编码设备发送的码流信号,所述码流信号中包含指示信息。
可选的,所述指示信息用于指示以下至少一种:
所述目标编码方式;
所述目标编码方式对应的目标解码方式;其中,所述目标解码方式的解码处理过程是所述目标编码方式的编码处理过程的逆过程。
步骤502、基于所述码流信号确定指示信息。
步骤503、基于所述指示信息确定目标编码方式对应的目标解码方式。
步骤504、基于所述目标解码方式进行解码。
可选的,在本公开的一个实施例之中,可以基于该目标解码方式对码流信号中的部分信号进行解码,该部分信号例如可以包括:用于重建被编码音频信号的信号。
关于步骤501-504的详细描述可以参考前述实施例。
综上所述,本公开实施例提供的音频信号处理方法之中,编码设备确定的音频信号对应的目标编码方式为从多个编码方式中选择出的编码方式,其中,不同编码方式之间的区别包括以下至少之一:编码计算复杂度不同、编码所需存储空间不同。由此可知,本公开方法中,针对音频信号可以灵活选择编码计算复杂度不同和/或编码所需存储空间不同的编码方式,基于此,针对相同或相近的编码速率,当编码设备处于不同场景时(如编码设备所处网络环境的网络质量不同、编码设备当前所需的音频质量要求不同时),可以从该多个编码方式中灵活选择出不同的目标编码方式,从而实现“在不同场景下,针对相同或相近的编码速率灵活采用不同的编码方式来进行编码”的方案,提高了音频信号编码时的灵活性。
以下为对本公开的方法的示例介绍:
本公开通过分析现有编解码的原理结构实现,旨在解决编解码器不能满足根据编码速率,编码质量性能,计算复杂度以及存储空间等因素灵活配置编解码级别的问题,这个问题导致为各种应用场景设计端到端音频解决方案时,无法根据应用场景特点,终端设备软硬件性能,网络条件的优劣智能选择工作模式合适的编解码器。
本公开的目的是设计完成具有多种编解码级别的编解码器,从而达成根据端到端链路上所有设备软硬件需求,所处的网络条件等构建最合适的端到端音频解决方案,从而为用户提供所能达到的最优质的音频服务体验。
可选的,本公开中编码器的输入音频信号包括了所有三种音频格式的音频信号,即:基于声道音频信号,基于对象音频信号,基于场景音频信号以及3种音频格式信号任意组合形成的混合格式音频信号,例如:基于声道音频信号和基于对象音频信号组合的混合格式音频信号,基于声道音频信号和基于对象音频信号组合的混合格式音频信号;解码器的输出信号为基于声道音频信号,基于对象音频信号以及基于场景音频信号。图6为本公开又一个实施例所提供的音频信号处理的流程结构图。
混合格式音频信号是根据选择条件从基于声道音频信号,基于对象音频信号和基于场景音频信号中选择多种音频格式信号组成的混合格式音频信号,本公开中包括但不限定于基于声道音频信号,基于对象音频信号和基于场景音频信号,具体音频格式信号示例如下:单声道音频信号,立体声音频信号,5.1、7.1多声道音频信号,5.1.4、7.1.4三维声音频信号,双耳音频信号,包含种元数据的对象音频信号,基于辅助元数据的空间音频信号以及其它任意可以表征声场的音频格式信号。图7为本公开又一个实施例所提供的音频信号处理的流程结构图。
编码器根据控制参数为输入音频信号选择合适的编码级别(即前述的编码方式),编码器的编码级别可以设计为3级,即:第1级编码级别为低级编码级别,第2级编码级别为中级编码级别,第3级编码级别为高级编码级别,解码器与此对应的是包含3级解码级别,即:第1级解码级别为低级解码级别,第2级解码级别为中级解码级别,第3级解码级别为高级解码级别;
编解码处理流程为:输入音频信号利用编码器中所选择的编码级别编码后输出码流信号,将码流信号发送到解码器,解码器自动选择与编码级别对应的解码级别进行解码处理获得输出音频信号。
图8为本公开又一个实施例所提供的音频信号处理的流程结构图。
实施例一:
编解码器有多种编解码级别可供设置选择,编解码级别的设计原则是:
在更高的编码速率情况下,可以使用更低的计算复杂度,更少的存储空间,换得可以接受的较高质量的编解码性能。
在更低的编码速率情况下,可以使用更高的计算复杂度,更大的存储空间,换得可以接受的相对较高质量的编码性能。
本实施例面向需要根据用户对终端设备所处的网络环境,电量存量,应用场景对音频服务质量的要求等,利用控制参数设置选择合适的编码级别,本实施例中设计3级编码级别,具体如下所示:
第1级编码级别:即是低级复杂度编码级别,低耗电编码级别
第2级编码级别:即是中级复杂度编码级别,中耗电编码级别
第3级编码级别:即是高级复杂度编码级别,高耗电编码级别
举例选择第1级编码级别的应用场景为:
网络环境较优。
终端设备所剩余电量较少,或者虽然剩余电量不少,但是充电不方便。
终端设备属于低端设备,软硬件配置较差。
当前应用场景对音频服务质量要求不是特别高。
此时选择第1级编码级别的逻辑为:网络环境较优的情况下,可以选择较高的编码速率,从而能够满足对音频服务质量的要求,终端设备属于低端设备以及所剩余电量少即需要满足低复杂度和低存储空间要求。
举例选择第3级编码级别的应用场景为:
网络环境较差。
终端设备所剩余电量较多,或者虽然剩余电量不多,但是充电比较方便。
终端设备属于高端设备,软硬件配置较优。
当前应用场景对音频服务质量要求相对较高。
此时选择第3级编码级别的逻辑为:网络环境较差的情况下,需要选择较低的编码速率,保证接收端用户能够在信号较弱的情况下仍然能够接收端所需要的音频服务,终端设备属于高端设备以及所剩余点亮较多从而可以支撑高复杂度和高存储空间的需求。
实施例二:
编解码器有多种编解码级别可供设置选择,本实施例中编解码器编解码级别设置原则为:在相同编码速率的情况下:
第1级编解码级别所包含的编解码功能模块项最少,计算复杂度最低,所需的存储空间最少,编码性能质量也最差;
第2级编解码级别所包含的编解码功能模块项适中,计算复杂度适中,所需的存储空间适中,编码性能质量适中;
第3级编解码级别所包含的编解码功能模块项适中,计算复杂度最高,所需的存储空间最大,编码性能质量最优;
本实施例的应用场景即是
当终端设备越高端,网络条件越优,所需要的音频服务体验越高则选择使用编解码器的编解码级别越高,例如可以选择使用第3级编解码级别。
当终端设备越低端,网络条件越差,所需要的音频服务体验越低则选择使用编解码器的编解码级别越低,例如可以选择使用第1级编解码级别。
可选的,一种音频信号编解码方法,编码器有多种编码级别可供选择,编码级别的选择可以通过控制参数来实现,解码器有对应的解码级别可供选择,解码级别的选择是从码流信息中提取获得。
一种编码级别设计方法可以为:
编码器的编码级别可以设计为多级,举例是3级,
第1级编码级别:即是低级复杂度编码级别,低耗电编码级别
第2级编码级别:即是中级复杂度编码级别,中耗电编码级别
第3级编码级别:即是高级复杂度编码级别,高耗电编码级别
解码器与编码器对应的也是多级,前述编码器3级设计对应解码器3级级别,即
第1级解码级别:即是低级复杂度解码级别,低耗电解码级别
第2级解码级别:即是中级复杂度解码级别,中耗电解码级别
第3级解码级别:即是高级复杂度解码级别,高耗电解码级别
图9为本公开实施例所提供的一种通信装置的结构示意图,如图10所示,装置可以包括:
处理模块,用于确定音频信号对应的目标编码速率;
所述处理模块,还用于确定音频信号对应的目标编码方式,所述目标编码方式为从多个编码方式中选择出的编码方式,其中,不同编码方式之间的区别包括以下至少之一:编码计算复杂度不同、编码所需存储空间不同;
所述处理模块,还用于基于所述目标编码速率和所述目标编码方式,对所述音频信号进行编码得到码流信号。
综上所述,在本公开实施例提供的通信装置之中,编码设备确定的音频信号对应的目标编码方式为从多个编码方式中选择出的编码方式,其中,不同编码方式之间的区别包括以下至少之一:编码计算复杂度不同、编码所需存储空间不同。由此可知,本公开方法中,针对音频信号可以灵活选择编码计算复杂度不同和/或编码所需存储空间不同的编码方式,基于此,针对相同或相近的编码速率,当编码设备处于不同场景时(如编码设备所处网络环境的网络质量不同、编码设备当前所需的音频质量要求不同时),可以从该多个编码方式中灵活选择出不同的目标编码方式,从而实现“在不同场景下,针对相同或相近的编码速率灵活采用不同的编码方式来进行编码”的方案,提高了音频信号编码时的灵活性。
可选的,在本公开的一个实施例之中,所述目标编码方式是基于所述编码设备所处网络环境的网络质量、所述编码设备的剩余电量、所述编码设备的充电便利程度、所述编码设备的软件配置、所述编码设备的硬件配置、当前所需的音频质量要求中的至少一种从所述多个编码方式中选择出的。
可选的,在本公开的一个实施例之中,所述目标编码方式为预先设置的。
可选的,在本公开的一个实施例之中,所述处理模块还用于:
获取控制参数,所述控制参数包括所述目标编码速率和所述目标编码方式。
可选的,在本公开的一个实施例之中,所述码流信号中包含指示信息;所述指示信息用于指示以下至少一种:
所述目标编码方式;
所述目标编码方式对应的目标解码方式;其中,所述目标解码方式的解码处理过程是所述目标编码方式的编码处理过程的逆过程。
可选的,在本公开的一个实施例之中,所述装置还用于:
向解码设备发送码流信号。
可选的,在本公开的一个实施例之中,所述音频信号包括以下至少之一:
基于声道的音频信号;
基于对象的音频信号;
基于场景的音频信号。
图10为本公开实施例所提供的一种通信装置的结构示意图,如图11所示,装置可以包括:
收发模块,用于接收编码设备发送的码流信号;所述码流信号为所述编码设备基于目标编码速率和目标编码方式对音频信号编码后的信号,所述目标编码方式为从多个编码方式中选择出的编码方式,其中,不同编码方式之间的区别包括以下至少之一:编码计算复杂度不同、编码所需存储空间不同;
处理模块,用于对所述码流信号进行解码。
综上所述,在本公开实施例提供的通信装置之中,编码设备确定的音频信号对应的目标编码方式为从多个编码方式中选择出的编码方式,其中,不同编码方式之间的区别包括以下至少之一:编码计算复杂度不同、编码所需存储空间不同。由此可知,本公开方法中,针对音频信号可以灵活选择编码计算复杂度不同和/或编码所需存储空间不同的编码方式,基于此,针对相同或相近的编码速率,当编码设备处于不同场景时(如编码设备所处网络环境的网络质量不同、编码设备当前所需的音频质量要求不同时),可以从该多个编码方式中灵活选择出不同的目标编码方式,从而实现“在不同场景下,针对相同或相近的编码速率灵活采用不同的编码方式来进行编码”的方案,提高了音频信号编码时的灵活性。
可选的,在本公开的一个实施例之中,所述码流信号中包含指示信息,所述指示信息用于指示以下至少一种:
所述目标编码方式;
所述目标编码方式对应的目标解码方式;其中,所述目标解码方式的解码处理过程是所述目标编码方式的编码处理过程的逆过程。
可选的,在本公开的一个实施例之中,所述处理模块还用于:
基于所述码流信号确定所述指示信息;
基于所述指示信息确定目标编码方式对应的目标解码方式;
基于所述目标解码方式进行解码。
请参见图11,图11是本申请实施例提供的一种通信装置1100的结构示意图。通信装置1100可以是网络设备,也可以是终端设备,也可以是支持网络设备实现上述方法的芯片、芯片系统、或处理器等,还可以是支持终端设备实现上述方法的芯片、芯片系统、或处理器等。该装置可用于实现上述方法实施例中描述的方法,具体可以参见上述方法实施例中的说明。
通信装置1100可以包括一个或多个处理器1101。处理器1101可以是通用处理器或者专用处理器等。例如可以是基带处理器或中央处理器。基带处理器可以用于对通信协议以及通信数据进行处理,中央处理器可以用于对通信装置(如,基站、基带芯片,终端设备、终端设备芯片,DU或CU等)进行控制,执行计算机程序,处理计算机程序的数据。
可选的,通信装置1100中还可以包括一个或多个存储器1102,其上可以存有计算机程序1104,处理器1101执行所述计算机程序1104,以使得通信装置1100执行上述方法实施例中描述的方法。可选的,所述存储器1102中还可以存储有数据。通信装置1100和存储器1102可以单独设置,也可以集成在一起。
可选的,通信装置1100还可以包括收发器1105、天线1106。收发器1105可以称为收发单元、收发机、或收发电路等,用于实现收发功能。收发器1105可以包括接收器和发送器,接收器可以称为接收机或接收电路等,用于实现接收功能;发送器可以称为发送机或发送电路等,用于实现发送功能。
可选的,通信装置1100中还可以包括一个或多个接口电路1106。接口电路1106用于接收代码指令并传输至处理器1101。处理器1101运行所述代码指令以使通信装置1100执行上述方法实施例中描述的方法。
在一种实现方式中,处理器1101中可以包括用于实现接收和发送功能的收发器。例如该收发器可以是收发电路,或者是接口,或者是接口电路。用于实现接收和发送功能的收发电路、接口或接口电路可以是分开的,也可以集成在一起。上述收发电路、接口或接口电路可以用于代码/数据的读写,或者,上述收发电路、接口或接口电路可以用于信号的传输或传递。
在一种实现方式中,处理器1101可以存有计算机程序1103,计算机程序1103在处理器1101上运行,可使得通信装置1100执行上述方法实施例中描述的方法。计算机程序1103可能固化在处理器1101中,该种情况下,处理器1101可能由硬件实现。
在一种实现方式中,通信装置1100可以包括电路,所述电路可以实现前述方法实施例中发送或接收或者通信的功能。本申请中描述的处理器和收发器可实现在集成电路(integrated circuit,IC)、模拟IC、射频集成电路RFIC、混合信号IC、专用集成电路(application specific integrated circuit,ASIC)、印刷电路板(printed circuitboard,PCB)、电子设备等上。该处理器和收发器也可以用各种IC工艺技术来制造,例如互补金属氧化物半导体(complementary metal oxide semiconductor,CMOS)、N型金属氧化物半导体(nMetal-oxide-semiconductor,NMOS)、P型金属氧化物半导体(positive channelmetal oxide semiconductor,PMOS)、双极结型晶体管(bipolar junction transistor,BJT)、双极CMOS(BiCMOS)、硅锗(SiGe)、砷化镓(GaAs)等。
以上实施例描述中的通信装置可以是网络设备或者终端设备,但本申请中描述的通信装置的范围并不限于此,而且通信装置的结构可以不受图11的限制。通信装置可以是独立的设备或者可以是较大设备的一部分。例如所述通信装置可以是:
(1)独立的集成电路IC,或芯片,或,芯片系统或子系统;
(2)具有一个或多个IC的集合,可选的,该IC集合也可以包括用于存储数据,计算机程序的存储部件;
(3)ASIC,例如调制解调器(Modem);
(4)可嵌入在其他设备内的模块;
(5)接收机、终端设备、智能终端设备、蜂窝电话、无线设备、手持机、移动单元、车载设备、网络设备、云设备、人工智能设备等等;
(6)其他等等。
对于通信装置可以是芯片或芯片系统的情况,可参见图12所示的芯片的结构示意图。图12所示的芯片包括处理器1201和接口1202。可选的,处理器1201的数量可以是一个或多个,接口1202的数量可以是多个。
可选的,芯片还包括存储器1203,存储器1203用于存储必要的计算机程序和数据。
本领域技术人员还可以了解到本申请实施例列出的各种说明性逻辑块(illustrative logical block)和步骤(step)可以通过电子硬件、电脑软件,或两者的结合进行实现。这样的功能是通过硬件还是软件来实现取决于特定的应用和整个系统的设计要求。本领域技术人员可以对于每种特定的应用,可以使用各种方法实现所述的功能,但这种实现不应被理解为超出本申请实施例保护的范围。
本申请还提供一种可读存储介质,其上存储有指令,该指令被计算机执行时实现上述任一方法实施例的功能。
本申请还提供一种计算机程序产品,该计算机程序产品被计算机执行时实现上述任一方法实施例的功能。
在上述实施例中,可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时,可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机程序。在计算机上加载和执行所述计算机程序时,全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机程序可以存储在计算机可读存储介质中,或者从一个计算机可读存储介质向另一个计算机可读存储介质传输,例如,所述计算机程序可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(digital subscriber line,DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质(例如,软盘、硬盘、磁带)、光介质(例如,高密度数字视频光盘(digital video disc,DVD))、或者半导体介质(例如,固态硬盘(solid state disk,SSD))等。
本领域普通技术人员可以理解:本申请中涉及的第一、第二等各种数字编号仅为描述方便进行的区分,并不用来限制本申请实施例的范围,也表示先后顺序。
本申请中的至少一个还可以描述为一个或多个,多个可以是两个、三个、四个或者更多个,本申请不做限制。在本申请实施例中,对于一种技术特征,通过“第一”、“第二”、“第三”、“A”、“B”、“C”和“D”等区分该种技术特征中的技术特征,该“第一”、“第二”、“第三”、“A”、“B”、“C”和“D”描述的技术特征间无先后顺序或者大小顺序。
本申请中各表所示的对应关系可以被配置,也可以是预定义的。各表中的信号的取值仅仅是举例,可以配置为其他值,本申请并不限定。在配置信息与各参数的对应关系时,并不一定要求必须配置各表中示意出的所有对应关系。例如,本申请中的表格中,某些行示出的对应关系也可以不配置。又例如,可以基于上述表格做适当的变形调整,例如,拆分,合并等等。上述各表中标题示出参数的名称也可以采用通信装置可理解的其他名称,其参数的取值或表示方式也可以通信装置可理解的其他取值或表示方式。上述各表在实现时,也可以采用其他的数据结构,例如可以采用数组、队列、容器、栈、线性表、指针、链表、树、图、结构体、类、堆、散列表或哈希表等。
本申请中的预定义可以理解为定义、预先定义、存储、预存储、预协商、预配置、固化、或预烧制。
本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统、装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
以上所述,仅为本申请的具体实施方式,但本申请的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应以所述权利要求的保护范围为准。

Claims (15)

1.一种音频信号处理方法,其特征在于,所述方法被编码设备执行,包括:
确定音频信号对应的目标编码速率;
确定音频信号对应的目标编码方式,所述目标编码方式为从多个编码方式中选择出的编码方式,其中,不同编码方式之间的区别包括以下至少之一:编码计算复杂度不同、编码所需存储空间不同;
基于所述目标编码速率和所述目标编码方式,对所述音频信号进行编码得到码流信号。
2.如权利要求1所述的方法,其特征在于,所述目标编码方式是基于所述编码设备所处网络环境的网络质量、所述编码设备的剩余电量、所述编码设备的充电便利程度、所述编码设备的软件配置、所述编码设备的硬件配置、当前所需的音频质量要求中的至少一种从所述多个编码方式中选择出的。
3.如权利要求1所述的方法,其特征在于,所述目标编码方式为预先设置的。
4.如权利要求1所述的方法,其特征在于,所述确定目标编码方式和目标编码速率,包括:
获取控制参数,所述控制参数包括所述目标编码速率和所述目标编码方式。
5.如权利要求1-4任一所述的方法,其特征在于,所述码流信号中包含指示信息;所述指示信息用于指示以下至少一种:
所述目标编码方式;
所述目标编码方式对应的目标解码方式;其中,所述目标解码方式的解码处理过程是所述目标编码方式的编码处理过程的逆过程。
6.如权利要求1-5任一所述的方法,其特征在于,所述方法还包括:
向解码设备发送码流信号。
7.如权利要求1-6任一所述的方法,其特征在于,所述音频信号包括以下至少之一:
基于声道的音频信号;
基于对象的音频信号;
基于场景的音频信号。
8.一种音频信号处理方法,其特征在于,所述方法被编码设备执行,包括:
接收编码设备发送的码流信号;所述码流信号为所述编码设备基于目标编码速率和目标编码方式对音频信号编码后的信号,所述目标编码方式为从多个编码方式中选择出的编码方式,其中,不同编码方式之间的区别包括以下至少之一:编码计算复杂度不同、编码所需存储空间不同;
对所述码流信号进行解码。
9.如权利要求8所述的方法,其特征在于,所述码流信号中包含指示信息,所述指示信息用于指示以下至少一种:
所述目标编码方式;
所述目标编码方式对应的目标解码方式;其中,所述目标解码方式的解码处理过程是所述目标编码方式的编码处理过程的逆过程。
10.如权利要求9所述的方法,其特征在于,所述对所述码流信号进行解码,包括:
基于所述码流信号确定所述指示信息;
基于所述指示信息确定目标编码方式对应的目标解码方式;
基于所述目标解码方式进行解码。
11.一种通信装置,其特征在于,包括:
处理模块,用于确定音频信号对应的目标编码速率;
所述处理模块,还用于确定音频信号对应的目标编码方式,所述目标编码方式为从多个编码方式中选择出的编码方式,其中,不同编码方式之间的区别包括以下至少之一:编码计算复杂度不同、编码所需存储空间不同;
所述处理模块,还用于基于所述目标编码速率和所述目标编码方式,对所述音频信号进行编码得到码流信号。
12.一种通信装置,其特征在于,包括:
收发模块,用于接收编码设备发送的码流信号;所述码流信号为所述编码设备基于目标编码速率和目标编码方式对音频信号编码后的信号,所述目标编码方式为从多个编码方式中选择出的编码方式,其中,不同编码方式之间的区别包括以下至少之一:编码计算复杂度不同、编码所需存储空间不同;
处理模块,用于对所述码流信号进行解码。
13.一种通信装置,其特征在于,所述装置包括处理器和存储器,其中,所述存储器中存储有计算机程序,所述处理器执行所述存储器中存储的计算机程序,以使所述装置执行如权利要求1至7中任一所述的方法,或者,所述处理器执行所述存储器中存储的计算机程序,以使所述装置执行如权利要求8至10中任一所述的方法。
14.一种通信装置,其特征在于,包括:处理器和接口电路,其中
所述接口电路,用于接收代码指令并传输至所述处理器;
所述处理器,用于运行所述代码指令以执行如权利要求1至7中任一所述的方法,或者,用于运行所述代码指令以执行如权利要求8至10中任一所述的方法。
15.一种计算机可读存储介质,用于存储有指令,当所述指令被执行时,使如权利要求1至4中任一所述的方法被实现,或者,当所述指令被执行时,使如权利要求8至10中任一所述的方法被实现。
CN202380008204.7A 2023-02-09 2023-02-09 一种音频信号处理、装置、设备及存储介质 Pending CN116348952A (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2023/075303 WO2024164284A1 (zh) 2023-02-09 2023-02-09 一种音频信号处理、装置、设备及存储介质

Publications (1)

Publication Number Publication Date
CN116348952A true CN116348952A (zh) 2023-06-27

Family

ID=86880884

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202380008204.7A Pending CN116348952A (zh) 2023-02-09 2023-02-09 一种音频信号处理、装置、设备及存储介质

Country Status (2)

Country Link
CN (1) CN116348952A (zh)
WO (1) WO2024164284A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116993839A (zh) * 2023-09-26 2023-11-03 苏州元脑智能科技有限公司 编码方式筛选方法、装置、电子设备及存储介质

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1728598A (zh) * 2004-07-31 2006-02-01 西门子(中国)有限公司 一种语音移动通信过程中调整编码速率的方法
CN101217037A (zh) * 2007-01-05 2008-07-09 华为技术有限公司 对音频信号的编码速率进行源控的方法和系统
CN102254562A (zh) * 2011-06-29 2011-11-23 北京理工大学 一种相邻高低速率编码模式间切换的变速率音频编码方法
US20180027232A1 (en) * 2015-02-13 2018-01-25 Alcatel Lucent Video decoding and encoding system
CN114550732A (zh) * 2022-04-15 2022-05-27 腾讯科技(深圳)有限公司 一种高频音频信号的编解码方法和相关装置
CN114726946A (zh) * 2018-12-27 2022-07-08 华为技术有限公司 一种自动切换蓝牙音频编码方式的方法及电子设备
US20220247472A1 (en) * 2019-10-16 2022-08-04 Vivo Mobile Communication Co., Ltd. Coding method, decoding method, and device
CN114898760A (zh) * 2022-03-09 2022-08-12 北京小米移动软件有限公司 语音编码方法、装置、电子设备及存储介质
CN115552518A (zh) * 2021-11-02 2022-12-30 北京小米移动软件有限公司 一种信号编解码方法、装置、用户设备、网络侧设备及存储介质

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003199002A (ja) * 2001-12-27 2003-07-11 Sharp Corp 情報記録装置
JP2006287300A (ja) * 2005-03-31 2006-10-19 Konica Minolta Business Technologies Inc 画像通信装置
CN107636757B (zh) * 2015-05-20 2021-04-09 瑞典爱立信有限公司 多声道音频信号的编码
CN110545432A (zh) * 2018-05-28 2019-12-06 深信服科技股份有限公司 一种图像编码、解码方法、相关装置及存储介质
CN114978427B (zh) * 2022-05-19 2024-04-19 腾讯科技(深圳)有限公司 数据处理方法、装置、程序产品、计算机设备和介质

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1728598A (zh) * 2004-07-31 2006-02-01 西门子(中国)有限公司 一种语音移动通信过程中调整编码速率的方法
CN101217037A (zh) * 2007-01-05 2008-07-09 华为技术有限公司 对音频信号的编码速率进行源控的方法和系统
CN102254562A (zh) * 2011-06-29 2011-11-23 北京理工大学 一种相邻高低速率编码模式间切换的变速率音频编码方法
US20180027232A1 (en) * 2015-02-13 2018-01-25 Alcatel Lucent Video decoding and encoding system
CN114726946A (zh) * 2018-12-27 2022-07-08 华为技术有限公司 一种自动切换蓝牙音频编码方式的方法及电子设备
US20220247472A1 (en) * 2019-10-16 2022-08-04 Vivo Mobile Communication Co., Ltd. Coding method, decoding method, and device
CN115552518A (zh) * 2021-11-02 2022-12-30 北京小米移动软件有限公司 一种信号编解码方法、装置、用户设备、网络侧设备及存储介质
CN114898760A (zh) * 2022-03-09 2022-08-12 北京小米移动软件有限公司 语音编码方法、装置、电子设备及存储介质
CN114550732A (zh) * 2022-04-15 2022-05-27 腾讯科技(深圳)有限公司 一种高频音频信号的编解码方法和相关装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116993839A (zh) * 2023-09-26 2023-11-03 苏州元脑智能科技有限公司 编码方式筛选方法、装置、电子设备及存储介质
CN116993839B (zh) * 2023-09-26 2024-01-26 苏州元脑智能科技有限公司 编码方式筛选方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
WO2024164284A1 (zh) 2024-08-15

Similar Documents

Publication Publication Date Title
CN116348952A (zh) 一种音频信号处理、装置、设备及存储介质
CN113841430B (zh) 一种下行控制信息的对齐方法及其装置
CN114208354A (zh) 物理下行共享信道pdsch配置方法及装置
CN116615951A (zh) 一种指示方法、装置、设备及存储介质
CN115004736B (zh) 一种终端能力上报方法、确定方法及其装置
CN115004596B (zh) 混合自动重传请求harq反馈的处理方法及其装置
WO2023197187A1 (zh) 一种信道状态信息的处理方法及装置
CN114503658B (zh) 一种测量报告上报方法和装置
WO2022217425A1 (zh) 确定harq反馈信息的定时方法及其装置
CN114342548B (zh) 资源确定方法和装置
WO2024164103A1 (zh) 上行mimo传输8天线端口的码字指示、确定方法、装置及设备
US20240292289A1 (en) Carrier handover method and apparatus
CN116420316A (zh) 波束的确定方法及装置
US20240292384A1 (en) Resource allocation method and apparatus thereof
CN116349364A (zh) 一种传输块大小的确定方法及其装置
CN117015936A (zh) 一种天线切换能力上报方法及其装置
CN116686317A (zh) 一种fbe的cot的共享方法及其装置
CN118176673A (zh) 一种预编码信息的反馈方法及其装置
CN116648943A (zh) 测量能力信息生成方法及装置
CN117015941A (zh) 一种天线切换能力上报方法及其装置
CN116686379A (zh) 物理随机接入信道prach的传输方法和装置
CN116438763A (zh) 混合自动重传请求harq进程使能配置方法及装置
CN116897555A (zh) 一种上行发送的控制方法及其装置
CN116097595A (zh) 一种psfch传输功率的配置方法及装置
CN116724351A (zh) 一种量化编码方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination