CN112735446B - 在lc3音频码流中添加额外信息的方法、系统及介质 - Google Patents

在lc3音频码流中添加额外信息的方法、系统及介质 Download PDF

Info

Publication number
CN112735446B
CN112735446B CN202011600984.9A CN202011600984A CN112735446B CN 112735446 B CN112735446 B CN 112735446B CN 202011600984 A CN202011600984 A CN 202011600984A CN 112735446 B CN112735446 B CN 112735446B
Authority
CN
China
Prior art keywords
bit
coding
arithmetic
audio
space
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011600984.9A
Other languages
English (en)
Other versions
CN112735446A (zh
Inventor
王尧
李强
叶东翔
朱勇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Barrot Wireless Co Ltd
Original Assignee
Barrot Wireless Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Barrot Wireless Co Ltd filed Critical Barrot Wireless Co Ltd
Priority to CN202011600984.9A priority Critical patent/CN112735446B/zh
Priority to US18/270,484 priority patent/US20240062766A1/en
Priority to PCT/CN2021/070549 priority patent/WO2022141658A1/zh
Publication of CN112735446A publication Critical patent/CN112735446A/zh
Application granted granted Critical
Publication of CN112735446B publication Critical patent/CN112735446B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/16—Vocoder architecture
    • G10L19/18—Vocoders using multiple modes
    • G10L19/24—Variable rate codecs, e.g. for generating different qualities using a scalable representation such as hierarchical encoding or layered encoding
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/02—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/002—Dynamic bit allocation
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/018—Audio watermarking, i.e. embedding inaudible data in the audio signal

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Signal Processing (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Computational Linguistics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Quality & Reliability (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Signal Processing For Digital Recording And Reproducing (AREA)

Abstract

本申请公开了一种在LC3音频码流中添加额外信息的方法、系统及介质，属于音频编解码技术领域。该方法包括：获取LC3音频编码过程中的未用比特空间，包括：获取LC3音频编码过程中当前编码帧的单比特未用空间，单比特未用空间为LC3音频编码过程中当前编码帧的残差编码比特估计长度与残差编码比特实际长度的差值；获取LC3音频编码过程中当前编码帧的多比特未用空间，多比特未用空间为LC3音频编码过程中当前编码帧未被使用的残差空间；以及将LC3音频编码过程中的额外信息添加进未用比特空间，进行编码。本申请的应用通过未用比特空间传输额外的数据，避免了比特的浪费，提高编码的带宽使用效率。

Description

在LC3音频码流中添加额外信息的方法、系统及介质
技术领域
本发明涉及音频编解码技术领域，特别是一种在LC3音频码流中添加额外信息的方法、系统及介质。
背景技术
目前主流的蓝牙音频编解码器包括：SBC音频编解码器，其由A2DP协议强制要求，使用最为广泛；AAC-LC音频编解码器，其音质较好且应用较为广泛，很多主流的手机都支持；aptX系列音频编解码器，其音质较好，但码率很高，且为高通独有的技术，较为封闭；LDAC音频编解码器，其音质较好，但码率也很高，且为索尼独有的技术，也很封闭。基于上述原因，蓝牙国际联盟Bluetooth Sig联合众多厂商推出了LC3音频编解码器，其具有较低延迟、较高音质和编码增益以及在蓝牙领域无专利费的优点，受到广大厂商的关注。
在对音频帧进行编码的过程中，根据LC3编码器定义的残差编码及最终编码过程中，对算数比特数进行估算，得到算数余数估计值。而在算数编码的结束函数中，使用实际的算数编码比特数，即算数实际值进行运算。其中，算数余数估计值的余数部分比算数实际值的余数部分大1。经过测试，大致有35％-55％的编码音频帧间存在上述情况。因此存在分散在帧间的比特未被使用而浪费。
发明内容
针对现有技术中，在进行音频编码时，存在空闲比特，编码比特未充分利用的技术问题，本申请提供了一种在LC3音频码流中添加额外信息的方法、系统、存储介质及设备。
在本发明的一个技术方案中，提供一种在LC3音频码流中添加额外信息的方法，包括：获取LC3音频编码过程中的未用比特空间，包括：获取LC3音频编码过程中当前编码帧的单比特未用空间，单比特未用空间为LC3音频编码过程中当前编码帧的残差编码比特估计长度与残差编码比特实际长度的差值，包括：在LC3音频编码器进行编码过程中对当前编码帧记录算数余数估计值和算数实际值，算数余数估计值为LC3音频编码过程中算数编码占用比特数的估计值，算数实际值为算数编码的最终码流实际占用的比特数的实际值；对算数余数估计值和算数实际值分别进行取模运算，得到算数余数估计值对应的第一余数和算数实际值对应的第二余数；若第一余数比第二余数大1，则将音频帧中算数编码最后一个比特后的一个比特记为单比特未用空间；获取LC3音频编码过程中当前编码帧的多比特未用空间，多比特未用空间为LC3音频编码过程中当前编码帧未被使用的残差空间，以及将LC3音频编码过程中的额外信息添加进单比特未用空间和、或多比特未用空间，进行编码。
在本发明的另一个技术方案中，提供一种在LC3音频码流中添加额外信息的系统，包括：单比特未用空间获取模块，其获取LC3音频编码过程中的单比特未用空间，单比特未用空间为LC3音频编码过程中的残差编码比特估计长度与残差编码比特实际长度的差值，包括：在LC3音频编码器进行编码过程中记录算数余数估计值，记录算数实际值，算数余数估计值为LC3音频编码过程中算数编码占用比特数的估计值，算数实际值为算数编码的最终码流实际占用的比特数的实际值；对算数余数估计值和算数实际值分别进行取模运算，得到算数余数估计值对应的第一余数和算数实际值对应的第二余数；以及若第一余数比第二余数大1，则将音频帧中算数编码最后一个比特后的一个比特记为单比特未用空间；多比特未用空间获取模块，其获取LC3音频编码过程中当前编码帧的多比特未用空间，多比特未用空间为LC3音频编码过程中当前编码帧未被使用的残差空间；以及编码模块，其将LC3音频编码过程中的额外信息添加进单比特未用空间和、或多比特未用空间，进行编码。
在本发明的另一个技术方案中，提供一种计算机可读存储介质，其存储有计算机指令，其中计算机指令被操作以执行方案一中的在LC3音频码流中添加额外信息的方法。
本发明的有益效果是：充分利用编码过程中的比特空间，避免了比特的浪费，利用未用的比特空间编码额外信息，提高编码的带宽使用效率。
附图说明
图1是LC3编码器音频帧的结构示意图；
图2是LC3编码器中进行残差编码和最终编码时的部分定义代码；
图3是本申请在LC3音频码流中添加额外信息的方法的一个具体实施方式的流程示意图；
图4是本申请在LC3音频码流中添加额外信息的方法中获取单比特未用空间的一个具体实施方式的流程示意图；
图5是编码音频帧中存在空白帧的音频帧示意图；
图6是本申请在LC3音频码流中添加额外信息的系统的一个具体实施方式的组成示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”以及“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例例如能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
在LC3音频编码器对音频进行编码时，LC3音频帧的结构如图1所示。其中，边带信息、频谱数据以及残差编码部分为倒序编码，算数编码部分为正向编码。
图2示出了在LC3音频编码器中进行残差编码和最终编码时的部分定义。其中，如图2所示，nbits_ari部分的非整比特(对8bit的余数)部分来自于25-floor(log2(st->range))部分的估算。而在算数编码的结束函数中，即在实际的算数编码中正向编码的最后部分中，其非整数比特的部分，在部分帧(frame)中，会形成1bit的计算误差。nbits_ari的估算公式，非整比特的余数部分25-floor(log2(st->range))可能会比实际算术编码的余数部分大1，其发生概率经测试，大约为35％～55％的全部编码帧之间。因此，存在部分音频帧在实际的编码过程中，存在一个未使用的单比特未用空间，导致编码比特空间的浪费。
另外在LC3音频编码器的编码过程中，经过量化后的频谱数据可能存在仅有少量频带具有能量，或者全部频带都没有能量的情况。例如编码音频帧中的高频能量值较少出现空白帧时，此种情况便会出现。因为算术编码的部分占用的比特空间较少，残差部分本身空间较大，另外没有足够多的具有能量的编码音频样本可供产生残差值，导致大量的残差空间没有被编码使用。在实际的音频场景中，这种多比特未用空间多出现在歌曲的前段或者后段的静音部分。
本申请的在LC3音频码流中添加额外信息的方法将对该未使用比特空间进行充分利用，通过将包括水印或签名信息的额外信息添加进未使用的比特空间中，实现对未使用比特空间的充分利用，避免编码过程中码率的浪费。
图3示出了本申请在LC3音频码流中添加额外信息的方法的一个具体实施方式的流程示意图。
如图3所示，本申请的在LC3音频码流中添加额外信息的方法包括过程S301，获取LC3音频编码过程中的未用比特空间，包括：获取LC3音频编码过程当前编码帧中的单比特未用空间，单比特未用空间为LC3音频编码过程中当前编码帧的残差编码比特估计长度与残差编码比特实际长度的差值；过程S302，获取LC3音频编码过程中当前编码帧的多比特未用空间，多比特未用空间为LC3音频编码过程中当前编码帧未被使用的残差空间。以及过程S303，将LC3音频编码过程中的额外信息添加进未用比特空间，进行编码。。
在该具体实施方式中，首先获取LC3音频编码过程中的未用比特空间。其中，单比特未用空间为LC3音频编码过程中当前编码帧的残差编码比特估计长度与残差编码比特实际长度的差值，其空间大小为一个比特。多比特未用空间为LC3音频编码过程中当前编码帧的未被使用的残差空间，其空间大小为多个比特。多比特未用空间对应音频编码过程中，空白帧存在的情形。
图4示出了本申请在LC3音频码流中添加额外信息的方法中获取单比特未用空间的一个具体实施方式。
在图4所示的具体实施方式中，本申请在LC3音频码流中添加额外信息的方法中获取单比特未用空间包括：过程S401，在LC3音频编码器进行编码过程中记录算数余数估计值和算数实际值，算数余数估计值为LC3音频编码过程中算数编码占用比特数的估计值，算数实际值为算数编码的最终码流实际占用的比特数的实际值；过程S402，对算数余数估计值和算数实际值分别进行取模运算，得到算数余数估计值对应的第一余数和算数实际值对应的第二余数；过程S403，若第一余数比第二余数大1，则将音频帧中算数编码最后一个比特后的一个比特记为单比特未用空间。
在图4所示的具体实施方式中，本申请的在LC3音频码流中添加额外信息的方法中获取单比特未用空间包括过程S401，在LC3音频编码器进行编码过程中记录算数余数估计值和算数实际值，算数余数估计值为LC3音频编码过程中算数编码占用比特数的估计值，算数实际值为算数编码的最终码流实际占用的比特数的实际值。
在该实施方式中，根据LC3编码器的编码定义，在对音频进行编码的过程中，可获得算数余数估计值即算数余数估计值和算数实际值即算数实际值。其中，算数余数估计值为编码过程中算数编码占用比特数的估计值，算数实际值为算数编码的最终码流实际占用的比特数的实际值。其中，存在部分音频帧的算数余数估计值与算数实际值不相同，也就导致存在未使用的比特数。
在本申请的一个具体实施例中，在在LC3音频编码器进行编码过程中记录算数余数估计值，记录算数实际值的过程中，在获取算数实际值时，将实际的算术编码尾部写入码流，并记录算术编码的最终码流实际占用的比特数，记为算数实际值。。
在该具体实施例中，根据LC3音频的定义，在进行算数实际值的获取时，提前进行ac_enc_finish操作，即提前将实际的算术编码尾部写入码流，并记录算术编码的最终码流实际占用的比特数，记为算数实际值。将ac_enc_finish操作提前，可提前获取算数实际值，进而进行算数余数估计值与算数实际值的比较过程。
在图4所示的具体实施方式中，本申请的在LC3音频码流中添加额外信息的方法中获取单比特未用空间包括过程S402，对算数余数估计值和算数实际值分别进行取模运算，得到算数余数估计值对应的第一余数和算数实际值对应的第二余数。
在该具体实施方式中，在获得算数余数估计值和算数实际值后，分别进行取模运算，获取算数余数估计值对应的第一余数和算数实际值对应的第二余数。
在本申请的一个实例中，在取模运算时，分别对算数余数估计值和算数实际值和预设的数值进行除法运算，求取除法运算的余数。
在本申请的一个具体实施例中，对算数余数估计值和算数实际值分别进行取模运算的过程中，取模运算为对算数余数估计值和算数实际值以预设数值分别进行取模运算，分别得到第一余数和第二余数。。
在本申请的一个实例中，在进行取模运算时，预设数值可取值为8。例如，算数余数估计值为26，算数实际值为25。对算数余数估计值以数值8进行取模运算的结果为对26和8进行除法运算，结果的整数部分为3，余数为2；对算数实际值以数值8进行取模运算的结果为对25和8进行除法运算，结果的整数部分为3，余数为1。其中，算数余数估计值对应的第一余数为2，算数实际值对应的第二余数为1。
在图4所示的具体实施方式中，本申请的在LC3音频码流中添加额外信息的方法中获取单比特未用空间包括过程S403，若第一余数比第二余数大1，则将音频帧中算数编码最后一个比特后的一个比特记为单比特未用空间。
在该具体实施方式中，对第一余数和第二余数进行比较，若第一余数比第二余数大1，则说明在LC3的音频编码的音频帧中，存在一个未用比特，即将音频帧中算数编码最后一个比特后的一个比特记为单比特未用空间。其中，单比特未用空间的位置位于算数编码部分的尾部，位于残差编码部分的前端，如图1所示。
在图3所示的具体实施方式中，本申请的在LC3音频码流中添加额外信息的方法包括过程S302，获取LC3音频编码过程中当前编码帧的多比特未用空间，多比特未用空间为LC3音频编码过程中当前编码帧未被使用的残差空间。
在本申请的一个具体实施例中，本申请的在LC3音频码流中添加额外信息的方法中获取LC3音频编码过程中当前编码帧的多比特未用空间的过程，包括：确定当前编码帧的残差编码比特空间；根据当前编码帧对应的残差谱线数，在残差编码比特空间中进行残差编码；将残差编码比特空间中，未被使用的编码比特空间确定为多比特未用空间。
在该具体实施例中，在对当前编码帧进行编码的编码比特预算中，首先确定当前编码帧的残差编码比特空间。然后根据当前编码帧进行残差编码需要的残差编码空间，若残差编码比特空间还有剩余，存在未被使用的编码比特空间，则将该未被使用的编码比特空间确定为多比特未用空间。在本申请的一个实例中，在具体的编码规程中，除了边带信息(side information)占用相对比较固定的比特数以外，大部分比特空间用来进行频谱量化过程，即以算术编码的方式进行编码的部分。而剩余了一些比特空间，就是最后留给残差编码的残差编码比特空间。其中，如果当前编码帧有足够的残差需要编码，该残差编码比特空间可能被使用完。但是如果当前编码帧没有足够的残差谱线数，则对残差的编码无法占用整个残差编码比特空间，从而产生残差编码比特空间的剩余。尤其当前编码帧对应的高频能量较少，该情况尤为明显。因为中高频能量较低，其频谱量化数据所占据的比特数较少，相对地留给残差的比特数较多，由于中高频频谱量化数据值较小，所能产生的残差比特数也较少，因而最终剩余的残差比特空间较多。
在本申请的一个实例中，多比特剩余未用空间多对应于当前编码帧为静音帧或者部分静音帧的情形。在当前编码帧为静音帧或者当前编码帧中部分为静音时，当前编码帧所携带的中高频能量较少时，会出现多比特未用空间。该过程的具体变现为：当前编码帧在频域信号编码时，频谱量化后产生的，用于算术编码的频谱信号本身所占用的比特空间较少。在固定码率的场景下，由于前述频谱信号所占用的比特数较少，留给残差编码的比特数则较多。而由于频谱信号的有效比特数较少，往往高频信号部分大部分为0，进而在进行量化过程中，产生的量化误差也为0。在当前音频帧的高频能量较少时，对应量化误差比当前音频帧的高频能量较高时的量化误差少，因此会有较多的残差空间空余。其中，未被使用的残差空间作为多比特未用空间。
LC3音频编码过程中的未用比特空间包括单比特未用空间以及多比特未用空间。其中，多比特未用空间为LC3音频编码过程中未被使用的残差空间，对应编码音频帧中，空白帧或者空白帧对应的编码比特空间。其中，编码音频帧中的空白帧如图5所示。通过确定音频编码过程中的空白帧，进而获取空白帧对应的多比特未用空间，再利用多比特未用空间对编码过程中的额外信息进行编码，提高编码过程的带宽使用效率。
在图3所示的具体实施方式中，本申请的在LC3音频码流中添加额外信息的方法包括过程S303，将LC3音频编码过程中的额外信息添加进单比特未用空间和、或多比特未用空间，进行编码。
在该具体实施方式中，当对音频帧进行编码时，在获得单比特未用空间和、或多比特未用空间后，将LC3音频编码过程中的额外信息添加进未用比特空间，利用未用比特对除音频编码信息外的额外信息进行编码，实现对未用比特的充分利用。在编码时，夹带更多信息，提高编码的效率。
在本申请的一个具体实施例中，使用未用比特空间对LC3音频编码过程中的额外信息进行编码的过程中，将额外信息进行拆分得到额外信息的比特流，将比特流填入未用比特空间中，额外信息包括水印和/或签名信息。
在该具体实施例中，一段编码音频包括多个编码音频帧，其中35％-55％的编码音频帧中存在未用比特。在对额外信息进行添加时，将额外信息拆分成比特流，再将比特流添加进各个未用比特中，进而实现对额外信息的添加。其中，单比特未用空间主要用于音频编码过程中的残差编码中。相比较与标准的编码方案，通过对单比特未用空间的利用，在编码时可额外放入1比特的残差数据，同时提高音频的音质；另外对于多比特未用空间，其主要利LC3音频编码过程中当前编码帧未被使用的残差空间，其进行添加的额外信息为非残差数据，可对夹带信息进行编码，从而提高音频编码的效率。
在本申请的一个具体实施例中，使用解码器对添加额外信息的码流进行解码时，使用残差编码比特实际长度对应的比特进行解码。
在该具体实施例中，在编码音频帧中确定未用比特，在编码端将包括水印或签名信息的额外信息添加进未用比特中，在解码端进行对音频的解码时，也需要进行适应的调整。其中，在多种残差值方案中，由于残差编码所准备的预备残差较大，只需在编码一侧多填入一个原先被截断的较高频率的残差值即可。而解码器一侧需要改动，取消使用估算公式25-floor(log2(st->range))，改用实际算术解码的尾部作为实际算数解码的长度值，从整个比特数中减去边带信息长度和算数编码实际值，即为实际残差长度。如图1所示。
在本申请的一个具体实施例中，在包含未用比特空间的音频帧中设置签名部分，使得解码器对音频帧进行对应解码。
在该具体实施例中，为了避免从一个未实施本专利的LC3编码器所编码的码流中读取到wildcard野值(即0或者1随机出现的毫无意义的值)，可在前方出现未用比特的帧中首先设置一个同步词检验部分，当实施了本申请的LC3解码器在连续帧解码过程中，由这些前方帧中的未用比特拼接成的签名信息中得知，后续帧将会带有额外完整残差比特。则可以实现对标准LC3解码器的升级工作，使之可以在兼容既有的标准LC3编码器的同时，也兼容完整残差LC3编码器。
在本申请的一个实例中，在编码器端将信息添加进码流中，在解码器端进行对应的解码，对添加的信息进行识别。其中，对解码器端的解码过程进行简单说明。
解码器首先从每帧的边带信息(side information)中得到lastnz值，即最后一个非0的谱线序号，因为超过lastnz的谱线量化后皆为0，表示没有残差。那么实际的残差值小于等于lastnz值。在算数解码做完之后，得到剩余的残差空间；以及得到量化谱线值序列。然后从n＝0到n＝lastnz按顺序进行低频到高频的处理，若对应的频谱量化第n个样本值为非0，则说明该值对应的频谱子带可能会带有残差，若实际残差空间尚有位置，则读取一个比特作为第n个残差样本，以此类推。通过从0一直处理到lastnz的谱线序号，直到残差空间读完；或者n值一直取到lastnz，直到每个非0的频谱量化对应的残差值皆取完为止。则剩余的没有读过的残差比特空间，则为本申请在LC3音频码流中添加额外信息中的未用比特空间。
另外，由于标准编码器在这些未用比特空间上没有定义规则，所以该部分的比特是wildcard野值，即任何可能的值0或1的组合。为了使解码器识别这部分比特流，判断该部分到底是野值，还是在编码时添加的有意义的额外信息，可以通过包括但不限于同步词，校验和等方式，在该部分进行标记，从而使得新增加的额外信息在解码器端被识别，并被顺利解码。
本申请的在LC3音频码流中添加额外信息的方法，避免了进行估算算术编码导致的单比特未用空间和多比特未用空间的编码浪费，同时没有提高编码的运算量，在解码时使用实际比特数进行解码，降低了部分运算。在增加额外信息，包括签名或水印方案中，可根据未用比特夹带额外信息到解码器一侧。在完整残差编码方案中，由于残差值的舍弃部分更少，夹带了更多的较高频残差bit，到了解码器一侧，将会改善部分音质。在编码器，解码器的修改过程中，保持了和符合LC3规范的标准编码器，解码器的严格兼容性。
图6示出了本申请在LC3音频码流中添加额外信息的系统的一个具体实施方式。
在图6所示的具体实施方式中，本申请的在LC3音频码流中添加额外信息的系统包括：
单比特未用空间获取模块，其获取LC3音频编码过程中当前编码帧的单比特未用空间，单比特未用空间为LC3音频编码过程中的残差编码比特估计长度与残差编码比特实际长度的差值，包括：在LC3音频编码器进行编码过程中记录算数余数估计值，记录算数实际值，算数余数估计值为LC3音频编码过程中算数编码占用比特数的估计值，算数实际值为算数编码的最终码流实际占用的比特数的实际值；对算数余数估计值和算数实际值分别进行取模运算，得到算数余数估计值对应的第一余数和算数实际值对应的第二余数；以及若第一余数比第二余数大1，则将音频帧中算数编码最后一个比特后的一个比特记为单比特未用空间；多比特未用空间获取模块，其获取LC3音频编码过程中当前编码帧的多比特未用空间，多比特未用空间为LC3音频编码过程中当前编码帧未被使用的残差空间其获取LC3音频编码过程中的空白帧，空白帧对应的编码比特为多比特未用空间；以及编码模块，其将LC3音频编码过程中的额外信息添加进单比特未用空间和、或多比特未用空间，进行编码。
在本申请的一个实施例中，在多比特未用空间获取模块中，对当前编码帧对应的中高频能量进行检测；若中高频能量小于能量阈值，则将经过频谱量化过程的当前编码帧对应的未被使用的残差空间确定为多比特未用空间。
其中，由于音频帧所携带的中高频能量较少，导致算术编码所使用的频谱信号编码比特数量较少，在固定码率场景下，留给残差空间的比特数本身就较多，而且由于残差为频谱信号的量化误差，在频谱信号的能量本身较低的情况下，可见其量化误差为非0的谱线数量也会较少，导致可以进行编码的残差谱线数量降低，最终导致了残差空间中较多的多比特未用空间。
通过对当前音频帧中未用比特空间的获取，包括单比特未用空间和多比特未用空间，将编码过程中的额外信息添加进未用比特空间中，对额外信息进行编码，充分利用编码过程中的比特空间，避免了比特的浪费，利用未用的比特空间编码额外信息，提高编码的带宽使用效率。
在本申请的一个具体实施方式中，一种计算机可读存储介质，其存储有计算机指令，其中计算机指令被操作以执行任一实施例描述的在LC3音频码流中添加额外信息的方法。其中，该存储介质可直接在硬件中、在由处理器执行的软件模块中或在两者的组合中。
软件模块可驻留在RAM存储器、快闪存储器、ROM存储器、EPROM存储器、EEPROM存储器、寄存器、硬盘、可装卸盘、CD-ROM或此项技术中已知的任何其它形式的存储介质中。示范性存储介质耦合到处理器，使得处理器可从存储介质读取信息和向存储介质写入信息。
处理器可以是中央处理单元(英文：Central Processing Unit，简称：CPU)，还可以是其他通用处理器、数字信号处理器(英文：Digital Signal Processor，简称：DSP)、专用集成电路(英文：Application Specific Integrated Circuit，简称：ASIC)、现场可编程门阵列(英文：Field Programmable Gate Array，简称：FPGA)或其它可编程逻辑装置、离散门或晶体管逻辑、离散硬件组件或其任何组合等。通用处理器可以是微处理器，但在替代方案中，处理器可以是任何常规处理器、控制器、微控制器或状态机。处理器还可实施为计算装置的组合，例如DSP与微处理器的组合、多个微处理器、结合DSP核心的一个或一个以上微处理器或任何其它此类配置。在替代方案中，存储介质可与处理器成一体式。处理器和存储介质可驻留在ASIC中。ASIC可驻留在用户终端中。在替代方案中，处理器和存储介质可作为离散组件驻留在用户终端中。
在本申请的一个具体实施方式中，一种计算机设备，其包括处理器和存储器，存储器存储有计算机指令，其中：处理器操作计算机指令以执行任一实施例描述的在LC3音频码流中添加额外信息的方法。
在本申请所提供的实施方式中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
以上仅为本申请的实施例，并非因此限制本申请的专利范围，凡是利用本申请说明书及附图内容所作的等效结构变换，或直接或间接运用在其他相关的技术领域，均同理包括在本申请的专利保护范围内。

Claims (10)

1.一种在LC3音频码流中添加额外信息的方法，其特征在于，包括：
获取LC3音频编码过程中的未用比特空间，包括：
获取LC3音频编码过程中当前编码帧的单比特未用空间，所述单比特未用空间为所述LC3音频编码过程中所述当前编码帧的残差编码比特估计长度与残差编码比特实际长度的差值，包括：
在所述LC3音频编码过程中对所述当前编码帧记录算术余数估计值和算术实际值，所述算术余数估计值为所述LC3音频编码过程中算术编码占用比特数的估计值，所述算术实际值为所述算术编码的最终码流实际占用的比特数的实际值；
对所述算术余数估计值和所述算术实际值分别进行取模运算，得到所述算术余数估计值对应的第一余数和所述算术实际值对应的第二余数；
若所述第一余数比所述第二余数大1，则将所述当前编码帧中所述算术编码最后一个比特后的一个比特记为单比特未用空间；
获取所述LC3音频编码过程中所述当前编码帧的多比特未用空间，所述多比特未用空间为所述LC3音频编码过程中所述当前编码帧未被使用的残差空间，以及
将所述LC3音频编码过程中的额外信息添加进所述单比特未用空间和/或所述多比特未用空间，进行编码。
2.如权利要求1所述的在LC3音频码流中添加额外信息的方法，其特征在于，所述获取所述LC3音频编码过程中所述当前编码帧的多比特未用空间的过程，包括：
确定所述当前编码帧的残差编码比特空间；
根据所述当前编码帧对应的残差谱线数，在所述残差编码比特空间中进行残差编码；
将所述残差编码比特空间中，未被使用的编码比特空间确定为所述多比特未用空间。
3.如权利要求1所述的在LC3音频码流中添加额外信息的方法，其特征在于，所述在所述LC3音频编码过程中对所述当前编码帧记录算术余数估计值和算术实际值的过程中，在获取所述算术实际值时，将实际的算术编码尾部写入码流，并记录算术编码的最终码流实际占用的比特数，记为所述算术实际值。
4.如权利要求1所述的在LC3音频码流中添加额外信息的方法，其特征在于，所述对所述算术余数估计值和所述算术实际值分别进行取模运算的过程中，所述取模运算为对所述算术余数估计值和所述算术实际值以预设数值分别进行取模运算，分别得到所述第一余数和所述第二余数。
5.如权利要求1所述的在LC3音频码流中添加额外信息的方法，其特征在于，所述将所述LC3音频编码过程中的额外信息添加进所述单比特未用空间和/或所述多比特未用空间，进行编码，包括：
将所述额外信息进行拆分得到所述额外信息的比特流，将所述比特流填入所述单比特未用空间和/或所述多比特未用空间中，所述额外信息包括水印和/或签名信息。
6.如权利要求1所述的在LC3音频码流中添加额外信息的方法，其特征在于，还包括：
使用解码器对添加所述额外信息的码流进行解码时，使用所述残差编码比特实际长度对应的比特进行解码。
7.如权利要求6所述的在LC3音频码流中添加额外信息的方法，其特征在于，在包含所述单比特未用空间和/或所述多比特未用空间的所述当前编码帧中设置签名部分，使得所述解码器对所述当前编码帧进行对应解码。
8.一种在LC3音频码流中添加额外信息的系统，其特征在于，包括：
单比特未用空间获取模块，其获取LC3音频编码过程中当前编码帧的单比特未用空间，所述单比特未用空间为所述LC3音频编码过程中所述当前编码帧的残差编码比特估计长度与残差编码比特实际长度的差值，包括：在所述LC3音频编码过程中对所述当前编码帧记录算术余数估计值和算术实际值，所述算术余数估计值为所述LC3音频编码过程中算术编码占用比特数的估计值，所述算术实际值为所述算术编码的最终码流实际占用的比特数的实际值；对所述算术余数估计值和所述算术实际值分别进行取模运算，得到所述算术余数估计值对应的第一余数和所述算术实际值对应的第二余数；若所述第一余数比所述第二余数大1，则将所述当前编码帧中所述算术编码最后一个比特后的一个比特记为单比特未用空间；
多比特未用空间获取模块，其获取所述LC3音频编码过程中所述当前编码帧的多比特未用空间，所述多比特未用空间为所述LC3音频编码过程中所述当前编码帧未被使用的残差空间；以及
编码模块，其将所述LC3音频编码过程中的额外信息添加进所述单比特未用空间和/或所述多比特未用空间，进行编码。
9.如权利要求8所述的在LC3音频码流中添加额外信息的系统，其特征在于，在所述多比特未用空间获取模块中，对所述当前编码帧对应的中高频能量进行检测；若所述中高频能量小于能量阈值，则将经过频谱量化过程的所述当前编码帧对应的所述未被使用的残差空间确定为所述多比特未用空间。
10.一种计算机可读存储介质，其存储有计算机指令，其中所述计算机指令被操作以执行权利要求1-7任一项所述的在LC3音频码流中添加额外信息的方法。
CN202011600984.9A 2020-12-30 2020-12-30 在lc3音频码流中添加额外信息的方法、系统及介质 Active CN112735446B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202011600984.9A CN112735446B (zh) 2020-12-30 2020-12-30 在lc3音频码流中添加额外信息的方法、系统及介质
US18/270,484 US20240062766A1 (en) 2020-12-30 2021-01-07 Method, system, and medium of adding additional information to lc3 audio code stream
PCT/CN2021/070549 WO2022141658A1 (zh) 2020-12-30 2021-01-07 在lc3音频码流中添加额外信息的方法、系统及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011600984.9A CN112735446B (zh) 2020-12-30 2020-12-30 在lc3音频码流中添加额外信息的方法、系统及介质

Publications (2)

Publication Number Publication Date
CN112735446A CN112735446A (zh) 2021-04-30
CN112735446B true CN112735446B (zh) 2022-05-17

Family

ID=75611640

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011600984.9A Active CN112735446B (zh) 2020-12-30 2020-12-30 在lc3音频码流中添加额外信息的方法、系统及介质

Country Status (3)

Country Link
US (1) US20240062766A1 (zh)
CN (1) CN112735446B (zh)
WO (1) WO2022141658A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118053437A (zh) * 2022-11-17 2024-05-17 抖音视界有限公司 音频编码方法、解码方法、装置、设备及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1684523A (zh) * 2003-11-26 2005-10-19 三星电子株式会社 用于编码/解码具有辅助信息的音频比特流的方法和设备
CN1808568A (zh) * 2004-11-19 2006-07-26 Lg电子株式会社 具有水印插入/提取功能的音频编码/解码设备及其方法
CN105594148A (zh) * 2013-10-11 2016-05-18 高通股份有限公司 传送冗余帧信息的系统和方法
WO2020165262A2 (en) * 2019-02-13 2020-08-20 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Audio transmitter processor, audio receiver processor and related methods and computer programs
CN111933159A (zh) * 2017-11-10 2020-11-13 弗劳恩霍夫应用研究促进协会 调适最低有效比特的编码与解码的音频编码器、音频解码器、方法及计算机程序

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
MY138481A (en) * 2001-05-17 2009-06-30 Sony Corp Data distribution system, terminal apparatus, distribution center apparatus, highefficiency encoding method, high-efficiency encoding apparatus, encoded data decoding method, encoded data decoding apparatus, data transmission method, data transmission apparatus, sub information attaching method, sub information attaching apparatus, and recording medium
WO2020164751A1 (en) * 2019-02-13 2020-08-20 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Decoder and decoding method for lc3 concealment including full frame loss concealment and partial frame loss concealment
US11381847B2 (en) * 2019-05-31 2022-07-05 Qualcomm Incorporated Coefficient coding for transform skip mode in video coding
CN111951815B (zh) * 2020-08-08 2023-10-10 北京百瑞互联技术有限公司 一种优化lc3编码器的量化全局增益序号搜索方法和系统
CN112151046A (zh) * 2020-09-25 2020-12-29 北京百瑞互联技术有限公司 Lc3编码器自适应调节多声道传输码率的方法、装置及介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1684523A (zh) * 2003-11-26 2005-10-19 三星电子株式会社 用于编码/解码具有辅助信息的音频比特流的方法和设备
CN1808568A (zh) * 2004-11-19 2006-07-26 Lg电子株式会社 具有水印插入/提取功能的音频编码/解码设备及其方法
CN105594148A (zh) * 2013-10-11 2016-05-18 高通股份有限公司 传送冗余帧信息的系统和方法
CN111933159A (zh) * 2017-11-10 2020-11-13 弗劳恩霍夫应用研究促进协会 调适最低有效比特的编码与解码的音频编码器、音频解码器、方法及计算机程序
WO2020165262A2 (en) * 2019-02-13 2020-08-20 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Audio transmitter processor, audio receiver processor and related methods and computer programs

Also Published As

Publication number Publication date
CN112735446A (zh) 2021-04-30
WO2022141658A1 (zh) 2022-07-07
US20240062766A1 (en) 2024-02-22

Similar Documents

Publication Publication Date Title
KR100982427B1 (ko) 멀티채널 오디오 신호 부호화 및 복호화 방법
US8385366B2 (en) Apparatus and method for transmitting a sequence of data packets and decoder and apparatus for decoding a sequence of data packets
US10636432B2 (en) Method for predicting high frequency band signal, encoding device, and decoding device
CN108777606B (zh) 解码方法、设备及可读存储介质
CN1319044C (zh) 用于解码包含报头数据部分的数据帧中所排布的编码数字音频信号的方法和设备
KR20160072145A (ko) 리던던트 프레임 정보를 통신하는 시스템들 및 방법들
TWI745862B (zh) 音訊發送器處理器、音訊接收器處理器及相關方法與電腦程式
CA2604521A1 (en) Lossless encoding of information with guaranteed maximum bitrate
CN111681663B (zh) 一种降低音频编码运算量的方法、系统、存储介质及设备
KR20220123109A (ko) 오디오 인코딩 및 디코딩 방법 및 오디오 인코딩 및 디코딩 장치
CN114550732B (zh) 一种高频音频信号的编解码方法和相关装置
WO2021143692A1 (zh) 一种音频编解码方法和音频编解码设备
US11887610B2 (en) Audio encoding and decoding method and audio encoding and decoding device
CN112735446B (zh) 在lc3音频码流中添加额外信息的方法、系统及介质
CN111833891A (zh) 一种lc3编解码系统、lc3编码器及其优化方法
KR20180071390A (ko) 스펙트럼의 피크 위치의 코딩 및 디코딩
CN112489666A (zh) 一种蓝牙le音频传播数据处理方法、装置及存储介质
WO2021213128A1 (zh) 音频信号编码方法和装置
CN110770822B (zh) 音频信号编码和解码
CN112735450A (zh) 基于语音通道传输数据的方法、装置、存储介质及设备
CN112509591B (zh) 一种音频编解码方法及系统
CN116129920A (zh) 骨导语音的编码方法、编解码方法、装置、介质及设备
CN112270928A (zh) 一种降低音频编码器码率的方法、装置及存储介质
CN117476016A (zh) 音频编解码方法、装置、存储介质及计算机程序产品

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP03 Change of name, title or address
CP03 Change of name, title or address

Address after: A1009, floor 9, block a, No. 9, Shangdi Third Street, Haidian District, Beijing 100085

Patentee after: Beijing Bairui Internet Technology Co.,Ltd.

Address before: 7-1-1, building C, 7 / F, building 2-1, No.2, Shangdi Information Road, Haidian District, Beijing 100085

Patentee before: BARROT WIRELESS Co.,Ltd.