CN115312069A - 音频编解码方法、装置、计算机可读介质及电子设备 - Google Patents

Abstract

本申请公开了一种音频编码和解码方法、装置、计算机可读介质以及电子设备，所述音频编码方法包括：获取对原始音频数据进行编码处理得到的音频码流；解析所述音频码流，以得到所述音频码流中携带的编码参数，所述编码参数包括所述音频码流中各个音频数据帧的固定码本矢量；向所述固定码本矢量中嵌入数字水印，并将嵌入数字水印的固定码本矢量封装至所述音频码流中。在本申请实施例提供的技术方案中，将音频编码过程中使用的固定码本矢量作为数字水印的嵌入载体，无需对编码后的音频码流进行解码再编码处理，不仅在实现数字水印嵌入的同时不影响音频质量，还使得数字水印的嵌入不必局限于编码前的音频信号，扩宽了数字水印技术的应用场景。

Description

音频编解码方法、装置、计算机可读介质及电子设备

技术领域

本申请属于音视频技术领域，具体涉及一种音频编码方法、音频解码方法、音频编码装置、音频解码装置、计算机可读介质以及电子设备。

背景技术

在语音信息中加入水印的技术称为音频数字水印技术，其主要通过水印嵌入算法，将数字水印嵌入到音频数据中，但是又不对音频数据原有音质产生太大影响，或者使人耳感觉不到它的影响。

目前音频数字水印技术是在音频数据编码之前添加数字水印，若添加数字水印时音频数据为编码后的码流数据，则需要先对码流数据进行解码得到音频数据，然后在音频数据中添加数字水印后再对其进行编码传输。为嵌入水印而经过解码后再编码的过程将会导致音频质量下降、编码效率降低的问题。

发明内容

本申请的目的在于提供一种音频编码方法、音频解码方法、音频编码装置、音频解码装置、计算机可读介质以及电子设备，至少在一定程度上克服相关技术中存在的音频质量低、编码效率低等技术问题。

本申请的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本申请的实践而习得。

根据本申请实施例的一个方面，提供一种音频编码方法，包括：获取对原始音频数据进行编码处理得到的音频码流；解析所述音频码流，以得到所述音频码流中携带的编码参数，所述编码参数包括所述音频码流中各个音频数据帧的固定码本矢量；向所述固定码本矢量中嵌入数字水印，并将嵌入数字水印的固定码本矢量封装至所述音频码流中。

根据本申请实施例的一个方面，提供一种音频编码装置，包括：音频码流获取模块，用于获取对原始音频数据进行编码处理得到的音频码流；音频码流解析模块，用于解析所述音频码流，以得到所述音频码流中携带的编码参数，所述编码参数包括所述音频码流中各个音频数据帧的固定码本矢量；数字水印嵌入模块，用于向所述固定码本矢量中嵌入数字水印，并将嵌入数字水印的固定码本矢量封装至所述音频码流中。

在本申请的一个实施例中，所述编码参数还包括与所述固定码本矢量相对应的固定码本增益；数字水印嵌入模块包括：增益阈值获取单元，用于获取与所述音频数据帧相对应的增益阈值；目标码本矢量确定单元，用于根据所述增益阈值和所述固定码本增益从多个所述音频数据帧的固定码本矢量中筛选得到目标码本矢量，所述目标码本矢量对应的固定码本增益小于所述增益阈值；数字水印嵌入单元，用于向所述目标码本矢量中嵌入数字水印。

在本申请的一个实施例中，所述数字水印嵌入单元还用于：将所述目标码本矢量中的部分或者全部的码字替换为数字水印。

在本申请的一个实施例中，所述目标码本矢量确定单元还用于：将各个所述音频数据帧的固定码本增益与所述增益阈值进行数值比较，以筛选得到固定码本增益小于所述增益阈值的候选音频数据帧；获取任意两个候选音频数据帧之间的帧间隔数量；从所述候选音频数据帧中筛选得到帧间隔数量大于数量阈值的目标音频数据帧，并将所述目标音频数据帧的固定码本矢量作为目标码本矢量。

在本申请的一个实施例中，所述增益阈值获取单元包括：帧序列片段获取子单元，用于获取所述音频数据帧所在的帧序列片段，所述帧序列片段包括所述音频数据帧以及与所述音频数据帧相邻的预设数量的其他音频数据帧；固定码本增益获取子单元，用于获取所述帧序列片段中的各个音频数据帧的固定码本增益；增益阈值确定子单元，用于根据所述各个音频数据帧的固定码本增益确定与所述音频数据帧相对应的增益阈值。

在本申请的一个实施例中，所述增益阈值确定子单元还用于：将所述各个音频数据帧的固定码本增益按照数值大小排序，以得到增益序列；根据预设的数量比例从所述增益序列中选取一个目标码本增益作为与所述音频数据帧相对应的增益阈值。

在本申请的一个实施例中，所述增益阈值确定子单元还用于：获取各个音频数据帧的固定码本增益的平均值；根据所述平均值确定与所述音频数据帧相对应的增益阈值。

在本申请的一个实施例中，所述数字水印包括水印实体、位于所述水印实体之前的水印同步码以及位于所述水印实体之后的水印校验码，所述水印同步码用于标识所述数字水印的起始位置，所述水印校验码用于校验所述水印实体的正确性。

根据本申请实施例的一个方面，提供一种音频解码方法，包括：解析音频码流，以得到所述音频码流中携带的编码参数，所述编码参数包括所述音频码流中各个音频数据帧的固定码本矢量；从所述固定码本矢量中提取嵌入所述音频码流的数字水印。

根据本申请实施例的一个方面，提供一种音频解码装置，包括：

音频码流解析模块，用于解析音频码流，以得到所述音频码流中携带的编码参数，所述编码参数包括所述音频码流中各个音频数据帧的固定码本矢量；数字水印提取模块，用于从所述固定码本矢量中提取嵌入所述音频码流的数字水印。

在本申请的一个实施例中，所述编码参数还包括与所述固定码本矢量相对应的固定码本增益；数字水印提取模块包括：增益阈值获取单元，用于获取与所述音频数据帧相对应的增益阈值；目标码本矢量确定单元，用于根据所述增益阈值和所述固定码本增益从多个所述音频数据帧的固定码本矢量中筛选得到目标码本矢量，所述目标码本矢量对应的固定码本增益小于所述增益阈值；数字水印提取单元，用于从所述目标码本矢量中提取数字水印。

在本申请的一个实施例中，所述数字水印提取单元还用于：提取所述目标码本矢量中的全部码字，并将所述全部码字作为数字水印。

在本申请的一个实施例中，所述数字水印包括水印实体、位于所述水印实体之前的水印同步码以及位于所述水印实体之后的水印校验码，所述水印同步码用于标识所述数字水印的起始位置，所述水印校验码用于校验所述水印实体的正确性。

在本申请的一个实施例中，所述数字水印提取单元还用于：对所述目标码本矢量中的各个码字进行匹配检测，以确定嵌入所述目标码本矢量中的水印同步码以及位于所述水印同步码之后的水印实体和水印校验码；根据所述水印校验码对所述水印实体进行正确性校验；当校验通过时，将所述水印同步码、所述水印实体和所述水印校验码组成数字水印。

根据本申请实施例的一个方面，提供一种计算机可读介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如以上技术方案中的音频编码或解码方法。

根据本申请实施例的一个方面，提供一种电子设备，该电子设备包括：处理器；以及存储器，用于存储所述处理器的可执行指令；其中，所述处理器被配置为经由执行所述可执行指令来执行如以上技术方案中的音频编码或解码方法。

根据本申请实施例的一个方面，提供一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行如以上技术方案中的音频编码或解码方法。

在本申请实施例提供的技术方案中，将音频编码过程中使用的固定码本矢量作为数字水印的嵌入载体，无需对编码后的音频码流进行解码再编码处理，不仅在实现数字水印嵌入的同时不影响音频质量，还使得数字水印的嵌入不必局限于编码前的音频信号，扩宽了数字水印技术的应用场景。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本申请。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1示意性地示出了应用本申请技术方案的示例性系统架构框图。

图2示出了可以用于实施本申请的音频编码方案的CELP编码模型。

图3示出了可以用于实施本申请的音频解码方案的CELP解码模型。

图4为本申请一实施例提供的音频编码方法的流程示意图。

图5示出了本申请一个实施例的向固定码本矢量中嵌入数字水印的方法的具体流程图。

图6为本申请一个实施例中的数字水印的结构示意图。

图7为本申请一实施例提供的音频解码方法的流程示意图。

图8为本申请一实施例提供的音频解码方法的流程示意图。

图9为本申请一实施例提供的音频解码方法的流程示意图。

图10示意性地示出了本申请实施例提供的音频编码装置的结构框图。

图11示意性地示出了本申请实施例提供的音频解码装置的结构框图。

图12示意性示出了适于用来实现本申请实施例的电子设备的计算机系统结构框图。

具体实施方式

现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本申请将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。

此外，所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施例中。在下面的描述中，提供许多具体细节从而给出对本申请的实施例的充分理解。然而，本领域技术人员将意识到，可以实践本申请的技术方案而没有特定细节中的一个或更多，或者可以采用其它的方法、组元、装置、步骤等。在其它情况下，不详细示出或描述公知方法、装置、实现或者操作以避免模糊本申请的各方面。

附图中所示的方框图仅仅是功能实体，不一定必须与物理上独立的实体相对应。即，可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。

附图中所示的流程图仅是示例性说明，不是必须包括所有的内容和操作/步骤，也不是必须按所描述的顺序执行。例如，有的操作/步骤还可以分解，而有的操作/步骤可以合并或部分合并，因此实际执行的顺序有可能根据实际情况改变。

图1示意性地示出了应用本申请技术方案的示例性系统架构框图。

如图1所示，系统架构100可以包括终端设备110、网络120和服务器130。终端设备110可以包括智能手机、平板电脑、笔记本电脑、台式电脑等各种电子设备。服务器130可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云计算服务的云服务器。网络120可以是能够在终端设备110和服务器130之间提供通信链路的各种连接类型的通信介质，例如可以是有线通信链路或者无线通信链路。

根据实现需要，本申请实施例中的系统架构可以具有任意数目的终端设备、网络和服务器。例如，服务器130可以是由多个服务器设备组成的服务器群组。另外，本申请实施例提供的技术方案可以应用于终端设备110，也可以应用于服务器130，或者可以由终端设备110和服务器130共同实施，本申请对此不做特殊限定。

语音编解码在现代通讯系统中占有重要的地位。在语音通话应用中，声音信号经由麦克风采集得到，通过模数转换电路将模拟的声音信号转换为数字声音信号，数字信号经过语音编码器进行压缩，而后按照通信网络传输格式和协议打包发送到接收端，接收端设备接收到数据包后解包输出语音编码压缩码流，通过语音解码器后重新生成语音数字信号，最后语音数字信号通过扬声器播放出声音。语音编解码能够有效地降低语音信号传输的带宽，对于节省语音信息存储传输成本，保障通信网络传输过程中的语音信息完整性方面起了决定性作用。

在本申请的一些实施例中，可以基于CELP(Code Excited Linear Prediction，码本激励线性预测)编码技术进行音频数据编解码。CELP编码技术是一种中低速语音压缩编码技术，它以码本作为激励源，具有速率低、合成语音质量高、抗噪性强及多次音频转接性能良好的优点。在4.8～16kbps速率语音压缩方面有广泛的应用。基于CELP技术的语音编码器有G.723、G.728、G.729等，另外也很多语音编码器是基于CELP演进得到的。

CELP音频编码算法是使用线性预测的方式提取声道参数，用一个包含许多典型的激励矢量的码本作为激励参数，每次编码时都在这个码本中搜索一个最佳的激励信号，这个激励信号的编码值就是码本中的序号。CELP已经被许多语音编码标准所采用，例如美国联邦标准FS1016就是采用CELP的编码方法，主要用于高质量的窄带语音保密通信。

CLEP进行音频编码的基本思想是将一定时间内的残差信号可能出现的各种样值的组合按照一定的规则排列构成一个码本，编码时从本地码本中搜索出一组最接近的残差信号，然后对该组残差信号对应的地址编码并传送，解码端也设置一个同样的码本，按照接收到的地址取出相应的残差信号并添加至滤波器上完成音频重建，这种方式可以大大减少传输比特数，提高编码效率。

图2示出了可以用于实施本申请的音频编码方案的CELP编码模型。如图2所示，对于原始音频数据s(n)，首先通过高通滤波等预处理后，通过LPC线性预测分析可以得到一组线性预测滤波系数，在将LPC参数转换为LSP参数并量化，通过LPC参数做预测滤波，原始信号与LPC预测滤波结果的差为残差信号，残差信号经过开环闭环基音分析搜索得到最佳基音时延参数，而后通过固定码本搜索得到最佳脉冲位置和幅值参数，并计算自适应码本增益Ga和固定码本增益Gc。在编码过程中得到的编码参数可以经过封装打包并通过信道传输到接收端。

图3示出了可以用于实施本申请的音频解码方案的CELP解码模型。接收端的语音解码器从接收数据包中解析出所有编码参数，对LSP参数内插得到LPC滤波系数，如图3所示，根据固定码本和固定码本增益可以生成固定码本激励信号，而自适应码本和自适应码本增益可以生成自适应码本激励信号，两种激励之和经过LPC合成滤波器进行滤波和后处理后得到最终的语音信号。

下面结合具体实施方式对本申请提供的音频编码和解码方法做出详细说明。

图4为本申请一实施例提供的音频编码方法的流程示意图，该音频编码方法可以由终端设备或者服务器执行，也可以由终端设备和服务器共同执行，本申请实施例以终端设备上执行的音频编码方法作为示例进行说明。如图4所示，本申请实施例提供的音频编码方法至少包括步骤S410至步骤S430，具体内容如下。

步骤S410、获取对原始音频数据进行编码处理得到的音频码流。

原始音频数据为数字化的声音数据，即是一种数字音频信号，可以通过声音采集设备(如麦克风)以一定的频率对来自声音播放源的连续的模拟音频信号进行采样，然后经过模数转换电路将模型的声音信号转换为数字信号而得到，如wav，mp3，avi等格式的音频文件。对原始音频数据进行编码处理就是去除声音信号中的冗余成分，所谓冗余成分指的是原始音频数据中不能被人耳感知到的信号，它们对确定声音的音色、音调等信息没有任何的帮助。编码处理后的音频数据流称为音频码流。

在本申请的一个实施例中，对原始音频数据进行编码处理可以通过集成有音频编码功能的声音采集设备实现，也可以通过专门的音频编码器实现。音频码流的获取可以从集成有音频编码功能的声音采集设备、专门的音频编码器或其他存储有已经编码处理的音频码流的设备中得到，本实施例不做限制。

在本申请的一个实施例中，一种对原始音频数据进行编码处理的方式为CELP语音编码技术，主要是对每个音频数据帧进行线性预测，用存储过去的驱动声源的自适应码本和存储多个噪声矢量的固定码本，对每帧线性预测的预测残差(激励信号)进行编码。

步骤S420、解析音频码流，以得到音频码流中携带的编码参数，编码参数包括音频码流中各个音频数据帧的固定码本矢量。

编码参数是指编码过程中基于原始音频数据所形成的语音模型的模型参数，其包括音频码流中每一个音频数据帧的相关属性信息，如固定码本矢量。固定码本矢量是通过固定码本搜索得到的语音信号经短时线性预测和长时预测(即自适应搜索)后的剩余信号，是一个噪声矢量，其具有随机噪声的特点，故又称为随机码本矢量。

步骤S430、向固定码本矢量中嵌入数字水印，并将嵌入数字水印的固定码本矢量封装至音频码流中。

具体的，提取固定码本矢量后，向其中嵌入数字水印，并将嵌入数字水印的固定码本矢量作为编码参数与原有的音频码流重新封装，形成嵌入水印的新音频码流。

在本申请实施例提供的技术方案中，将音频编码过程中使用的固定码本矢量作为数字水印的嵌入载体，无需对编码后的音频码流进行解码再编码处理，不仅在实现数字水印嵌入的同时不影响音频质量，还使得数字水印的嵌入不必局限于编码前的音频信号，扩宽了数字水印技术的应用场景。

图5示出了本申请一个实施例的向固定码本矢量中嵌入数字水印的方法的具体流程图，也即上述实施例中步骤S430的流程图。如图5所示，步骤S430可以具体包括步骤S510至步骤S530，具体如下。

步骤S510、获取与音频数据帧相对应的增益阈值。

具体的，通过音频码流解析获取的编码参数中，不仅包括固定码本矢量，还包括每个固定码本矢量对应的固定码本增益。增益阈值用以对固定码本增益的数值进行判断。每个音频数据帧对应一个增益阈值，每个音频数据帧的增益阈值可以是预先设定的不同的增益阈值，也可以是预先设定的相同的增益阈值。

在本申请的一个实施例中，增益阈值是根据人耳的听觉敏感度预先设定的固定数值，对于固定码本增益小于该增益阈值的音频数据帧，人耳对其敏感度较低，因此在将对应的固定码本替换为数字水印时，并不会对音质产生过多影响。

在本申请的一个实施例中，也可以按照其他设定规则动态地确定每个音频数据帧的增益阈值，在解码端可以按照相同规则动态确定每个音频数据帧的增益阈值，进而可以提取出部分固定码本矢量作为数字水印。

在本申请的一个实施例中，获取与音频数据帧相对应的增益阈值的步骤具体包括：获取音频数据帧所在的帧序列片段，帧序列片段包括音频数据帧以及与音频数据帧相邻的预设数量的其他音频数据帧；获取帧序列片段中的各个音频数据帧的固定码本增益；根据各个音频数据帧的固定码本增益确定与音频数据帧相对应的增益阈值。

具体的，帧序列片段是指多个连续的音频数据帧形成的序列片段，该多个连续的音频数据帧包括当前初步确定需要嵌入数字水印的音频数据帧(简称为当前音频数据帧)。帧序列片段可以是从当前音频数据帧及其之后预设数量的多个连续音频数据帧组成的序列片段，也可以是当前音频数据帧及其之前预设数量的多个连续音频数据帧组成的序列片段，还可以是当前音频数据帧之前第一预设数量的多个连续音频数据及其之后第二预设数量的多个连续音频数据组成的序列片段，其中，第一预设数量可以等于第二预设数量。

获取帧序列片段中各个音频数据帧的固定码本增益，然后根据该帧序列片段的多个固定码本增益确定音频数据帧所对应的增益阈值。例如，将帧序列片段的多个固定码本增益的最小值作为增益阈值，或将多个固定码本增益的最小值乘以一个调整系数后作为增益阈值。

在本申请的一个实施例中，获取帧序列片段中各个音频数据帧的固定码本增益后，将这多个固定码本增益按照数值大小进行排序，形成增益序列。然后根据预先设定的数量比例从增益序列选择一个固定码本增益作为目标码本增益，该目标码本增益可作为音频数据帧所对应的增益阈值。例如该数量比例为1/N，那么在固定码本增益序列中将至少存在1/N数量比例的固定码本增益小于或者等于对应的目标码本增益。

在本申请的一个实施例中，获取帧序列片段中各个音频数据帧的固定码本增益后，计算这多个固定码本增益的平均值，将该平均值作为音频数据帧所对应的增益阈值，或者将该平均值乘以一个调整系数后作为增益阈值。

在本申请的一个实施例中，获取帧序列片段中各个音频数据帧的固定码本增益后，计算这多个固定码本增益的中位数，将该中位数作为音频数据帧所对应的增益阈值，或者将该中位数乘以一个调整系数后作为增益阈值。

步骤S520、根据增益阈值和固定码本增益从多个音频数据帧的固定码本矢量中筛选得到目标码本矢量，目标码本矢量对应的固定码本增益小于增益阈值。

具体的，根据增益阈值进行筛选，从所有音频数据帧的固定码本增益中筛选小于增益阈值的固定码本增益，将这样的固定码本增益所对应的固定码本矢量作为目标码本矢量。增益阈值代表着人耳敏感度阈值，当固定码本增益小于增益阈值时，说明人耳对该固定码本增益所对应的音频数据帧的敏感度较低，即人耳不太能感受到该音频数据帧对应的音频信号，将这样的音频数据帧的固定码本矢量作为目标码本矢量，用于嵌入数字水印。

在本申请的一个实施例中，确定目标码本矢量的步骤具体包括：将各个音频数据帧的固定码本增益与增益阈值进行数值比较，以筛选得到固定码本增益小于增益阈值的候选音频数据帧；获取任意两个候选音频数据帧之间的帧间隔数量；从候选音频数据帧中筛选得到帧间隔数量大于数量阈值的目标音频数据帧，并将目标音频数据帧的固定码本矢量作为目标码本矢量。

具体的，将固定码本增益小于增益阈值的音频数据帧作为候选音频数据帧，可以得到多个候选音频数据帧。确定任意两个候选音频数据帧之间的帧间隔数量，当帧间隔数量大于数量阈值时，对应的候选音频数据帧即作为目标音频数据帧，目标音频数据帧的固定码本矢量即为目标码本矢量。例如，第一候选音频数据帧与第二候选音频数据帧之间间隔5帧，即帧间隔数量为5。若数量阈值设为4，则第一候选音频数据帧和第二候选音频数据帧均为目标音频数据帧，第一候选音频数据帧和第二候选音频数据帧对应的固定码本矢量作为目标码本矢量。

在本申请的一个实施例中，数量阈值可以是预先设定的一个常数，也可以根据候选音频数据帧的数量进行确定。例如，将候选音频数据帧的数量乘以一个系数(这样的系数通常小于1)得到数量阈值。又例如，根据候选音频数据帧的数量设定不同的数量阈值，示例性的，当候选音频数据帧的数量大于第一数值时，设定数量阈值为第一预设数值；当候选音频数据帧的数量大于第二数值时，设定数量阈值为第二预设数值。

在本实施例提供的技术方案中，通过帧间隔数量与数量阈值的比较可以控制数字水印的嵌入数量和嵌入位置，提高数字水印嵌入的灵活性。

步骤S530、向目标码本矢量中嵌入数字水印。

具体的，在嵌入数字水印时，可以将目标码本矢量中的全部码字替换成数字水印，也可以将目标码本矢量中的部分码字替换成数字水印。

在本申请的一个实施例中，数字水印的结构如图6所示。数字水印包括水印实体620、位于水印实体620之前的水印同步码610以及位于水印实体620之后的水印校验码630。水印实体620为数字水印的主体部分，是数字水印的主要内容，例如，水印实体620包括水印数字1、水印数字2、水印数字3等等。水印同步码610又称为水印同步头，位于水印实体620之前，用于标识数字水印的起始位置。水印校验码630位于水印实体620之后，用于校验水印实体620的正确性。水印校验码630可以是数据通信领域常用的查错校验码，如CRC(CyclicRedundancy Check，循环冗余校验)校验码。在数字水印的提取过程中，通常用到水印校验码630来校验水印校验码630之前的水印实体620是否正确；若水印校验码630校验通过，则说明该水印校验码630之前的水印实体620是有效的；若水印校验码630校验不通过，则说明该水印校验码630之前的水印实体620是无效的，这种情况可能说明水印被篡改、伪造等。

在本申请的一个实施例中，在向音频码流中嵌入数字水印的同时，也可以记录其中每个水印的嵌入位置，生成相应的数字码表。在解码端进行音频解析或者解码时，可以根据该数字码表提取相应的数字水印。

在本申请实施例提供的技术方案中，将人耳敏感度低的音频数据帧的固定码本矢量作为嵌入数字水印的目标码本矢量，进一步降低数字水印对音频质量的影响；同时，通过提取人耳敏感度低的音频数据帧的固定码本矢量嵌入数字水印，无需对音频码流中所有音频数据帧进行数字水印的嵌入，降低了水印嵌入的数据量，进而提高水印嵌入效率。

图7为本申请一实施例提供的音频解码方法的流程示意图。如图7所示，本申请实施例提供的音频解码方法至少包括步骤S710至步骤S750，具体为：

步骤S710、语音编码码流。

具体的，步骤S710获取的语音编码码流是对原始音频数据进行编码处理后得到的音频码流，可参考前述实施例中步骤S410的描述，在此不再赘述。

步骤S720、码流解析。

具体的，码流解析用于提取语音编码码流中每一个音频数据帧的编码参数，编码参数包括固定码本矢量和固定码本增益。由于固定码本具有随机噪声的特点，因此，固定码本又称为随机码本，固定码本矢量又称为随机码本矢量，固定码本增益又称为随机码本增益。码流解析可参考前述实施例中步骤S420的描述，在此不再赘述。

步骤S730、判断随机码本增益Gc是否小于增益阈值Thd。

具体的，若当前音频数据帧的随机码本增益Gc小于增益阈值Thd，认为该随机码本增益Gc对应的音频数据帧是人耳敏感度较低的音频信号，此时可将随机码本增益Gc对应的随机码本矢量作为数字水印的嵌入载体。若随机码本增益Gc不小于增益阈值Thd(即随机码本增益Gc大于或等于增益阈值Thd)，此时返回步骤S720，继续判断下一个音频数据帧的随机码本增益Gc是否满足条件。有关增益阈值Thd的获取和设定可以参考前述实施例中步骤S510至步骤S520的描述，在此不再赘述。

步骤S740、数字水印替代随机码本。

具体的，当随机码本增益Gc小于增益阈值Thd时，将随机码本增益Gc对应的随机码本矢量作为目标码本矢量，在目标码本矢量中嵌入数字水印。将目标码本矢量的全部码字替换成数字水印，完成数字水印的嵌入。可选的，也可以将目标码本矢量的部分码字替换成数字水印。数字水印的结构可参考图6及前述实施例中的相关描述，在此不再赘述。

步骤S750、码流重打包生成。

具体的，当完成数字水印后，将新的目标码本矢量重新封装进语音编码码流中，形成新的嵌入数字水印的语音编码码流。

图8为本申请一实施例提供的音频解码方法的流程示意图。如图8所示，本申请实施例提供的音频解码方法至少包括步骤S810至步骤S820，具体内容如下：

步骤S810、解析音频码流，以得到音频码流中携带的编码参数，编码参数包括音频码流中各个音频数据帧的固定码本矢量。

具体的，被解析的音频码流是通过编码处理和数字水印嵌入所形成的音频码流，如通过本申请任意实施例提供的音频编码方法所形成的音频码流。音频码流中携带有编码参数，编码参数包括音频码流中每一个音频数据帧的相关属性信息，如固定码本矢量。

步骤S820、从固定码本矢量中提取嵌入音频码流的数字水印。

具体的，音频码流中的数字水印嵌入在固定码本矢量中，解码时从固定码本矢量提取数字水印。

在本申请实施例提供的技术方案中，将音频编码过程中使用的固定码本矢量作为数字水印的嵌入载体，音频解码过程从固定码本矢量即可提取数字水印，无需对音频码流的音频数据帧本身进行操作，降低了数字水印提取对音频码流信号本身的影响。

在本申请的一个实施例中，从固定码本矢量提取数字水印的具体步骤包括：获取与音频数据帧相对应的增益阈值；根据增益阈值和固定码本增益从多个音频数据帧的固定码本矢量中筛选得到目标码本矢量，目标码本矢量对应的固定码本增益小于增益阈值；从目标码本矢量中提取数字水印。

具体的，获取的音频数据帧相对应的增益阈值与编码时对音频数据帧设定的增益阈值相同，编码时增益阈值的设定可参考前述编码方法实施例中的描述，在此不再赘述。将音频码流中每个音频数据帧的固定码本增益与对应的增益阈值进行比较，将小于增益阈值的固定码本增益所对应的固定码本矢量作为目标码本矢量，并从该目标码本矢量中提取数字水印。

在本申请的一个实施例中，在提取数字水印时，可以提取目标码本矢量中的全部码字作为数字水印。可选的，当数字水印可以是目标码本矢量的部分码字时，可以在提取目标码本矢量中的全部码字之后进一步识别，提取出数字水印对应的部分码字，得到数字水印。

在本申请的一个实施例中，从目标码本矢量中提取数字水印的步骤具体包括：对目标码本矢量中的各个码字进行匹配检测，以确定嵌入目标码本矢量中的水印同步码以及位于水印同步码之后的水印实体和水印校验码；根据水印校验码对水印实体进行正确性校验；当校验通过时，将水印同步码、水印实体和水印校验码组成数字水印。

具体的，数字水印的结构可参考图6，其包括水印实体620、位于水印实体620之前的水印同步码610以及位于水印实体620之后的水印校验码630，水印实体620为数字水印的主要内容，水印同步码610用于标识数字水印的起始位置，水印校验码630用于校验水印实体620的正确性。在提取数字水印时，首先对目标码本矢量中的各个码字进行匹配检测，确定数字水印的水印同步码610，进而由水印同步码610确定水印的起始位置及其之后的水印实体620和水印校验码630。然后对水印校验码630进行校验，以确定水印实体620是否有效；若水印校验码630校验通过，则说明该水印校验码630之前的水印实体620是有效的，此时数字水印即为水印同步码610、水印实体620和水印校验码630共同构成结构；若水印校验码630校验不通过，则说明该水印校验码630之前的水印实体620是无效的，可能说明水印被篡改、伪造或校验码错误等异常情况发生，此时可以反馈错误信息，并向相关人员发出告警信息。

在本申请实施例提供的技术方案中，将数字水印设置为水印实体、水印同步码和水印校验码的结构，通过水印同步码快速确定水印位置，提高音频解码时水印提取速度；通过水印校验码对水印实体的有效性进行校验，保证了数字水印的安全性和可靠性，进而对音频码流的安全和质量提到了保障作用。

应当注意，尽管在附图中以特定顺序描述了本申请中方法的各个步骤，但是，这并非要求或者暗示必须按照该特定顺序来执行这些步骤，或是必须执行全部所示的步骤才能实现期望的结果。附加的或备选的，可以省略某些步骤，将多个步骤合并为一个步骤执行，以及/或者将一个步骤分解为多个步骤执行等。

图9为本申请一实施例提供的音频解码方法的流程示意图。如图9所示，本申请实施例提供的音频解码方法至少包括步骤S910至步骤S950，具体为：

步骤S910、语音编码码流。

具体的，步骤S910获取的音频码流是通过编码处理和数字水印嵌入所形成的音频码流，如通过本申请任意实施例提供的音频编码方法所形成的音频码流。

步骤S920、解码及参数解析。

具体的，语音编码码流中携带有编码参数，编码参数包括音频码流中每一个音频数据帧的相关属性信息，如固定码本矢量和固定码本增益。由于固定码本具有随机噪声的特点，因此，固定码本又称为随机码本，固定码本矢量又称为随机码本矢量，固定码本增益又称为随机码本增益。

步骤S930、判断随机码本增益Gc是否小于增益阈值Thd。

具体的，若当前音频数据帧的随机码本增益Gc小于增益阈值Thd，则确定当前音频数据帧是嵌入了数字水印的音频数据帧。若随机码本增益Gc不小于增益阈值Thd(即随机码本增益Gc大于或等于增益阈值Thd)，此时返回步骤S920，继续判断下一个音频数据帧的随机码本增益Gc是否满足条件。

步骤S940、数字水印提取。

具体的，当确定嵌入数字水印的音频数据帧后，从该音频数据帧的随机码本矢量中提取数字水印即可。有关数字水印提取可以参考前述实施例中步骤S820的相关描述，在此不再赘述。

步骤S950、语音输出。

具体的，步骤S950在步骤S920之后，步骤S920对语音编码码流进行解码后即可输出能够播放的语音信号。

以下介绍本申请的装置实施例，可以用于执行本申请上述实施例中的音频编码或解码方法。

图10示意性地示出了本申请实施例提供的音频编码装置的结构框图。

如图10所示，本申请实施例提供的音频编码装置1000包括：

音频码流获取模块1010，用于获取对原始音频数据进行编码处理得到的音频码流；

音频码流解析模块1020，用于解析所述音频码流，以得到所述音频码流中携带的编码参数，所述编码参数包括所述音频码流中各个音频数据帧的固定码本矢量；

数字水印嵌入模块1030，用于向所述固定码本矢量中嵌入数字水印，并将嵌入数字水印的固定码本矢量封装至所述音频码流中。

在本申请的一个实施例中，所述编码参数还包括与所述固定码本矢量相对应的固定码本增益；数字水印嵌入模块1030包括：

增益阈值获取单元，用于获取与所述音频数据帧相对应的增益阈值；

目标码本矢量确定单元，用于根据所述增益阈值和所述固定码本增益从多个所述音频数据帧的固定码本矢量中筛选得到目标码本矢量，所述目标码本矢量对应的固定码本增益小于所述增益阈值；

数字水印嵌入单元，用于向所述目标码本矢量中嵌入数字水印。

在本申请的一个实施例中，所述数字水印嵌入单元具体用于：

将所述目标码本矢量中的部分或者全部的码字替换为数字水印。

在本申请的一个实施例中，所述目标码本矢量确定单元具体用于：

将各个所述音频数据帧的固定码本增益与所述增益阈值进行数值比较，以筛选得到固定码本增益小于所述增益阈值的候选音频数据帧；

获取任意两个候选音频数据帧之间的帧间隔数量；

从所述候选音频数据帧中筛选得到帧间隔数量大于数量阈值的目标音频数据帧，并将所述目标音频数据帧的固定码本矢量作为目标码本矢量。

在本申请的一个实施例中，所述增益阈值获取单元包括：

帧序列片段获取子单元，用于获取所述音频数据帧所在的帧序列片段，所述帧序列片段包括所述音频数据帧以及与所述音频数据帧相邻的预设数量的其他音频数据帧；

固定码本增益获取子单元，用于获取所述帧序列片段中的各个音频数据帧的固定码本增益；

增益阈值确定子单元，用于根据所述各个音频数据帧的固定码本增益确定与所述音频数据帧相对应的增益阈值。

在本申请的一个实施例中，所述增益阈值确定子单元具体用于：

将所述各个音频数据帧的固定码本增益按照数值大小排序，以得到增益序列；

根据预设的数量比例从所述增益序列中选取一个目标码本增益作为与所述音频数据帧相对应的增益阈值。

在本申请的一个实施例中，所述增益阈值确定子单元具体用于：

获取各个音频数据帧的固定码本增益的平均值；

根据所述平均值确定与所述音频数据帧相对应的增益阈值。

在本申请的一个实施例中，所述数字水印包括水印实体、位于所述水印实体之前的水印同步码以及位于所述水印实体之后的水印校验码，所述水印同步码用于标识所述数字水印的起始位置，所述水印校验码用于校验所述水印实体的正确性。

本申请各实施例中提供的音频编码装置的具体细节已经在对应的方法实施例中进行了详细的描述，此处不再赘述。

图11示意性地示出了本申请实施例提供的音频解码装置的结构框图。

如图11所示，本申请实施例提供的音频解码装置1100包括：

音频码流解析模块1110，用于解析音频码流，以得到所述音频码流中携带的编码参数，所述编码参数包括所述音频码流中各个音频数据帧的固定码本矢量；

数字水印提取模块1120，用于从所述固定码本矢量中提取嵌入所述音频码流的数字水印。

在本申请的一个实施例中，所述编码参数还包括与所述固定码本矢量相对应的固定码本增益；数字水印提取模块1120包括：

增益阈值获取单元，用于获取与所述音频数据帧相对应的增益阈值；

目标码本矢量确定单元，用于根据所述增益阈值和所述固定码本增益从多个所述音频数据帧的固定码本矢量中筛选得到目标码本矢量，所述目标码本矢量对应的固定码本增益小于所述增益阈值；

数字水印提取单元，用于从所述目标码本矢量中提取数字水印。

在本申请的一个实施例中，所述数字水印提取单元具体用于：

提取所述目标码本矢量中的全部码字，并将所述全部码字作为数字水印。

在本申请的一个实施例中，所述数字水印包括水印实体、位于所述水印实体之前的水印同步码以及位于所述水印实体之后的水印校验码，所述水印同步码用于标识所述数字水印的起始位置，所述水印校验码用于校验所述水印实体的正确性。

在本申请的一个实施例中，所述数字水印提取单元还用于：

对所述目标码本矢量中的各个码字进行匹配检测，以确定嵌入所述目标码本矢量中的水印同步码以及位于所述水印同步码之后的水印实体和水印校验码；

根据所述水印校验码对所述水印实体进行正确性校验；

当校验通过时，将所述水印同步码、所述水印实体和所述水印校验码组成数字水印。

本申请各实施例中提供的音频解码装置的具体细节已经在对应的方法实施例中进行了详细的描述，此处不再赘述。

图12示意性地示出了用于实现本申请实施例的电子设备的计算机系统结构框图。

需要说明的是，图12示出的电子设备的计算机系统1200仅是一个示例，不应对本申请实施例的功能和使用范围带来任何限制。

如图12所示，计算机系统1200包括中央处理器1201(Central Processing Unit，CPU)，其可以根据存储在只读存储器1202(Read-Only Memory，ROM)中的程序或者从存储部分1208加载到随机访问存储器1203(Random Access Memory，RAM)中的程序而执行各种适当的动作和处理。在随机访问存储器1203中，还存储有系统操作所需的各种程序和数据。中央处理器1201、在只读存储器1202以及随机访问存储器1203通过总线1204彼此相连。输入/输出接口1205(Input/Output接口，即I/O接口)也连接至总线1204。

以下部件连接至输入/输出接口1205：包括键盘、鼠标等的输入部分1206；包括诸如阴极射线管(Cathode Ray Tube，CRT)、液晶显示器(Liquid Crystal Display，LCD)等以及扬声器等的输出部分1207；包括硬盘等的存储部分1208；以及包括诸如局域网卡、调制解调器等的网络接口卡的通信部分1209。通信部分1209经由诸如因特网的网络执行通信处理。驱动器1210也根据需要连接至输入/输出接口1205。可拆卸介质1211，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器1210上，以便于从其上读出的计算机程序根据需要被安装入存储部分1208。

特别地，根据本申请的实施例，各个方法流程图中所描述的过程可以被实现为计算机软件程序。例如，本申请的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分1209从网络上被下载和安装，和/或从可拆卸介质1211被安装。在该计算机程序被中央处理器1201执行时，执行本申请的系统中限定的各种功能。

需要说明的是，本申请实施例所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(Erasable Programmable Read Only Memory，EPROM)、闪存、光纤、便携式紧凑磁盘只读存储器(Compact Disc Read-Only Memory，CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本申请中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本申请中，计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、有线等等，或者上述的任意合适的组合。

附图中的流程图和框图，图示了按照本申请各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

应当注意，尽管在上文详细描述中提及了用于动作执行的设备的若干模块或者单元，但是这种划分并非强制性的。实际上，根据本申请的实施方式，上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之，上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。

通过以上的实施方式的描述，本领域的技术人员易于理解，这里描述的示例实施方式可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，根据本申请实施方式的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中或网络上，包括若干指令以使得一台计算设备(可以是个人计算机、服务器、触控终端、或者网络设备等)执行根据本申请实施方式的方法。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本申请的其它实施方案。本申请旨在涵盖本申请的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本申请的一般性原理并包括本申请未公开的本技术领域中的公知常识或惯用技术手段。

应当理解的是，本申请并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本申请的范围仅由所附的权利要求来限制。

Claims (15)

1.一种音频编码方法，其特征在于，包括：

获取对原始音频数据进行编码处理得到的音频码流；

解析所述音频码流，以得到所述音频码流中携带的编码参数，所述编码参数包括所述音频码流中各个音频数据帧的固定码本矢量；

向所述固定码本矢量中嵌入数字水印，并将嵌入数字水印的固定码本矢量封装至所述音频码流中。

2.根据权利要求1所述的音频编码方法，其特征在于，所述编码参数还包括与所述固定码本矢量相对应的固定码本增益；向所述固定码本矢量中嵌入数字水印，包括：

获取与所述音频数据帧相对应的增益阈值；

根据所述增益阈值和所述固定码本增益从多个所述音频数据帧的固定码本矢量中筛选得到目标码本矢量，所述目标码本矢量对应的固定码本增益小于所述增益阈值；

向所述目标码本矢量中嵌入数字水印。

3.根据权利要求2所述的音频编码方法，其特征在于，向所述目标码本矢量中嵌入数字水印，包括：

将所述目标码本矢量中的部分或者全部的码字替换为数字水印。

4.根据权利要求2所述的音频编码方法，其特征在于，根据所述增益阈值和所述固定码本增益从多个所述音频数据帧的固定码本矢量中筛选得到目标码本矢量，包括：

将各个所述音频数据帧的固定码本增益与所述增益阈值进行数值比较，以筛选得到固定码本增益小于所述增益阈值的候选音频数据帧；

获取任意两个候选音频数据帧之间的帧间隔数量；

从所述候选音频数据帧中筛选得到帧间隔数量大于数量阈值的目标音频数据帧，并将所述目标音频数据帧的固定码本矢量作为目标码本矢量。

5.根据权利要求2所述的音频编码方法，其特征在于，获取与所述音频数据帧相对应的增益阈值，包括：

获取所述音频数据帧所在的帧序列片段，所述帧序列片段包括所述音频数据帧以及与所述音频数据帧相邻的预设数量的其他音频数据帧；

获取所述帧序列片段中的各个音频数据帧的固定码本增益；

根据所述各个音频数据帧的固定码本增益确定与所述音频数据帧相对应的增益阈值。

6.根据权利要求5所述的音频编码方法，其特征在于，根据所述各个音频数据帧的固定码本增益确定与所述音频数据帧相对应的增益阈值，包括：

将所述各个音频数据帧的固定码本增益按照数值大小排序，以得到增益序列；

根据预设的数量比例从所述增益序列中选取一个目标码本增益作为与所述音频数据帧相对应的增益阈值。

7.根据权利要求5所述的音频编码方法，其特征在于，根据所述各个音频数据帧的固定码本增益确定与所述音频数据帧相对应的增益阈值，包括：

获取各个音频数据帧的固定码本增益的平均值；

根据所述平均值确定与所述音频数据帧相对应的增益阈值。

8.根据权利要求1至7中任意一项所述的音频编码方法，其特征在于，所述数字水印包括水印实体、位于所述水印实体之前的水印同步码以及位于所述水印实体之后的水印校验码，所述水印同步码用于标识所述数字水印的起始位置，所述水印校验码用于校验所述水印实体的正确性。

9.一种音频解码方法，其特征在于，包括：

解析音频码流，以得到所述音频码流中携带的编码参数，所述编码参数包括所述音频码流中各个音频数据帧的固定码本矢量；

从所述固定码本矢量中提取嵌入所述音频码流的数字水印。

10.根据权利要求9所述的音频解码方法，其特征在于，所述编码参数还包括与所述固定码本矢量相对应的固定码本增益；从所述固定码本矢量中提取嵌入所述音频码流的数字水印，包括：

获取与所述音频数据帧相对应的增益阈值；

根据所述增益阈值和所述固定码本增益从多个所述音频数据帧的固定码本矢量中筛选得到目标码本矢量，所述目标码本矢量对应的固定码本增益小于所述增益阈值；

从所述目标码本矢量中提取数字水印。

11.根据权利要求10所述的音频解码方法，其特征在于，从所述目标码本矢量中提取数字水印，包括：

提取所述目标码本矢量中的全部码字，并将所述全部码字作为数字水印。

12.根据权利要求10所述的音频解码方法，其特征在于，所述数字水印包括水印实体、位于所述水印实体之前的水印同步码以及位于所述水印实体之后的水印校验码，所述水印同步码用于标识所述数字水印的起始位置，所述水印校验码用于校验所述水印实体的正确性。

13.根据权利要求12所述的音频解码方法，其特征在于，从所述目标码本矢量中提取数字水印，包括：

对所述目标码本矢量中的各个码字进行匹配检测，以确定嵌入所述目标码本矢量中的水印同步码以及位于所述水印同步码之后的水印实体和水印校验码；

根据所述水印校验码对所述水印实体进行正确性校验；

当校验通过时，将所述水印同步码、所述水印实体和所述水印校验码组成数字水印。

14.一种计算机可读介质，其上存储有计算机程序，该计算机程序被处理器执行时实现权利要求1至13中任意一项所述的方法。

15.一种电子设备，其特征在于，包括：

处理器；以及

存储器，用于存储所述处理器的可执行指令；

其中，所述处理器配置为经由执行所述可执行指令来执行权利要求1至13中任意一项所述的方法。

Images