CN114510598A

CN114510598A - 音频元数据区块的生成方法、装置、设备及存储介质

Info

Publication number: CN114510598A
Application number: CN202111666362.0A
Authority: CN
Inventors: 吴健
Original assignee: Saiyinxin Micro Beijing Electronic Technology Co ltd
Current assignee: Saiyinxin Micro Beijing Electronic Technology Co ltd
Priority date: 2021-12-30
Filing date: 2021-12-30
Publication date: 2022-05-17

Abstract

本公开涉及一种音频元数据区块生成方法、装置、设备及存储介质，该方法包括：获取音频元数据区块的标头元素和预设音频格式区块元素；将所述标头元素置于所述音频元数据区块的前部，将所述预设音频格式区块元素置于所述标头元素之后，生成所述音频元数据区块；其中，所述标头元素包括区块格式元素和数据尺寸及识别区块元素，所述预设音频格式区块元素包括设定的音频模型元数据。以生成多维声广播音频模式下的音频元数据区块，使得传输文件能够携带大的多声道文件和元数据，实现声音模型元数据的工作流。

Description

音频元数据区块的生成方法、装置、设备及存储介质

技术领域

本公开涉及音频处理的技术领域，尤其涉及音频元数据区块的生成方法、装置、设备及存储介质。

背景技术

随着科技的发展，音频变得越来越复杂。由早期的单声道音频演变成立体声，工作重心也注重左右声道的正确处理方式。但环绕声出现后，处理过程开始变得复杂。而环绕5.1扬声器系统则对多个通道进行排序约束，进而环绕6.1扬声器系统、环绕7.1扬声器系统等使音频处理千变万化，把正确的信号传递给合适的扬声器形成相互牵连的效果。因此，随着声音变得更具沉浸感和交互性，音频处理的复杂性也大大增加。

音频声道(或声道)，是指声音在录制或播放时在不同空间位置采集或回放的相互独立的音频信号。而声道数也就是声音录制时的音源数量或回放时相应的扬声器数量。例如，在环绕5.1扬声器系统中包括6个不同空间位置的音频信号，每个独立的音频信号被用于驱动对应空间位置的扬声器；在环绕7.1扬声器系统中包括8个不同空间位置的音频信号，每个独立的音频信号被用于驱动对应空间位置的扬声器。

因此，当前扬声器系统实现的效果依赖于扬声器的数量和空间位置。例如，双声道扬声器系统无法实现环绕5.1扬声器系统的效果。

发明内容

本公开的目的在于提出音频元数据区块生成方法、装置、设备及存储介质，以生成多维声广播音频模式下的音频元数据区块，使得传输文件能够携带大的多声道文件和元数据，实现声音模型元数据的工作流。

本公开第一方面提供了一种音频元数据区块生成方法，包括：

获取获取音频元数据区块的标头元素和预设音频格式区块元素；

将所述标头元素置于所述音频元数据区块的前部，将所述预设音频格式区块元素置于所述标头元素之后，生成所述音频元数据区块；

其中，所述标头元素包括区块格式元素和数据尺寸及识别区块元素，所述预设音频格式区块元素包括设定的音频模型元数据。

本公开第二方面提供了一种音频元数据区块生成装置，包括：

获取模块，用于获取音频元数据区块的标头元素和预设音频格式区块元素；

区块生成模块，用于将所述标头元素置于所述音频元数据区块的前部，将所述预设音频格式区块元素置于所述标头元素之后，生成所述音频元数据区块；

本公开第三方面提供了一种电子设备，包括：存储器以及一个或多个处理器；

所述存储器，用于存储一个或多个程序；

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如任意实施例提供的音频元数据区块生成方法。

本公开第四方面提供了一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器实现如任意实施例提供的音频元数据区块生成方法。

由上可见，本公开音频元数据区块生成方法，生成多维声音频模式下的音频元数据区块，使得传输文件能够携带大的多声道文件和元数据，实现声音模型元数据的工作流。并通过使用共享的核心元素，尽可能多地维持兼容性。

附图说明

图1为本公开实施例中提供了一种三维声音频模型的示意图；

图2为本公开实施例中的音频元数据区块生成方法的流程图；

图3为本公开实施例中的音频元数据区块生成装置的结构示意图；

图4为本公开实施例中的一种电子设备的结构示意图。

具体实施方式

下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。

实施例

如图1所示，三维声音频模型由一组元素组成，每个元素用于描述音频制作的一个阶段，三维声音频模型包括内容部分和格式部分。

其中，所述内容部分包括：音频节目元素、音频内容元素、音频对象元素和音轨唯一标识元素；所述格式部分包括：音频包格式元素、音频通道格式元素、音频流格式元素和音频轨道格式元素；

所述音频节目元素引用至少一个所述音频内容元素；所述音频内容元素引用至少一个音频对象元素；所述音频对象元素引用对应的所述音频包格式元素和对应的所述音轨唯一标识元素；所述音轨唯一标识元素引用对应的所述音频轨道格式元素和对应的所述音频包格式元素；

所述音频包格式元素引用至少一个所述音频通道格式元素；所述音频流格式元素引用对应的所述音频通道格式元素和对应的所述音频包格式元素；所述音频轨道格式元素和对应的所述音频流格式元素相互引用。元素间的引用关系在图1中以箭头表示。

音频节目可以包括但不限于叙述、声音效果和背景音乐，所述音频节目元素可以用于描述节目，所述节目包括至少一个内容，所述音频内容元素用于描述所述音频节目元素中对应的一个内容。音频节目元素可以引用一个或多个音频内容元素，音频内容元素组合在一起以构建为完整的音频节目元素。

所述音频内容元素描述音频节目的一个组成部分(例如背景音乐)的内容，并引用一个或多个音频对象元素将内容与其格式联系起来。

所述音频对象元素用于建立内容、格式和有价值的信息，并确定实际音轨的音轨唯一标识。

格式部分包括：音频包格式元素、音频通道格式元素、音频流格式元素、音频轨道格式元素。

所述音频包格式元素，可以用于描述所述音频对象元素和原始音频数据依据通道分组打包时采用的格式。

所述音频通道格式元素可以用于表示单个音频采样序列和对其执行的预设操作，例如，在场景中渲染对象的移动。所述音频通道格式元素可以包含至少一个音频块格式元素。音频块格式元素可以视为音频通道格式元素的子元素，所以，音频通道格式元素和音频块格式元素之间为一种包含关系。

音频流，是渲染通道、对象、高阶环境音组件或包所需的音轨的组合。所述音频流格式元素用于建立音频轨道格式元素集和音频通道格式元素集之间的关系，或音频轨道格式集和音频包格式之间的关系。

所述音频轨道格式元素对应于单个音轨中的一组样本或数据，用于描述原始音频数据的格式，及渲染器的解码信号，还用于识别成功解码音轨数据所需的音轨组合。

通过三维声音频模型对原始音频数据进行制作后生成包含元数据的合成音频数据。

所述元数据(Metadata)是描述数据特性的信息，元数据支持的功能包括指示存储位置、历史数据、资源查找或文件记录。

合成音频数据以通信方式传输到远端后，由远端基于元数据对合成音频数据进行渲染，还原原始声音场景。

图1中示出了内容部分、格式部分和64位广播波(Broadcast Wave-64bit，简称BW64)文件之间的划分。内容部分和格式部分都构成了XML格式的元数据，它通常包含在64位广播波文件的一个音频可扩展标记语言区块(axml区块)中。底部的64位广播波文件部分包含通道分配区块(chna区块)，它是一个查找表，用于连接元数据和文件中的音频节目。

内容部分描述音频的技术内容，例如它是否包含对话或特定语言，以及响度元数据。格式部分描述音频曲目的通道类型以及它们是如何组合在一起的，例如立体声对中的左声道和右声道。内容部分的元索通常是音频和节目所独有的，而格式部分的元素可以复用。

本公开提供了一种音频元数据区块生成方法，如图2所示，该方法包括：

S210、获取音频元数据区块的标头元素和预设音频格式区块元素；

S220、将所述标头元素置于所述音频元数据区块的前部，将所述预设音频格式区块元素置于所述标头元素之后，生成所述音频元数据区块；

64位广播波文件能够包含元数据并将元数据与64位广播波文件中的音频轨道链接，64位广播波指定了两个新的资源交换文件格式(RIFF)区块–音频可扩展标记语言区块和通道分配区块。使用了64位广播波音频文件格式，它可以将元数据的XML代码存储在音频可扩展标记语言区块数据块中，传输的文件大于4GB。

可选地，所述预设音频格式区块元素包括：所述音频模型元数据中以下元素的至少一种：广播波音频顶层区块、数据尺寸及识别区块、占位符区块和自定义区块，其中，所述广播波音频顶层区块元素包含至少一个广播元数据元素。

广播波音频顶层区块表示在32位大小的文件中，使用的是广播波顶层区块，通过读取广播波顶层区块，每个数据大小及识别(ds64)区块作为读取64位大小文件而存在。

广播波音频顶层区块的元素如表1所示：

表1

数据大小及识别区块携带：文件大小的64位大小值、数据(data)区块和其他可定义区块的64位大小值数组。数据大小及识别区块包括数据大小区块和识别区块，数据大小区块中附有区块大小表格(ChunkSize64)(带有可定义的块(除数据区块)的大小)结构。空数组括号表示有很多元素可使用(包括零)。

占位符区块(JUNK)是数据大小及识别区块的占位符，如果生成的是32位大小的音频文件，以后可能需要动态转换为64位大小的文件，则使用该区块。占位符区块的大小应与替换它的潜在数据大小及识别区块的大小相匹配。数据大小区块的结构表示如下，

数据大小区块的元素如表2所示：

表2

除数据(data)区块以外，区块大小表格结构的数组用于存储数据大小及识别区块的可选部分中任何块的长度。目前，除了数据大小区块以外，音频可扩展标记语言区块(可能在超大的基于对象的音频文件中)是唯一的大小超过4GB的块类型。

区块大小表格元素如表3所示：

表3

识别区块的元素如表4所示：

表4

可选地，获取所述区块格式元素，包括：获取所述区块格式元素的属性和元素，所述区块格式元素的属性包括：音频区块格式标识和区块数据大小；

所述区块格式元素的元素包括：修改音频模型元素标识和音频模型元素引用信息。

可选地，所述自定义区块的区块类型包括：音频可扩展标记语言区块、广播可扩展标记语言区块(bxml区块)、音频串行元数据区块(sxml区块)和通道分配区块；

对于所述音频可扩展标记语言区块、广播可扩展标记语言区块、音频串行元数据区块和通道分配区块，获取所述区块格式元素的属性，还包括：获取WAVE格式音频文件。

可选地，对于所述音频可扩展标记语言区块，基于对象的音频文件中，包含XML文件格式的音频元数据，依照预设的XML文件格式以文本字符串的形式储存，XML文件格式数据结构是分级的，获取所述音频可扩展标记语言区块元素，还包括：区块识别字符数组、字节块数据大小和XML文本信息。如果接收设备无法按照XML中规定的规范解析音频可扩展标记语言区块的内容，则将忽略整个区块。音频可扩展标记语言区块的定义，用于存储和传输UTF-8编写的XML格式元数据。

音频可扩展标记语言区块包含一些符合XML1.0格式或更新的格式的数据，是数据交换的一个普遍格式。注意，音频可扩展标记语言区块还包含来自不止一个架构(Schema)的XML碎片。在同一个文件中与另一个资源交换文件格式区块以任何顺序出现。音频可扩展标记语言区块由一个标头组成，标头包含有符合XML格式的数据。区块的总长度不固定。使用64位广播波文件中的音频可扩展区块承载广播元数据，包括之前的<bext>和<ubxt>区块中的参数。

音频可扩展标记语言区块的元素如表5所示

表5

可选地，所述广播可扩展标记语言区块包含标头和文本指定的压缩方法压缩的XML广播元数据，获取所述广播可扩展标记语言区块元素，还包括：区块识别字符数组、字节块数据大小、XML文本的压缩方法和XML文本信息。

广播可扩展标记语言区块区块可能包含压缩的XML数据，广播可扩展标记语言区块包含一个标头，后跟由压缩方法类型(fmtType)中指定的压缩方法压缩的XML数据。广播可扩展标记语言区块的总长度不是固定的。由于压缩的XML数据可能大于4GB，它可能有必要用数据大小及识别区块来允许一个64位大小字段用于广播可扩展标记语言区块。以下内容是一些伪代码，说明如何用数据大小及识别区块中的表格数组来达到这个目的。

DataSize64Chunk.tableLength＝1；//number of valid entries in array“table”

DataSize64Chunk.table[0]＝{

ChunkSize64.ckID＝{`b`,`x`,`m`,`l`}；//chunk ID for the<bxml>chunk

ckSizeLow＝xxxx//low-4-byte chunk size

ckSizeHigh＝xxxx//high-4-byte chunk size

}

广播可扩展标记语言区块的元素如表6所示

表6

图3为本公开实施例提供的一种音频元数据区块生成装置，包括：

获取模块310，用于获取音频元数据区块的标头元素和预设音频格式区块元素；

区块生成模块320，用于将所述标头元素置于所述音频元数据区块的前部，将所述预设音频格式区块元素置于所述标头元素之后，生成所述音频元数据区块；

其中，所述标头元素包括区块格式元素和数据尺寸及识别区块元素，所述预设音频格式区块元素包括规定的音频模型元数据。

可选地，获取所述区块格式元素，包括：

获取所述区块格式元素的属性和元素，所述区块格式元素的属性包括：音频区块格式标识和区块数据大小；

可选地，所述自定义区块的区块类型包括：音频可扩展标记语言区块、广播可扩展标记语言区块、音频串行元数据区块和通道分配区块；

可选地，对于所述音频可扩展标记语言区块，基于对象的音频文件中，包含XML文件格式的音频元数据，依照预设的XML文件格式以文本字符串的形式储存，XML文件格式数据结构是分级的，获取所述音频可扩展标记语言区块元素，还包括：区块识别字符数组、字节块数据大小和XML文本信息。

本发明实施例所提供的音频元数据区块生成装置可执行本发明任意实施例所提供的音频元数据区块生成方法，具备执行方法相应的功能模块和有益效果。

图4为本公开实施例提供的一种电子设备的结构示意图。如图4所示，该电子设备包括：处理器410、存储器420、输入装置430以及输出装置440。该电子设备中处理器30的数量可以是一个或者多个，图4中以一个处理器410为例。该电子设备中存储器420的数量可以是一个或者多个，图4中以一个存储器420为例。该电子设备的处理器410、存储器420、输入装置430以及输出装置440可以通过总线或者其他方式连接，图4中以通过总线连接为例。该电子设备可以是电脑和服务器等。本公开实施例以电子设备为服务器进行详细说明，该服务器可以是独立服务器或集群服务器。

存储器420作为一种计算机可读存储介质，可用于存储软件程序、计算机可执行程序以及模块，如本公开任意实施例所述串行音频元数据帧生成装置的程序指令/模块。存储器420可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据设备的使用所创建的数据等。此外，存储器420可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中，存储器420可进一步包括相对于处理器410远程设置的存储器，这些远程存储器可以通过网络连接至设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

输入装置430可用于接收输入的数字或者字符信息，以及产生与电子设备的观众用户设置以及功能控制有关的键信号输入，还可以是用于获取图像的摄像头以及获取音频数据的拾音设备。输出装置440可以包括扬声器等音频设备。需要说明的是，输入装置430和输出装置440的具体组成可以根据实际情况设定。

处理器410通过运行存储在存储器420中的软件程序、指令以及模块，从而执行设备的各种功能应用以及数据处理，即实现音频元数据区块生成方法。

本公开实施例还提供一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器生成包括任意实施例提供的音频元数据区块生成方法。

当然，本公开实施例所提供的一种包含计算机可执行指令的存储介质，其计算机可执行指令不限于如上所述的电子方法操作，还可以执行本公开任意实施例所提供的电子方法中的相关操作，且具备相应的功能和有益效果。

通过以上关于实施方式的描述，所属领域的技术人员可以清楚地了解到，本公开可借助软件及必需的通用硬件来实现，当然也可以通过硬件实现，但很多情况下前者是更佳的实施方式。基于这样的理解，本公开的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如计算机的软盘、只读存储器(Read-Only Memory,ROM)、随机存取存储器(RandomAccess Memory,RAM)、闪存(FLASH)、硬盘或光盘等，包括若干指令用以使得一台计算机设备(可以是机器人，个人计算机，服务器，或者网络设备等)执行本公开任意实施例所述的电子方法。

值得注意的是，上述电子装置中，所包括的各个单元和模块只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本公开的保护范围。

应当理解，本公开的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。

在本说明书的描述中，参考术语“在一实施例中”、“在又一实施例中”、“示例性的”或“在具体的实施例中”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本公开的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

虽然，上文中已经用一般性说明、具体实施方式及试验，对本公开作了详尽的描述，但在本公开基础上，可以对之作一些修改或改进，这对本领域技术人员而言是显而易见的。因此，在不偏离本公开精神的基础上所做的这些修改或改进，均属于本公开要求保护的范围。

Claims

1.一种音频元数据区块生成方法，其特征在于，包括：

获取音频元数据区块的标头元素和预设音频格式区块元素；

2.根据权利要求1所述的方法，其特征在于，所述预设音频格式区块元素包括：所述音频模型元数据中以下元素的至少一种：广播波音频顶层区块、数据尺寸及识别区块、占位符区块和自定义区块，其中，所述广播波音频顶层区块元素包含至少一个广播元数据元素。

3.根据权利要求1所述的方法，其特征在于，获取所述区块格式元素，包括：

4.根据权利要求2所述的方法，其特征在于，所述自定义区块的区块类型包括：音频可扩展标记语言区块、广播可扩展标记语言区块、音频串行元数据区块和通道分配区块；

5.根据权利要求4所述的方法，其特征在于，对于所述音频可扩展标记语言区块，基于对象的音频文件中，包含XML文件格式的音频元数据，依照预设的XML文件格式以文本字符串的形式储存，XML文件格式数据结构是分级的，获取所述音频可扩展标记语言区块元素，还包括：区块识别字符数组、字节块数据大小和XML文本信息。

6.根据权利要求4所述的方法，其特征在于，所述广播可扩展标记语言区块包含标头和文本指定的压缩方法压缩的XML广播元数据，获取所述广播可扩展标记语言区块元素，还包括：区块识别字符数组、字节块数据大小、XML文本的压缩方法和XML文本信息。

7.一种音频元数据区块生成装置，其特征在于，包括：

8.一种电子设备，其特征在于，包括：存储器以及一个或多个处理器；

所述存储器，用于存储一个或多个程序；

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-6任一项所述的方法。

9.一种包含计算机可执行指令的存储介质，其特征在于，所述计算机可执行指令在由计算机处理器实现如权利要求1-6任一项所述方法。