CN114281297A

CN114281297A - 多音频流的传输管理方法、装置、设备及存储介质

Info

Publication number: CN114281297A
Application number: CN202111502025.8A
Authority: CN
Inventors: 李昌; 俞晟杰
Original assignee: Shencong Semiconductor Zhuhai Co ltd; Shanghai Shencong Semiconductor Co ltd
Current assignee: Shencong Semiconductor Zhuhai Co ltd; Shanghai Shencong Semiconductor Co ltd
Priority date: 2021-12-09
Filing date: 2021-12-09
Publication date: 2022-04-05

Abstract

本发明公开了一种多音频流传输管理方法，针对现有的管道式传输管理方式不能实现中间数据复用及异常调试的问题，通过采用组合式传输管理方式来管理各节点，节点之间的连接关系由节点的输入输出信息确定，一个节点的输出可以连接到多个节点的输入，一个节点的输入也可连接到多个节点的输出，可以随意组合连接，可以解决节点数据不能复用的缺陷，也可以解决某些节点不能被同时使用的缺陷；各个节点的输出数据都可以被配置连接到调试节点的输入，这样可以通过调试节点获取到各级节点的处理数据，从而分析出数据异常发生在哪一级节点；降低了系统的复杂度以及节点间的耦合度，减少了对系统内存资源的需求，有利于提升系统鲁棒性。

Description

多音频流的传输管理方法、装置、设备及存储介质

技术领域

本发明属于音频流管理的技术领域，尤其涉及多音频流的传输管理方法、装置、设备及存储介质。

背景技术

通常采取一种管道的方式来处理音视频数据，请参看图1。在这种处理方式中存在一个数据输入节点、n级中间数据处理节点、一个数据输出节点，数据由数据输入节点产生，逐级经过中间数据处理节点处理，最后由数据输出节点输出。

这种处理方式在实际的项目使用时发现这样的方式有一些不便利，那就是某些节点的产生的数据需要用到多次的，但是管道式的组织管理方法只允许节点的数据使用一次，为了达成节点数据多次使用的目的，只好对某些节点的做特殊处理，申请额外的空间将节点产生的数据拷贝一份，但是这样的解决方法不通用，有些节点的数据需要多次使用，有些节点的数据只需要使用一次，在实现的时候需要判断哪些节点的数据需要拷贝一份，然后人为的去为这些节点申请空间拷贝数据。

发明内容

本发明的目的是提供一种多音频流的传输管理方法、装置、设备及存储介质，采用组合式结构来管理音频流，解决了管道式结构管理音频流的缺陷，避免了在实际使用中在原本代码中添加额外申请内存以及添加拷贝数据和数据取用的逻辑，降低了音频流管理的复杂度以及节点间的耦合度，减少了对系统内存资源的需求，有利于提升系统鲁棒性。

为解决上述问题，本发明的技术方案为：

一种多音频流的传输管理方法，包括：

将各音频输入端、音频处理端及音频输出端，封装成单独的节点，得到多个输入节点、处理节点及输出节点；并封装一调试节点，用于对所述输入节点和/或处理节点输出的音频数据进行调试；

对音频流进行编号；

根据音频流的编号，配置所述输入节点、处理节点、输出节点及调试节点的信息，用于标识音频流的可流通方向；

根据各节点的配置信息，进行节点匹配，随意组合连接，减小节点间的耦合度，使处理节点的音频数据可复用。

根据本发明一实施例，所述调试节点被配置为可匹配各输入节点和处理节点，方便对异常音频数据进行调试分析。

一种多音频流的传输管理装置，包括：

节点封装模块，用于将各音频输入端、音频处理端及音频输出端，封装成单独的节点，得到多个输入节点、处理节点及输出节点；并封装一调试节点，用于对所述输入节点和/或处理节点输出的音频数据进行调试；

音频编号模块，用于对音频流进行编号；

节点配置模块，用于根据音频流的编号，配置所述输入节点、处理节点、输出节点及调试节点的信息，用于标识音频流的可流通方向；

节点匹配模块，用于根据各节点的配置信息，进行节点匹配，随意组合连接，减小节点间的耦合度，使处理节点的音频数据可复用。

一种多音频流传输管理设备，包括：

存储器和处理器，所述存储器中存储有指令，所述存储器和所述处理器通过线路互连；

所述处理器调用所述存储器中的所述指令，实现本发明一实施例中的多音频流传输管理方法。

一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现本发明一实施例中的多音频流传输管理方法。

本发明由于采用以上技术方案，使其与现有技术相比具有以下的优点和积极效果：

本发明一实施例中的多音频流传输管理方法，针对现有的管道式传输管理方式不能实现中间数据复用及异常调试的问题，通过采用组合式传输管理方式来管理各节点，节点之间的连接关系由节点的输入输出信息确定，一个节点的输出可以连接到多个节点的输入，一个节点的输入也可连接到多个节点的输出，这样节点之间可以随意组合连接。可以解决节点数据不能复用的缺陷，也可以解决某些节点不能被同时使用的缺陷；各个节点的输出数据都可以被配置连接到调试节点的输入，这样可以通过调试节点获取到各级节点的处理数据，从而分析出数据异常发生在哪一级节点；降低了系统的复杂度以及节点间的耦合度，减少了对系统内存资源的需求，有利于提升系统鲁棒性。

附图说明

图1为现有技术中的音频流传输管理方法流图；

图2为本发明一实施例中的管道式管理方式不能实现的多音频流传输方法流图；

图3为本发明一实施例中的管道式管理方式不能实现的另一多音频流传输方法流图；

图4为本发明一实施例中的多音频流传输管理方法流图；

图5为本发明一实施例中的组合式管理的多音频流传输管理方法流图；

图6为本发明一实施例中的组合式管理的另一多音频流传输管理方法流图；

图7为本发明一实施例中的多音频流传输管理装置框图；

图8为本发明一实施例中的多音频流传输管理设备示意图。

具体实施方式

以下结合附图和具体实施例对本发明提出的一种多音频流传输方法、装置、设备及存储介质作进一步详细说明。根据下面说明和权利要求书，本发明的优点和特征将更清楚。

实施例一

现有的采用管道式管理音频流的方式，如图1所示，一个管道中存在一个数据输入节点、n级中间数据处理节点、一个数据输出节点，数据由数据输入节点产生，逐级经过中间数据处理节点处理，最后由数据输出节点输出。

该处理方式存在以下缺陷：

A.当存在多条管道时，这些管道不能同时使用某些节点，如图1中的管道1和管道2如果都使用音频输入1节点的话，由于硬件的限制，只有一条管道可以创建成功，不能实现如图2所示的连接关系。

B.不易Debug，无法同时获取到多个节点的输出数据，在图1所示管道中最终输出的数据只有音频输出1和音频输出2输出的数据，如果音频输出1输出的数据出错了，由于缺乏中间数据音频输入1、音频处理1、音频处理2的输出数据，不易判断在中间哪一级出的问题。

C.数据只能在设定好的管道中单向流动处理，数据不能复用，不能实现如图3所示的连接关系。

上述缺陷A是一般是由于系统中硬件的限制导致的，没有很好的解决方案，需要在使用时避免这种使用情况。对于缺陷B和缺陷C，一种常用的方法是增加额外的缓存空间，在将中间节点数据传给下一节点之前将数据保存到额外的缓存空间里，其他节点或者应用直接访问这一块缓存空间来获取中间节点数据，这样可以绕过中间数据不可以复用的缺陷，但是由于需要额外的缓存空间，造成了内存上的开销增大，还需要在某些节点做特殊的处理逻辑，导致节点间的耦合度增加以及降低了系统的鲁棒性。

为了解决上述缺陷，本实施例提供了一种多音频流的传输管理方法，采用了一种新的结构来管理节点，节点之间的连接关系由节点的输入输出信息确定，一个节点的输出可以连接到多个节点的输入，一个节点的输入也可连接到多个节点的输出，这样节点之间可以随意组合连接。一个节点的输出可以连接到多个节点的输入，这种可以解决节点数据不能复用的缺陷，也可以解决某些节点不能被同时使用的缺陷；各个节点的输出数据都可以被配置连接到调试节点的输入，这样可以通过调试节点获取到各级节点的处理数据，从而分析出数据异常发生在哪一级节点。

具体的，请参看图4，该多音频流的传输管理方法包括以下步骤：

S1：各音频输入端、音频处理端及音频输出端，封装成单独的节点，得到多个输入节点、处理节点及输出节点；并封装一调试节点，用于对输入节点和/或处理节点输出的音频数据进行调试；

S2：对音频流进行编号；

S3：根据音频流的编号，配置所述输入节点、处理节点、输出节点及调试节点的信息，用于标识音频流的可流通方向；

S4：根据各节点的配置信息，进行节点匹配，随意组合连接，减小节点间的耦合度，使处理节点的音频数据可复用。

在步骤S1中，对音频处理系统中产生音频、处理音频和输出音频的软硬件封装成单独的节点。请参看图5，封装完成后一个系统中可存在音频输入1节点、音频输入2节点、音频处理1节点、音频处理2节点、音频处理3节点、音频处理4节点、音频输出1节点、音频输出2节点、调试节点(Debug)等多个独立的节点，根据各节点的输入输出能力将节点分为输入节点、输出节点和功能节点，输入节点负责产生音频，如音频输入1节点、音频输入2节点；输出节点负责将音频输出，如音频输出1节点、音频输出2节点、调试节点；功能节点负责音频处理转换如音频处理1节点、音频处理2节点、音频处理3节点、音频处理4节点。输入节点需要定义发送消息的消息类型，输出节点需要定义接收到消息的处理函数，功能节点消息类型和消息处理函数都需要定义。

在步骤S2中，对音频处理系统中存在的音频流进行编号，每一个通道用字符进行编号，不同通道的音频编号不能定义成一样，可以对音频流添加一些字符描述信息方便理解。如音频输入1节点产生的两个通道的音频流，可将其分别编号为1、2；音频输入2节点产生两个通道的音频流，可将其分别编号为3、4；音频处理1节点接收两个通道数据后，产生两个数据流，可将音频处理1节点生成的两个音频流分别编号为5、6；音频处理2节点接收两个通道数据后，产生两个数据流，可将音频处理2节点产生的两个音频流分别编号为7、8；音频处理3节点接收两个通道数据后，产生两个数据流，可将音频处理3节点产生的两个音频流分别编号为9、10；音频处理4节点接收两个通道数据后，产生两个数据流，可将音频处理4节点产生的两个音频流分别编号为11、12。

上述对音频流的编号采用数字标识，也可以采用字母(a～z)，或数字与字母的组合，或其他的标识方式。

在步骤S3中，配置节点的输入输出信息，每个节点的输入输出信息为音频的编号，可支持多个编号。如将音频输入1节点的输出配置成1、2；将音频输入2节点的输出配置成3、4；将音频处理1节点的输入配置成1、2，将音频处理1节点的输出配置成5、6；将音频处理2节点的输入配置成5、6；将音频处理2节点的输出配置7、8；将音频处理3节点的输入配置成3、4，将音频处理节点3的输出配置成9、10；将音频处理4节点的输入配置成9、10，将音频处理节点3的输出配置成11、12；将音频输出1节点的输入配置成7、8；将音频输出2节点的输入配置成11、12；将调试节点的配置成1、2、3、4、5、6、7、8、9、10、11、12。

相应的，对节点的输入输出信息进行配置时，除了采用数字标识外，也可以采用字母(a～z)，或数字与字母的组合，或其他的标识方式。

在步骤S4中，节点匹配，根据各节点的输入输出信息进行节点间的匹配。例如，A节点的输入的音频编号和B节点的输出音频编号有重叠，则节点A与节点B匹配上了，将节点A与节点B绑定。这样节点B产生数据发送消息时，节点A便会收到该消息并进行处理。

经此过程处理后，上述描述的音频输入1节点与音频处理1节点、调试节点匹配上，音频处理1节点与音频处理2节点、调试节点匹配上，音频处理2节点与音频输出1节点、调试节点匹配上，音频输入2节点与音频处理3节点、调试节点匹配上，音频处理3节点与音频处理4节点、调试节点匹配上，音频处理4节点与音频输出2节点、调试节点匹配上。

在完成节点匹配后将形成图5的结构，音频输入1节点有数据时会发出消息，音频处理1和调试节点均会收到音频输入1节点发出的消息，并进行相应的处理，同样音频处理1节点发出消息时，音频处理2和调试节点会收到该消息并进行相应的处理，音频处理2节点产生消息时，音频输出1和调试节点也会收到该消息并进行处理。

基于上述多音频流的传输管理方法，可以很灵活地管理音频流，只用修改节点间的输入输出配置，便可以重新组织节点间的连接结构。比如修改音频处理3节点的输入为7、8；将音频处理4节点的输入修改为3、4；将音频输出1节点的输入修改为9、10，便会形成新的如图6所示的结构。

综上，本实施例中的多音频流的传输管理方法，采用组合式结构来管理音频流，解决了管道式结构管理音频流的缺陷，避免了在实际使用中在原本代码中添加额外申请内存以及添加拷贝数据和数据取用的逻辑，降低了系统的复杂度以及节点间的耦合度，减少了对系统内存资源的需求，有利于提升系统鲁棒性。

实施例二

本实施例提供了一种多音频流的传输管理装置，请参看图7，该装置包括：

节点封装模块1，用于将各音频输入端、音频处理端及音频输出端，封装成单独的节点，得到多个输入节点、处理节点及输出节点；并封装一调试节点，用于对输入节点和/或处理节点输出的音频数据进行调试；

音频编号模块2，用于对音频流进行编号；

节点配置模块3，用于根据音频流的编号，配置输入节点、处理节点、输出节点及调试节点的信息，用于标识音频流的可流通方向；

节点匹配模块4，用于根据各节点的配置信息，进行节点匹配，随意组合连接，减小节点间的耦合度，使处理节点的音频数据可复用。

该多音频流的传输管理装置是与实施例一中的多音频流的传输管理方法相对应的虚拟装置，上述节点封装模块1、音频编号模块2、节点配置模块3及节点匹配模块4的功能及实现方式均如上述实施例一所述，在此不再赘述。

实施例三

本实施例提供了一种多音频流传输管理设备。请参看图8，该多音频流传输管理设备500可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上处理器(central processing units，CPU)510(例如，一个或一个以上处理器)和存储器520，一个或一个以上存储应用程序533或数据532的存储介质530(例如一个或一个以上海量存储设备)。其中，存储器520和存储介质530可以是短暂存储或持久存储。存储在存储介质530的程序可以包括一个或一个以上模块(图示没标出)，每个模块可以包括对多音频流传输管理设备500中的一系列指令操作。

进一步地，处理器510可以设置为与存储介质530通信，在多音频流传输管理设备500上执行存储介质530中的一系列指令操作。

多音频流传输管理设备500还可以包括一个或一个以上电源540，一个或一个以上有线或无线网络接口550，一个或一个以上输入输出接口560，和/或，一个或一个以上操作系统531，例如Windows Serve、Vista等等。

本领域技术人员可以理解，图8示出的多音频流传输管理设备结构并不构成对多音频流传输管理设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。

本发明还提供一种计算机可读存储介质，该计算机可读存储介质可以为非易失性计算机可读存储介质，该计算机可读存储介质也可以为易失性计算机可读存储介质。该计算机可读存储介质中存储有指令，当该指令在计算机上运行时，使得计算机执行实施例一中的多音频流传输管理方法的步骤。

实施例二中的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件的形式体现出来，该计算机软件存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-only memory，ROM)、随机存取存储器(Random access memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的装置及设备的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

上面结合附图对本发明的实施方式作了详细说明，但是本发明并不限于上述实施方式。即使对本发明作出各种变化，倘若这些变化属于本发明权利要求及其等同技术的范围之内，则仍落入在本发明的保护范围之中。

Claims

1.一种多音频流的传输管理方法，其特征在于，包括：

对音频流进行编号；

2.如权利要求1所述的多音频流的传输管理方法，其特征在于，所述调试节点被配置为可匹配各输入节点和处理节点，方便对异常音频数据进行调试分析。

3.一种多音频流的传输管理装置，其特征在于，包括：

音频编号模块，用于对音频流进行编号；

4.一种多音频流传输管理设备，其特征在于，包括：

所述处理器调用所述存储器中的所述指令，实现如权利要求1或2所述的多音频流传输管理方法。

5.一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1或2所述的多音频流传输管理方法。