CN113055312A - 基于同步以太网的多路音频拾音方法和系统 - Google Patents

基于同步以太网的多路音频拾音方法和系统 Download PDF

Info

Publication number
CN113055312A
CN113055312A CN201911366532.6A CN201911366532A CN113055312A CN 113055312 A CN113055312 A CN 113055312A CN 201911366532 A CN201911366532 A CN 201911366532A CN 113055312 A CN113055312 A CN 113055312A
Authority
CN
China
Prior art keywords
audio
synchronous
audio acquisition
signal
synchronization
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911366532.6A
Other languages
English (en)
Other versions
CN113055312B (zh
Inventor
张新华
陈华锋
李兵
任智成
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Blue Pigeon Software Co ltd
Original Assignee
Zhejiang Lancoo Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Lancoo Technology Co ltd filed Critical Zhejiang Lancoo Technology Co ltd
Priority to CN201911366532.6A priority Critical patent/CN113055312B/zh
Publication of CN113055312A publication Critical patent/CN113055312A/zh
Application granted granted Critical
Publication of CN113055312B publication Critical patent/CN113055312B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L49/00—Packet switching elements
    • H04L49/10—Packet switching elements characterised by the switching fabric construction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04J—MULTIPLEX COMMUNICATION
    • H04J3/00—Time-division multiplex systems
    • H04J3/02—Details
    • H04J3/06—Synchronising arrangements
    • H04J3/0635—Clock or time synchronisation in a network
    • H04J3/0638—Clock or time synchronisation among nodes; Internode synchronisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04Q—SELECTING
    • H04Q1/00—Details of selecting apparatus or arrangements
    • H04Q1/02—Constructional details
    • H04Q1/10—Exchange station construction

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Telephonic Communication Services (AREA)

Abstract

本申请涉及拾音器，公开了一种基于同步以太网的多路音频拾音方法和系统。该方法包括：在一个同步周期的N个时间片内，交换机依次向N路音频采集端发送同步信元，其中，每一个时间片内向一路音频采集端发送对应该音频采集端的同步信元，该同步信元包含同步时钟信息和上一同步周期接收到的对应该音频采集端的音频数据中音频信号的信噪比；每路音频采集端接收到对应本路的同步信元时，将缓存的音频数据打包发送至交换机，根据该同步时钟校准本地时钟，及根据该信噪比在之后的音频采集中对预设频率段信号进行语音增强处理。本申请的实施方式解决了多路音频数据同步传输的问题，且传输时延低，满足音频信号实时性要求高的传输需求。

Description

基于同步以太网的多路音频拾音方法和系统
技术领域
本申请涉及拾音器，特别涉及基于同步以太网的多路音频拾音技术。
背景技术
拾音器广泛应用于多媒体教学、录播教学、远程互动会议等场合。
现有的多路音频拾音和音频数据传输方式中，通过模拟麦克风采集经过信号放大后采用音频电缆(卡农头音频线)传输的方式，虽然传输时延低，但受多路音频拾音时延不同和距离传输音频信号衰减快的影响，不利于多路音频信号合成、增强、定向拾音等处理；而通过数字麦克风采集经过以太网传输的方式，虽然传输距离远、线路部署简单，但由于以太网传输会存在网络拥堵、时延抖动大等问题，不适合本地扩音等实时性要求比较高的应用。
发明内容
本申请的目的在于提供一种基于同步以太网的多路音频拾音方法和系统，解决了多路音频传输时的网络拥堵和时延抖动的问题，同时有效地提高了音频数据的传输速度，减小了传输时延。
本申请公开了一种基于同步以太网的多路音频拾音方法，所述同步以太网包括交换机和N路音频采集端，N为大于2的整数；所述方法包括：
在一个同步周期的N个时间片内，所述交换机依次向所述N路音频采集端发送同步信元，其中，每一个时间片内向一路音频采集端发送对应该音频采集端的同步信元，所述同步信元包含同步时钟信息和上一同步周期接收到的对应该音频采集端的音频数据中音频信号的信噪比；
所述N路音频采集端中的每路音频采集端接收到对应本路音频采集端的所述同步信元时，执行以下操作：
将缓存的音频数据打包发送至所述交换机；
根据所述同步时钟校准本地时钟；
根据所述信噪比在之后的音频采集中对预设频率段信号进行语音增强处理。
在一个优选例中，所述根据所述同步时钟校准本地时钟，进一步包括：
根据当前同步周期和上一同步周期接收到所述同步信元的时延间隔，计算所述同步时钟和本地时钟的时间偏差；
若所述时间偏差大于第一预设阈值，则将本地时钟校准为所述同步时钟。
在一个优选例中，所述根据所述信噪比在之后的音频采集中对预设频率段信号进行语音增强处理，进一步包括：
若所述信噪比小于第二预设阈值，则在之后的音频采集中将预设频段信号增大调节至预设幅度。
在一个优选例中，所述N路音频采集端中的每路音频采集端接收到对应本路音频采集端的所述同步信元之前，还包括：
所述每路音频采集端将采集到的音频数据缓存至输入缓存区；
当所述输入缓存区的数据内存达到第三预设阈值时，将所述输入缓存区中的所述音频数据移至所述输出缓存区；
所述将缓存的音频数据打包发送至所述交换机，进一步包括：
将所述输出缓存区的所述音频数据打包发送至所述交换机。
在一个优选例中，所述将缓存的音频数据打包发送至所述交换机之后，还包括：
当接收到任一路音频采集端的所述音频数据时，所述交换机根据所述音频数据中的音频信号估算出对应该音频采集端的所述音频信号的信噪比。
在一个优选例中，所述在一个同步周期的N个时间片内，所述交换机依次向所述N路音频采集端发送同步信元，其中，每一个时间片内向一路音频采集端发送对应该音频采集端的同步信元，所述同步信元包含同步时钟信息和上一同步周期接收到的对应该音频采集端的音频数据中音频信号的信噪比之前，还包括：
所述交换机根据本地时钟信息和上一同步周期接收到的对应该音频采集端的音频数据中音频信号的信噪比生成用于当前同步周期的所述同步信元。
在一个优选例中，所述在一个同步周期的N个时间片内，所述交换机依次向所述N路音频采集端发送同步信元，其中，每一个时间片内向一路音频采集端发送对应该音频采集端的同步信元，所述同步信元包含同步时钟信息和上一同步周期接收到的对应该音频采集端的音频数据中音频信号的信噪比之前，还包括：
所述交换机为每路音频采集端分配端口号；
所述在一个同步周期的N个时间片内，所述交换机依次向所述N路音频采集端发送同步信元，其中，每一个时间片内向一路音频采集端发送对应该音频采集端的同步信元，所述同步信元包含同步时钟信息和上一同步周期接收到的对应该音频采集端的音频数据中音频信号的信噪比，进一步包括：
在一个同步周期的N个时间片内，所述交换机按照所述端口号的顺序依次向所述N路音频采集端发送同步信元，其中，每一个时间片内向一路音频采集端发送对应该音频采集端的同步信元，所述同步信元包含同步时钟信息和上一同步周期接收到的对应该音频采集端的音频数据中音频信号的信噪比。
本申请还公开了一种基于同步以太网的多路音频拾音系统，包括交换机和N路音频采集端，N为大于2的整数；其中，
所述交换机用于在一个同步周期的N个时间片内，依次向所述N路音频采集端发送同步信元，其中，每一个时间片内向一路音频采集端发送对应该音频采集端的同步信元，所述同步信元包含同步时钟信息和上一同步周期接收到的对应该音频采集端的音频数据中音频信号的信噪比；
每路所述音频采集端用于当接收到对应本路音频采集端的所述同步信元时，将缓存的音频数据打包发送至所述交换机，根据所述同步时钟校准本地时钟，以及根据所述信噪比在之后的音频采集中对预设频率段信号进行语音增强处理。
在一个优选例中，所述每路所述音频采集端还用于根据当前同步周期和上一同步周期接收到所述同步信元的时延间隔，计算所述同步时钟和本地时钟的时间偏差，若所述时间偏差大于第一预设阈值，则将本地时钟校准为所述同步时钟。
在一个优选例中，所述每路所述音频采集端还用于若所述信噪比小于第二预设阈值，则在之后的音频采集中将预设频段信号增大调节至预设幅度。
本申请实施方式中，与现有技术相比至少包括以下区别和效果：
交换机在一个同步周期的N个时间片内依次向N路音频采集端发送同步信元，各路音频采集端接收到对应本路音频采集端的同步信元后，发送本地缓存的音频数据至交换机，每路音频采集端根据所接收的同步信元中的同步时钟信息校准本地时钟和根据同步信元中的上一同步周期接收到的对应每路音频采集端的音频信号的信噪比实现对之后采集的语音信号进行增强处理，将N路音频采集端的多路数据轮流有序地上传至交换机、各路音频采集端的本地时钟校准、采用音频采集端和交换机相互配合实现音频采集端的语音增强三者相结合，其中，N路音频采集端的多路数据轮流有序地上传至交换机和各路音频采集端的本地时钟校准的结合避免了多路拾音系统之间的传输冲突，大大地减小了多路拾音系统的传输时延，进而给采用音频采集端和交换机相互配合实现音频采集端的语音增强提供了实现基础，并实现了将多路音频信号有效且高质量的传输到交换机，从而降低后期交换机中降噪滤波处理时对原音的削减，大大提高了多路音频拾音效果。
而且，在一个方案中，与将语音增强过程只放在音频采集端进行(例如通过在前端内置专用的DSP芯片进行语音增强、均衡等)的方法相比，本申请的实施方式针对多路音频传输实时性要求比较高的应用，采用音频采集端和交换机相互配合实现音频采集端的语音增强，将语音增强中的大量计算放在交换机端进行，音频采集端只需根据从交换机接收到的计算结果进行语音增强即可，不仅进一步减小了音频数据传输时延和提高了多路音频拾音效果，还节省了硬件成本。
进一步地，传统的同步以太网的时钟同步方式是通过物理层的数据码流恢复发送端时钟信息，只能实现发送端和接收端的时钟频率同步，时钟相位可能有偏移的，长时间累积的漂移和抖动超过阈值时会导致误码发生，而本申请的时钟同步方式，可以同时校准时钟频率和相位的同步，在保证多路音频拾音效果的情况下，还保证了多路音频数据收发的高准确性和无误码传输。
进一步地，任一路音频采集端在根据同步信元中上一同步周期对应的音频信号的信噪比实现对之后采集的语音信号进行增强处理时，只有当该音频采集端的该信噪比大于该第二预设阈值时，才在之后的音频采集中将所采集的音频信号进行增强处理，进一步减小了音频数据传输时延和提高了多路音频拾音效果。
进一步地，各音频采集端将采集的音频数据放在输入缓存中，当输入缓存区的数据内存达到第三预设阈值时，将输入缓存区中的所述音频数据移至输出缓存区，再根据从交换机接收的同步信元将输出缓存区的音频数据逐步上传至交换机，进一步减小了音频数据传输时延和提高了多路音频拾音效果。
并且，可以根据本申请实施方式的网络思路，设计成交换机级联方式，支持二级或者三级级联，获得更远的传输距离。
本申请的说明书中记载了大量的技术特征，分布在各个技术方案中，如果要罗列出本申请所有可能的技术特征的组合(即技术方案)的话，会使得说明书过于冗长。为了避免这个问题，本申请上述发明内容中公开的各个技术特征、在下文各个实施方式和例子中公开的各技术特征、以及附图中公开的各个技术特征，都可以自由地互相组合，从而构成各种新的技术方案(这些技术方案均因视为在本说明书中已经记载)，除非这种技术特征的组合在技术上是不可行的。例如，在一个例子中公开了特征A+B+C，在另一个例子中公开了特征A+B+D+E，而特征C和D是起到相同作用的等同技术手段，技术上只要择一使用即可，不可能同时采用，特征E技术上可以与特征C相组合，则，A+B+C+D的方案因技术不可行而应当不被视为已经记载，而A+B+C+E的方案应当视为已经被记载。
附图说明
图1是根据本申请第一实施方式的基于同步以太网的多路音频拾音方法流程示意图；
图2是根据本申请第一实施方式的同步信元示例报文格式；
图3是根据本申请第一实施方式的示例数据包格式；
图4是根据本申请第二实施方式的基于同步以太网的多路音频拾音系统结构示意图；
图5是根据本申请第二实施方式的一个实施例的交换机结构示意图；
图6是根据本申请第二实施方式的一个实施例的音频采集端结构示意图。
具体实施方式
在以下的叙述中，为了使读者更好地理解本申请而提出了许多技术细节。但是，本领域的普通技术人员可以理解，即使没有这些技术细节和基于以下各实施方式的种种变化和修改，也可以实现本申请所要求保护的技术方案。
为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请的实施方式作进一步地详细描述。
本申请的第一实施方式涉及一种基于同步以太网的多路音频拾音方法，该同步以太网包括交换机和N路音频采集端，N为大于2的整数；该多路音频拾音方法的流程如图1所示，该方法包括以下步骤：
在步骤101中，在一个同步周期的N个时间片内，该交换机依次向该N路音频采集端发送同步信元，其中，每一个时间片内向一路音频采集端发送对应该音频采集端的同步信元，该同步信元包含同步时钟信息和上一同步周期接收到的对应该音频采集端的音频数据中音频信号的信噪比。优选地，该同步时钟信息为交换机本地时钟信息。
可选地，该同步信元中对应每路音频采集端的音频数据中音频信号的信噪比的初始值预先约定为零或某一常数。
该步骤101中一个同步周期是指：该交换机在第一个时间片生成并发送对应第一路音频采集端的同步信元至该第一路音频采集端，响应于该同步信元，该第一路音频采集端将本地缓存的音频数据上传至交换机，待该交换机接收完该第一路音频采集端上传的音频数据，该交换机在第二个时间片生成并发送对应第二路音频采集端的同步信元至该第二路音频采集端，……，待该交换机接收完该第N-1路音频采集端上传的音频数据，该交换机在第N个时间片生成并发送对应第N路音频采集端的同步信元至该第N路音频采集端，响应于该同步信元，该第N路音频采集端将本地缓存的音频数据上传至交换机，待接收到该第N路音频采集端上传的音频数据，即一个同步周期的结束。
可选地，该一个同步周期的时长与音频数据上传速率有关，可以根据音频采集端的采样频率和数据编码方法进行调整设置。在一个实施例中，音频数据上传速率为128Kb/s，一个同步周期时间控制在5ms以内。
可选地，在当前同步周期结束，下一个同步周期开始后，该交换机对所接收的该当前同步周期的音频数据进行处理，处理结果可用于本地扩音，或者上传至服务器等。
可选地，该步骤101之前，还包括以下步骤：
该交换机根据本地时钟信息和上一同步周期接收到的对应该音频采集端的音频数据中音频信号的信噪比生成用于当前同步周期的该同步信元。
在一个实施例中，该步骤101进一步实现为：在一个同步周期的N个时间片内，该交换机按照各音频采集端的端口号的顺序依次向该N路音频采集端发送同步信元，其中，每一个时间片内向一路音频采集端发送对应该音频采集端的同步信元，该同步信元包含同步时钟信息和上一同步周期接收到的对应该音频采集端的音频数据中音频信号的信噪比。其中，各音频采集端的端口号可以是预先存储在交换机中或者在步骤101之前由交换机分配给各音频采集端的。
可选地，该同步信元还包含对应该音频采集端的端口号。
在一个实施例中，该“该交换机根据本地时钟信息和上一同步周期接收到的对应该音频采集端的音频数据中音频信号的信噪比生成用于当前同步周期的该同步信元”进一步包括以下步骤：
该交换机根据本地时钟信息、上一同步周期接收到的对应该音频采集端的音频数据中音频信号的信噪比和对应该音频采集端的端口号生成用于当前同步周期的同步信元。
如图2为该同步信元的一个示例报文格式，该示例报文格式中的报文载荷包括同步时钟信息、端口号和信噪比(S/N)估算值。需要说明的是，该例子中罗列的细节主要是为了便于理解，不作为对本申请保护范围的限制。
之后，进入步骤102中，该N路音频采集端中的每路音频采集端接收到对应本路音频采集端的该同步信元时，执行以下步骤①②③：
①将缓存的音频数据打包发送至该交换机；
②根据该同步时钟校准本地时钟；
③根据该信噪比在之后的音频采集中对预设频率段信号进行语音增强处理。
可选地，该步骤②进一步包括以下步骤a和b：
在步骤a中，根据当前同步周期和上一同步周期接收到该同步信元的时延间隔，计算该同步时钟和本地时钟的时间偏差；之后执行步骤b，若该时间偏差大于第一预设阈值，则将本地时钟校准为该同步时钟。其中该第一预设阈值可以根据PCM编解码中数据采样频率值作为参考进行设定。
在一个实施例中，该步骤②进一步实现为：在一个同步周期中，交换机在Tm0时刻给一个音频采集端发送将携带有时间tm0和频率fm信息同步信元，该音频采集端在Ts0时刻接收到同步信元，记录接收时间Ts0，并启动该音频采集端的本地计数器；在下一个同步周期中，交换机在Tm1时刻给该音频采集端发送携带时间tm1和频率fm信息的同步信元，该音频采集端在Ts1时刻接收到同步信元，记录接收时间Ts1和本地计数器计算的频率值fs1，则该交换机和该音频采集端的时钟频率偏差Δf＝fs1-fm；进一步据此采用多个同步周期累加的方式，该音频采集端的本地计数器计算其在a个同步周期内a次接收到同步信元频率值为fsa，则该交换机和该音频采集端在该a个同步周期内的时钟频率偏差Δf’＝(fsa-afm)/a，进而计算出二者时钟的频率偏差和相位偏差，进一步地通过该音频采集端中的数字锁相环实现本地时钟的频率和相位校准，使该音频采集端的时钟频率接近于该交换机的本地时钟频率，稳定后锁定输出为该音频采集端的本地时钟。
可选地，该步骤③进一步包括以下步骤：
若该信噪比小于第二预设阈值，则在之后的音频采集中将预设频段信号增大调节至预设幅度。其中该第二预设阈值可以根据经验设置。
本实施方式中的语音增强过程是基于前端的音频采集端和后端的交换机相互配合实现的，在一个实施例中，各路音频采集端预配置一个多频点增益可调的均衡器，中心频率范围在100Hz～2000Hz之间，可以通过可编程方式调节人声频率分量的幅值，在音频采集过程中，各路音频采集端中的均衡器根据交换机反馈的对应其上一同步周期的语音数据中语音信号的信噪比(S/N)对预设的语音频率段进行幅值增大调节，以提高人声分量。
可选地，该步骤102之前，还包括以下步骤ⅰⅱⅲ：
在步骤ⅰ中，该每路音频采集端将采集到的音频数据缓存至输入缓存区；之后进入步骤ⅱ，判断该输入缓存区的数据内存是否达到第三预设阈值；如果是则进入步骤ⅲ，将该输入缓存区中的该音频数据移至该输出缓存区。
可选地，该步骤①进一步包括以下步骤：
将上述步骤ⅲ中输出缓存区的该音频数据打包发送至该交换机。
例如，将上述步骤ⅲ中输出缓存区的该音频数据打包成如图3所示的示例数据包格式后，发送至该交换机。
可选地，该步骤①之后，还包括以下步骤：
当接收到任一路音频采集端的该音频数据时，该交换机根据该音频数据中的音频信号估算出对应该音频采集端的该音频信号的信噪比。
该交换机可以采用各种现有或者待开发的方法估算出对应该音频采集端的该音频信号的信噪比，可选地采用维纳滤波的方法估算出对应该音频采集端的该音频信号的信噪比。
可选地，该N路音频采集端和交换机的传输介质可以采用双绞线，成本低，线路简单，传输距离远，支持局域网供电(POE)方式，也可以采用无线方式传输。
本申请的第二实施方式涉及一种基于同步以太网的多路音频拾音系统，其结构如图4所示，该基于同步以太网的多路音频拾音系统包括交换机和N路音频采集端，N为大于2的整数。
具体的，该交换机用于在一个同步周期的N个时间片内，依次向该N路音频采集端发送同步信元，其中，每一个时间片内向一路音频采集端发送对应该音频采集端的同步信元，该同步信元包含同步时钟信息和上一同步周期接收到的对应该音频采集端的音频数据中音频信号的信噪比。优选地，该同步时钟信息为交换机本地时钟信息。
可选地，该同步信元中对应每路音频采集端的音频数据中音频信号的信噪比的初始值预先约定为零或某一常数。
该一个同步周期是指：该交换机在第一个时间片生成并发送对应第一路音频采集端的同步信元至该第一路音频采集端，响应于该同步信元，该第一路音频采集端将本地缓存的音频数据上传至交换机，待该交换机接收完该第一路音频采集端上传的音频数据，该交换机在第二个时间片生成并发送对应第二路音频采集端的同步信元至该第二路音频采集端，……，待该交换机接收完该第N-1路音频采集端上传的音频数据，该交换机在第N个时间片生成并发送对应第N路音频采集端的同步信元至该第N路音频采集端，响应于该同步信元，该第N路音频采集端将本地缓存的音频数据上传至交换机，待接收到该第N路音频采集端上传的音频数据，即一个同步周期的结束。
可选地，该一个同步周期的时长与音频上传速率有关，可根据音频采集端的采样频率和数据编码方法进行调整设置。在一个实施例中，音频数据上传速率为128Kb/s，一个同步周期时间控制在5ms以内。
可选地，该交换机还用于在当前同步周期结束，下一个同步周期开始后，对该当前同步周期缓存的音频数据进行处理，处理结果可用于本地扩音，或者上传至服务器等。
可选地，该交换机还用于根据本地时钟信息和上一同步周期接收到的对应该音频采集端的音频数据中音频信号的信噪比生成用于当前同步周期的该音频采集端的同步信元。
在一个实施例中，该交换机还用于在一个同步周期的N个时间片内，按照各路音频采集端的端口号的顺序依次向该N路音频采集端发送同步信元，其中，每一个时间片内向一路音频采集端发送对应该音频采集端的同步信元，该同步信元包含同步时钟信息和上一同步周期接收到的对应该音频采集端的音频数据中音频信号的信噪比。其中，各音频采集端的端口号可以是预先存储在交换机中或者在第一个同步周期前由交换机分配给各音频采集端的。
可选地，该同步信元还包含对应该音频采集端的端口号。
在一个实施例中，该交换机还用于根据本地时钟信息、上一同步周期接收到的对应该音频采集端的音频数据中音频信号的信噪比和对应该音频采集端的端口号生成用于当前同步周期的该音频采集端的同步信元。如图2为该同步信元的一个示例报文格式，该示例报文格式中的报文载荷包括同步时钟信息、端口号和S/N估算值。需要说明的是，该例子中罗列的细节主要是为了便于理解，不作为对本申请保护范围的限制。
如图5所示，本申请交换机的一个具体实施例。在该实施例中，该交换机包括数据收发模块1、数据交换单元、中央处理单元、时钟模块、模数转换模块、数据收发模块2。该数据收发模块1对各路音频采集端发送的音频数据进行接收，之后传送至该数据交换单元进行缓存；进一步地传送至中央处理单元进行数字降噪、信噪比计算；进一步地通过数模转换模块实现本地扩音或者通过数据收发模块2上传至服务器。其中该数据交换单元可以由可编程逻辑器件FPGA实现，其包括控制模块、输入输出缓存模块、同步信元生成模块和数据收发模块；其中该控制模块用于产生同步信元发送的时序，为每个通道分配独立时间片，以及控制端口数据收发和缓存处理，该输入输出缓存模块用于缓存从各音频采集端上传的输入数据，以及待向各音频采集端发送的同步信元数据，该同步信元生成模块用于生成固定长度的同步信元，该数据收发模块2用于与外部物理层收发模块的进行通信。
该N路音频采集端中的每路音频采集端用于当接收到对应本路音频采集端的该同步信元时，将缓存的音频数据打包发送至该交换机，根据该同步时钟校准本地时钟，以及根据该信噪比在之后的音频采集中对预设频率段信号进行语音增强处理。
可选地，该每路音频采集端还用于根据当前同步周期和上一同步周期接收到该同步信元的时延间隔，计算该同步时钟和本地时钟的时间偏差，若该时间偏差大于第一预设阈值，则将本地时钟校准为该同步时钟。其中该第一预设阈值可以根据PCM编解码中数据采样频率值作为参考进行设定。
在一个实施例中，该每路音频采集端还用于在一个同步周期中，在Ts0时刻接收到同步信元(由该交换机在Tm0时刻给该音频采集端发送的携带有时间tm0和频率fm信息的同步信元)，记录接收时间Ts0，并启动该音频采集端的本地计数器；在下一个同步周期中，在Ts1时刻接收到同步信元(由交换机在Tm1时刻给该音频采集端发送的携带时间tm1和频率fm信息的同步信元)，记录接收时间Ts1和本地计数器计算的频率值fs1，则该交换机和该音频采集端的时钟频率偏差Δf＝fs1-fm；进一步地据此采用多个同步周期累加的方式，该音频采集端的本地计数器计算其在a个同步周期内a次接收到同步信元频率值为fsa，则该交换机和该音频采集端在该a个同步周期内的时钟频率偏差Δf’＝(fsa-afm)/a，进而计算出二者时钟的频率偏差和相位偏差，进一步地通过该音频采集端中的数字锁相环实现本地时钟的频率和相位校准，使该音频采集端的时钟频率接近于该交换机的本地时钟频率，稳定后锁定输出为该音频采集端的本地时钟。
可选地，该每路音频采集端还用于若该信噪比小于第二预设阈值，则在之后的音频采集中将预设频段信号增大调节至预设幅度。其中该第二预设阈值可以根据经验设置。
本实施方式中，通过前端的音频采集端和后端的交换机相互配合实现前端语音增强过程，在一个实施例中，各路音频采集端预配置一个多频点增益可调的均衡器，中心频率范围在100Hz～2000Hz之间，可以通过可编程方式调节人声频率分量的幅值，在音频采集过程中，各路音频采集端中的均衡器根据交换机反馈的对应其上一同步周期的语音数据中语音信号的信噪比(S/N)对预设的语音频率段进行幅值增大调节，以提高人声分量。。
可选地，该音频采集端还用于该每路音频采集端将采集到的音频数据缓存至输入缓存区，判断该输入缓存区的数据内存是否达到第三预设阈值，如果是则将该输入缓存区中的该音频数据移至该输出缓存区。
可选地，该音频采集端还用于将上述输出缓存区的该音频数据打包发送至该交换机。例如，该音频采集端还用于将上述步骤ⅲ中输出缓存区的该音频数据打包成如图3所示的示例数据包格式后，发送至该交换机。
可选地，该音频采集端还用于当接收到任一路音频采集端的该音频数据时，该交换机根据该音频数据中的音频信号估算出对应该音频采集端的该音频信号的信噪比。其中，该交换机可以采用各种现有或者待开发的方法估算出对应该音频采集端的该音频信号的信噪比，可选地采用维纳滤波的方法估算出对应该音频采集端的该音频信号的信噪比。
可选地，该N路音频采集端和交换机的传输介质可以采用双绞线，成本低，线路简单，传输距离远，支持局域网供电(POE)方式，也可以采用无线方式传输。
如图6所示，本申请任一路音频采集端的一个具体实施例。在该实施例中，该音频采集端包括采集模块、音频编译模块、中央控制单元、时钟模块、数据收发模块。该采集模块对原始语音进行采集和滤波，之后通过该音频编译模块进行增益调节、A/D转换和PCM编码、前置均衡处理等，之后通过该中央控制单元对音频信号进行缓存并生成音频数据的数据包，之后通过该数据收发模块将生成的数据包发送至交换机。其中，该时钟模块用于提供本地时钟以及根据同步时钟校准本地时钟。其中，该中央控制单元包括控制模块、数据缓存模块、输出数据包生成模块、I2C总线模块、I2S总线模块、收发接口等；其中该控制模块用于控制输出数据包的发送时序和缓存处理、计算同步时钟与本地时钟的时间差值和下传时钟校准指令、计算原始信号信噪比与预设值的差值和下传语音分量增强指令；其中该数据缓存模块用于缓存音频编译器采集、编译后的音频数据；其中该输出数据包生成模块用于将缓存的音频数据装载成输出的数据包；其中该I2C总线模块用于与音频编译器通信以实现音频编译器语音增强调节初始化配置；其中该I2S总线模块用于与音频编译器通信以实现音频数据的接收；其中该收发接口与外部的物理层数据收发模块连接，实现数据的收发。
第一实施方式是与本实施方式相对应的方法实施方式，第一实施方式中的技术细节可以应用于本实施方式，本实施方式中的技术细节也可以应用于第一实施方式。
需要说明的是，本领域技术人员应当理解，上述基于同步以太网的多路音频拾音系统的实施方式中所示的各模块的实现功能可参照前述基于同步以太网的多路音频拾音方法的相关描述而理解。上述基于同步以太网的多路音频拾音系统的实施方式中所示的各模块的功能可通过运行于处理器上的程序(可执行指令)而实现，也可通过具体的逻辑电路而实现。本申请实施例上述基于同步以太网的多路音频拾音系统如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实施例的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机、服务器、或者网络设备等)执行本申请各个实施例所述方法的全部或部分。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，ReadOnly Memory)、磁碟或者光盘等各种可以存储程序代码的介质。这样，本申请实施例不限制于任何特定的硬件和软件结合。
需要说明的是，在本专利的申请文件中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。本专利的申请文件中，如果提到根据某要素执行某行为，则是指至少根据该要素执行该行为的意思，其中包括了两种情况：仅根据该要素执行该行为、和根据该要素和其它要素执行该行为。多个、多次、多种等表达包括2个、2次、2种以及2个以上、2次以上、2种以上。
在本申请提及的所有文献都被认为是整体性地包括在本申请的公开内容中，以便在必要时可以作为修改的依据。此外应理解，以上所述仅为本说明书的较佳实施例而已，并非用于限定本说明书的保护范围。凡在本说明书一个或多个实施例的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本说明书一个或多个实施例的保护范围之内。

Claims (10)

1.一种基于同步以太网的多路音频拾音方法，其特征在于，所述同步以太网包括交换机和N路音频采集端，N为大于2的整数；所述方法包括：
在一个同步周期的N个时间片内，所述交换机依次向所述N路音频采集端发送同步信元，其中，每一个时间片内向一路音频采集端发送对应该音频采集端的同步信元，所述同步信元包含同步时钟信息和上一同步周期接收到的对应该音频采集端的音频数据中音频信号的信噪比；
所述N路音频采集端中的每路音频采集端接收到对应本路音频采集端的所述同步信元时，执行以下操作：
将缓存的音频数据打包发送至所述交换机；
根据所述同步时钟校准本地时钟；
根据所述信噪比在之后的音频采集中对预设频率段信号进行语音增强处理。
2.如权利要求1所述的基于同步以太网的多路音频拾音方法，其特征在于，所述根据所述同步时钟校准本地时钟，进一步包括：
根据当前同步周期和上一同步周期接收到所述同步信元的时延间隔，计算所述同步时钟和本地时钟的时间偏差；
若所述时间偏差大于第一预设阈值，则将本地时钟校准为所述同步时钟。
3.如权利要求1所述的基于同步以太网的多路音频拾音方法，其特征在于，所述根据所述信噪比在之后的音频采集中对预设频率段信号进行语音增强处理，进一步包括：
若所述信噪比小于第二预设阈值，则在之后的音频采集中将预设频段信号增大调节至预设幅度。
4.如权利要求1所述的基于同步以太网的多路音频拾音方法，其特征在于，所述N路音频采集端中的每路音频采集端接收到对应本路音频采集端的所述同步信元之前，还包括：
所述每路音频采集端将采集到的音频数据缓存至输入缓存区；
当所述输入缓存区的数据内存达到第三预设阈值时，将所述输入缓存区中的所述音频数据移至所述输出缓存区；
所述将缓存的音频数据打包发送至所述交换机，进一步包括：
将所述输出缓存区的所述音频数据打包发送至所述交换机。
5.如权利要求1所述的基于同步以太网的多路音频拾音方法，其特征在于，所述将缓存的音频数据打包发送至所述交换机之后，还包括：
当接收到任一路音频采集端的所述音频数据时，所述交换机根据所述音频数据中的音频信号估算出对应该音频采集端的所述音频信号的信噪比。
6.如权利要求1所述的基于同步以太网的多路音频拾音方法，其特征在于，所述在一个同步周期的N个时间片内，所述交换机依次向所述N路音频采集端发送同步信元，其中，每一个时间片内向一路音频采集端发送对应该音频采集端的同步信元，所述同步信元包含同步时钟信息和上一同步周期接收到的对应该音频采集端的音频数据中音频信号的信噪比之前，还包括：
所述交换机根据本地时钟信息和上一同步周期接收到的对应该音频采集端的音频数据中音频信号的信噪比生成用于当前同步周期的所述同步信元。
7.如权利要求1-6中任意一项所述的基于同步以太网的多路音频拾音方法，其特征在于，所述在一个同步周期的N个时间片内，所述交换机依次向所述N路音频采集端发送同步信元，其中，每一个时间片内向一路音频采集端发送对应该音频采集端的同步信元，所述同步信元包含同步时钟信息和上一同步周期接收到的对应该音频采集端的音频数据中音频信号的信噪比之前，还包括：
所述交换机为每路音频采集端分配端口号；
所述在一个同步周期的N个时间片内，所述交换机依次向所述N路音频采集端发送同步信元，其中，每一个时间片内向一路音频采集端发送对应该音频采集端的同步信元，所述同步信元包含同步时钟信息和上一同步周期接收到的对应该音频采集端的音频数据中音频信号的信噪比，进一步包括：
在一个同步周期的N个时间片内，所述交换机按照所述端口号的顺序依次向所述N路音频采集端发送同步信元，其中，每一个时间片内向一路音频采集端发送对应该音频采集端的同步信元，所述同步信元包含同步时钟信息和上一同步周期接收到的对应该音频采集端的音频数据中音频信号的信噪比。
8.一种基于同步以太网的多路音频拾音系统，其特征在于，包括交换机和N路音频采集端，N为大于2的整数；其中，
所述交换机用于在一个同步周期的N个时间片内，依次向所述N路音频采集端发送同步信元，其中，每一个时间片内向一路音频采集端发送对应该音频采集端的同步信元，所述同步信元包含同步时钟信息和上一同步周期接收到的对应该音频采集端的音频数据中音频信号的信噪比；
每路所述音频采集端用于当接收到对应本路音频采集端的所述同步信元时，将缓存的音频数据打包发送至所述交换机，根据所述同步时钟校准本地时钟，以及根据所述信噪比在之后的音频采集中对预设频率段信号进行语音增强处理。
9.如权利要求8所述的基于同步以太网的多路音频拾音系统，其特征在于，所述每路所述音频采集端还用于根据当前同步周期和上一同步周期接收到所述同步信元的时延间隔，计算所述同步时钟和本地时钟的时间偏差，若所述时间偏差大于第一预设阈值，则将本地时钟校准为所述同步时钟。
10.如权利要求8-9中任意一项所述的基于同步以太网的多路音频拾音系统，其特征在于，所述每路所述音频采集端还用于若所述信噪比小于第二预设阈值，则在之后的音频采集中将预设频段信号增大调节至预设幅度。
CN201911366532.6A 2019-12-26 2019-12-26 基于同步以太网的多路音频拾音方法和系统 Active CN113055312B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911366532.6A CN113055312B (zh) 2019-12-26 2019-12-26 基于同步以太网的多路音频拾音方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911366532.6A CN113055312B (zh) 2019-12-26 2019-12-26 基于同步以太网的多路音频拾音方法和系统

Publications (2)

Publication Number Publication Date
CN113055312A true CN113055312A (zh) 2021-06-29
CN113055312B CN113055312B (zh) 2022-06-24

Family

ID=76505582

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911366532.6A Active CN113055312B (zh) 2019-12-26 2019-12-26 基于同步以太网的多路音频拾音方法和系统

Country Status (1)

Country Link
CN (1) CN113055312B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114142958A (zh) * 2021-12-02 2022-03-04 中电科航空电子有限公司 一种基于级联交换机的机载实时语音同步传输系统及方法
CN114204957A (zh) * 2021-12-10 2022-03-18 合肥讯飞数码科技有限公司 音频收发电路及相关设备、方法、装置和存储介质
CN114501283A (zh) * 2022-04-15 2022-05-13 南京天悦电子科技有限公司 一种针对数字助听器的低复杂度双麦克风定向拾音方法

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102811380A (zh) * 2011-06-03 2012-12-05 三星电子（中国）研发中心 多媒体文件中音视频数据的解复用方法及装置
CN106710601A (zh) * 2016-11-23 2017-05-24 合肥华凌股份有限公司 一种语音信号降噪拾音处理方法和装置及冰箱
CN206741933U (zh) * 2017-03-13 2017-12-12 浙江曼悟电子科技股份有限公司 一种便携式多路并行智能语音识别一体机
CN107818790A (zh) * 2017-11-16 2018-03-20 苏州麦迪斯顿医疗科技股份有限公司 一种多路音频混音方法及装置
CN207369203U (zh) * 2017-10-19 2018-05-15 西安工业大学 一种音频、视频数据监控系统
US20190014528A1 (en) * 2016-03-14 2019-01-10 Telefonaktiebolaget Lm Ericsson (Publ) Apparatus and method for transmitting beacon messages in a mesh network
CN109884591A (zh) * 2019-02-25 2019-06-14 南京理工大学 一种基于麦克风阵列的多旋翼无人机声信号增强方法
CN209314031U (zh) * 2019-03-01 2019-08-27 科立讯通信股份有限公司 音频复用电路
CN209402679U (zh) * 2019-01-31 2019-09-17 科立讯通信股份有限公司 拾音组件和系统

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102811380A (zh) * 2011-06-03 2012-12-05 三星电子（中国）研发中心 多媒体文件中音视频数据的解复用方法及装置
US20190014528A1 (en) * 2016-03-14 2019-01-10 Telefonaktiebolaget Lm Ericsson (Publ) Apparatus and method for transmitting beacon messages in a mesh network
CN106710601A (zh) * 2016-11-23 2017-05-24 合肥华凌股份有限公司 一种语音信号降噪拾音处理方法和装置及冰箱
CN206741933U (zh) * 2017-03-13 2017-12-12 浙江曼悟电子科技股份有限公司 一种便携式多路并行智能语音识别一体机
CN207369203U (zh) * 2017-10-19 2018-05-15 西安工业大学 一种音频、视频数据监控系统
CN107818790A (zh) * 2017-11-16 2018-03-20 苏州麦迪斯顿医疗科技股份有限公司 一种多路音频混音方法及装置
CN209402679U (zh) * 2019-01-31 2019-09-17 科立讯通信股份有限公司 拾音组件和系统
CN109884591A (zh) * 2019-02-25 2019-06-14 南京理工大学 一种基于麦克风阵列的多旋翼无人机声信号增强方法
CN209314031U (zh) * 2019-03-01 2019-08-27 科立讯通信股份有限公司 音频复用电路

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114142958A (zh) * 2021-12-02 2022-03-04 中电科航空电子有限公司 一种基于级联交换机的机载实时语音同步传输系统及方法
CN114204957A (zh) * 2021-12-10 2022-03-18 合肥讯飞数码科技有限公司 音频收发电路及相关设备、方法、装置和存储介质
CN114204957B (zh) * 2021-12-10 2024-05-31 合肥讯飞数码科技有限公司 音频收发电路及相关设备、方法、装置和存储介质
CN114501283A (zh) * 2022-04-15 2022-05-13 南京天悦电子科技有限公司 一种针对数字助听器的低复杂度双麦克风定向拾音方法

Also Published As

Publication number Publication date
CN113055312B (zh) 2022-06-24

Similar Documents

Publication Publication Date Title
CN113055312B (zh) 基于同步以太网的多路音频拾音方法和系统
JP6640359B2 (ja) ワイヤレスオーディオ同期
US7243150B2 (en) Reducing the access delay for transmitting processed data over transmission data
US8028097B2 (en) System and method for synchronizing audio-visual devices on a power line communications (PLC) network
EP1432203B1 (en) Low latency digital audio over packet switched networks by setting buffer size at receiver
US9338208B2 (en) Common event-based multidevice media playback
EP2441072B1 (en) Audio processing
RU2423009C1 (ru) Способ и устройство для измерения синхронизации воспроизведения речевых потоков в пределах предложения без влияния на разборчивость
KR20170113087A (ko) 오디오 재생을 위한 시스템 및 방법
KR20060125678A (ko) 버퍼 관리 시스템, 디지털 오디오 수신기, 헤드폰들,확성기, 버퍼 관리 방법
JP6290915B2 (ja) 共通イベントベースのマルチデバイスメディア再生
WO2007019533A2 (en) System and methods for aligning capture and playback clocks in a wireless digital audio distribution system
CN102047592A (zh) 用于无线音频数据流时间同步的装置和方法
US20160173347A1 (en) System and method for synchronous media rendering over wireless networks with wireless performance monitoring
US10546581B1 (en) Synchronization of inbound and outbound audio in a heterogeneous echo cancellation system
EP4026022A1 (en) Timing improvement for cognitive loudspeaker system
US8006007B1 (en) Time scale normalization of a digitized signal
JP3833490B2 (ja) データ伝送において発生する遅延ジッタを吸収する装置および方法
FI118914B (fi) Menetelmä ja järjestelmä langatonta tosiaikaista monikanavaisen audio- tai videodatan siirtoa varten
US20230269155A1 (en) A wireless conference system with early packet loss detection
CN106209343B (zh) 同步化向多个可移动音频终端发送的数字信号的播放
CN112929731A (zh) 一种多媒体交换机系统
Tatlas et al. An Error–Concealment Technique for Wireless Digital Audio Delivery
Tatlas et al. Wireless digital audio delivery analysis and evaluation
CN111327923B (zh) 一种音频流切换方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20240820

Address after: Baiyun District of Guangzhou City, Guangdong province 510540 North Road No. 1633 is private science and Technology Park Branch Road, No. 1

Patentee after: Guangzhou Blue Pigeon Software Co.,Ltd.

Country or region after: China

Address before: No. 1968, Nanxi East Road, Nanhu District, Jiaxing City, Zhejiang Province

Patentee before: ZHEJIANG LANCOO TECHNOLOGY Co.,Ltd.

Country or region before: China