CN115567470A - 一种音频丢包补偿处理方法及系统 - Google Patents

Abstract

本发明公开了一种音频丢包补偿处理方法及系统，其技术方案是：具体步骤如下：S1、音频采集；S2、预处理；S3、音频传输；S4、音频接收；S5、解析；S6、播放；包括音频采集端模块、预处理端模块、音频传输端模块、音频接收端模块、解析端模块和播放端模块，音频采集端模块连接端设有语音识别模块，音频采集端模块与语音识别模块电线连接，语音识别模块连接端设有文本生成模块，语音识别模块与文本生成模块电性连接，本发明有益效果是：引入语音识别、语音合成技术，通过文本比对、与文本播报补偿方式，以及语音编码后对比，优化了音视频通讯时音频传输的完整性，文本数据量小，丢包概率低，适用于复杂网络环境。

Description

一种音频丢包补偿处理方法及系统

技术领域

本发明涉及音频丢包补偿处理技术领域，具体涉及一种音频丢包补偿处理方法及系统。

背景技术

为在互联网上完成通话传输，通话中的数据通常被拆分为数据包，这些数据包通过网络从发送方传输到接收方，并在接收方重新组合，以生成连续的视频流和音频流，然而，当数据包到达接收方时，可能会出现个别数据包完全丢失的问题，进而导致通话质量变差，因此接收方需要补全丢失的数据包，以提高通话质量，处理丢包的过程被称为丢包补偿。

现有的云办公形式普及，视频会议需求激增，由于网络环境的复杂性，音频丢包现象普遍存在，个别音频数据包完全丢失，进而导致通话质量变差，因此需要补全丢失的数据包，以提高通话质量，这就导致无法满足会议场景下，对音频传输完整性要求，且音频处理会丢失大量的原始信息，对于音频帧的补偿的准确度较差，现有的音频丢包补偿方案，大多基于机器学习，预测音频内容从而进行补偿，这类方案的准确率无法达到 100%，无法满足会议场景完整性需求。

发明内容

为此，本发明提供一种音频丢包补偿处理方法及系统，以解决音频处理会丢失大量的原始信息，对于音频帧的补偿的准确度较差，现有的音频丢包补偿方案，大多基于机器学习，预测音频内容从而进行补偿，这类方案的准确率无法达到 100%，无法满足会议场景完整性需求的问题。

为了实现上述目的，本发明提供如下技术方案：一种音频丢包补偿处理方法，具体步骤如下：

S1、音频采集：采集音频文件，同时将麦克风采集到的声音转化为文字，从而生成文本A，并将采集到语音进行合成；

S2、预处理：将合成的语音和文本A进行编码转换，同时将语音拼图进行分割，生成语音拼图和拼图模板并保存，将分割后的拼图打乱收集，将文本A进行编序，同时保存序号段排列顺序模板，并对序号进行打乱收集；

S3、音频传输：将文本A、拼图模板、序号模板、收集的拼图碎片和序号段进行合并传输；

S4、音频接收：将收集的拼图碎片和序号段自动组成新文本B和新音频；

S5、解析：将新文本B序号段填充，新音频进行拼图碎片拼接，根据序号模板与新文本B的序号进行匹配，根据拼图模板与新音频的拼图进行匹配，新文本B进行序号段填充，新音频进行拼图碎片拼接，将对应不上的拼图碎片和文本序号段进行丢包处理，并将其融合入新文本B和新音频中；

S6、播放：将融合完成的新文本B进行显示和新音频进行播放。

一种音频丢包补偿处理系统，包括音频采集端模块、预处理端模块、音频传输端模块、音频接收端模块、解析端模块和播放端模块，所述音频采集端模块连接端设有语音识别模块，所述音频采集端模块与语音识别模块电线连接，所述语音识别模块连接端设有文本生成模块，所述语音识别模块与文本生成模块电性连接，所述文本生成模块连接端设有语音合成模块，所述文本生成模块与语音合成模块电性连接。

优选的，所述预处理端模块连接端设有编码转换模块，所述预处理端模块与编码转换模块电性连接，所述编码转换模块分别与语音合成模块和文本生成模块电性连接，所述编码转换模块包括分割语音拼图模块和文本编序模块，所述分割语音拼图模块连接端分别设有拼图打乱收集模块和拼图模板模块，所述分割语音拼图模块分别与拼图打乱收集模块和拼图模板模块电性连接，所述文本编序模块连接端设有序号模板模块和序号打乱收集模块，所述文本编序模块分别与序号模板模块和序号打乱收集模块电性连接。

优选的，所述音频传输端模块包括合并输送模块，所述合并输送模块分别与序号模板模块、序号打乱收集模块、拼图打乱收集模块和拼图模板模块电性连接。

优选的，所述音频接收端模块包括新文本模块和新音频模块，所述新文本模块和新音频模块均与合并输送模块电性连接。

优选的，所述解析端模块包括序号匹配模块和拼图匹配模块，所述序号匹配模块与新文本模块电性连接，所述拼图匹配模块与新音频模块电性连接。

优选的，所述播放端模块包括音频播放模块和文本显示模块，所述音频播放模块和文本显示模块连接端设有融合补偿模块，所述音频播放模块和文本显示模块均与融合补偿模块电性连接，所述融合补偿模块连接端设有丢包模块，所述融合补偿模块与丢包模块电性连接，所述丢包模块分别与序号匹配模块和拼图匹配模块电性连接。

优选的，所述音频采集端模块包括桌台，所述桌台一侧固定设有电机，所述桌台内部开设有滑槽，所述滑槽内部通过轴承连接有丝杆，所述丝杆两端均与滑槽侧壁通过轴承连接，所述电机输出端与丝杆固定连接，所述丝杆外部套设有滑块，所述丝杆与滑块通过螺纹连接，所述滑块与滑槽滑动连接，所述滑块顶部固定连接有防护底座，所述防护底座顶部开设有内腔，所述防护底座顶部两侧均固定连接有连接壳，两个所述连接壳顶部设有连接块，两个所述连接块分别延伸入两个所述连接壳内部，两个所述连接块顶部分别固定连接有第一侧块和第二侧块，所述第一侧块和第二侧块之间设有连接柱，所述第二侧块一侧通过轴承连接有连接轴，所述连接轴外部固定套设有连接柱，所述连接轴另一端延伸入第一侧块内部并与第一侧块通过轴承连接，所述连接轴一侧开设有方槽，所述第一侧块一侧通过螺纹连接有拉把，所述拉把一端固定连接有方块，所述方块一端延伸入方槽内部并与方槽滑动连接，所述拉把另一端固定连接有旋钮，所述连接柱一侧固定连接有麦克风，所述连接柱另一侧固定连接有拉把。

优选的，所述音频采集端模块一侧固定设有外壳，所述外壳固定套设有电机，所述桌台底部两侧均固定设有支撑腿。

本发明实施例具有如下优点：

1、 可查找到丢失的数据包，并补全丢失的数据包，以提高通话质量，提高对音频传输完整性，避免音频处理会丢失大量的原始信息，对于音频帧的补偿的准确度提升，引入语音识别、语音合成技术，通过文本比对、与文本播报补偿方式，以及语音编码后对比，优化了音视频通讯时音频传输的完整性，文本数据量小，丢包概率低，适用于复杂网络环境；

2、 通过控制连接柱带动麦克风移动，同时使麦克风转动到朝下，此时推动拉把向下，使拉把推动连接柱和第一侧块和第二侧块下移，使第一侧块和第二侧块推动连接块下移，连接块下移并进入连接壳内，同时麦克风进入内腔内，使防护底座对麦克风进行保护，避免麦克风再不使用时内部进入灰尘，导致收音效果降低，影响通话质量。

附图说明

为了更清楚地说明本发明的实施方式或现有技术中的技术方案，下面将对实施方式或现有技术描述中所需要使用的附图作简单地介绍。显而易见地，下面描述中的附图仅仅是示例性的，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图引伸获得其它的实施附图。

本说明书所绘示的结构、比例、大小等，均仅用以配合说明书所揭示的内容，以供熟悉此技术的人士了解与阅读，并非用以限定本发明可实施的限定条件，故不具技术上的实质意义，任何结构的修饰、比例关系的改变或大小的调整，在不影响本发明所能产生的功效及所能达成的目的下，均应仍落在本发明所揭示的技术内容得能涵盖的范围内。

图1为本发明提供的音频丢包补偿系统流程图；

图2为本发明提供的系统结构示意图；

图3为本发明提供的桌台侧视剖视图；

图4为本发明提供的桌台主视剖视图；

图5为本发明提供的图4中A部结构放大图。

图中：1、音频采集端模块；2、预处理端模块；3、音频传输端模块；4、音频接收端模块；5、解析端模块；6、播放端模块；7、编码转换模块；8、序号模板模块；9、合并输送模块；10、新文本模块；11、序号匹配模块；12、音频播放模块；13、文本显示模块；14、融合补偿模块；15、丢包模块；16、拼图匹配模块；17、新音频模块；18、序号打乱收集模块；19、拼图打乱收集模块；20、文本编序模块；21、分割语音拼图模块；22、拼图模板模块；23、语音合成模块；24、文本生成模块；25、语音识别模块；26、桌台；27、支撑腿；28、丝杆；29、滑槽；30、滑块；31、电机；32、外壳；33、防护底座；34、内腔；35、连接壳；36、连接块；37、麦克风；38、第一侧块；39、连接柱；40、连接轴；41、拉把；42、第二侧块；43、旋钮；44、方块；45、方槽。

具体实施方式

以下由特定的具体实施例说明本发明的实施方式，熟悉此技术的人士可由本说明书所揭露的内容轻易地了解本发明的其他优点及功效，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

参照附图1-图5，本发明提供的一种音频丢包补偿处理方法，具体步骤如下：

S1、音频采集：采集音频文件，同时将麦克风采集到的声音转化为文字，从而生成文本A，并将采集到语音进行合成；

S2、预处理：将合成的语音和文本A进行编码转换，同时将语音拼图进行分割，生成语音拼图和拼图模板并保存，将分割后的拼图打乱收集，将文本A进行编序，同时保存序号段排列顺序模板，并对序号进行打乱收集；

S3、音频传输：将文本A、拼图模板、序号模板、收集的拼图碎片和序号段进行合并传输；

S4、音频接收：将收集的拼图碎片和序号段自动组成新文本B和新音频；

S5、解析：将新文本B序号段填充，新音频进行拼图碎片拼接，根据序号模板与新文本B的序号进行匹配，根据拼图模板与新音频的拼图进行匹配，新文本B进行序号段填充，新音频进行拼图碎片拼接，将对应不上的拼图碎片和文本序号段进行丢包处理，并将其融合入新文本B和新音频中；

S6、播放：将融合完成的新文本B进行显示和新音频进行播放。

其中，为了实现音频采集的目的，本装置采用如下技术方案实现的：包括音频采集端模块1、预处理端模块2、音频传输端模块3、音频接收端模块4、解析端模块5和播放端模块6，所述音频采集端模块1连接端设有语音识别模块25，所述音频采集端模块1与语音识别模块25电线连接，所述语音识别模块25连接端设有文本生成模块24，所述语音识别模块25与文本生成模块24电性连接，所述文本生成模块24连接端设有语音合成模块23，所述文本生成模块24与语音合成模块23电性连接，采集音频文件，同时将麦克风采集到的声音通过语音识别模块25和文本生成模块24转化为文字，从而生成文本A，并将采集到语音通过语音合成模块23进行合成；

其中，为了实现处理的目的，本装置采用如下技术方案实现的：所述预处理端模块2连接端设有编码转换模块7，所述预处理端模块2与编码转换模块7电性连接，所述编码转换模块7分别与语音合成模块23和文本生成模块24电性连接，所述编码转换模块7包括分割语音拼图模块21和文本编序模块20，所述分割语音拼图模块21连接端分别设有拼图打乱收集模块19和拼图模板模块22，所述分割语音拼图模块21分别与拼图打乱收集模块19和拼图模板模块22电性连接，所述文本编序模块20连接端设有序号模板模块8和序号打乱收集模块18，所述文本编序模块20分别与序号模板模块8和序号打乱收集模块18电性连接，将合成的语音和文本A通过编码转换模块7进行编码转换，同时将语音拼图通过分割语音拼图模块21进行分割，通过拼图模板模块22生成语音拼图和拼图模板并保存，通过拼图打乱收集模块19将分割后的拼图打乱收集，通过文本编序模块20将文本A进行编序，通过序号模板模块8保存序号段排列顺序模板，通过序号打乱收集模块18对序号进行打乱收集；

其中，为了实现音频传输的目的，本装置采用如下技术方案实现的：所述音频传输端模块3包括合并输送模块9，所述合并输送模块9分别与序号模板模块8、序号打乱收集模块18、拼图打乱收集模块19和拼图模板模块22电性连接，通过合并输送模块9将文本A、拼图模板、序号模板、收集的拼图碎片和序号段进行合并传输；

其中，为了实现音频接收的目的，本装置采用如下技术方案实现的：所述音频接收端模块4包括新文本模块10和新音频模块17，所述新文本模块10和新音频模块17均与合并输送模块9电性连接，将收集的拼图碎片和序号段通过新文本模块10和新音频模块17自动组成新文本B和新音频；

其中，为了实现解析和播放的目的，本装置采用如下技术方案实现的：所述解析端模块5包括序号匹配模块11和拼图匹配模块16，所述序号匹配模块11与新文本模块10电性连接，所述拼图匹配模块16与新音频模块17电性连接，所述播放端模块6包括音频播放模块12和文本显示模块13，所述音频播放模块12和文本显示模块13连接端设有融合补偿模块14，所述音频播放模块12和文本显示模块13均与融合补偿模块14电性连接，所述融合补偿模块14连接端设有丢包模块15，所述融合补偿模块14与丢包模块15电性连接，所述丢包模块15分别与序号匹配模块11和拼图匹配模块16电性连接，将新文本B序号段填充，新音频进行拼图碎片拼接，根据序号模板与新文本B的序号通过序号匹配模块11进行匹配，根据拼图模板与新音频的拼图通过拼图匹配模块16进行匹配，新文本B进行序号段填充，新音频进行拼图碎片拼接，将对应不上的拼图碎片和文本序号段通过丢包模块15进行丢包处理，通过融合补偿模块14将其融合入新文本B和新音频中，将融合完成的新文本B通过文本显示模块13进行显示和新音频播放模块12进行播放。

其中，为了实现录音的目的，本装置采用如下技术方案实现的：所述音频采集端模块1包括桌台26，所述桌台26一侧固定设有电机31，所述桌台26内部开设有滑槽29，所述滑槽29内部通过轴承连接有丝杆28，所述丝杆28两端均与滑槽29侧壁通过轴承连接，所述电机31输出端与丝杆28固定连接，所述丝杆28外部套设有滑块30，所述丝杆28与滑块30通过螺纹连接，所述滑块30与滑槽29滑动连接，所述滑块30顶部固定连接有防护底座33，所述防护底座33顶部开设有内腔34，所述防护底座33顶部两侧均固定连接有连接壳35，两个所述连接壳35顶部设有连接块36，两个所述连接块36分别延伸入两个所述连接壳35内部，两个所述连接块36顶部分别固定连接有第一侧块38和第二侧块42，所述第一侧块38和第二侧块42之间设有连接柱39，所述第二侧块42一侧通过轴承连接有连接轴40，所述连接轴40外部固定套设有连接柱39，所述连接轴40另一端延伸入第一侧块38内部并与第一侧块38通过轴承连接，所述连接轴40一侧开设有方槽45，所述第一侧块38一侧通过螺纹连接有拉把41，所述拉把41一端固定连接有方块44，所述方块44一端延伸入方槽45内部并与方槽45滑动连接，所述拉把41另一端固定连接有旋钮43，所述连接柱39一侧固定连接有麦克风37，所述连接柱39另一侧固定连接有拉把41，所述音频采集端模块1一侧固定设有外壳32，所述外壳32固定套设有电机31，所述桌台26底部两侧均固定设有支撑腿27，启动电机31，电机31启动并带动丝杆28转动，由于滑块30被滑槽29限位，丝杆28转动并带动滑块30移动，滑块30移动并带动防护底座33移动，防护底座33移动并带动连接壳35移动，连接壳35移动并带动连接块36移动，连接块36移动并带动第一侧块38和第二侧块42移动，使第一侧块38和第二侧块42带动连接柱39，使连接柱39带动麦克风37移动和连接轴40移动，同时转动旋钮43，旋钮43转动并带动拉把41转动，拉把41转动着移动，同时拉把41带动方块44转动，使方块44带动方槽45转动，方槽45转动并带动连接轴40转动，使连接轴40带动连接柱39和麦克风37转动，方便角度的调节，方便收录声音，当不需要使用时，转动旋钮43，使麦克风37转动到朝下，此时推动拉把41向下，使拉把41推动连接柱39和第一侧块38和第二侧块42下移，使第一侧块38和第二侧块42推动连接块36下移，连接块36下移并进入连接壳35内，同时麦克风37进入内腔34内，使防护底座33对麦克风37进行保护。

本发明的使用过程如下：在使用本发明时，启动电机31，电机31启动并带动丝杆28转动，由于滑块30被滑槽29限位，丝杆28转动并带动滑块30移动，滑块30移动并带动防护底座33移动，防护底座33移动并带动连接壳35移动，连接壳35移动并带动连接块36移动，连接块36移动并带动第一侧块38和第二侧块42移动，使第一侧块38和第二侧块42带动连接柱39和连接轴40移动，使连接柱39带动麦克风37移动，同时转动旋钮43，旋钮43转动并带动拉把41转动，拉把41转动着移动，同时拉把41带动方块44转动，使方块44带动方槽45转动，方槽45转动并带动连接轴40转动，使连接轴40带动连接柱39和麦克风37转动，方便角度的调节，方便收录声音，当不需要使用时，转动旋钮43，使麦克风37转动到朝下，此时推动拉把41向下，使拉把41推动连接柱39和第一侧块38和第二侧块42下移，使第一侧块38和第二侧块42推动连接块36下移，连接块36下移并进入连接壳35内，同时麦克风37进入内腔34内，使防护底座33对麦克风37进行保护。

以上所述，仅是本发明的较佳实施例，任何熟悉本领域的技术人员均可能利用上述阐述的技术方案对本发明加以修改或将其修改为等同的技术方案。因此，依据本发明的技术方案所进行的任何简单修改或等同置换，尽属于本发明要求保护的范围。

Claims (9)

1.一种音频丢包补偿处理方法，其特征在于：具体步骤如下：

S1、音频采集：采集音频文件，同时将麦克风采集到的声音转化为文字，从而生成文本A，并将采集到语音进行合成；

S2、预处理：将合成的语音和文本A进行编码转换，同时将语音拼图进行分割，生成语音拼图和拼图模板并保存，将分割后的拼图打乱收集，将文本A进行编序，同时保存序号段排列顺序模板，并对序号进行打乱收集；

S3、音频传输：将文本A、拼图模板、序号模板、收集的拼图碎片和序号段

进行合并传输；

S4、音频接收：将收集的拼图碎片和序号段自动组成新文本B和新音频；

S5、解析：将新文本B序号段填充，新音频进行拼图碎片拼接，根据序号模板与新文本B的序号进行匹配，根据拼图模板与新音频的拼图进行匹配，新文本B进行序号段填充，新音频进行拼图碎片拼接，将对应不上的拼图碎片和文本序号段进行丢包处理，并将其融合入新文本B和新音频中；

S6、播放：将融合完成的新文本B进行显示和新音频进行播放。

2.一种音频丢包补偿处理系统，其特征在于：包括音频采集端模块（1）、预处理端模块（2）、音频传输端模块（3）、音频接收端模块（4）、解析端模块（5）和播放端模块（6），所述音频采集端模块（1）连接端设有语音识别模块（25），所述音频采集端模块（1）与语音识别模块（25）电线连接，所述语音识别模块（25）连接端设有文本生成模块（24），所述语音识别模块（25）与文本生成模块（24）电性连接，所述文本生成模块（24）连接端设有语音合成模块（23），所述文本生成模块（24）与语音合成模块（23）电性连接。

3.根据权利要求2所述的一种音频丢包补偿处理系统，其特征在于：所述预处理端模块（2）连接端设有编码转换模块（7），所述预处理端模块（2）与编码转换模块（7）电性连接，所述编码转换模块（7）分别与语音合成模块（23）和文本生成模块（24）电性连接，所述编码转换模块（7）包括分割语音拼图模块（21）和文本编序模块（20），所述分割语音拼图模块（21）连接端分别设有拼图打乱收集模块（19）和拼图模板模块（22），所述分割语音拼图模块（21）分别与拼图打乱收集模块（19）和拼图模板模块（22）电性连接，所述文本编序模块（20）连接端设有序号模板模块（8）和序号打乱收集模块（18），所述文本编序模块（20）分别与序号模板模块（8）和序号打乱收集模块（18）电性连接。

4.根据权利要求3所述的一种音频丢包补偿处理系统，其特征在于：所述音频传输端模块（3）包括合并输送模块（9），所述合并输送模块（9）分别与序号模板模块（8）、序号打乱收集模块（18）、拼图打乱收集模块（19）和拼图模板模块（22）电性连接。

5.根据权利要求4所述的一种音频丢包补偿处理系统，其特征在于：所述音频接收端模块（4）包括新文本模块（10）和新音频模块（17），所述新文本模块（10）和新音频模块（17）均与合并输送模块（9）电性连接。

6.根据权利要求5所述的一种音频丢包补偿处理系统，其特征在于：所述解析端模块（5）包括序号匹配模块（11）和拼图匹配模块（16），所述序号匹配模块（11）与新文本模块（10）电性连接，所述拼图匹配模块（16）与新音频模块（17）电性连接。

7.根据权利要求6所述的一种音频丢包补偿处理系统，其特征在于：所述播放端模块（6）包括音频播放模块（12）和文本显示模块（13），所述音频播放模块（12）和文本显示模块（13）连接端设有融合补偿模块（14），所述音频播放模块（12）和文本显示模块（13）均与融合补偿模块（14）电性连接，所述融合补偿模块（14）连接端设有丢包模块（15），所述融合补偿模块（14）与丢包模块（15）电性连接，所述丢包模块（15）分别与序号匹配模块（11）和拼图匹配模块（16）电性连接。

8.根据权利要求2所述的一种音频丢包补偿处理系统，其特征在于：所述音频采集端模块（1）包括桌台（26），所述桌台（26）一侧固定设有电机（31），所述桌台（26）内部开设有滑槽（29），所述滑槽（29）内部通过轴承连接有丝杆（28），所述丝杆（28）两端均与滑槽（29）侧壁通过轴承连接，所述电机（31）输出端与丝杆（28）固定连接，所述丝杆（28）外部套设有滑块（30），所述丝杆（28）与滑块（30）通过螺纹连接，所述滑块（30）与滑槽（29）滑动连接，所述滑块（30）顶部固定连接有防护底座（33），所述防护底座（33）顶部开设有内腔（34），所述防护底座（33）顶部两侧均固定连接有连接壳（35），两个所述连接壳（35）顶部设有连接块（36），两个所述连接块（36）分别延伸入两个所述连接壳（35）内部，两个所述连接块（36）顶部分别固定连接有第一侧块（38）和第二侧块（42），所述第一侧块（38）和第二侧块（42）之间设有连接柱（39），所述第二侧块（42）一侧通过轴承连接有连接轴（40），所述连接轴（40）外部固定套设有连接柱（39），所述连接轴（40）另一端延伸入第一侧块（38）内部并与第一侧块（38）通过轴承连接，所述连接轴（40）一侧开设有方槽（45），所述第一侧块（38）一侧通过螺纹连接有拉把（41），所述拉把（41）一端固定连接有方块（44），所述方块（44）一端延伸入方槽（45）内部并与方槽（45）滑动连接，所述拉把（41）另一端固定连接有旋钮（43），所述连接柱（39）一侧固定连接有麦克风（37），所述连接柱（39）另一侧固定连接有拉把（41）。

9.根据权利要求8所述的一种音频丢包补偿处理系统，其特征在于：所述音频采集端模块（1）一侧固定设有外壳（32），所述外壳（32）固定套设有电机（31），所述桌台（26）底部两侧均固定设有支撑腿（27）。

Images