CN117640976A - 一种直播环境下的低延迟语音识别与翻译方法、设备及存储介质 - Google Patents
一种直播环境下的低延迟语音识别与翻译方法、设备及存储介质 Download PDFInfo
- Publication number
- CN117640976A CN117640976A CN202311608014.7A CN202311608014A CN117640976A CN 117640976 A CN117640976 A CN 117640976A CN 202311608014 A CN202311608014 A CN 202311608014A CN 117640976 A CN117640976 A CN 117640976A
- Authority
- CN
- China
- Prior art keywords
- translation
- data
- network
- result
- text
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000013519 translation Methods 0.000 title claims abstract description 129
- 238000000034 method Methods 0.000 title claims abstract description 67
- 238000003860 storage Methods 0.000 title claims abstract description 15
- 238000012545 processing Methods 0.000 claims abstract description 41
- 238000007781 pre-processing Methods 0.000 claims abstract description 9
- 238000006243 chemical reaction Methods 0.000 claims abstract description 7
- 230000011218 segmentation Effects 0.000 claims abstract description 6
- 230000014616 translation Effects 0.000 claims description 125
- 230000005540 biological transmission Effects 0.000 claims description 46
- 238000012544 monitoring process Methods 0.000 claims description 46
- 238000005457 optimization Methods 0.000 claims description 31
- 238000004422 calculation algorithm Methods 0.000 claims description 23
- 230000008569 process Effects 0.000 claims description 21
- 238000009826 distribution Methods 0.000 claims description 19
- 230000001537 neural effect Effects 0.000 claims description 13
- 238000011156 evaluation Methods 0.000 claims description 12
- 238000013528 artificial neural network Methods 0.000 claims description 11
- 238000012549 training Methods 0.000 claims description 11
- 230000007246 mechanism Effects 0.000 claims description 9
- 230000009467 reduction Effects 0.000 claims description 9
- 230000002829 reductive effect Effects 0.000 claims description 9
- 238000012805 post-processing Methods 0.000 claims description 7
- 230000004044 response Effects 0.000 claims description 6
- 239000012634 fragment Substances 0.000 claims description 4
- 238000013468 resource allocation Methods 0.000 claims description 4
- 238000004458 analytical method Methods 0.000 claims description 3
- 230000003139 buffering effect Effects 0.000 claims description 3
- 230000015556 catabolic process Effects 0.000 claims description 3
- 238000004590 computer program Methods 0.000 claims description 3
- 238000010801 machine learning Methods 0.000 claims description 3
- 238000005516 engineering process Methods 0.000 description 26
- 238000001228 spectrum Methods 0.000 description 12
- 230000006870 function Effects 0.000 description 11
- 238000004891 communication Methods 0.000 description 10
- 238000005070 sampling Methods 0.000 description 10
- 238000013527 convolutional neural network Methods 0.000 description 8
- 230000003993 interaction Effects 0.000 description 7
- 230000005236 sound signal Effects 0.000 description 6
- 230000003595 spectral effect Effects 0.000 description 6
- 230000003044 adaptive effect Effects 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 4
- 238000012937 correction Methods 0.000 description 4
- 238000013461 design Methods 0.000 description 4
- 238000002592 echocardiography Methods 0.000 description 4
- 230000008713 feedback mechanism Effects 0.000 description 4
- 230000000306 recurrent effect Effects 0.000 description 4
- 230000001133 acceleration Effects 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 230000006872 improvement Effects 0.000 description 3
- 230000006835 compression Effects 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 230000001010 compromised effect Effects 0.000 description 2
- 238000005520 cutting process Methods 0.000 description 2
- 125000004122 cyclic group Chemical group 0.000 description 2
- 238000001035 drying Methods 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 230000000670 limiting effect Effects 0.000 description 2
- 238000007726 management method Methods 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 241000209140 Triticum Species 0.000 description 1
- 235000021307 Triticum Nutrition 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000004888 barrier function Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D30/00—Reducing energy consumption in communication networks
- Y02D30/70—Reducing energy consumption in communication networks in wireless communication networks
Landscapes
- Machine Translation (AREA)
Abstract
本发明提供一种直播环境下的低延迟语音识别与翻译方法、设备及存储介质，包括以下步骤：接收音频数据并进行预处理、对解包的音频数据进行初步处理、音频分割、语音文本转换、文本翻译、文本显示，用来解决目前直播环境下的语音识别和翻译延迟较高，特别是在高并发和大规模直播场景中，对硬件资源的依赖较高，导致成本较大的技术问题。
Description
技术领域
本发明主要涉及低延迟语音识别与翻译技术领域，具体涉及一种直播环境下的低延迟语音识别与翻译方法、设备及存储介质。
背景技术
在直播环境下，低延迟语音识别与翻译技术是为了实现实时的多语言交流和互动而提出的重要技术。其核心目标是确保不同语言背景的用户能够无缝交流，而不受语言障碍的限制。目前的技术方案包括以下主要组成部分：
1)自动语音识别是将语音信号转换为对应文本的基础技术。传统的ASR系统依赖于声学模型和语言模型，以及一些先验知识如发音词典。近年来，深度学习技术的引入极大提高了ASR系统的准确率和效率。
2)神经机器翻译是一种基于深度神经网络的翻译技术，它能够学习源语言和目标语言之间的复杂映射关系，为实现实时翻译提供了技术基础。
3)在直播环境中，降低系统延迟是至关重要的。延迟优化技术包括网络传输优化、算法和模型优化、以及边缘计算等，旨在降低语音识别和翻译的处理时间，以及网络传输的延迟。
4)为了提高处理速度和系统效率，采用并行处理和硬件加速技术是非常必要的。例如，GPU加速和多线程处理能够显著提高语音识别和翻译任务的处理速度。
5)实时交互技术包括实时网络传输协议、实时反馈机制和实时错误纠正等，它们能够保证直播环境中的实时性和交互性，为用户提供流畅的交流体验。
在多人交互的直播场景中，声纹识别与连麦技术能够帮助系统识别不同的发言者，为实现精准的语音识别和翻译提供重要信息。
直播环境下的低延迟语音识别与翻译技术领域，公知技术主要包括基本的语音识别技术和机器翻译技术。基本的语音识别技术，如自动语音识别(Automatic SpeechRecognition,ASR)，能够将语音信号转换为文本。而机器翻译技术，如神经机器翻译(Neural Machine Translation,NMT)，能够将一种语言的文本翻译为另一种语言的文本。这些基础技术为直播环境中的实时交互提供了基本的支持。
在目前现有的直播系统中，实现低延迟语音识别与翻译的技术方案通常是将语音识别和机器翻译两个步骤分开处理。首先，通过语音识别技术将语音信号转换为文本，然后将文本通过机器翻译系统转换为目标语言。虽然此方案能实现基本的语音识别与翻译功能，但由于两个步骤是分开处理的，可能会造成较高的处理延迟，不适用于对实时性要求较高的直播环境。
另外一种现有技术方案是采用端到端的语音翻译系统。该方案通过深度神经网络直接将源语言的语音信号转换为目标语言的文本，省去了中间的文本转换步骤，能够降低处理延迟。然而，这种方案可能需要大量的双语训练数据，且在处理复杂、多人交互的直播环境时可能会面临识别准确率和翻译质量的挑战。
这些现有技术方案各有利弊，但都未能很好地解决直播环境下的低延迟语音识别和翻译问题，特别是在高并发和大规模直播场景中，对硬件资源的依赖较高，导致成本较大。
需要说明的是，上述内容属于发明人的技术认知范畴，由于本领域的技术内容浩如烟海、过于庞杂，因此本申请的上述内容并不必然构成现有技术。
发明内容
1.发明要解决的技术问题
本发明的提供了一种直播环境下的低延迟语音识别与翻译方法、设备及存储介质，用以解决上述背景技术中存在的技术问题。
2.技术方案
为达到上述目的，本发明提供的技术方案为：一种直播环境下的低延迟语音识别与翻译方法，包括以下步骤：
接收音频数据并进行预处理，首先确定数据传输协议，在将音频数据捕获，将捕获的音频数据进行编码作业，编码后进行封包网络传输，随后在进行解包优化；
具体实施如下，选择WebSocket或者RTMP，它们能提供实时或接近实时的数据传输能力，在用户终端，音频数据通过内置或外接麦克风捕获。每个音频样本a_i(其中i表示样本索引)通常以一定的采样率Fs采样，例如44.1kHz或48kHz
ai＝f(i/Fs)
其中，f是连续的音频信号，采用44.1kHz或48kHz的高采样率对音频数据进行捕获，这样的做法显著提高了音频质量，确保了语音的细节和音调被准确捕捉。这种高精度的音频采集对于提高语音识别的准确度至关重要，特别是在复杂的声音环境中。同时，高采样率也有助于提升语音翻译的准确性和自然度，为用户提供更流畅、更真实的交流体验。此外，这种标准的高采样率保证了技术的广泛兼容性，使得本专利技术可以轻松集成到各类现有音频处理和播放设备中。
为减少网络带宽的使用和提高传输效率，音频数据在发送到后端服务器之前需要进行编码。采用AAC或Opus等音频编码格式将原始音频数据压缩
C(a)＝Encode(ai)
其中，C(a)是编码后的音频数据。
编码后的音频数据被封装成数据包，每个数据包可能包含一定数量的音频帧。数据包头部包含了重要的元数据，如时间戳、序列号和音频编码信息。
最后将音频数据包通过前述的数据传输协议发送到后端服务器。
对解包的音频数据进行初步处理，主要是对音频数据进行降噪、回声消除、编解码处理，提高后续的语音识别和翻译的准确性；
具体实施如下，降噪的目的是减少音频数据中的背景噪声，以改善语音识别的准确性。可以采用降噪算法包括谱减法(SpectralSubtraction)和Wiener滤波。
具体来说，谱减法通过估计噪声谱，并从原始信号谱中减去它来实现降噪。
Sd(f)＝S(f)-N(f)
其中，S(f)是原始信号的频谱，N(f)是噪声的频谱，Sd(f)是降噪后的信号频谱。
回声消除的目的是消除音频信号中的回声，提供清晰的语音信号给语音识别系统。自适应滤波器通过不断调整滤波器系数来最小化信号中的回声。
e(n)＝d(n)-h(k)·x(n-k)
其中，e(n)是误差信号，d(n)是接收信号，x(n)是发送信号，h(k)是滤波器系数，M是滤波器长度。
编解码是将音频数据从一种格式转换为另一种格式的过程，从PCM格式转换为AAC或Opus格式，以减小数据大小和适应网络传输。
编码和解码过程通常可以表示为：
C(a)＝Encode(ai)
ai＝Decode(C(a))
其中，C(a)是编码后的音频数据，ai是原始音频数据或解码后的音频数据，通过这三个步骤的初步处理，音频数据得以净化和优化，为后续的语音识别和翻译过程创建了良好的基础。这种处理不仅提高了语音识别的准确性，也优化了网络传输的效率，从而在直播环境中实现了低延迟的语音识别与翻译。
音频分割，将处理过的音频数据分割成适当的时间片段，确保音频数据的高效处理，同时保持了语音识别和翻译的准确性和实时性，为后续的处理步骤创建了良好的基础；
具体实施如下，时间片段长度设置在200ms到500ms之间
Tsegment＝N/Fs
其中，Tsegment是时间片段长度，N是音频样本数，Fs是采样率，如果时间片段过长，将增加处理延迟和计算负载；如果时间片段过短，可能会损害识别和翻译的准确性，此处采用200ms到500ms之间的时间片段长度，可以是翻译准确性较高并且计算负载较低。
在切割音频数据时，应用一个时间窗函数可以减少片段边界处的信号失真。此处采用汉宁窗或汉明窗的时间窗函数。
w(n)＝0.5-0.5·cos,0≤n≤N-1
其中，w(n)是窗函数值，N是窗的长度，n是样本索引。
音频数据根据设定的时间片段长度和窗函数，被切割成多个片段。每个片段都将单独送入语音识别系统。
asegment(n)＝a(n)·w(n-n0)
其中，asegment(n)是切割后的音频片段，a(n)是原始音频数据，n0是片段的开始样本索引。
为了保证连续的音频处理和减少边界效应，相邻的时间片段通常会有一定的重叠。同时，通过帧同步保证每个时间片段的开始和结束都与语音信号的自然边界对齐，从而减少信号失真和提高识别准确性。
本实施例中，通过精心设计的时间片段切割策略来处理音频数据流，目的是在保证数据处理效率和降低延迟的同时，维持音频信息的完整性和连贯性。此策略首先定义合适长度的时间片段，将连续音频流切割成多个独立处理的单元，这些片段长度经过优化，既足够短以确保快速处理，又足够长以保持语音的连贯性和上下文信息。时间片段长度的自适应调整是另一关键特性，根据音频特性和网络条件动态调整片段长度，以应对复杂的音频信号或网络波动。
本申请采用并行处理机制，多个时间片段可以同时进行识别和翻译，显著提升处理速度。缓冲区的管理确保时间片段按先进先出原则有序处理，维持数据流连续性。
语音文本转换，将音频分割后的音频片段进行特征提取，将提取好的特征送入预训练的语音识别模型，语音识别模型将文字识别后，经过解码得到最终的文本结果；
具体实施如下，在送入模型前，音频片段的特征需要被提取。常见的音频特征包括梅尔频率倒谱系数(MFCC)或者滤波器组(FBANK)特征。
MFCC＝DCT(log(Mel(S(f))))
其中，S(f)是音频片段的频谱，Mel(·)是梅尔滤波器组，DCT(·)是离散余弦变换。
将提取好的音频特征导入训练好的循环神经网络(RNN)、卷积神经网络(CNN)或者Transformer架构中。
模型输出的是一个概率分布，表示每个可能的字符或单词的概率P(w∣X)＝ASR(X)
其中，X是音频特征，P(w∣X)是给定音频特征时每个单词的概率分布，ASR(·)是语音识别模型。
语音识别模型的输出通常需要通过解码步骤来得到最终的文本结果。解码算法，如贝叶斯解码或束搜索，能够找到最可能的单词序列。
其中，是解码得到的单词序列。
预训练模型是经过大量语音数据训练得到的，覆盖了多种语言和口音，确保了模型对各种语音输入的广泛适应性和高识别准确度。这种模型通过深度学习技术，如卷积神经网络(CNN)或循环神经网络(RNN)，能够捕捉语音信号中的复杂模式，提升识别的准确性和鲁棒性。优秀的解码算法则负责将模型的输出转换为文字，这涉及复杂的概率计算和语言模型。解码算法优化了搜索过程，减少了计算开销，同时提高了转换的速度和准确性。结合这两个组件，本技术能够快速准确地处理大量并发的语音流，即便在嘈杂的环境下也能保持高水平的识别性能。此外，预训练模型的不断更新和优化，以及解码算法的持续改进，确保了本技术在不断变化的应用环境中始终保持领先地位。
文本翻译，将文本结果进行预处理，随后送入预训练的神经机器翻译模型内，进行翻译并优化，得到目标语言文本；
具体实施如下，预训练的神经机器翻译模型采用基于Transformer或循环神经网络(RNN)架构。这些模型能够捕获文本序列中的长距离依赖关系，并生成高质量的翻译结果。
源语言文本首先会经过预处理，包括分词、词干化、标准化等步骤，以便将文本转换为模型可以处理的格式。
Xpre＝Preprocess(wformatted)
其中，Xpre是预处理后的文本，wformatted是源语言文本。
预处理后的文本将被送入预训练的NMT模型进行翻译。模型将源语言文本映射到目标语言文本的概率分布上。
P(y∣Xpre)＝NMT(Xpre)
其中，P(y∣Xpre)是给定源语言文本时目标语言文本的概率分布，NMT(·)是神经机器翻译模型。
NMT模型的输出是目标语言文本的概率分布，我们需要通过解码算法，如贪婪解码或束搜索，来从这个概率分布中选择最可能的翻译结果。
其中，是解码得到的目标语言文本。
最后将得到的翻译结果进行后处理，例如，调整标点、修正大小写等，以确保输出结果的可读性和自然性。
通过以上步骤，源语言文本被有效地翻译成目标语言文本，为实现实时的多语言交流提供了技术支持。在此过程中，选择高质量的预训练NMT模型、有效的预处理和后处理步骤、以及高效的解码算法是至关重要的，以保证翻译结果的质量和实时性。同时，系统的设计也需考虑到不同语言对之间可能存在的翻译难度和模型性能差异，为不同的语言对选择或者调整适合的模型和处理流程。
文本显示，将目标语言文本发送回前端，目标语言文本格式化为前端可接受的数据格式，展示给用户。
具体实施如下，为确保前端能正确解析和显示翻译结果，需要将目标语言文本格式化为前端可接受的数据格式。
Fout＝FormatOutput(formatted)
其中，Fout是格式化后的输出数据，FormatOutput(·)是格式化操作，formatted是经过优化和格式化处理的目标语言文本。
通过适当的通信协议和数据传输机制，将格式化后的数据发送回前端。
前端接收到数据后，解析数据并将翻译结果展示给用户。
进一步的，数据的网络传输过程中可用网络路径的实时评估，通过路径向量协议和质量服务(QoS)标准的网络监测工具和算法，并检测网络延迟、带宽、丢包率等参数，采用机器学习或神经网络，分析网络数据，预测最佳的网络路径，并根据当前网络状况动态调整数据传输速率，实时监控网络的质量和传输性能指标，如延迟和带宽利用率，当网络拥堵或质量下降时，系统自动降低传输速率，反之则增加速率以提高效率，实施了缓冲和预测机制，通过在本地暂存数据应对网络波动，同时利用历史和当前网络性能数据预测未来状况，优化传输策略。
进一步的，语音识别模型将文字识别包括以下步骤，
解码与文本生成，语音识别模型输出的通常是每个时间步对应的字符或单词的概率分布，通过贪婪解码或束搜索，从这些概率分布中选取最可能的字符或单词序列作为识别结果
其中，是解码得到的单词序列，P(w∣X)是给定音频特征时每个单词的概率分布，X是音频特征；
结果优化，得到初始识别结果后，可能会通过后处理步骤如语言模型重打分，来进一步优化识别结果，以增加结果的准确性和自然性
其中，PLM(w)是语言模型为识别结果赋予的概率，是优化后的识别结果；
结果格式化，为了便于后续的处理和展示，识别结果可能需要进行格式化处理，例如，添加标点、修正大小写、去除多余空格；
结果评估，我们可能会评估识别结果的质量，例如计算词错误率(WordErrorRate,WER)，以便于监控和优化系统性能
其中，S是替换的单词数，D是删除的单词数，I是插入的单词数，N是参考文本的单词数。
进一步的，为了训练合适的神经机器翻译模型，还会对翻译结果进行校对并调整模型参数，其过程包括；
模型打分，通过语言模型进行重打分，排除掉可能的错误翻译
其中，是校验后的目标语言文本，PLM(y)是语言模型为目标语言文本赋予的概率；
结果优化，根据应用场景的特定需求，可能会对翻译结果进行一些优化操作。
结果格式化，对翻译结果添加标点、修正大小写、去除多余空格等；
结果评估，通过结果评估来对语音模型进行调整改进，或者进行更换，计算BLEU分数，以便于监控和优化系统性能
其中，BP是呼叫惩罚，wn是每个n-gram的权重，pn是n-gram的精确度。
进一步的，还包括数据传输过程中的监控系统，包括以下步骤；
网络延迟监控，监控网络延迟是评估系统实时性的基础，采用Round-TripTime(RTT)作为网络延迟的指标
RTT＝tresponse-trequest其中，trequest是发送请求的时间，tresponse是收到响应的时间；
识别准确率监控，通过与标准答案的比对，计算识别的准确率。常用的指标包括WordErrorRate(WER)
其中，S是替换的词数，D是删除的词数，I是插入的词数，N是参考词数；
翻译准确率监控，通过与标准答案的比对，采用BLEU分数进行判定
其中，BP是呼叫惩罚，wn是每个n-gram的权重，pn是n-gram的精确度；
错误监控，对网络错误、数据丢失、系统崩溃等错误进行记录，记录成错误日志便于后续分析；
性能数据汇总和分析，根据上述性能数据和错误日志进行汇总和分析，识别系统的瓶颈和问题，为后续优化提供依据。
进一步的，根据监控系统结果调整系统参数和资源分配，以优化性能和准确率，包括以下步骤；
参数调优，据性能监控的结果，对系统参数进行调优，以提高识别和翻译的准确率；
资源重新分配，根据系统的实时需求和监控数据，对资源进行重新分配，包括网络带宽、计算资源和存储资源等；
模型更新，采用新的训练数据或者更新算法对系统中的模型进行更新，以提高系统的准确率；
错误修复，根据错误监控的结果，快速定位和修复系统中的错误，以保证系统的稳定运行；
性能反馈循环将优化结果反馈到监控系统，形成一个持续的性能优化反馈循环。
进一步的，在目标语言文本发送回前端过程中还有用户反馈收集步骤以及错误处理机制确保系统的健壮性。
根据本发明实施例的又一方面，还提供一种直播环境下的低延迟语音识别与翻译装置，所述装置包括至少一个处理器以及至少一个存储器；所述至少一个存储器用于存储计算机指令；所述至少一个处理器用于执行所述计算机指令中的至少部分指令以实现如上述任意一项所述的直播环境下的低延迟语音识别与翻译方法。
根据本发明实施例的又一方面，还提供一种计算机可读存储介质，所述存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上述直播环境下的低延迟语音识别与翻译方法。
3.有益效果
采用本发明提供的技术方案，与现有技术相比，具有如下有益效果：
本发明设计合理，利用合理的翻译传输方式，以及搭配神经网络模型结构和算法，显著降低了对硬件资源的依赖，实现了语音识别与翻译任务的高效处理；
通过设置数据传输过程中的监控系统搭配用户反馈收集步骤，实时监控当前的工作负载和资源利用情况，使用预测模型预测未来的资源需求，并据此提前调整资源分配，以避免潜在的资源瓶颈；
采用更为先进和高效的网络传输优化技术，降低了网络传输的延迟，提高了系统的实时性和用户体验，确保了语音数据和文本数据的快速、准确传输；
引入实时交互技术，用户反馈收集，进一步提高了直播环境下的交互性和用户满意度。这是通过采用实时的网络传输协议和反馈机制，以及实时的错误检测和纠正技术实现的，确保了用户在直播过程中能够得到及时、准确的语音识别与翻译结果，从而实现流畅的多语言交互和全球化交流。
综上所述，本申请提案通过一系列技术创新和优化措施，相较于现有依赖硬件加速的技术方案，实现了更为低延迟、高效和准确的语音识别与翻译技术，为直播平台提供了一种可行且高效的技术解决方案，有助于推动直播平台的全球化发展和多语种交互的流畅性。
需要说明的是，本发明未介绍的结构由于不涉及本发明的设计要点及改进方向，均与现有技术相同或者可采用现有技术加以实现在此不做赘述。
附图说明
图1为本发明的方法的流程示意图。
具体实施方式
为了便于理解本发明，下面将参照相关附图对本发明进行更全面的描述，附图中给出了本发明的若干实施例，但是，本发明可以以许多不同的形式来实现，并不限于本文所描述的实施例，相反地，提供这些实施例的目的是使对本发明的公开内容更加透彻全面。
在本发明的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“长度”、“宽度”、“厚度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“页”、“底”“内”、“外”、"顺时针”、“逆时针”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。
在本发明中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”、“固定”、“设有”、“设于”等术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。
实施例
参照附图1，一种直播环境下的低延迟语音识别与翻译方法，包括以下步骤：
接收音频数据并进行预处理，首先确定数据传输协议，在将音频数据捕获，将捕获的音频数据进行编码作业，编码后进行封包网络传输，随后在进行解包优化；
具体实施如下，选择WebSocket或者RTMP，它们能提供实时或接近实时的数据传输能力，在用户终端，音频数据通过内置或外接麦克风捕获。每个音频样本a_i(其中i表示样本索引)通常以一定的采样率Fs采样，例如44.1kHz或48kHz
ai＝f(i/Fs)
其中，f是连续的音频信号，采用44.1kHz或48kHz的高采样率对音频数据进行捕获，这样的做法显著提高了音频质量，确保了语音的细节和音调被准确捕捉。这种高精度的音频采集对于提高语音识别的准确度至关重要，特别是在复杂的声音环境中。同时，高采样率也有助于提升语音翻译的准确性和自然度，为用户提供更流畅、更真实的交流体验。此外，这种标准的高采样率保证了技术的广泛兼容性，使得本专利技术可以轻松集成到各类现有音频处理和播放设备中。
为减少网络带宽的使用和提高传输效率，音频数据在发送到后端服务器之前需要进行编码。采用AAC或Opus等音频编码格式将原始音频数据压缩
C(a)＝Encode(ai)
其中，C(a)是编码后的音频数据。
编码后的音频数据被封装成数据包，每个数据包可能包含一定数量的音频帧。数据包头部包含了重要的元数据，如时间戳、序列号和音频编码信息。
最后将音频数据包通过前述的数据传输协议发送到后端服务器。
对解包的音频数据进行初步处理，主要是对音频数据进行降噪、回声消除、编解码处理，提高后续的语音识别和翻译的准确性；
具体实施如下，降噪的目的是减少音频数据中的背景噪声，以改善语音识别的准确性。可以采用降噪算法包括谱减法(SpectralSubtraction)和Wiener滤波。
具体来说，谱减法通过估计噪声谱，并从原始信号谱中减去它来实现降噪。
Sd(f)＝S(f)-N(f)
其中，S(f)是原始信号的频谱，N(f)是噪声的频谱，Sd(f)是降噪后的信号频谱。
回声消除的目的是消除音频信号中的回声，提供清晰的语音信号给语音识别系统。自适应滤波器通过不断调整滤波器系数来最小化信号中的回声。
e(n)＝d(n)-h(k)·x(n-k)
其中，e(n)是误差信号，d(n)是接收信号，x(n)是发送信号，h(k)是滤波器系数，M是滤波器长度。
编解码是将音频数据从一种格式转换为另一种格式的过程，从PCM格式转换为AAC或Opus格式，以减小数据大小和适应网络传输。
编码和解码过程通常可以表示为：
C(a)＝Encode(ai)
ai＝Decode(C(a))
其中，C(a)是编码后的音频数据，ai是原始音频数据或解码后的音频数据，通过这三个步骤的初步处理，音频数据得以净化和优化，为后续的语音识别和翻译过程创建了良好的基础。这种处理不仅提高了语音识别的准确性，也优化了网络传输的效率，从而在直播环境中实现了低延迟的语音识别与翻译。
音频分割，将处理过的音频数据分割成适当的时间片段，确保音频数据的高效处理，同时保持了语音识别和翻译的准确性和实时性，为后续的处理步骤创建了良好的基础；
具体实施如下，时间片段长度设置在200ms到500ms之间
Tsegment＝N/Fs
其中，Tsegment是时间片段长度，N是音频样本数，Fs是采样率，如果时间片段过长，将增加处理延迟和计算负载；如果时间片段过短，可能会损害识别和翻译的准确性，此处采用200ms到500ms之间的时间片段长度，可以是翻译准确性较高并且计算负载较低。
在切割音频数据时，应用一个时间窗函数可以减少片段边界处的信号失真。此处采用汉宁窗或汉明窗的时间窗函数。
w(n)＝0.5-0.5•cos,0≤n≤N-1
其中，w(n)是窗函数值，N是窗的长度，n是样本索引。
音频数据根据设定的时间片段长度和窗函数，被切割成多个片段。每个片段都将单独送入语音识别系统。
asegment(n)＝a(n)•w(n-n0)
其中，asegment(n)是切割后的音频片段，a(n)是原始音频数据，n0是片段的开始样本索引。
为了保证连续的音频处理和减少边界效应，相邻的时间片段通常会有一定的重叠。同时，通过帧同步保证每个时间片段的开始和结束都与语音信号的自然边界对齐，从而减少信号失真和提高识别准确性。
本实施例中，通过精心设计的时间片段切割策略来处理音频数据流，目的是在保证数据处理效率和降低延迟的同时，维持音频信息的完整性和连贯性。此策略首先定义合适长度的时间片段，将连续音频流切割成多个独立处理的单元，这些片段长度经过优化，既足够短以确保快速处理，又足够长以保持语音的连贯性和上下文信息。时间片段长度的自适应调整是另一关键特性，根据音频特性和网络条件动态调整片段长度，以应对复杂的音频信号或网络波动。
本申请采用并行处理机制，多个时间片段可以同时进行识别和翻译，显著提升处理速度。缓冲区的管理确保时间片段按先进先出原则有序处理，维持数据流连续性。
语音文本转换，将音频分割后的音频片段进行特征提取，将提取好的特征送入预训练的语音识别模型，语音识别模型将文字识别后，经过解码得到最终的文本结果；
具体实施如下，在送入模型前，音频片段的特征需要被提取。常见的音频特征包括梅尔频率倒谱系数(MFCC)或者滤波器组(FBANK)特征。
MFCC＝DCT(log(Mel(S(f))))
其中，S(f)是音频片段的频谱，Mel(•)是梅尔滤波器组，DCT(·)是离散余弦变换。
将提取好的音频特征导入训练好的循环神经网络(RNN)、卷积神经网络(CNN)或者Transformer架构中。
模型输出的是一个概率分布，表示每个可能的字符或单词的概率P(w∣X)＝ASR(X)
其中，X是音频特征，P(w∣X)是给定音频特征时每个单词的概率分布，ASR(•)是语音识别模型。
语音识别模型的输出通常需要通过解码步骤来得到最终的文本结果。解码算法，如贝叶斯解码或束搜索，能够找到最可能的单词序列。
其中，是解码得到的单词序列。
预训练模型是经过大量语音数据训练得到的，覆盖了多种语言和口音，确保了模型对各种语音输入的广泛适应性和高识别准确度。这种模型通过深度学习技术，如卷积神经网络(CNN)或循环神经网络(RNN)，能够捕捉语音信号中的复杂模式，提升识别的准确性和鲁棒性。优秀的解码算法则负责将模型的输出转换为文字，这涉及复杂的概率计算和语言模型。解码算法优化了搜索过程，减少了计算开销，同时提高了转换的速度和准确性。结合这两个组件，本技术能够快速准确地处理大量并发的语音流，即便在嘈杂的环境下也能保持高水平的识别性能。此外，预训练模型的不断更新和优化，以及解码算法的持续改进，确保了本技术在不断变化的应用环境中始终保持领先地位。
文本翻译，将文本结果进行预处理，随后送入预训练的神经机器翻译模型内，进行翻译并优化，得到目标语言文本；
具体实施如下，预训练的神经机器翻译模型采用基于Transformer或循环神经网络(RNN)架构。这些模型能够捕获文本序列中的长距离依赖关系，并生成高质量的翻译结果。
源语言文本首先会经过预处理，包括分词、词干化、标准化等步骤，以便将文本转换为模型可以处理的格式。
Xpre＝Preprocess(wformatted)
其中，Xpre是预处理后的文本，wformatted是源语言文本。
预处理后的文本将被送入预训练的NMT模型进行翻译。模型将源语言文本映射到目标语言文本的概率分布上。
P(y∣Xpre)＝NMT(Xpre)
其中，P(y∣Xpre)是给定源语言文本时目标语言文本的概率分布，NMT(·)是神经机器翻译模型。
NMT模型的输出是目标语言文本的概率分布，我们需要通过解码算法，如贪婪解码或束搜索，来从这个概率分布中选择最可能的翻译结果。
其中，是解码得到的目标语言文本。
最后将得到的翻译结果进行后处理，例如，调整标点、修正大小写等，以确保输出结果的可读性和自然性。
通过以上步骤，源语言文本被有效地翻译成目标语言文本，为实现实时的多语言交流提供了技术支持。在此过程中，选择高质量的预训练NMT模型、有效的预处理和后处理步骤、以及高效的解码算法是至关重要的，以保证翻译结果的质量和实时性。同时，系统的设计也需考虑到不同语言对之间可能存在的翻译难度和模型性能差异，为不同的语言对选择或者调整适合的模型和处理流程。
文本显示，将目标语言文本发送回前端，目标语言文本格式化为前端可接受的数据格式，展示给用户。
具体实施如下，为确保前端能正确解析和显示翻译结果，需要将目标语言文本格式化为前端可接受的数据格式。
Fout＝FormatOutput(formatted)
其中，Fout是格式化后的输出数据，FormatOutput(·)是格式化操作，formatted是经过优化和格式化处理的目标语言文本。
通过适当的通信协议和数据传输机制，将格式化后的数据发送回前端。
前端接收到数据后，解析数据并将翻译结果展示给用户。
数据的网络传输过程中可用网络路径的实时评估，通过路径向量协议和质量服务(QoS)标准的网络监测工具和算法，并检测网络延迟、带宽、丢包率等参数，采用机器学习或神经网络，分析网络数据，预测最佳的网络路径，并根据当前网络状况动态调整数据传输速率，实时监控网络的质量和传输性能指标，如延迟和带宽利用率，当网络拥堵或质量下降时，系统自动降低传输速率，反之则增加速率以提高效率，实施了缓冲和预测机制，通过在本地暂存数据应对网络波动，同时利用历史和当前网络性能数据预测未来状况，优化传输策略。
语音识别模型将文字识别包括以下步骤，
解码与文本生成，语音识别模型输出的通常是每个时间步对应的字符或单词的概率分布，通过贪婪解码或束搜索，从这些概率分布中选取最可能的字符或单词序列作为识别结果
其中，是解码得到的单词序列，P(w∣X)是给定音频特征时每个单词的概率分布，X是音频特征；
结果优化，得到初始识别结果后，可能会通过后处理步骤如语言模型重打分，来进一步优化识别结果，以增加结果的准确性和自然性
其中，PLM(w)是语言模型为识别结果赋予的概率，是优化后的识别结果；
结果格式化，为了便于后续的处理和展示，识别结果可能需要进行格式化处理，例如，添加标点、修正大小写、去除多余空格；
结果评估，我们可能会评估识别结果的质量，例如计算词错误率(WordErrorRate,WER)，以便于监控和优化系统性能
其中，S是替换的单词数，D是删除的单词数，I是插入的单词数，N是参考文本的单词数。
通过以上步骤，我们能够从音频片段中获取源语言文本，为后续的翻译步骤提供基础。同时，通过结果优化和格式化处理，确保识别结果的准确性和可读性，为实现高质量的实时语音翻译提供了重要支持。
为了训练合适的神经机器翻译模型，还会对翻译结果进行校对并调整模型参数，其过程包括；
模型打分，通过语言模型进行重打分，排除掉可能的错误翻译
/>
其中，是校验后的目标语言文本，PLM(y)是语言模型为目标语言文本赋予的概率；
结果优化，根据应用场景的特定需求，可能会对翻译结果进行一些优化操作，例如，调整文本格式、修正语法错误等，在模型选择时采用不同场景下的语境进行训练，进而提高翻译准确度，例如若翻译的是学生之间的讨论，可针对学生常用的词库进行更新模型。
结果格式化，对翻译结果添加标点、修正大小写、去除多余空格等；
结果评估，通过结果评估来对语音模型进行调整改进，或者进行更换，计算BLEU分数，以便于监控和优化系统性能
其中，BP是呼叫惩罚，wn是每个n-gram的权重，pn是n-gram的精确度。
通过以上步骤，我们不仅获取了翻译结果，同时也确保了翻译结果的质量和可用性，在此过程中，结果校验和优化是关键，它们能够大幅提升翻译结果的准确性和自然性，从而满足实时翻译的高质量要求，同时，结果格式化和评估也为后续步骤提供了重要的支持，包括但不限于结果展示、用户反馈收集、系统优化等。
还包括数据传输过程中的监控系统，包括以下步骤；
网络延迟监控，监控网络延迟是评估系统实时性的基础，采用Round-TripTime(RTT)作为网络延迟的指标
RTT＝tresponse-trequest
其中，trequest是发送请求的时间，tresponse是收到响应的时间；
识别准确率监控，通过与标准答案的比对，计算识别的准确率。常用的指标包括WordErrorRate(WER)
其中，S是替换的词数，D是删除的词数，I是插入的词数，N是参考词数；
翻译准确率监控，通过与标准答案的比对，采用BLEU分数进行判定
其中，BP是呼叫惩罚，wn是每个n-gram的权重，pn是n-gram的精确度；
错误监控，对网络错误、数据丢失、系统崩溃等错误进行记录，记录成错误日志便于后续分析；
性能数据汇总和分析，根据上述性能数据和错误日志进行汇总和分析，识别系统的瓶颈和问题，为后续优化提供依据。
通过上述步骤，我们不仅可以实时监控系统的性能和错误，还能通过分析收集到的数据，不断优化系统，提高其准确率和实时性，从而更好地满足直播环境下的低延迟语音识别与翻译技术的需求。
根据监控系统结果调整系统参数和资源分配，以优化性能和准确率，包括以下步骤；
参数调优，据性能监控的结果，对系统参数进行调优，以提高识别和翻译的准确率；
资源重新分配，根据系统的实时需求和监控数据，对资源进行重新分配，包括网络带宽、计算资源和存储资源等；
模型更新，采用新的训练数据或者更新算法对系统中的模型进行更新，以提高系统的准确率；
错误修复，根据错误监控的结果，快速定位和修复系统中的错误，以保证系统的稳定运行；
性能反馈循环将优化结果反馈到监控系统，形成一个持续的性能优化反馈循环。
通过上述步骤，形成了一个闭环的系统优化过程。系统参数的调优、资源的重新分配、模型的更新和错误的修复，以及性能反馈循环，共同作用，不断推动系统向更高的性能和准确率方向发展，满足直播环境下的低延迟语音识别与翻译技术的需求。
在目标语言文本发送回前端过程中还有用户反馈收集步骤以及错误处理机制确保系统的健壮性，系统通过实时监控功能，持续检测音频处理、网络传输和数据解码过程中的潜在错误，如信号丢失、数据损坏或延迟过高。对于检测到的任何异常情况，系统立即启动自动错误诊断程序，通过分析错误模式和上下文，准确定位问题根源。一旦确定错误类型，系统根据预设的规则和算法自动采取纠正措施，如数据重传、信号重建或临时切换至备用网络路径。在处理关键数据时，系统会实施数据备份策略，确保在发生严重故障时能够快速恢复至最近的安全状态。此外，系统具备自适应调整能力，能根据历史错误记录和当前操作环境，动态调整其参数和设置，以预防类似错误的再次发生。用户反馈机制也是错误处理流程的重要组成部分，系统允许用户报告遇到的问题，并提供必要的手动干预选项。系统还定期进行性能和稳定性评估，基于评估结果执行软件更新和硬件维护，以提高系统的整体鲁棒性和可靠性。前端可能会提供用户反馈机制，以收集用户对翻译质量的评价，为后续系统优化提供参考。
一种直播环境下的低延迟语音识别与翻译装置，所述装置包括至少一个处理器以及至少一个存储器；所述至少一个存储器用于存储计算机指令；所述至少一个处理器用于执行所述计算机指令中的至少部分指令以实现上述直播环境下的低延迟语音识别与翻译方法,所述存储器包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他光学、磁性存储介质，在此不再一一赘述。
一种存储介质，所述存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现上述直播环境下的低延迟语音识别与翻译方法。
上述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述实施例仅表达了本发明的某种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制；应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围；因此，本发明专利的保护范围应以所附权利要求为准。
Claims (9)
1.一种直播环境下的低延迟语音识别与翻译方法，其特征在于：包括以下步骤：
接收音频数据并进行预处理，首先确定数据传输协议，在将音频数据捕获，将捕获的音频数据进行编码作业，编码后进行封包网络传输，随后在进行解包优化；
对解包的音频数据进行初步处理，主要是对音频数据进行降噪、回声消除、编解码处理，提高后续的语音识别和翻译的准确性；
音频分割，将处理过的音频数据分割成适当的时间片段，确保音频数据的高效处理，同时保持了语音识别和翻译的准确性和实时性，为后续的处理步骤创建了良好的基础；
语音文本转换，将音频分割后的音频片段进行特征提取，将提取好的特征送入预训练的语音识别模型，语音识别模型将文字识别后，经过解码得到最终的文本结果；
文本翻译，将文本结果进行预处理，随后送入预训练的神经机器翻译模型内，进行翻译并优化，得到目标语言文本；
文本显示，将目标语言文本发送回前端，目标语言文本格式化为前端可接受的数据格式，展示给用户。
2.根据权利要求1所述的一种直播环境下的低延迟语音识别与翻译方法，其特征在于：数据的网络传输过程中可用网络路径的实时评估，通过路径向量协议和质量服务(QoS)标准的网络监测工具和算法，并检测网络延迟、带宽、丢包率等参数，采用机器学习或神经网络，分析网络数据，预测最佳的网络路径，并根据当前网络状况动态调整数据传输速率，实时监控网络的质量和传输性能指标，如延迟和带宽利用率，当网络拥堵或质量下降时，系统自动降低传输速率，反之则增加速率以提高效率，实施了缓冲和预测机制，通过在本地暂存数据应对网络波动，同时利用历史和当前网络性能数据预测未来状况，优化传输策略。
3.根据权利要求1所述的一种直播环境下的低延迟语音识别与翻译方法，其特征在于：语音识别模型将文字识别包括以下步骤，
解码与文本生成，语音识别模型输出的通常是每个时间步对应的字符或单词的概率分布，通过贪婪解码或束搜索，从这些概率分布中选取最可能的字符或单词序列作为识别结果
其中，是解码得到的单词序列，P(w∣X)是给定音频特征时每个单词的概率分布，X是音频特征；
结果优化，得到初始识别结果后，可能会通过后处理步骤如语言模型重打分，来进一步优化识别结果，以增加结果的准确性和自然性
其中，PLM(w)是语言模型为识别结果赋予的概率，是优化后的识别结果；
结果格式化，为了便于后续的处理和展示，识别结果可能需要进行格式化处理，例如，添加标点、修正大小写、去除多余空格；
结果评估，我们可能会评估识别结果的质量，例如计算词错误率(WordErrorRate,WER)，以便于监控和优化系统性能
其中，S是替换的单词数，D是删除的单词数，I是插入的单词数，N是参考文本的单词数。
4.根据权利要求1所述的一种直播环境下的低延迟语音识别与翻译方法，其特征在于：为了训练合适的神经机器翻译模型，还会对翻译结果进行校对并调整模型参数，其过程包括；
模型打分，通过语言模型进行重打分，排除掉可能的错误翻译
其中，是校验后的目标语言文本，PLM(y)是语言模型为目标语言文本赋予的概率；
结果优化，根据应用场景的特定需求，可能会对翻译结果进行一些优化操作；
结果格式化，对翻译结果添加标点、修正大小写、去除多余空格等；
结果评估，通过结果评估来对语音模型进行调整改进，或者进行更换，计算BLEU分数，以便于监控和优化系统性能
其中，BP是呼叫惩罚，wn是每个n-gram的权重，pn是n-gram的精确度。
5.根据权利要求1所述的一种直播环境下的低延迟语音识别与翻译方法，其特征在于：还包括数据传输过程中的监控系统，包括以下步骤；
网络延迟监控，监控网络延迟是评估系统实时性的基础，采用Round-TripTime(RTT)作为网络延迟的指标
RTT＝tresponse-trequest
其中，trequest是发送请求的时间，tresponse是收到响应的时间；识别准确率监控，通过与标准答案的比对，计算识别的准确率。常用的指标包括WordErrorRate(WER)
其中，S是替换的词数，D是删除的词数，I是插入的词数，N是参考词数；
翻译准确率监控，通过与标准答案的比对，采用BLEU分数进行判定
其中，BP是呼叫惩罚，wn是每个n-gram的权重，pn是n-gram的精确度；
错误监控，对网络错误、数据丢失、系统崩溃等错误进行记录，记录成错误日志便于后续分析；
性能数据汇总和分析，根据上述性能数据和错误日志进行汇总和分析，识别系统的瓶颈和问题，为后续优化提供依据。
6.根据权利要求5所述的一种直播环境下的低延迟语音识别与翻译方法，其特征在于：根据监控系统结果调整系统参数和资源分配，以优化性能和准确率，包括以下步骤；
参数调优，据性能监控的结果，对系统参数进行调优，以提高识别和翻译的准确率；
资源重新分配，根据系统的实时需求和监控数据，对资源进行重新分配，包括网络带宽、计算资源和存储资源等；
模型更新，采用新的训练数据或者更新算法对系统中的模型进行更新，以提高系统的准确率；
错误修复，根据错误监控的结果，快速定位和修复系统中的错误，以保证系统的稳定运行；
性能反馈循环将优化结果反馈到监控系统，形成一个持续的性能优化反馈循环。
7.根据权利要求1所述的一种直播环境下的低延迟语音识别与翻译方法，其特征在于：在目标语言文本发送回前端过程中还有用户反馈收集步骤以及错误处理机制确保系统的健壮性。
8.一种直播环境下的低延迟语音识别与翻译装置，其特征在于，所述装置包括至少一个处理器以及至少一个存储器；所述至少一个存储器用于存储计算机指令；所述至少一个处理器用于执行所述计算机指令中的至少部分指令以实现如权利要求1至7中任意一项所述的直播环境下的低延迟语音识别与翻译方法。
9.一种存储介质，其特征在于，所述存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至7中任一项所述的直播环境下的低延迟语音识别与翻译方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311608014.7A CN117640976A (zh) | 2023-11-29 | 2023-11-29 | 一种直播环境下的低延迟语音识别与翻译方法、设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311608014.7A CN117640976A (zh) | 2023-11-29 | 2023-11-29 | 一种直播环境下的低延迟语音识别与翻译方法、设备及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117640976A true CN117640976A (zh) | 2024-03-01 |
Family
ID=90037093
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311608014.7A Pending CN117640976A (zh) | 2023-11-29 | 2023-11-29 | 一种直播环境下的低延迟语音识别与翻译方法、设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117640976A (zh) |
-
2023
- 2023-11-29 CN CN202311608014.7A patent/CN117640976A/zh active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20200402500A1 (en) | Method and device for generating speech recognition model and storage medium | |
| CN111968679B (zh) | 情感识别方法、装置、电子设备及存储介质 | |
| KR101183344B1 (ko) | 사용자 정정들을 이용한 자동 음성 인식 학습 | |
| CN111508498B (zh) | 对话式语音识别方法、系统、电子设备和存储介质 | |
| KR20200086214A (ko) | 절단 어텐션에 기반하는 실시간 음성 인식 방법, 장치, 기기 및 컴퓨터 판독 가능 저장 매체 | |
| CN112786052B (zh) | 语音识别方法、电子设备和存储装置 | |
| CN110265001B (zh) | 用于语音识别训练的语料筛选方法、装置及计算机设备 | |
| CN111312219B (zh) | 电话录音标注方法、系统、存储介质和电子设备 | |
| JP2023542685A (ja) | 音声認識方法、音声認識装置、コンピュータ機器、及びコンピュータプログラム | |
| US20220189491A1 (en) | Speech transmission method, system and apparatus, computer-readable storage medium, and device | |
| WO2023056783A1 (zh) | 音频处理方法、相关设备、存储介质及程序产品 | |
| EP4297025A1 (en) | Audio signal enhancement method and apparatus, computer device, storage medium, and computer program product | |
| CN111951828B (zh) | 发音测评方法、装置、系统、介质和计算设备 | |
| US11714973B2 (en) | Methods and systems for control of content in an alternate language or accent | |
| CN111951796A (zh) | 语音识别方法及装置、电子设备、存储介质 | |
| CN112908301A (zh) | 一种语音识别方法、装置、存储介质及设备 | |
| WO2022203698A1 (en) | Efficient streaming non-recurrent on-device end-to-end model | |
| CN115985342A (zh) | 发音检错方法、装置、电子设备和存储介质 | |
| KR20230158608A (ko) | 종단 간 자동 음성 인식 신뢰도 및 삭제 추정을 위한 멀티태스크 학습 | |
| EP4388527A1 (en) | Large-scale language model data selection for rare-word speech recognition | |
| CN112541324A (zh) | 一种标点符号添加方法、装置及电子设备 | |
| CN113782042A (zh) | 语音合成方法、声码器的训练方法、装置、设备及介质 | |
| CN117634508A (zh) | 实时视频直播的云计算生成式翻译方法、装置及存储介质 | |
| CN117640976A (zh) | 一种直播环境下的低延迟语音识别与翻译方法、设备及存储介质 | |
| CN111785299A (zh) | 一种语音测评方法、装置、设备及计算机存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |