CN112183084A - 一种音视频数据处理方法和装置及设备 - Google Patents
一种音视频数据处理方法和装置及设备 Download PDFInfo
- Publication number
- CN112183084A CN112183084A CN202010929123.9A CN202010929123A CN112183084A CN 112183084 A CN112183084 A CN 112183084A CN 202010929123 A CN202010929123 A CN 202010929123A CN 112183084 A CN112183084 A CN 112183084A
- Authority
- CN
- China
- Prior art keywords
- word vector
- word
- context
- degree
- semantic units
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 9
- 239000013598 vector Substances 0.000 claims abstract description 334
- 238000000034 method Methods 0.000 claims abstract description 50
- 238000012545 processing Methods 0.000 claims abstract description 24
- 230000007246 mechanism Effects 0.000 claims description 33
- 238000000605 extraction Methods 0.000 claims description 19
- 238000004422 calculation algorithm Methods 0.000 claims description 9
- 238000012886 linear function Methods 0.000 claims description 7
- 230000006870 function Effects 0.000 description 18
- 230000008569 process Effects 0.000 description 18
- 238000004364 calculation method Methods 0.000 description 17
- 238000010586 diagram Methods 0.000 description 14
- 230000004913 activation Effects 0.000 description 8
- 238000013528 artificial neural network Methods 0.000 description 8
- 238000012549 training Methods 0.000 description 8
- 238000005516 engineering process Methods 0.000 description 7
- 230000015654 memory Effects 0.000 description 7
- 230000009466 transformation Effects 0.000 description 6
- 238000004590 computer program Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 3
- 239000000284 extract Substances 0.000 description 3
- 230000011218 segmentation Effects 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 230000007774 longterm Effects 0.000 description 2
- 210000002569 neuron Anatomy 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 201000005569 Gout Diseases 0.000 description 1
- 241000590419 Polygonia interrogationis Species 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 230000002457 bidirectional effect Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 125000004122 cyclic group Chemical group 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000006403 short-term memory Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/279—Recognition of textual entities
- G06F40/284—Lexical analysis, e.g. tokenisation or collocates
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/205—Parsing
- G06F40/211—Syntactic parsing, e.g. based on context-free grammar [CFG] or unification grammars
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/30—Semantic analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/26—Speech to text systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Evolutionary Computation (AREA)
- Data Mining & Analysis (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Biophysics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Human Computer Interaction (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Machine Translation (AREA)
Abstract
本公开提供一种音视频数据处理方法和装置及设备，该方法包括：接收音视频数据流，提取所述音视频数据流中的语音数据，得到包括多个语义单元的文本序列；将所述多个语义单元转换为对应的词向量；利用对词库中不同语义单元间上下文依赖程度，采用不同预测方式，分多级预测各个词向量对该词向量上下文的依赖程度，其中第一级的输入为各词向量，之后每一级的输入为各词向量及上一级输出的预测结果；根据最后一级输出的预测结果，确定需要附加标点符号的词向量，并在文本序列中对应的语义单元位置附加标点符号。利用本公开提供的方法，在音视频数据处理时，可以并行处理文本中的词语确定是否断句，提高显示语音内容的精确度并提高了处理效率。
Description
技术领域
本公开涉及网络视频技术领域，特别涉及一种音视频数据处理方法和装置及设备。
背景技术
目前登录网络视频平台上传网络视频的应用越来越广泛，与之相关的网络视频编辑也越来越流行，对于网络视频编辑的应用程序中，自动为网络视频加字幕的需求也随之增加。字幕是指在视频播放时，对网络视频中的语音信息进行文字识别，并将识别的文字进行断句后与视频数据同步在屏幕上进行显示，自动加字幕可以提升显示效果，适用于更多观看视频的场景，如在嘈杂的环境中或需要静音的环境中也能获得视频中的信息。
目前对上传的视频自动加字幕的方式为，通过语音识别技术(ASR，AutomaticSpeech Recognition)将网络视频中的语音数据转为文字，并且将文字与其在视频中对应的时间段对应起来，从而生成字幕。但是语音识别技术得到的文本序列一般是没有进行断句的。目前主要采用以下两种进行断句：
1)通过声音活动检测(VAD，Voice Activity Detection)进行断句。
对于有进行断句的语音识别文本，通过声音活动检测(VAD)技术检测到较长静音后将句子断开。
2)利用序列建模方式进行断句。
对未断句文本进行自动加标点，然后将标点处设置为断句。以流行的自动加标点技术为例，主要使用循环神经网络(RNN)这一类网络对未加标点的文本进行自动加标点。
具体的过程为从音视频数据流中提取语音数据，对提取的语音数据进行字词识别得到文本序列，对文本序列进行语义单元识别，将识别得到的多个词转换为对应的词向量，将词向量依次输入到RNN，以标注的词向量后是否有标点为结果进行RNN网络模型训练，利用训练好的RNN判断是否在字词后面加上标点。
由于RNN网络模型在序列建模时，时间t的计算依赖t-1时刻的计算结果，这样限制了模型的并行能力。其他的网络模型如长短期记忆网络(LSTM，Long Short-Term Memory)、门控循环单元网络(GRU，Gated Recurrent Unit)也存在同样的问题。
可见，目前的采用序列建模方式进行断句的方案，存在难以并行处理，且由于顺序计算的过程中信息会丢失精确度不高的问题。
发明内容
本公开提供了一种音视频数据处理方法和装置及设备，可以解决现有的采用序列建模方式进行断句的方案，存在难以并行处理，且由于顺序计算的过程中信息会丢失精确度不高的问题。
第一方面，本公开提供一种音视频数据处理的方法，该方法包括：
接收音视频数据流，提取所述音视频数据流中的语音数据，得到包括多个语义单元的文本序列；
将所述多个语义单元转换为对应的词向量；
利用对词库中不同语义单元间上下文依赖程度，采用不同预测方式，分多级预测各个词向量对该词向量上下文的依赖程度，其中第一级的输入为各词向量，之后每一级的输入为各词向量及上一级输出的预测结果；
根据最后一级输出的预测结果，确定需要附加标点符号的词向量，并在文本序列中对应的语义单元位置附加标点符号。
可选地，所述分多级预测各个词向量对该词向量上下文的依赖程度，包括如下至少一个步骤：
根据利用词库中不同语义单元所在的句式，对不同语义单元进行的全局上下文依赖程度，计算各词向量对该词向量的全局上下文的依赖程度；
根据利用库存中不同语义单元在句式中前后的局部上下文，对不同语义单元进行的局部上下文依赖程度，计算各词向量对该词向量的局部上下文的依赖程度。
可选地，所述计算各词向量对该词向量的全局上下文的依赖程度，包括：
根据对词库中不同语义单元进行全局上下文依赖程度，确定多头自注意力机制的相关参数；
利用多头自注意力机制，对各词向量对该词向量的全局上下文的依赖程度进行特征提取。
可选地，所述计算各词向量对该词向量的局部上下文的依赖程度，包括：
根据对词库中不同语义单元进行局部上下文依赖程度，确定卷积网络进行卷积运算的相关参数；
利用卷积网络采用卷积算法，对各词向量对该词向量的局部上下文的依赖程度进行特征提取。
可选地，不同的预测方式中，采用的多头自注意力机制中的相关参数不同。
可选地，不同的预测方式中，卷积网络进行卷积运算的相关参数不同。
可选地，所述计算各词向量对该词向量的全局上下文的依赖程度，或所述计算各词向量对该词向量的局部上下文的依赖程度，包括：
利用包括线性函数和非激活函数的前向反馈FFN网络，将各词向量对该词向量的局部上下文的依赖程度进行深度特征处理。
可选地，所述根据最后一级输出的预测结果，确定需要附加标点符号的词向量，包括：
对最后一级输出的各词向量对该词向量的局部上下文的依赖程度的特征数据进行线性组合，得到组合后的向量；
对组合后的向量利用softmax函数，预测各词向量是否需要附加标点符号的概率。
可选地，将所述多个语义单元转换为对应的词向量，包括：
根据预先建立的词库中不同语义单元对应的编码值，将所述多个语义单元对应的编码值作为对应的词向量。
可选地，所述对词库中不同语义单元间时间依赖关系，为通过以为输入不同句式中语义单元对应的词向量为输入特征，以输出句式中标注的标点符号为目标，对网络模型参数进行训练的序列建模结果。
可选地，所述网络模型为转换器网络模型或卷积增强转换器网络模型。
第二方面，本公开提供一种音视频数据处理的设备，包括存储器和处理器，其中：
所述存储器用于存储计算机程序；
所述处理器用于读取所述存储器中的程序并执行如下任一所述的显示音视频数据中语音内容的方法，包括：
接收音视频数据流，提取所述音视频数据流中的语音数据，得到包括多个语义单元的文本序列；
将所述多个语义单元转换为对应的词向量；
利用对词库中不同语义单元间上下文依赖程度，采用不同预测方式，分多级预测各个词向量对该词向量上下文的依赖程度，其中第一级的输入为各词向量，之后每一级的输入为各词向量及上一级输出的预测结果；
根据最后一级输出的预测结果，确定需要附加标点符号的词向量，并在文本序列中对应的语义单元位置附加标点符号。
可选地，所述处理器分多级预测各个词向量对该词向量上下文的依赖程度，包括如下至少一个步骤：
根据利用词库中不同语义单元所在的句式，对不同语义单元进行的全局上下文依赖程度，计算各词向量对该词向量的全局上下文的依赖程度；
根据利用库存中不同语义单元在句式中前后的局部上下文，对不同语义单元进行的局部上下文依赖程度，计算各词向量对该词向量的局部上下文的依赖程度。
可选地，所述处理器计算各词向量对该词向量的全局上下文的依赖程度，包括：
根据对词库中不同语义单元进行全局上下文依赖程度，确定多头自注意力机制的相关参数；
利用多头自注意力机制，对各词向量对该词向量的全局上下文的依赖程度进行特征提取。
可选地，所述处理器计算各词向量对该词向量的局部上下文的依赖程度，包括：
根据对词库中不同语义单元进行局部上下文依赖程度，确定卷积网络进行卷积运算的相关参数；
利用卷积网络采用卷积算法，对各词向量对该词向量的局部上下文的依赖程度进行特征提取。
可选地，不同的预测方式中，采用的多头自注意力机制中的相关参数不同。
可选地，不同的预测方式中，卷积网络进行卷积运算的相关参数不同。
可选地，所述处理器计算各词向量对该词向量的全局上下文的依赖程度，或所述计算各词向量对该词向量的局部上下文的依赖程度，包括：
利用包括线性函数和非激活函数的前向反馈FFN网络，将各词向量对该词向量的局部上下文的依赖程度进行深度特征处理。
可选地，所述处理器根据最后一级输出的预测结果，确定需要附加标点符号的词向量，包括：
对最后一级输出的各词向量对该词向量的局部上下文的依赖程度的特征数据进行线性组合，得到组合后的向量；
对组合后的向量利用softmax函数，预测各词向量是否需要附加标点符号的概率。
可选地，所述处理器将所述多个语义单元转换为对应的词向量，包括：
根据预先建立的词库中不同语义单元对应的编码值，将所述多个语义单元对应的编码值作为对应的词向量。
可选地，所述对词库中不同语义单元间时间依赖关系，为通过以为输入不同句式中语义单元对应的词向量为输入特征，以输出句式中标注的标点符号为目标，对网络模型参数进行训练的序列建模结果。
可选地，所述网络模型为转换器网络模型或卷积增强转换器网络模型。
第三方面，本公开提供一种音视频数据处理的装置，包括：
文字处理单元，用于接收音视频数据流，提取所述音视频数据流中的语音数据，得到包括多个语义单元的文本序列；
词向量转换单元，用于对将所述多个语义单元转换为对应的词向量；
预测单元，利用对词库中不同语义单元间上下文依赖程度，采用不同预测方式，分多级预测各个词向量对该词向量上下文的依赖程度，其中第一级的输入为各词向量，之后每一级的输入为各词向量及上一级输出的预测结果；
输出单元，用于根据最后一级输出的预测结果，确定需要附加标点符号的词向量，并在文本序列中对应的语义单元位置附加标点符号。
可选地，所述预测单元分多级预测各个词向量对该词向量上下文的依赖程度，包括如下至少一个步骤：
根据利用词库中不同语义单元所在的句式，对不同语义单元进行的全局上下文依赖程度，计算各词向量对该词向量的全局上下文的依赖程度；
根据利用库存中不同语义单元在句式中前后的局部上下文，对不同语义单元进行的局部上下文依赖程度，计算各词向量对该词向量的局部上下文的依赖程度。
可选地，所述预测单元计算各词向量对该词向量的全局上下文的依赖程度，包括：
根据对词库中不同语义单元进行全局上下文依赖程度，确定多头自注意力机制的相关参数；
利用多头自注意力机制，对各词向量对该词向量的全局上下文的依赖程度进行特征提取。
可选地，所述预测单元计算各词向量对该词向量的局部上下文的依赖程度，包括：
根据对词库中不同语义单元进行局部上下文依赖程度，确定卷积网络进行卷积运算的相关参数；
利用卷积网络采用卷积算法，对各词向量对该词向量的局部上下文的依赖程度进行特征提取。
可选地，不同的预测方式中，预测单元采用的多头自注意力机制中的相关参数不同。
可选地，不同的预测方式中，预测单元中卷积网络进行卷积运算的相关参数不同。
可选地，所述预测单元计算各词向量对该词向量的全局上下文的依赖程度，或所述预测单元计算各词向量对该词向量的局部上下文的依赖程度，包括：
利用包括线性函数和非激活函数的前向反馈FFN网络，将各词向量对该词向量的局部上下文的依赖程度进行深度特征处理。
可选地，所述输出单元根据最后一级输出的预测结果，确定需要附加标点符号的词向量，包括：
对最后一级输出的各词向量对该词向量的局部上下文的依赖程度的特征数据进行线性组合，得到组合后的向量；
对组合后的向量利用softmax函数，预测各词向量是否需要附加标点符号的概率。
可选地，词向量转换单元将所述多个语义单元转换为对应的词向量，包括：
根据预先建立的词库中不同语义单元对应的编码值，将所述多个语义单元对应的编码值作为对应的词向量。
可选地，所述对词库中不同语义单元间时间依赖关系，为通过以为输入不同句式中语义单元对应的词向量为输入特征，以输出句式中标注的标点符号为目标，对网络模型参数进行训练的序列建模结果。
可选地，所述网络模型为转换器网络模型或卷积增强转换器网络模型。
第四方面，本公开提供一种计算机程序介质，其上存储有计算机程序，该程序被处理器执行时实现本公开第一方面提供的任一所述方法的步骤。
利用本公开提供的音视频数据处理方法和装置及设备，由于预先确定词库中不同语义单元间上下文依赖程度的结果，在接收到音视频数据流时可以根据该结果确定当前语义单元间上下文依赖程度，采用分多级预测一方面可以实现并行处理多个词向量，提高处理效率，另一方面可以获得更准确的预测结果。
附图说明
图1为本公开实施例的一个应用场景的示意图；
图2为本公开实施例提供的一种音视频编辑系统的示意图；
图3为本公开实施例提供的一种音视频编辑方法流程图；
图4为本实施例中Transformer网络模型中隐层结构示意图；
图5为应用Transform网络模型确定是否附加标点符号的流程示意图；
图6为Conformer网络模型中的一个Conformer Block结构图；
图7为FFN模块的内部结构示意图；
图8为多头自注意力机制MHSA模块结构示意图；
图9为卷积模块内部结构示意图；
图10为应用Conformer网络模型确定是否对词语附加标点符号的流程示意图；
图11为一种显示音视频数据中的语音内容的设备的结构示意图；
图12为一种显示音视频数据中的语音内容的装置的单元示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
需要说明的是，以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
以下，对本公开实施例中的部分用语进行解释说明，以便于本领域技术人员理解。
(1)本公开实施例中术语“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。
(2)本公开实施例中术语“电子设备”可以是移动电话，计算机，数字广播终端，消息收发设备，游戏控制台，平板设备，医疗设备，健身设备，个人数字助理等。
(3)本公开实施例中术语“短视频”是指在各种新媒体平台上播放的、适合在移动状态和短时休闲状态下观看的、高频推送的视频内容，几秒到几分钟不等。内容融合了技能分享、幽默搞怪、时尚潮流、社会热点、街头采访、公益教育、广告创意、商业定制等主题。由于内容较短，可以单独成片，也可以成为系列栏目。
(3)本公开实施例中术语“FFN”(FeedForward Network，前馈神经网络)，也叫多层感知机，没有循环，单向传播，是最简单的神经网络。它是一种最简单的万能逼近器，一般用于特征提取。
(4)本公开实施例中术语“MHSA”(Multi-Head Self Attention Module，多头自注意力模块)，MHSA是进行了h次计算而不仅仅算一次Multi-headed self-attention，也就是所谓的多头，每一次算一个头。Query，Key，Value首先进过一个线性变换，然后输入到放缩点积attention，注意这里要做h次，而且每次Q，K，V进行线性变换的参数W是不一样的。然后将h次的放缩点积attention结果进行拼接，再进行一次线性变换得到的值作为多头attention的结果。这样的好处是可以允许模型在不同的表示子空间里学习到相关的信息。
(5)本公开实施例中术语“客户端”，或称为用户端，是指与服务器相对应的，为用户提供本地服务的程序。除了一些只在本地运行的应用程序之外，一般安装在普通的客户机上，需要与服务端互相配合运行。
为了使本公开的目的、技术方案和优点更加清楚，下面将结合附图对本公开作进一步地详细描述，显然，所描述的实施例仅仅是本公开一部分实施例，而不是全部的实施例。基于本公开中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本公开保护的范围。
图1为根据本公开实施例的一个应用场景的示意图。
如图1所示，该应用场景中可以包括至少一个服务器20和多个终端设备30。其中，终端设备30可以是可用来进行网络访问的任何合适的电子设备，包括但不限于计算机、笔记本电脑、智能电话、平板电脑或是其它类型的终端。服务器20则是能够通过网络访问的提供交互服务所需信息的任何服务器。终端设备30可以经由网络40实现与服务器20的信息收发。服务器20可以通过访问数据库50来获取终端设备30所需的内容，例如模型参数、广告内容、索引文件等。终端设备之间(例如，30_1与30_2或30_N之间)也可以经由网络40彼此通信。网络40可以是广义上的用于信息传递的网络，可以包括一个或多个通信网络，诸如无线通信网络、因特网、私域网、局域网、城域网、广域网或是蜂窝数据网络等。
在随后的描述中仅就单个服务器或终端设备加以详述，但是本领域技术人员应当理解的是，示出的单个服务器20、终端设备30和数据库50旨在表示本申请的技术方案涉及终端设备、服务器及数据库的操作。对单个终端设备以及单个服务器和数据库加以详述至少为了说明方便，而非暗示对终端设备和服务器的类型或是位置等具有限制。应当注意，如果向图示环境中添加附加模块或从其中去除个别模块，不会改变本公开的示例实施例的底层概念。另外，虽然为了方便说明而在图中示出了从数据库50到服务器20的双向箭头，但本领域技术人员可以理解的是，上述数据的收发也是可以通过网络40实现的。
音视频编辑可以应用在展示音视频的应用程序上，用户触发页面展示请求后，应用程序将编辑后的音视频展示给用户。以音视频编辑的对象为短视频介绍短视频编辑流程：
服务器接收客户端通过网络视频平台上传的短视频数据，提取所述短视频数据流中的语音数据，得到文本序列；对所述文本序列进行语义单元识别，得到多个语义单元；确定是否在语义单元后面加上对应的标点符号；根据确定结果，在文本序列中对应的语义单元位置附加标点符号。
RNN(Recurrent Neural Network)是一类用于处理序列数据的神经网络，神经网络包含输入层、隐层、输出层，在标准的RNN结构中，隐层的神经元之间也是带有权值的。利用RNN进行序列建模判断是否对上述词语进行断句的方案，存在以下两个问题：
时间片t的计算依赖t-1时刻的计算结果，这样限制了模型的并行能力；顺序计算的过程中信息会丢失，尽管LSTM等门机制的结构一定程度上缓解了长期依赖的问题，但是对于特别长期的依赖现象，LSTM依旧无能为力。
基于上述问题，如图2所示，本公开实施例提供一种音视频编辑系统，包括客户端21、服务器22以及用户23。客户端21为安装在电子设备上的应用程序客户端，与服务器22配合为用户23提供服务，用户23可以查看客户端21展示的内容，或触发客户端21上支持的操作。
本公开实施例中，响应于用户23在客户端21上传音视频操作，客户端21向服务器22发送录制的音视频数据流，服务器22接收客户端21上传的接收音视频数据流，提取所述音视频数据流中的语音数据，得到包括多个语义单元的文本序列；将所述多个语义单元转换为对应的词向量；利用对词库中不同语义单元间上下文依赖程度，采用不同预测方式，分多级预测各个词向量对该词向量上下文的依赖程度，其中第一级的输入为各词向量，之后每一级的输入为各词向量及上一级输出的预测结果；根据最后一级输出的预测结果，确定需要附加标点符号的词向量，并在文本序列中对应的语义单元位置附加标点符号。
服务器对上述音视频数据流中的语音内容增加标点符号后，保存编辑后的音视频数据流，可以实时将编辑后的音视频数据流发送给相应的客户端进行显示，该场景为视频直播场景；也可以在保存音视频数据流后，响应于其他客户端的音视频展示请求，将编辑后的音视频数据发送到对应的客户端进行显示，该场景为视频推荐场景。下面给出本公开实施例提供的音视频数据处理方法和装置及设备的实施方式。
实施例1
如图3所示，为本公开实施例提供的一种音视频编辑方法流程图，该方法应用于提供网络视频的服务器，主要包括如下步骤：
步骤S301，接收音视频数据流，提取所述音视频数据流中的语音数据，得到包括多个语义单元的文本序列；
可以采用音视频分流技术从音视频数据流中提取语音数据，利用自动语音识别技术(Automatic Speech Recognition，ASR)对语音数据进行文字识别。具体的语音识别过程为现有过程，这里不再详述。利用语音识别技术对语音数据进行文字识别后得到的是连续的时间序列文本。语音识别技术仅能识别语音数据对应的语义单元，并按照识别出的时间将语义单元组合成文本序列，但并不能对文本序列进行断句。
需要说明的是上述语义单元为文本序列中能够表达语义的最小单元，可以理解为词语，例如，构成“我爱你中国”文本序列的语义单元为“我”、“爱”、“你”、“中国”。
服务器可以通过音视频数据上传平台接收不同客户端上传的音视频数据，该音视频上传平台可以是任意的能够接收音视频数据流且支持语音内容显示的网络视频编辑平台。音视频的数据流的文件格式可以是选用的网络视频编辑平台支持的任意文件格式，如音频视频交错格式(AVI，Audio Video Interleaved)、流媒体格式(FLV，FLASH VIDEO)、动态图像专家组(MP4，Moving Picture Experts Group 4)等。
步骤S302，将所述多个语义单元转换为对应的词向量；
通过将多个语义单元转换为对应的词向量，可以使服务器的处理器理解该词向量对应的语义单元。可以预先建立包括多个语义单元的语义单元表，并存储语义单元表中每个语义单元对应的编码值。编码值可以由多个比特位组成，编码值占用的比特位数与语义单元表中语义单元的数量有关，一个语义单元唯一对应一个编码值。
在进行词向量转换时，根据预先建立的语义单元表中不同语义单元对应的编码值，将所述多个语义单元对应的编码值作为对应的词向量。
步骤S303，利用对词库中不同语义单元间上下文依赖程度，采用不同预测方式，分多级预测各个词向量对该词向量上下文的依赖程度，其中第一级的输入为各词向量，之后每一级的输入为各词向量及上一级输出的预测结果；
本实施方式中的词库中的不同语义单元来自于不同的句式，这里的句式为标注标点符号的句式，标点符号可以是各类标点符号，如逗号，句号和问号等。本实施例中服务器预先搜集大量的句式样本，对于一个带标点符号的句式来说，句式中包括多个语义单元，对于后面没有标点符号的语义单元，该语义单元对应的对上下文依赖程度相对较大，对于后面带标点符号的语义单元，该语义单元对应的对上下文依赖程度较小。例如对于“你好吗”，该句式中包括两个语义单元“你好”和“吗”之间的上下文依赖关系程度比较大，而对于“你好，北京”，该句式中包括两个语义单元“你好”和“北京”之间的上下文依赖关系程度较小，本实施例中预先通过大量的句式样本，确定句式中不同语义单元间的依赖程度，从而建立相应的词库并得到词库中不同语义单元间的依赖程度的计算结果。
本公开实施例中利用对词库中不同语义单元间上下文依赖程度，在接收到新的文本序列时，根据文本序列中的语义单元及语义单元间的时间顺序，可以确定各个语义单元的上下文，这里的上下文包括该语义单元之前和/或之后的至少一个语义单元，根据词库中不同语义单元间上下文依赖程度，可以预测当前各语义单元对该语义单元上下文依赖程度。
本实施例中上述词库中的语义单元与语义单元表的语义单元可以相同，也可以不同。
在进行上下文依赖程度预测时，本实施例中采用不同预测方式，分多级预测各个词向量对该词向量上下文的依赖程度。这里不同的预测方式，本领域技术人员可以理解为不同的匹配/逼近计算方法，在每一级利用对应的匹配方法进行计算时，除了需要利用该匹配方法对该词向量进行上下文依赖程度计算，还进一步参考上一级输出的各词向量对上下文依赖程度的计算结果，从而使预测结果更准确。
步骤S304，根据最后一级输出的预测结果，确定需要附加标点符号的词向量，并在文本序列中对应的语义单元位置附加标点符号。
最后一级输出的预测结果可以较为准确的反应文本序列中各语义单元对应的上下文依赖程度，根据各语义单元对其上下文的依赖程度，确定是否需要附加标点符号的概率，其中对上下文依赖程度越高，附加标点符号的概率越低，对上下文依赖程度越低，附加标点符号的概率越高。确定其中任一词向量之后需要附加标点符号时，在文本序列中对应的语义单元位置附加标点符号。
服务器在将文本序列中对应的语义单元位置附加标点符号后，可以将对应的音视频数据进行保存，采用实时播放或者延时播放的方式，响应于客户端的播放请求，播放带着字幕的音视频数据。
本公开实施例所提供的音视频数据处理方法，能够实现对文本序列中语义单元进行并行处理预测是否进行断句，相比其他方法一方面提升了断句的准确性，另一方面提高了处理效果，对于实施播放音视频的场景，使自动加字幕的输出效率更高。
作为一种可选的实施方式，本公开实施例中不同级之间采用的计算语义单元间依赖程度的计算方式相同，但采用同一计算方式时所使用的参数取值不同，在每一级预测各个词向量对该词向量上下文的依赖程度时，可以采用全局预测方式和/或局部预测方式，具体预测方式如下：
方式一、全局预测方式
根据利用词库中不同语义单元所在的句式，对不同语义单元进行全局上下文依赖程度，计算各词向量对该词向量的全局上下文的依赖程度。
全局预测方式中，预先通过不同的句式样本，根据样本中一个完整的句式中各语义单元，及该语义单元在句式中的全局上下文，确定各词向量对该词向量的全局上下文的依赖程度。即对于一个完整的句式，需要考虑的是每个词对于该句话中所有其他语义单元的上下文依赖关系，例如对于句式“我给大家推荐几个美食”，对于语义单元“大家”需要考虑其对语义单元“我”“给”“推荐”“几个”“美食”的依赖关系。
作为一种可选的实施方式，上述全局预测方式可以通过自注意力机制计算方式进行预测，根据对词库中不同语义单元进行全局上下文依赖程度，确定多头自注意力机制的相关参数，使利用该多头自注意力机制的相关参数进行词库中语义单元间的上下文依赖程度计算时，逼近句式样本依赖关系的结果；
利用多头自注意力机制，对各词向量对该词向量的全局上下文的依赖程度进行特征提取。
方式二、局部预测方式
根据利用库存中不同语义单元在句式中前后的局部上下文，对不同语义单元进行局部上下文依赖程度，计算各词向量对该词向量的局部上下文的依赖程度。
局部预测方式中，预先通过不同的句式样本，根据样本中一个完整的句式中各语义单元，及该语义单元在句式中局部上下文，确定各词向量对该词向量的局部上下文的依赖程度。即对于一个完整的句式，需要考虑的是每个词对于该句话中与其相邻的语义单元的上下文依赖关系，例如对于句式“我给大家推荐几个美食”，对于语义单元“大家”需要考虑其对语义单元“给”“推荐”的依赖关系。
作为一种可选的实施方式，根据对词库中不同语义单元进行局部上下文依赖程度，确定卷积网络进行卷积运算的相关参数，使利用卷积运算的相关参数进行词库中语义单元间的上下文依赖程度计算时，逼近句式样本依赖关系的结果；
利用卷积网络采用卷积算法，对各词向量对该词向量的局部上下文的依赖程度进行特征提取。
在每一级对词库中不同语义单元间上下文依赖程度计算时，可以采用上述方式中的任一种或者组合，但各级之间的采用的方式是相同的，如果各级采用了多头自注意力机制进行上下文依赖关系计算，不同的是各级之间采用的多头自注意力机制中的相关参数不同；如果各级利用了卷积网络采用卷积算法进行上下文依赖关系计算，不同的是各级之间采用的卷积网络进行卷积运算的相关参数不同。
作为一种可选的实施方式，所述计算各词向量对该词向量的全局上下文的依赖程度，或所述计算各词向量对该词向量的局部上下文的依赖程度，包括：
利用包括线性函数和非激活函数的前向反馈FFN网络，将各词向量对该词向量的局部上下文的依赖程度进行深度特征处理。
上述通过自注意力机制或者卷积算法确定词向量对上下文的依赖程度，为对依赖程度进行特征提取的过程，本实施例中通过FFN对提取的特征进行深度处理，得到更为高级的特征数据，从而更准确地逼近词向量对上下文的依赖程度。
最后一级输出的进行依赖程度预测结果为最终得到的特征数据，需要通过该特征数据预测各词向量是否需要附加标点符号的概率，根据最后一级输出的预测结果，确定需要附加标点符号的词向量，包括：
对最后一级输出的各词向量对该词向量的局部上下文的依赖程度的特征数据进行线性组合，得到组合后的向量；
对组合后的向量利用softmax函数，预测各词向量是否需要附加标点符号的概率。
作为一种可选的实施方式，所述对词库中不同语义单元间时间依赖关系，为通过以为输入不同句式中语义单元对应的词向量为输入特征，以输出句式中标注的标点符号为目标，对网络模型参数进行训练的序列建模结果。在得到序列建模结果后，利用序列建模并行处理文本序列中各语义单元对应的词向量，得到是否在语义单元后面是否加标点符号的结果。
上述网络模型为转换器网络模型，即transform网络模型或卷积增强转换器网络模型，即conformer网络模型，下面给出各个网络模型的模型架构，并说明具体确定各语义单元是否附加标点符号的具体过程。
1)采用Transform网络模型确定是否附加标点符号。
Transformer网络模型的结构由编码encoder和解码decoder两个部分组成。输入序列先进行经过输入层Embedding，经过Encoder之后结合上一次输出output再输入Decoder，最后用softmax计算序列下一个单词的概率。
本公开实施例应用Transformer网络模型确定是否附加标点符号时，仅应用上述网络模型结构的编码部分，即输入序列先进行输入层Embedding，经过隐层Encoder对词向量对上下文依赖程度进行特征提取后，经过一个线性输出层和一个softmax层，计算是否在词向量之后加上相应的标点符号。
如图4为本实施例中Transformer网络模型中隐层结构示意图，包括多个级联的小Encoder，每一级小Encoder对词向量对上下文依赖程度进行特征提取，每一级的小Encoder的网络结构包括以下两个部分：
1)多头自注意力Multi-Head Self Attention机制部分。
Multi-Head Self Attention实际上是由h个Self Attention层并行组成，self-attention的输入是序列词向量，此处记为x。x经过一个线性变换得到query(Q),x经过第二个线性变换得到key(K),x经过第三个线性变换得到value(V)。也就是：
key＝linear_k(x)
query＝linear_q(x)
value＝linear_v(x)
linear_k，linear_q，linear_v是相互独立的，对应的权重是不同的，可以通过训练得到。
上述多头自注意力机制，可以实现对各词向量对该词向量的全局上下文的依赖程度进行特征提取。
2)前馈神经网络Feed-Forward network。
前馈神经网络Feed-Forward Network可以细分为有两层，第一层是一个线性激活函数，第二层是激活函数是ReLU。通过FFN层的处理，可以得到词向量对上下文依赖程度的深度特征。
如图5所示为应用Transform网络模型确定是否附加标点符号的流程示意图，主要包括以下步骤：
步骤501，将得到的文本序列中的语义单元经过输入层，转换为对应的词向量；
步骤502，将得到的词向量同时输入到包括多个小Encoder的隐层，提取各词向量对该词向量上下文依赖关系的特征数据；
对于多个小Encoder的隐层，第一级小Encoder的输入为上述多个词向量，输出为预测的各词向量对上下文依赖程度的特征数据，之后每一级小Encoder的输入为上述多个词向量及上一级输出的各词向量对上下文依赖程度的特征数据，需要说明的是在每一级各个词向量是按照时序依次输入该级进行运算，得到该词向量对上下文依赖程度的特征数据。
步骤503，对最后一级输出的各词向量对该词向量的局部上下文的依赖程度的特征数据进行线性组合，得到组合后的向量；
步骤504，对组合后的向量利用softmax函数，预测各词向量是否需要附加标点符号的概率。
softmax之后值都介于0到1之间，可以理解成得到了attention weights。利用上述Transform网络模型确定词向量是否附加标点符号之前，需要获取大量的句式样本，对该Transform网络模型进行序列建模，即根据对词库中不同语义单元进行全局上下文依赖程度，确定多头自注意力机制的相关参数。序列建模的过程为确定上述隐层中各级进行词向量依赖程度计算的多头自注意力机制及FFN中的各相关参数的过程，这些相关参数包括权重等参数。完成序列建模后，不同级之间的相关参数是不同的。
应用上述Transform网络模型，输入序列是中文词序列，输出序列是由“断句”、“不断”组成的序列，每个输入的中文语义单元对应一个输出，如果该语义单元对应的输出是“断句”，则表示该语义单元后面进行断句，如果该语义单元对应的输出是“不断”，则表示该词后面不断句。
输出线性层Linear将Transform输出的隐向量转换成一个二维向量。
Softmax再将Linear输出的二维向量转换为第一个概率是输出“断句”的概率，第二个概率是输出“不断”的概率。向量变成二个概率值，这两个概率值加起来为1。
当输出“断句”的概率大于输出“不断”的概率时，该输入词对应的输出为“断句”，否则为“不断”。
2)采用Conformer网络模型确定是否附加标点符号。
Conformer网络模型结果为由N个Conformer Block构成，如图6所示为其中一个Conformer Block结构图，Conformer Block由两个前馈神经网络模块Feedforward Module(FFN)、一个自注意力机制模块Multi-Head Self Attention Module(MHSA)、一个卷积模块Convolution Module、一个归一化Layernorm模块，以及每个Module之间的残差连接构成。
xi表示一个Conformer Block的输入，则该Conformer Block的输出yi由以下公式计算得到：
x″i＝x′i+Conv(x′i)
上述第一个FFN可以对输入的词向量进行特征提取，MHSA用于可以实现提取各词向量对该词向量的全局上下文的依赖程度的特征数据。卷积模块用于提取各词向量对该词向量的局部上下文的依赖程度的特征数据。第二个FFN用于对输入的各词向量对该词向量的依赖程度的特征数据进行处理，从低级特征数据处理为高级特征数据。归一化Layernorm模块用于对提取的各词向量对该词向量的依赖程度的特征数据进行归一化处理，如果通过除以均值，或求取均方差等处理方式进行归一化。
如图7所示为上述FFN模块的内部结构示意图，FFN模块由一个归一Layernorm层、一个非线性层、一个线性层和残差连接组成，其中非线性层由线性层Linear Layer、激活函数Swish Activation和Dropout组成，线性层由线性层Linear Layer和Dropout组成。线性层用于对输入数据进行线性处理，激活函数用于对输入数据通进行非线性处理，Dropout用于输入的特征数据处理，按照一定的概率将一些特征数据暂时从网络中丢弃，防止数据过拟合。
如图8所示为多头自注意力机制MHSA模块结构示意图，MHSA模块由一个归一化Layernorm层、一个基于相对位置嵌入的多头自注意力机制Multi-Head Attention withRelative Positional Embedding(MHSA-RPE)、一个Dropout和残差连接构成，MHSA-RPE是在原始Transformer所用的Multi-Head Self-Attention的基础上使用了RelativePositional Embedding。
如图9所示为卷积模块内部结构示意图，卷积模块由一个归一化Layernorm层、两个逐点转换Pointwise Conv卷积层、一个激活函数GLU Activation、一个1D DepthwiseConv卷积层、一个BatchNorm、一个Swish Activation、一个Dropout和残差连接构成。
上述内部结构上各个层所采用的具体算法、涉及的神经元连接关系及需要训练的参数为现有技术，这里不再详述过程。
在利用上述网络模型结构对文本序列进行断句前，需要获取大量的句式样本，对该Conformer网络模型进行序列建模，即根据对词库中不同语义单元进行全局上下文依赖程度，确定各个模块内部相关参数。序列建模的过程为确定上述隐层中各级进行词向量依赖程度计算的多头自注意力机制、FFN及卷积等模块的相关参数的过程，这些相关参数包括权重等参数。完成序列建模后，不同级之间的相关参数是不同的。
如图10所示，为应用Conformer网络模型确定是否对语义单元附加标点符号的流程示意图，主要包括以下步骤：
步骤1001，将得到的文本序列中的语义单元经过输入层，转换为对应的词向量；
步骤1002，将得到的词向量同时输入到包括多个Conformer Block的隐层，对各词向量对该词向量上下文依赖关系特征；
对于多个Conformer Block隐层，第一级Conformer Block的输入为上述多个词向量，输出为预测的各词向量对上下文依赖程度的特征数据，之后每一级Conformer Block的输入为上述多个词向量及上一级输出的各词向量对上下文依赖程度的特征数据，需要说明的是在每一级各个词向量是按照时序依次输入该级进行运算得到该词向量对上下文依赖程度的特征的。
步骤1003，对最后一级输出的各词向量对该词向量的局部上下文的依赖程度的特征数据进行线性组合，得到组合后的向量；
Conformer将Embed层的输出向量转换成一个中间隐向量，具体为各语义单元对该语义单元上下文依赖程度的特征数据。
步骤1004，对组合后的向量利用softmax函数，预测各词向量是否需要附加标点符号的概率。
应用上述Conformer网络模型，输入序列是中文词序列，输出序列是由“断句”、“不断”组成的序列，每个输入的中文语义单元对应一个输出，如果该语义单元对应的输出是“断句”，则表示该语义单元后面进行断句，如果该语义单元对应的输出是“不断”，则表示该词后面不断句。
输出线性层Linear将Conformer输出的隐向量转换成一个二维向量。
Softmax再将Linear输出的二维向量转换为第一个概率是输出“断句”的概率，第二个概率是输出“不断”的概率。向量变成二个概率值，这两个概率值加起来为1。
当输出“断句”的概率大于输出“不断”的概率时，该输入词对应的输出为“断句”，否则为“不断”。
实施例2
本公开提供一种智能设备，如图11所示，包括存储器1101和处理器1102，其中：
所述存储器用于存储计算机程序；
所述处理器用于读取所述存储器中的程序并执行如下任一所述的显示音视频数据中语音内容的方法，包括：
接收音视频数据流，提取所述音视频数据流中的语音数据，得到文本序列；
对所述文本序列进行语义单元识别，得到多个语义单元，将所述多个语义单元转换为对应的词向量；
利用对词库中不同语义单元间上下文依赖程度，采用不同预测方式，分多级预测各个词向量对该词向量上下文的依赖程度，其中第一级的输入为各词向量，之后每一级的输入为各词向量及上一级输出的预测结果；
根据最后一级输出的预测结果，确定需要附加标点符号的词向量，并在文本序列中对应的语义单元位置附加标点符号，并输出显示。
可选地，所述分多级预测各个词向量对该词向量上下文的依赖程度，包括如下至少一个步骤：
根据利用词库中不同语义单元所在的句式，对不同语义单元进行全局上下文依赖程度，计算各词向量对该词向量的全局上下文的依赖程度；
根据利用库存中不同语义单元在句式中前后的局部上下文，对不同语义单元进行局部上下文依赖程度，计算各词向量对该词向量的局部上下文的依赖程度。
可选地，所述计算各词向量对该词向量的全局上下文的依赖程度，包括：
根据对词库中不同语义单元进行全局上下文依赖程度，确定多头自注意力机制的相关参数；
利用多头自注意力机制，对各词向量对该词向量的全局上下文的依赖程度进行特征提取。
可选地，所述计算各词向量对该词向量的局部上下文的依赖程度，包括：
根据对词库中不同语义单元进行局部上下文依赖程度，确定卷积网络进行卷积运算的相关参数；
利用卷积网络采用卷积算法，对各词向量对该词向量的局部上下文的依赖程度进行特征提取。
可选地，不同的预测方式中，采用的多头自注意力机制中的相关参数不同。
可选地，不同的预测方式中，卷积网络进行卷积运算的相关参数不同。
可选地，所述计算各词向量对该词向量的全局上下文的依赖程度，或所述计算各词向量对该词向量的局部上下文的依赖程度，包括：
利用包括线性函数和非激活函数的前向反馈FFN网络，将各词向量对该词向量的局部上下文的依赖程度进行深度特征处理。
可选地，所述根据最后一级输出的预测结果，确定需要附加标点符号的词向量，包括：
对最后一级输出的各词向量对该词向量的局部上下文的依赖程度的特征数据进行线性组合，得到组合后的向量；
对组合后的向量利用softmax函数，预测各词向量是否需要附加标点符号的概率。
可选地，将所述多个语义单元转换为对应的词向量，包括：
根据预先建立的词库中不同语义单元对应的编码值，将所述多个语义单元对应的编码值作为对应的词向量。
可选地，所述对词库中不同语义单元间时间依赖关系，为通过以为输入不同句式中语义单元对应的词向量为输入特征，以输出句式中标注的标点符号为目标，对网络模型参数进行训练的序列建模结果。
可选地，所述网络模型为transform网络模型或conformer网络模型。
第三方面，本公开提供一种显示音视频数据中语音内容的装置，如图12所示，包括：
文字处理单元1201，用于接收音视频数据流，提取所述音视频数据流中的语音数据，得到文本序列；
词向量转换单元1202，用于对所述文本序列进行语义单元识别，得到多个语义单元，将所述多个语义单元转换为对应的词向量；
预测单元1203，用于利用对词库中不同语义单元间上下文依赖程度，采用不同预测方式，分多级预测各个词向量对该词向量上下文的依赖程度，其中第一级的输入为各词向量，之后每一级的输入为各词向量及上一级输出的预测结果；
输出单元1204，用于根据最后一级输出的预测结果，确定需要附加标点符号的词向量，并在文本序列中对应的语义单元位置附加标点符号，并输出显示。
可选地，所述预测单元分多级预测各个词向量对该词向量上下文的依赖程度，包括如下至少一个步骤：
根据利用词库中不同语义单元所在的句式，对不同语义单元进行全局上下文依赖程度，计算各词向量对该词向量的全局上下文的依赖程度；
根据利用库存中不同语义单元在句式中前后的局部上下文，对不同语义单元进行局部上下文依赖程度，计算各词向量对该词向量的局部上下文的依赖程度。
可选地，所述预测单元计算各词向量对该词向量的全局上下文的依赖程度，包括：
根据对词库中不同语义单元进行全局上下文依赖程度，确定多头自注意力机制的相关参数；
利用多头自注意力机制，对各词向量对该词向量的全局上下文的依赖程度进行特征提取。
可选地，所述预测单元计算各词向量对该词向量的局部上下文的依赖程度，包括：
根据对词库中不同语义单元进行局部上下文依赖程度，确定卷积网络进行卷积运算的相关参数；
利用卷积网络采用卷积算法，对各词向量对该词向量的局部上下文的依赖程度进行特征提取。
可选地，不同的预测方式中，预测单元采用的多头自注意力机制中的相关参数不同。
可选地，不同的预测方式中，预测单元中卷积网络进行卷积运算的相关参数不同。
可选地，所述预测单元计算各词向量对该词向量的全局上下文的依赖程度，或所述预测单元计算各词向量对该词向量的局部上下文的依赖程度，包括：
利用包括线性函数和非激活函数的前向反馈FFN网络，将各词向量对该词向量的局部上下文的依赖程度进行深度特征处理。
可选地，所述输出单元根据最后一级输出的预测结果，确定需要附加标点符号的词向量，包括：
对最后一级输出的各词向量对该词向量的局部上下文的依赖程度的特征数据进行线性组合，得到组合后的向量；
对组合后的向量利用softmax函数，预测各词向量是否需要附加标点符号的概率。
可选地，词向量转换单元将所述多个语义单元转换为对应的词向量，包括：
根据预先建立的词库中不同语义单元对应的编码值，将所述多个语义单元对应的编码值作为对应的词向量。
可选地，所述对词库中不同语义单元间时间依赖关系，为通过以为输入不同句式中语义单元对应的词向量为输入特征，以输出句式中标注的标点符号为目标，对网络模型参数进行训练的序列建模结果。
可选地，所述网络模型为transform网络模型或conformer网络模型。
在示例性实施例中，还提供了一种包括指令的非易失性存储介质，例如包括指令的存储器，上述指令可由电子设备的处理器执行以完成上述方法。可选地，存储介质可以是非临时性计算机可读存储介质，例如，所述非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
本公开实施例还提供一种计算机程序产品，当所述计算机程序产品在电子设备上运行时，使得所述电子设备执行实现本公开实施例上述任意一项信息推荐方法或任意一项信息推荐方法任一可能涉及的方法。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本公开旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。
应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。
Claims (10)
1.一种音视频数据处理方法，其特征在于，包括：
接收音视频数据流，提取所述音视频数据流中的语音数据，得到包括多个语义单元的文本序列；
将所述多个语义单元转换为对应的词向量；
利用对词库中不同语义单元间上下文依赖程度，采用不同预测方式，分多级预测各个词向量对该词向量上下文的依赖程度，其中第一级的输入为各词向量，之后每一级的输入为各词向量及上一级输出的预测结果；
根据最后一级输出的预测结果，确定需要附加标点符号的词向量，并在文本序列中对应的语义单元位置附加标点符号。
2.根据权利要求1所述的方法，其特征在于，所述分多级预测各个词向量对该词向量上下文的依赖程度，包括如下至少一个步骤：
根据利用词库中不同语义单元所在的句式，对不同语义单元进行的全局上下文依赖程度，计算各词向量对该词向量的全局上下文的依赖程度；
根据利用库存中不同语义单元在句式中前后的局部上下文，对不同语义单元进行的局部上下文依赖程度，计算各词向量对该词向量的局部上下文的依赖程度。
3.根据权利要求2所述的方法，其特征在于，所述计算各词向量对该词向量的全局上下文的依赖程度，包括：
根据对词库中不同语义单元进行的全局上下文依赖程度，确定多头自注意力机制的相关参数；
利用多头自注意力机制，对各词向量对该词向量的全局上下文的依赖程度进行特征提取。
4.根据权利要求2所述的方法，其特征在于，所述计算各词向量对该词向量的局部上下文的依赖程度，包括：
根据对词库中不同语义单元进行的局部上下文依赖程度，确定卷积网络进行卷积运算的相关参数；
利用卷积网络采用卷积算法，对各词向量对该词向量的局部上下文的依赖程度进行特征提取。
5.根据权利要求3所述的方法，其特征在于，不同的预测方式中，采用的多头自注意力机制中的相关参数不同。
6.根据权利要求4所述的方法，其特征在于，不同的预测方式中，卷积网络进行卷积运算的相关参数不同。
7.根据权利要求2所述的方法，其特征在于，所述计算各词向量对该词向量的全局上下文的依赖程度，或所述计算各词向量对该词向量的局部上下文的依赖程度，包括：
利用包括线性函数和非激活函数的前向反馈FFN网络，将各词向量对该词向量的局部上下文的依赖程度进行深度特征处理。
8.根据权利要求1所述的方法，其特征在于，所述根据最后一级输出的预测结果，确定需要附加标点符号的词向量，包括：
对最后一级输出的各词向量对该词向量的局部上下文的依赖程度的特征数据进行线性组合，得到组合后的向量；
对组合后的向量利用softmax函数，预测各词向量是否需要附加标点符号的概率。
9.根据权利要求1所述的方法，其特征在于，所述将所述多个语义单元转换为对应的词向量，包括：
根据预先建立的词库中不同语义单元对应的编码值，将所述多个语义单元对应的编码值作为对应的词向量。
10.根据权利要求1所述的方法，其特征在于，对词库中不同语义单元间上下文依赖程度，为通过以为输入不同句式中语义单元对应的词向量为输入特征，以输出句式中标注的标点符号为目标，对网络模型参数进行训练的序列建模结果。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010929123.9A CN112183084B (zh) | 2020-09-07 | 2020-09-07 | 一种音视频数据处理方法和装置及设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010929123.9A CN112183084B (zh) | 2020-09-07 | 2020-09-07 | 一种音视频数据处理方法和装置及设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112183084A true CN112183084A (zh) | 2021-01-05 |
| CN112183084B CN112183084B (zh) | 2024-03-15 |
Family
ID=73924884
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010929123.9A Active CN112183084B (zh) | 2020-09-07 | 2020-09-07 | 一种音视频数据处理方法和装置及设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112183084B (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113140220A (zh) * | 2021-04-12 | 2021-07-20 | 西北工业大学 | 基于卷积自注意力变换网络的轻量级端到端语音识别方法 |
| CN113362809A (zh) * | 2021-07-02 | 2021-09-07 | 上海淇玥信息技术有限公司 | 语音识别方法、装置和电子设备 |
| CN113436615A (zh) * | 2021-07-06 | 2021-09-24 | 南京硅语智能科技有限公司 | 语义识别模型及其训练方法、语义识别方法 |
| CN114155835A (zh) * | 2021-12-06 | 2022-03-08 | 哈尔滨工程大学 | 一种融合全局场景与局部事件信息的音频语意概述方法 |
| US11763099B1 (en) | 2022-04-27 | 2023-09-19 | VoyagerX, Inc. | Providing translated subtitle for video content |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20170200066A1 (en) * | 2016-01-13 | 2017-07-13 | Adobe Systems Incorporated | Semantic Natural Language Vector Space |
| CN107767870A (zh) * | 2017-09-29 | 2018-03-06 | 百度在线网络技术（北京）有限公司 | 标点符号的添加方法、装置和计算机设备 |
| CN108090038A (zh) * | 2016-11-11 | 2018-05-29 | 科大讯飞股份有限公司 | 文本断句方法及系统 |
| CN109614627A (zh) * | 2019-01-04 | 2019-04-12 | 平安科技（深圳）有限公司 | 一种文本标点预测方法、装置、计算机设备及存储介质 |
| CN109887499A (zh) * | 2019-04-11 | 2019-06-14 | 中国石油大学(华东) | 一种基于循环神经网络的语音自动断句算法 |
| CN110534087A (zh) * | 2019-09-04 | 2019-12-03 | 清华大学深圳研究生院 | 一种文本韵律层级结构预测方法、装置、设备及存储介质 |
| CN110827813A (zh) * | 2019-10-18 | 2020-02-21 | 清华大学深圳国际研究生院 | 一种基于多模态特征的重音检测方法及系统 |
| CN111261162A (zh) * | 2020-03-09 | 2020-06-09 | 北京达佳互联信息技术有限公司 | 语音识别方法、语音识别装置及存储介质 |
| CN111353303A (zh) * | 2020-05-25 | 2020-06-30 | 腾讯科技（深圳）有限公司 | 词向量构建方法、装置、电子设备及存储介质 |
-
2020
- 2020-09-07 CN CN202010929123.9A patent/CN112183084B/zh active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20170200066A1 (en) * | 2016-01-13 | 2017-07-13 | Adobe Systems Incorporated | Semantic Natural Language Vector Space |
| CN108090038A (zh) * | 2016-11-11 | 2018-05-29 | 科大讯飞股份有限公司 | 文本断句方法及系统 |
| CN107767870A (zh) * | 2017-09-29 | 2018-03-06 | 百度在线网络技术（北京）有限公司 | 标点符号的添加方法、装置和计算机设备 |
| CN109614627A (zh) * | 2019-01-04 | 2019-04-12 | 平安科技（深圳）有限公司 | 一种文本标点预测方法、装置、计算机设备及存储介质 |
| CN109887499A (zh) * | 2019-04-11 | 2019-06-14 | 中国石油大学(华东) | 一种基于循环神经网络的语音自动断句算法 |
| CN110534087A (zh) * | 2019-09-04 | 2019-12-03 | 清华大学深圳研究生院 | 一种文本韵律层级结构预测方法、装置、设备及存储介质 |
| CN110827813A (zh) * | 2019-10-18 | 2020-02-21 | 清华大学深圳国际研究生院 | 一种基于多模态特征的重音检测方法及系统 |
| CN111261162A (zh) * | 2020-03-09 | 2020-06-09 | 北京达佳互联信息技术有限公司 | 语音识别方法、语音识别装置及存储介质 |
| CN111353303A (zh) * | 2020-05-25 | 2020-06-30 | 腾讯科技（深圳）有限公司 | 词向量构建方法、装置、电子设备及存储介质 |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113140220A (zh) * | 2021-04-12 | 2021-07-20 | 西北工业大学 | 基于卷积自注意力变换网络的轻量级端到端语音识别方法 |
| CN113362809A (zh) * | 2021-07-02 | 2021-09-07 | 上海淇玥信息技术有限公司 | 语音识别方法、装置和电子设备 |
| CN113362809B (zh) * | 2021-07-02 | 2023-02-21 | 上海淇玥信息技术有限公司 | 语音识别方法、装置和电子设备 |
| CN113436615A (zh) * | 2021-07-06 | 2021-09-24 | 南京硅语智能科技有限公司 | 语义识别模型及其训练方法、语义识别方法 |
| CN114155835A (zh) * | 2021-12-06 | 2022-03-08 | 哈尔滨工程大学 | 一种融合全局场景与局部事件信息的音频语意概述方法 |
| CN114155835B (zh) * | 2021-12-06 | 2022-07-08 | 哈尔滨工程大学 | 一种融合全局场景与局部事件信息的音频语意概述方法 |
| US11763099B1 (en) | 2022-04-27 | 2023-09-19 | VoyagerX, Inc. | Providing translated subtitle for video content |
| US11770590B1 (en) | 2022-04-27 | 2023-09-26 | VoyagerX, Inc. | Providing subtitle for video content in spoken language |
| US11947924B2 (en) | 2022-04-27 | 2024-04-02 | VoyagerX, Inc. | Providing translated subtitle for video content |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112183084B (zh) | 2024-03-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112183084B (zh) | 一种音视频数据处理方法和装置及设备 | |
| CN109785824B (zh) | 一种语音翻译模型的训练方法及装置 | |
| CN109874029B (zh) | 视频描述生成方法、装置、设备及存储介质 | |
| CN110364146B (zh) | 语音识别方法、装置、语音识别设备及存储介质 | |
| CN111581437A (zh) | 一种视频检索方法及装置 | |
| CN111263227B (zh) | 一种多媒体播放方法、装置、存储介质以及终端 | |
| CN111462735A (zh) | 语音检测方法、装置、电子设备及存储介质 | |
| CN110557659B (zh) | 视频推荐方法、装置、服务器及存储介质 | |
| CN112399258B (zh) | 直播回放视频生成播放方法、装置、存储介质及电子设备 | |
| CN110234018B (zh) | 多媒体内容描述生成方法、训练方法、装置、设备及介质 | |
| CN113709384A (zh) | 基于深度学习的视频剪辑方法、相关设备及存储介质 | |
| EP3992924A1 (en) | Machine learning based media content annotation | |
| CN111372141B (zh) | 表情图像生成方法、装置及电子设备 | |
| CN115293132B (zh) | 虚拟场景的对话处理方法、装置、电子设备及存储介质 | |
| CN114419527B (zh) | 一种数据处理方法、设备以及计算机可读存储介质 | |
| CN113642536B (zh) | 数据处理方法、计算机设备以及可读存储介质 | |
| CN117271745A (zh) | 一种信息处理方法、装置及计算设备、存储介质 | |
| CN116958738A (zh) | 图片识别模型的训练方法和装置、存储介质及电子设备 | |
| CN115883878A (zh) | 视频剪辑方法、装置、电子设备及存储介质 | |
| CN116074574A (zh) | 一种视频处理方法、装置、设备及存储介质 | |
| CN114329005A (zh) | 信息处理方法、装置、计算机设备及存储介质 | |
| CN114330701A (zh) | 模型训练方法、装置、计算机设备、存储介质及程序产品 | |
| CN113762056A (zh) | 演唱视频识别方法、装置、设备及存储介质 | |
| CN112135200A (zh) | 一种针对压缩视频的视频描述生成方法 | |
| CN116913278B (zh) | 语音处理方法、装置、设备和存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |