CN110502610A - 基于文本语义相似度的智能语音签名方法、装置及介质 - Google Patents

基于文本语义相似度的智能语音签名方法、装置及介质 Download PDF

Info

Publication number
CN110502610A
CN110502610A CN201910671357.5A CN201910671357A CN110502610A CN 110502610 A CN110502610 A CN 110502610A CN 201910671357 A CN201910671357 A CN 201910671357A CN 110502610 A CN110502610 A CN 110502610A
Authority
CN
China
Prior art keywords
indicate
semantic similarity
text information
training
text
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910671357.5A
Other languages
English (en)
Inventor
李彬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
OneConnect Smart Technology Co Ltd
Original Assignee
OneConnect Smart Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by OneConnect Smart Technology Co Ltd filed Critical OneConnect Smart Technology Co Ltd
Priority to CN201910671357.5A priority Critical patent/CN110502610A/zh
Publication of CN110502610A publication Critical patent/CN110502610A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/3331—Query processing
    • G06F16/334—Query execution
    • G06F16/3344—Query execution using natural language analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/088—Non-supervised learning, e.g. competitive learning
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/26—Speech to text systems
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L17/00—Speaker identification or verification
    • G10L17/22—Interactive procedures; Man-machine interfaces
    • G10L17/24—Interactive procedures; Man-machine interfaces the user being prompted to utter a password or a predefined phrase

Abstract

本发明属于人工智能技术领域，公开了一种基于文本语义相似度的智能语音签名方法、装置及介质，方法包括：获取用户语音和目标文本信息；将获取的用户语音转化为文本信息，得到转化文本信息；将转化文本信息与目标文本信息输入经过训练得到的文本语义相似度模型，得到转化文本信息与目标文本信息的文本语义相似度；根据文本语义相似度进行语音签名认证；其中，文本语义相似度模型的训练包括：在预训练模型中的预训练和分类器中的训练两个训练阶段。本发明通过将模型训练划分为两个训练阶段，对语义表征可以实现90％以上的准确率，同时降低对目标业务场景的标注数据的依赖，便于充分利用互联网上丰富的文本资源。

Description

基于文本语义相似度的智能语音签名方法、装置及介质
技术领域
本发明涉及人工智能技术领域，尤其涉及一种基于文本语义相似度的智能语音签名方法、装置及介质。
背景技术
随着例如对话系统等自然语言处理的应用逐渐走进人们的生活，自然语言输入取代关键词短语搜索，逐渐成为了重要的信息输入入口。自然语言理解能力，在智能风控领域如语音签名场景也有广阔的应用前景。传统的语音签名系统通过匹配输入样本声纹与数据库内的记录声纹，确认声音采集者身份。然而在一些特殊场景，需要语音被采集者进行录入语音保证。输入的语音文本需要与指定的目标文本内容一致。而判断输入语音与标准文本是否符合，需要对文本语义进行理解，并计算文本语义相似度。
目前语义相似度计算的深度学习方法一般基于深度语义表示模型(DeepStructured Semantic Model，DSSM)。这类模型及其卷积神经网络和递归神经网络的延伸变体可对两段文本的语义关系(一致或矛盾)进行高准确率的识别。但是，现有的DSSM及其变体在语音签名场景的应用上，有以下两个难点：第一，缺少场景数据，DSSM的训练是有监督训练，需要海量的标注数据，而在语音签名的应用场景，缺少足够的标注语料来支撑模型的训练；第二，是缺少泛化能力，DSSM是端到端的模型，优化目标仅是识别两段文本在语义上是否一致，中间的字词表示层的训练不可控，而非通用语言模型；在训练样本不丰富、不均匀时，模型易存在对训练样本的过拟合；当目标文本内容频繁变化时，需要补充训练样本重新训练。
发明内容
本发明提供一种基于文本语义相似度的智能语音签名方法、装置及介质，以解决现有技术在语音签名场景的应用上缺少场景数据和泛化能力的问题。
为了实现上述目的，本发明的一个方面是提供一种基于文本语义相似度的智能语音签名方法，包括以下步骤：
获取用户语音和目标文本信息；将获取的用户语音转化为文本信息，得到转化文本信息；将转化文本信息与目标文本信息输入经过训练得到的文本语义相似度模型，得到转化文本信息与目标文本信息的文本语义相似度；根据得到的文本语义相似度进行语音签名认证；其中，文本语义相似度模型的训练包括：将转化文本信息与目标文本信息输入预训练模型，进行预训练，得到与转化文本信息和目标文本信息分别相对应的表征语义；将预训练模型得到的表征语义输入分类器中进行训练，得到与转化文本信息和目标文本信息分别相对应的表征语义的相似度。
优选地，通过预训练模型进行预训练的优化目标为：
其中，N表示一段文本序列中词的总数量，tk表示一段文本序列中第k个位置的词，{t1，...，tk-1}表示词tk的上文序列，{tk+1，...，tN}表示词tk的下文序列，Θpre表示预训练模型的训练参数，p1表示在第k个位置出现词tk的概率。
优选地，通过分类器进行训练的优化目标为：
argmax p2(y|r；Θtask)
其中，p2表示转化文本信息与目标文本信息一致的匹配概率，r表示语义表征宽向量，Θtask表示分类器的训练参数。
优选地，所述预训练模型包括输入层、嵌入层、神经网络层、全连接层、归一化层以及输出层，其中，输入层用于输入转化文本信息和目标文本信息，嵌入层用于将输入的文本信息转化为词向量，神经网络层用于将词向量转化为表征语义，神经网络层包括长短期记忆网络(Long Short-Term Memory，LSTM)模型和注意力机制层，通过注意力机制层对LSTM模型的权重参数进行训练，全连接层用于生成权重矩阵，归一化层用于获取在第k个位置出现词tk的概率。
优选地，LSTM模型包括：
遗忘门：
ft＝σ(Wxfxt+Whfht-1+Wcfct-1+bf)
其中，ft表示t时刻遗忘门的输出，σ表示sigmoid函数，Wxf表示xt的权重矩阵，Whf表示ht-1的权重矩阵，Wcf表示ct-1的权重矩阵，ht-1表示上一隐层状态，xt表示当前输入，ct-1表示上一细胞状态，bf表示遗忘门的偏置项；
输入门：
it＝σ(Wxixt+Whiht-1+Wcict-1+bi)
其中，it表示t时刻更新门的输出，σ表示sigmoid函数，Wxi表示xt的权重矩阵，Whi表示ht-1的权重矩阵，Wci表示ct-1的权重矩阵，bi表示输入门的偏置项，ht-1表示上一隐层状态，xt表示当前输入，ct-1表示上一细胞状态；
更新信息：
ct＝itgt+ftct-1
gt＝tanh(Wxcxt+Whcht-1+Wccct-1+bc)
其中，ct表示当前细胞状态，gt表示tanh函数的输出，Wxc表示xt的权重矩阵，Whc表示ht-1的权重矩阵，Wcc表示ct-1的权重矩阵，bc表示细胞的偏置项；
输出门：
ot＝σ(Wxoxt+Whoht-1+Wcoct+bo)
ht＝ottanh(ct)
其中，ot表示输出门的输出，Wxo表示xt的权重矩阵，Who表示ht-1的权重矩阵，Wco表示ct的权重矩阵，bo表示输出门的偏置项，ht表示当前隐层状态。
优选地，注意力机制层通过下式对LSTM模型的权重参数进行训练：
M＝tanh(H)
α＝softmax(ωTM)
γ＝HαT
h*＝tanh(γ)
其中，H表示LSTM层输入的向量集合，M表示集合H经tanh函数映射后的输出，α表示ωTM经softmax函数映射后的输出，ωT表示M的权重矩阵，γ表示集合H与αT的乘积，αT表示α的转置，h*表示输出的隐层状态；
通过全连接层生成权重矩阵W(S)之后，归一化层通过下式获取概率值：
其中，表示预测的概率值，tk表示句子S中的第k个词，S表示给定的包含N个词的句子，bS表示偏置项系数。
优选地，在根据得到的文本语义相似度进行语音签名认证之前，还包括：根据用户语音获取对应的声纹信息；将获取的声纹信息与样本库中存储的记录声纹相匹配，得到用户声纹信息与记录声纹信息的声纹匹配度。
优选地，根据得到的文本语义相似度进行语音签名认证，包括：分别设定声纹匹配度阈值和语义相似度阈值，若获取的声纹匹配度超过设定的声纹匹配度阈值，并且，文本语义相似度超过设定的语义相似度阈值，则语音签名认证通过，若获取的声纹匹配度和文本语义相似度中的一个或两个未超过相应的设定阈值，则语音签名认证未通过。
为了实现上述目的，本发明的另一个方面是提供一种电子装置，该电子装置包括：处理器，存储器，所述存储器中包括智能语音签名程序，所述智能语音签名程序被所述处理器执行时实现如上所述的智能语音签名方法的步骤。
为了实现上述目的，本发明的再一个方面是提供一种计算机可读存储介质，所述计算机可读存储介质中包括智能语音签名程序，所述智能语音签名程序被处理器执行时，实现如上所述的智能语音签名方法的步骤。
相对于现有技术，本发明具有以下优点和有益效果：
本发明所述智能语音签名方法将识别短文本语义是否一致的训练划分为两个训练阶段，通过对目标业务场景的小数据集进行有监督训练，对语音输入文本和标准文本的语义进行特征识别，对语义表征可以实现90％以上的准确率，同时降低对目标业务场景的标注数据的依赖，便于充分利用互联网上丰富的文本资源。通过引入基于深度学习的语义理解能力有助于提高智能语音签名的自动审核效率，降低企业在风控身份认证审核中的人力依赖。
附图说明
图1为本发明所述智能语音签名方法的流程示意图；
图2为本发明中智能语音签名程序的模块示意图。
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
下面将参考附图来描述本发明所述的实施例。本领域的普通技术人员可以认识到，在不偏离本发明的精神和范围的情况下，可以用各种不同的方式或其组合对所描述的实施例进行修正。因此，附图和描述在本质上是说明性的，仅仅用以解释本发明，而不是用于限制权利要求的保护范围。此外，在本说明书中，附图未按比例画出，并且相同的附图标记表示相同的部分。
图1为本发明所述智能语音签名方法的流程示意图，如图1所示，本发明所述基于文本语义相似度的智能语音签名方法，包括以下步骤：
步骤S1，获取用户语音和目标文本信息，其中，用户语音为用户根据要求朗读业务要求的目标文本而获取的语音，例如，承诺书、保证书、宣誓等文本；
步骤S2，将获取的用户语音转化为文本信息，得到转化文本信息，通过自动语音识别技术实现；
步骤S3，将转化文本信息与目标文本信息输入经过训练得到的文本语义相似度模型，得到转化文本信息与目标文本信息的文本语义相似度；
步骤S4，根据得到的文本语义相似度进行语音签名认证，根据语音输入内容与规范文本的语义级的匹配结果，综合判断语音输入是否存在作假风险。
本发明为了解决深度学习模型在语音签名场景的应用困难的问题，将识别短文本语义是否一致的二分类优化目标的训练划分为两个训练阶段，文本语义相似度模型的训练包括：
将转化文本信息与目标文本信息输入预训练模型，进行预训练，得到与转化文本信息和目标文本信息分别相对应的表征语义，预训练模型是一个通用的语言模型，通过文本信息预测出文本中的每个词汇本身，可以提高对文本语义表征的准确率，同时降低对目标业务场景的标注数据的依赖；
将预训练模型得到的表征语义输入分类器中进行训练，得到与转化文本信息和目标文本信息分别相对应的表征语义的相似度。
其中，在预训练模型中进行的预训练可以将输入文本信息进行有效、可泛化地无监督语义表征，并且预训练的训练目标与下游任务场景无关，使得预训练时可以充分利用互联网上丰富的文本资源，降低对任务场景的标注数据的依赖；在分类器中的训练阶段，以输入文本通过预训练模型得到的表征语义作为输入，相比于深层模型含有较少的参数数量，通过较少的任务场景相关的标注数据便可以实现训练收敛。本发明使得文本语义相似度模型的训练不再缺少标注语料的支持，适用于语音签名的应用场景，且当目标文本的内容频繁变化时，无需重新训练。
优选地，通过预训练模型进行的预训练为无监督训练，优化目标为：
其中，N表示一段文本序列中词的总数量，tk表示一段文本序列{t1，t2，...，tN}中第k个位置的词，{t1，...，tk-1}表示词tk的上文序列，{tk+1，...，tN}表示词tk的下文序列，Θpre表示预训练模型的训练参数，p1表示在第k个位置出现词tk的概率。
本发明的一个实施例中，所述预训练模型包括输入层、嵌入层、神经网络层、全连接层、归一化层以及输出层，其中，输入层用于输入转化文本信息和目标文本信息，嵌入层用于将输入的文本信息转化为词向量，神经网络层用于将词向量转化为表征语义，全连接层用于生成权重矩阵，归一化层用于获取在第k个位置出现词tk的概率。上述预训练模型的训练参数即为神经网络层中各连接层之间的权重参数和偏置。
优选地，神经网络层包括长短期记忆网络(Long Short-Term Memory，LSTM)模型和注意力机制层，通过注意力机制层对LSTM模型的权重参数进行训练。
其中，LSTM模型包括：
遗忘门：
ft＝σ(Wxfxt+Whfht-1+Wcfct-1+bf)
其中，ft表示t时刻遗忘门的输出，σ表示sigmoid函数，Wxf表示xt的权重矩阵，Whf表示ht-1的权重矩阵，Wcf表示ct-1的权重矩阵，ht-1表示上一隐层状态，xt表示当前输入，ct-1表示上一细胞状态，bf表示遗忘门的偏置项。
输入门：
it＝σ(Wxixt+Whiht-1+Wcict-1+bi)
其中，it表示t时刻更新门的输出，σ表示sigmoid函数，Wxi表示xt的权重矩阵，Whi表示ht-1的权重矩阵，Wci表示ct-1的权重矩阵，bi表示输入门的偏置项，ht-1表示上一隐层状态，xt表示当前输入，ct-1表示上一细胞状态。
更新信息：
ct＝itgt+ftct-1
gt＝tanh(Wxcxt+Whcht-1+Wccct-1+bc)
其中，ct表示当前细胞状态，gt表示tanh函数的输出，Wxc表示xt的权重矩阵，Whc表示ht-1的权重矩阵，Wcc表示ct-1的权重矩阵，bc表示细胞的偏置项。
输出门：
ot＝σ(Wxoxt+Whoht-1+Wcoct+bo)
ht＝ottanh(ct)
其中，ot表示输出门的输出，Wxo表示xt的权重矩阵，Who表示ht-1的权重矩阵，Wco表示ct的权重矩阵，bo表示输出门的偏置项，ht表示当前隐层状态。
通过注意力机制层学习到LSTM模型隐藏层的信息的权重参数，注意力机制层对LSTM模型的权重参数的训练通过下式得到：
H：[h1，h2，...，hm]
M＝tanh(H)
α＝softmax(ωTM)
γ＝HαT
h*＝tanh(γ)
其中，H表示LSTM层输入的向量集合，hm表示第m个输入向量，M表示集合H经tanh函数映射后的输出，α表示ωTM经softmax函数映射后的输出，ωT表示M的权重矩阵，γ表示集合H与αT的乘积，αT表示α的转置，h*表示输出的隐层状态。
通过全连接层生成权重矩阵W(S)之后，归一化层通过下式获取概率值：
其中，表示预测的概率值，tk表示句子S中的第k个词，S表示给定的包含N个词的句子，bS表示偏置项系数。
本发明的一个实施例中，将预训练模型得到的表征语义输入分类器中，包括：
将转化文本信息对应的表征语义向量与目标文本信息对应的表征语义向量合并，获取语义表征宽向量；将获取的语义表征向量输入分类器中，从而通过分类器可以获取两段表征语义之间的关系(指一致或矛盾)。
通过分类器模型判断用户语音转化得到的文本与目标文本的语义是否一致，优化预测值与真实值之间的差值，分类器模型仅包括一层全连接层，相比深层模型含有较少的参数数量，通过较少的任务场景相关的标注数据便可以实现训练收敛。
优选地，通过分类器模型进行的训练为有监督训练，优化目标为：
argmax p2(y|r；Θtask)
其中，p2表示转化文本信息与目标文本信息一致的匹配概率，r表示语义表征宽向量，表示转化文本信息{s1，...，sN}通过预训练模型最后一层后的高维语义表征，表示目标文本信息{t1，...，tM}通过预训练模型最后一层后的高维语义表征，L表示预训练模型的最后一层，Θtask表示分类器的训练参数。
将文本语义相似度模型的训练划分为两个训练阶段之后，由于仅有分类器模型的训练为有监督训练，当业务场景引入了新的目标文本时，仅需要将新样本加入训练集中，对分类器进行微调训练即可，无需全部重新训练，降低了计算成本。
优选地，在根据得到的文本语义相似度进行语音签名认证之前，还包括：
根据用户语音获取对应的声纹信息；将获取的声纹信息与样本库中存储的记录声纹相匹配，得到用户声纹信息与记录声纹信息的声纹匹配度。
进一步地，根据得到的文本语义相似度进行语音签名认证，包括：结合获取的声纹匹配度和文本语义相似度共同进行语音签名认证，具体地，分别设定声纹匹配度阈值和语义相似度阈值，若获取的声纹匹配度超过设定的声纹匹配度阈值，并且，文本语义相似度超过设定的语义相似度阈值，则认为语音签名认证通过，若获取的声纹匹配度和文本语义相似度中的一个或两个未超过相应的设定阈值，则认为语音签名认证未通过，用户语音输入存在作假风险。
本发明通过引入基于深度学习的语义理解有助于提高签名认证中的自动审核效率，降低企业在风控身份认证审核中的人力依赖。
本发明还提供一种基于文本语义相似度的智能语音签名系统，包括：
获取模块，获取用户语音和目标文本信息，其中，用户语音为通过记录用户对目标文本的朗读而得到；
语音转化模块，将获取的用户语音转化为文本信息，得到转化文本信息；
相似度生成模块，将转化文本信息与目标文本信息输入经过训练得到的文本语义相似度模型，得到转化文本信息与目标文本信息的文本语义相似度；
签名认证模块，根据得到的文本语义相似度进行语音签名认证；
其中，相似度生成模块包括训练单元，对文本语义相似度模型进行训练，其中，训练单元的训练阶段包括两个阶段，具体地，包括：将转化文本信息与目标文本信息输入预训练模型，进行预训练，得到与转化文本信息和目标文本信息分别相对应的表征语义；将预训练模型得到的表征语义输入分类器中进行训练，得到与转化文本信息和目标文本信息分别相对应的表征语义的相似度。
需要说明的是，相似度生成模块对文本语义相似度模型的训练以及文本语义相似度模型的结构等均与上述智能语音签名方法中类似，在此不再赘述。
智能语音签名系统还包括：声纹识别模块，对记录的用户语音进行声纹识别，识别的声纹信息用于与文本语义相似度共同对语音签名进行认证，使得基于声纹识别的基础上，增加文本语义相似度的识别，提高语音签名认证的准确性。
本发明所述智能语音签名方法应用于电子装置，所述电子装置可以是电视机、智能手机、平板电脑、计算机等终端设备。
所述电子装置包括：处理器；存储器，用于存储智能语音签名程序，处理器执行所述智能语音签名程序，实现以下的智能语音签名方法的步骤：
获取用户语音和目标文本信息；将获取的用户语音转化为文本信息，得到转化文本信息，通过自动语音识别技术实现；将转化文本信息与目标文本信息输入经过训练得到的文本语义相似度模型，得到转化文本信息与目标文本信息的文本语义相似度，其中，文本语义相似度模型的训练包括：在预训练模型中的预训练和分类器中的训练两个训练阶段；根据得到的文本语义相似度进行语音签名认证，根据语音输入内容与规范文本的语义级的匹配结果，综合判断语音输入是否存在作假风险。
所述电子装置还包括网络接口和通信总线等。其中，网络接口可以包括标准的有线接口、无线接口，通信总线用于实现各个组件之间的连接通信。
存储器包括至少一种类型的可读存储介质，可以是闪存、硬盘、光盘等非易失性存储介质，也可以是插接式硬盘等，且并不限于此，可以是以非暂时性方式存储指令或软件以及任何相关联的数据文件并向处理器提供指令或软件程序以使该处理器能够执行指令或软件程序的任何装置。本发明中，存储器存储的软件程序包括智能语音签名程序，并可以向处理器提供该智能语音签名程序，以使得处理器可以执行该智能语音签名程序，实现智能语音签名方法的步骤。
处理器可以是中央处理器、微处理器或其他数据处理芯片等，可以运行存储器中的存储程序，例如，本发明中智能语音签名程序。
所述电子装置还可以包括显示器，显示器也可以称为显示屏或显示单元。在一些实施例中显示器可以是LED显示器、液晶显示器、触控式液晶显示器以及有机发光二极管(Organic Light-Emitting Diode，OLED)触摸器等。显示器用于显示在电子装置中处理的信息以及用于显示可视化的工作界面。
所述电子装置还可以包括用户接口，用户接口可以包括输入单元(比如键盘)、语音输出装置(比如音响、耳机)等。
在其他实施例中，智能语音签名程序还可以被分割为一个或者多个模块，一个或者多个模块被存储于存储器中，并由处理器执行，以完成本发明。本发明所称的模块是指能够完成特定功能的一系列计算机程序指令段。图2为本发明中智能语音签名程序的模块示意图，如图2所示，所述智能语音签名程序可以被分割为：获取模块1、语音转化模块2、相似度生成模块3和签名认证模块4。上述模块所实现的功能或操作步骤均与上文类似，此处不再详述，示例性地，例如其中：
获取模块1，获取用户语音和目标文本信息；
语音转化模块2，将获取的用户语音转化为文本信息，得到转化文本信息；
相似度生成模块3，将转化文本信息与目标文本信息输入经过训练得到的文本语义相似度模型，得到转化文本信息与目标文本信息的文本语义相似度；
签名认证模块4，根据得到的文本语义相似度进行语音签名认证；
其中，相似度生成模块3包括训练单元，对文本语义相似度模型进行训练，其中，训练单元的训练阶段包括两个阶段，具体地，包括：将转化文本信息与目标文本信息输入预训练模型，进行预训练，得到与转化文本信息和目标文本信息分别相对应的表征语义；将预训练模型得到的表征语义输入分类器中进行训练，得到与转化文本信息和目标文本信息分别相对应的表征语义的相似度。
本发明的一个实施例中，计算机可读存储介质可以是任何包含或存储程序或指令的有形介质，其中的程序可以被执行，通过存储的程序指令相关的硬件实现相应的功能。例如，计算机可读存储介质可以是计算机磁盘、硬盘、随机存取存储器、只读存储器等。本发明并不限于此，可以是以非暂时性方式存储指令或软件以及任何相关数据文件或数据结构并且可提供给处理器以使处理器执行其中的程序或指令的任何装置。所述计算机可读存储介质中包括智能语音签名程序，所述智能语音签名程序被处理器执行时，实现如下的智能语音签名方法的步骤：
获取用户语音和目标文本信息；将获取的用户语音转化为文本信息，得到转化文本信息，通过自动语音识别技术实现；将转化文本信息与目标文本信息输入经过训练得到的文本语义相似度模型，得到转化文本信息与目标文本信息的文本语义相似度；根据得到的文本语义相似度进行语音签名认证。
本发明之计算机可读存储介质的具体实施方式与上述智能语音签名方法、电子装置的具体实施方式大致相同，在此不再赘述。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、装置、物品或者方法不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、装置、物品或者方法所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、装置、物品或者方法中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在如上所述的一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。

Claims (10)

1.一种基于文本语义相似度的智能语音签名方法，应用于电子装置，其特征在于，包括以下步骤：
获取用户语音和目标文本信息；
将获取的用户语音转化为文本信息，得到转化文本信息；
将转化文本信息与目标文本信息输入经过训练得到的文本语义相似度模型，得到转化文本信息与目标文本信息的文本语义相似度；
根据得到的文本语义相似度进行语音签名认证；
其中，文本语义相似度模型的训练包括：
将转化文本信息与目标文本信息输入预训练模型，进行预训练，得到与转化文本信息和目标文本信息分别相对应的表征语义；
将预训练模型得到的表征语义输入分类器中进行训练，得到与转化文本信息和目标文本信息分别相对应的表征语义的相似度。
2.根据权利要求1所述的基于文本语义相似度的智能语音签名方法，其特征在于，通过预训练模型进行预训练的优化目标为：
其中，N表示一段文本序列中词的总数量，tk表示一段文本序列中第k个位置的词，{t1，...，tk-1}表示词tk的上文序列，{tk+1，...，tN}表示词tk的下文序列，Θpre表示预训练模型的训练参数，p1表示在第k个位置出现词tk的概率。
3.根据权利要求1所述的基于文本语义相似度的智能语音签名方法，其特征在于，通过分类器进行训练的优化目标为：
argmax p2(y|r；Θtask)
其中，p2表示转化文本信息与目标文本信息一致的匹配概率，r表示语义表征宽向量，Θtask表示分类器的训练参数。
4.根据权利要求1所述的基于文本语义相似度的智能语音签名方法，其特征在于，所述预训练模型包括输入层、嵌入层、神经网络层、全连接层、归一化层以及输出层，其中，输入层用于输入转化文本信息和目标文本信息，嵌入层用于将输入的文本信息转化为词向量，神经网络层用于将词向量转化为表征语义，神经网络层包括LSTM模型和注意力机制层，通过注意力机制层对LSTM模型的权重参数进行训练，全连接层用于生成权重矩阵，归一化层用于获取在第k个位置出现词tk的概率。
5.根据权利要求4所述的基于文本语义相似度的智能语音签名方法，其特征在于，LSTM模型包括：
遗忘门：
ft＝σ(Wxfxt+Whfht-1+Wcfct-1+bf)
其中，ft表示t时刻遗忘门的输出，σ表示sigmoid函数，Wxf表示xt的权重矩阵，Whf表示ht-1的权重矩阵，Wcf表示ct-1的权重矩阵，ht-1表示上一隐层状态，xt表示当前输入，ct-1表示上一细胞状态，bf表示遗忘门的偏置项；
输入门：
it＝σ(Wxixt+Whiht-1+Wcict-1+bi)
其中，it表示t时刻更新门的输出，σ表示sigmoid函数，Wxi表示xt的权重矩阵，Whi表示ht-1的权重矩阵，Wci表示ct-1的权重矩阵，bi表示输入门的偏置项，ht-1表示上一隐层状态，xt表示当前输入，ct-1表示上一细胞状态；
更新信息：
ct＝itgt+ftct-1
gt＝tanh(Wxcxt+Whcht-1+Wccct-1+bc)
其中，ct表示当前细胞状态，gt表示tanh函数的输出，Wxc表示xt的权重矩阵，Whc表示ht-1的权重矩阵，Wcc表示ct-1的权重矩阵，bc表示细胞的偏置项；
输出门：
ot＝σ(Wxoxt+Whoht-1+Wcoct+bo)
ht＝ottanh(ct)
其中，ot表示输出门的输出，Wxo表示xt的权重矩阵，Who表示ht-1的权重矩阵，Wco表示ct的权重矩阵，bo表示输出门的偏置项，ht表示当前隐层状态。
6.根据权利要求4或5所述的基于文本语义相似度的智能语音签名方法，其特征在于，注意力机制层通过下式对LSTM模型的权重参数进行训练：
M＝tanh(H)
α＝softmax(ωTM)
γ＝HαT
h*＝tanh(γ)
其中，H表示LSTM层输入的向量集合，M表示集合H经tanh函数映射后的输出，α表示ωTM经softmax函数映射后的输出，ωT表示M的权重矩阵，γ表示集合H与αT的乘积，αT表示α的转置，h*表示输出的隐层状态；
通过全连接层生成权重矩阵W(S)之后，归一化层通过下式获取概率值：
其中，表示预测的概率值，tk表示句子S中的第k个词，S表示给定的包含N个词的句子，bS表示偏置项系数。
7.根据权利要求1所述的基于文本语义相似度的智能语音签名方法，其特征在于，在根据得到的文本语义相似度进行语音签名认证之前，还包括：
根据用户语音获取对应的声纹信息；
将获取的声纹信息与样本库中存储的记录声纹相匹配，得到用户声纹信息与记录声纹信息的声纹匹配度。
8.根据权利要求7所述的基于文本语义相似度的智能语音签名方法，其特征在于，根据得到的文本语义相似度进行语音签名认证，包括：分别设定声纹匹配度阈值和语义相似度阈值，若获取的声纹匹配度超过设定的声纹匹配度阈值，并且，文本语义相似度超过设定的语义相似度阈值，则语音签名认证通过，若获取的声纹匹配度和文本语义相似度中的一个或两个未超过相应的设定阈值，则语音签名认证未通过。
9.一种电子装置，其特征在于，该电子装置包括：处理器，存储器，所述存储器中包括智能语音签名程序，所述智能语音签名程序被所述处理器执行时实现如权利要求1至8中任一项所述的智能语音签名方法的步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中包括智能语音签名程序，所述智能语音签名程序被处理器执行时，实现如权利要求1至8中任一项所述的智能语音签名方法的步骤。
CN201910671357.5A 2019-07-24 2019-07-24 基于文本语义相似度的智能语音签名方法、装置及介质 Pending CN110502610A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910671357.5A CN110502610A (zh) 2019-07-24 2019-07-24 基于文本语义相似度的智能语音签名方法、装置及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910671357.5A CN110502610A (zh) 2019-07-24 2019-07-24 基于文本语义相似度的智能语音签名方法、装置及介质

Publications (1)

Publication Number Publication Date
CN110502610A true CN110502610A (zh) 2019-11-26

Family

ID=68586778

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910671357.5A Pending CN110502610A (zh) 2019-07-24 2019-07-24 基于文本语义相似度的智能语音签名方法、装置及介质

Country Status (1)

Country Link
CN (1) CN110502610A (zh)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111026320A (zh) * 2019-12-26 2020-04-17 腾讯科技（深圳）有限公司 多模态智能文本处理方法、装置、电子设备及存储介质
CN111144129A (zh) * 2019-12-26 2020-05-12 成都航天科工大数据研究院有限公司 一种基于自回归与自编码的语义相似度获取方法
CN111223488A (zh) * 2019-12-30 2020-06-02 Oppo广东移动通信有限公司 语音唤醒方法、装置、设备及存储介质
CN111221936A (zh) * 2020-01-02 2020-06-02 中科鼎富（北京）科技发展有限公司 一种信息匹配方法、装置、电子设备及存储介质
CN111223489A (zh) * 2019-12-20 2020-06-02 厦门快商通科技股份有限公司 一种基于Attention注意力机制的特定关键词识别方法及系统
CN111523094A (zh) * 2020-03-25 2020-08-11 平安科技（深圳）有限公司 深度学习模型水印嵌入方法、装置、电子设备及存储介质
CN111782896A (zh) * 2020-07-03 2020-10-16 深圳市壹鸽科技有限公司 语音识别后文本处理方法、装置和终端
CN112908319A (zh) * 2019-12-04 2021-06-04 海信视像科技股份有限公司 一种处理信息交互的方法及设备
CN113033174A (zh) * 2021-03-23 2021-06-25 哈尔滨工业大学 一种基于输出型相似门的案件罪名判定方法、装置及存储介质
CN113486672A (zh) * 2021-07-27 2021-10-08 腾讯音乐娱乐科技（深圳）有限公司 多音字消歧方法及电子设备和计算机可读存储介质
CN114595497A (zh) * 2022-01-29 2022-06-07 中铁北京工程局集团有限公司 一种隐伏溶洞智能探测方法及系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106961418A (zh) * 2017-02-08 2017-07-18 北京捷通华声科技股份有限公司 身份认证方法和身份认证系统
CN107221333A (zh) * 2016-03-21 2017-09-29 中兴通讯股份有限公司 一种身份认证的方法和装置
CN108182229A (zh) * 2017-12-27 2018-06-19 上海科大讯飞信息科技有限公司 信息交互方法及装置
US20190065507A1 (en) * 2017-08-22 2019-02-28 Beijing Baidu Netcom Science And Technology Co., Ltd. Method and apparatus for information processing
CN109493494A (zh) * 2018-12-15 2019-03-19 深圳壹账通智能科技有限公司 基于智能锁的开锁方法、装置、设备及介质
CN109543084A (zh) * 2018-11-09 2019-03-29 西安交通大学 一种建立面向网络社交媒体的隐蔽敏感文本的检测模型的方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107221333A (zh) * 2016-03-21 2017-09-29 中兴通讯股份有限公司 一种身份认证的方法和装置
CN106961418A (zh) * 2017-02-08 2017-07-18 北京捷通华声科技股份有限公司 身份认证方法和身份认证系统
US20190065507A1 (en) * 2017-08-22 2019-02-28 Beijing Baidu Netcom Science And Technology Co., Ltd. Method and apparatus for information processing
CN108182229A (zh) * 2017-12-27 2018-06-19 上海科大讯飞信息科技有限公司 信息交互方法及装置
CN109543084A (zh) * 2018-11-09 2019-03-29 西安交通大学 一种建立面向网络社交媒体的隐蔽敏感文本的检测模型的方法
CN109493494A (zh) * 2018-12-15 2019-03-19 深圳壹账通智能科技有限公司 基于智能锁的开锁方法、装置、设备及介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
胡朝举等: "基于深层注意力的LSTM的特定主题情感分析", 《计算机应用研究》 *
魏萍等: "基于触发词语义选择的Twitter事件共指消解研究", 《计算机科学》 *

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112908319A (zh) * 2019-12-04 2021-06-04 海信视像科技股份有限公司 一种处理信息交互的方法及设备
CN112908319B (zh) * 2019-12-04 2022-10-25 海信视像科技股份有限公司 一种处理信息交互的方法及设备
CN111223489A (zh) * 2019-12-20 2020-06-02 厦门快商通科技股份有限公司 一种基于Attention注意力机制的特定关键词识别方法及系统
CN111026320A (zh) * 2019-12-26 2020-04-17 腾讯科技（深圳）有限公司 多模态智能文本处理方法、装置、电子设备及存储介质
CN111144129B (zh) * 2019-12-26 2023-06-06 成都航天科工大数据研究院有限公司 一种基于自回归与自编码的语义相似度获取方法
CN111026320B (zh) * 2019-12-26 2022-05-27 腾讯科技（深圳）有限公司 多模态智能文本处理方法、装置、电子设备及存储介质
CN111144129A (zh) * 2019-12-26 2020-05-12 成都航天科工大数据研究院有限公司 一种基于自回归与自编码的语义相似度获取方法
CN111223488B (zh) * 2019-12-30 2023-01-17 Oppo广东移动通信有限公司 语音唤醒方法、装置、设备及存储介质
CN111223488A (zh) * 2019-12-30 2020-06-02 Oppo广东移动通信有限公司 语音唤醒方法、装置、设备及存储介质
CN111221936A (zh) * 2020-01-02 2020-06-02 中科鼎富（北京）科技发展有限公司 一种信息匹配方法、装置、电子设备及存储介质
CN111221936B (zh) * 2020-01-02 2023-11-07 鼎富智能科技有限公司 一种信息匹配方法、装置、电子设备及存储介质
CN111523094A (zh) * 2020-03-25 2020-08-11 平安科技（深圳）有限公司 深度学习模型水印嵌入方法、装置、电子设备及存储介质
CN111523094B (zh) * 2020-03-25 2023-04-18 平安科技（深圳）有限公司 深度学习模型水印嵌入方法、装置、电子设备及存储介质
CN111782896A (zh) * 2020-07-03 2020-10-16 深圳市壹鸽科技有限公司 语音识别后文本处理方法、装置和终端
CN111782896B (zh) * 2020-07-03 2023-12-12 深圳市壹鸽科技有限公司 语音识别后文本处理方法、装置和终端
CN113033174A (zh) * 2021-03-23 2021-06-25 哈尔滨工业大学 一种基于输出型相似门的案件罪名判定方法、装置及存储介质
CN113486672A (zh) * 2021-07-27 2021-10-08 腾讯音乐娱乐科技（深圳）有限公司 多音字消歧方法及电子设备和计算机可读存储介质
CN114595497A (zh) * 2022-01-29 2022-06-07 中铁北京工程局集团有限公司 一种隐伏溶洞智能探测方法及系统

Similar Documents

Publication Publication Date Title
CN110502610A (zh) 基于文本语义相似度的智能语音签名方法、装置及介质
CN107729309B (zh) 一种基于深度学习的中文语义分析的方法及装置
CN108334891B (zh) 一种任务型意图分类方法及装置
WO2020224097A1 (zh) 智能语义文档推荐方法、装置及计算机可读存储介质
WO2020082560A1 (zh) 文本关键词提取方法、装置、设备及计算机可读存储介质
US11210470B2 (en) Automatic text segmentation based on relevant context
WO2021051577A1 (zh) 语音情绪识别方法、装置、设备及存储介质
CN111753060A (zh) 信息检索方法、装置、设备及计算机可读存储介质
US20080052262A1 (en) Method for personalized named entity recognition
CN110619051B (zh) 问题语句分类方法、装置、电子设备及存储介质
CN113094578B (zh) 基于深度学习的内容推荐方法、装置、设备及存储介质
CN111274790B (zh) 基于句法依存图的篇章级事件嵌入方法及装置
CN113591483A (zh) 一种基于序列标注的文档级事件论元抽取方法
CN112632226B (zh) 基于法律知识图谱的语义搜索方法、装置和电子设备
CN110263325A (zh) 中文分词系统
CN110705304B (zh) 一种属性词提取方法
US11755668B1 (en) Apparatus and method of performance matching
CN112699686A (zh) 基于任务型对话系统的语义理解方法、装置、设备及介质
CN108227564A (zh) 一种信息处理方法、终端及计算机可读介质
CN108345612A (zh) 一种问题处理方法和装置、一种用于问题处理的装置
CN112000778A (zh) 一种基于语义识别的自然语言处理方法、装置和系统
CN112632258A (zh) 文本数据处理方法、装置、计算机设备和存储介质
CN109271624A (zh) 一种目标词确定方法、装置及存储介质
Liu et al. Cross-domain slot filling as machine reading comprehension: A new perspective
US11854537B2 (en) Systems and methods for parsing and correlating solicitation video content

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20191126

WD01 Invention patent application deemed withdrawn after publication