CN113205817B - 语音语义识别方法、系统、设备及介质 - Google Patents

语音语义识别方法、系统、设备及介质 Download PDF

Info

Publication number
CN113205817B
CN113205817B CN202110762336.1A CN202110762336A CN113205817B CN 113205817 B CN113205817 B CN 113205817B CN 202110762336 A CN202110762336 A CN 202110762336A CN 113205817 B CN113205817 B CN 113205817B
Authority
CN
China
Prior art keywords
character
characters
intention
text data
word
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110762336.1A
Other languages
English (en)
Other versions
CN113205817A (zh
Inventor
姚娟娟
钟南山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Mingping Medical Data Technology Co ltd
Original Assignee
Mingpinyun Beijing Data Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mingpinyun Beijing Data Technology Co Ltd filed Critical Mingpinyun Beijing Data Technology Co Ltd
Priority to CN202110762336.1A priority Critical patent/CN113205817B/zh
Publication of CN113205817A publication Critical patent/CN113205817A/zh
Application granted granted Critical
Publication of CN113205817B publication Critical patent/CN113205817B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/26—Speech to text systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/205—Parsing
    • G06F40/216—Parsing using statistical methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/253—Grammatical analysis; Style critique
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G06F40/289—Phrasal analysis, e.g. finite state techniques or chunking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G06F40/289—Phrasal analysis, e.g. finite state techniques or chunking
    • G06F40/295—Named entity recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/02—Feature extraction for speech recognition; Selection of recognition unit
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/06—Creation of reference templates; Training of speech recognition systems, e.g. adaptation to the characteristics of the speaker's voice
    • G10L15/063—Training

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Acoustics & Sound (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Probability & Statistics with Applications (AREA)
  • Machine Translation (AREA)

Abstract

本发明提供一种语音语义识别方法、系统、设备及介质，包括：获取用户的语音信号；利用自动语音识别技术将语音信号转换为文本数据；判断所述文本数据是否符合预设句式，若是，则根据所述文本数据中的语音信号进行响应；若否，则利用自然语言处理分析文本数据得到命名实体，并对所述文本数据进行语法分析得到意图关键词，根据所述意图关键词与命名实体之间的关系，得到意图识别结果。本发明通过结合文本数据中语音信息中的命名实体与意图关键词，能够在用户不采用话术体系交互时，也能准确理解用户的意图，从而提高了语义识别的准确率与用户的体验度。

Description

语音语义识别方法、系统、设备及介质
技术领域
本发明属于语音识别技术领域，特别是涉及一种语音语义识别方法、系统、设备及介质。
背景技术
目前，语音语义识别技术在电子设备上的应用越来越广泛。其中语音语义识别技术通过利用声学和语言学的方法，事先训练好声学模型，由于声学模型对语音数据进行语音识别。在实际产品中，语音语义识别技术会分成两个阶段，即语音识别(ASR)与自然语言处理(NLP)；其中语音识别将音频数据识别成文本数据，并将文本数据作为自然语音处理的输入数据；在NLP过程中，根据设定的词库进行词槽提取，最终达到识别出音频数据的效果。
然而，传统的语音功能，智能化程度并不能像真人一样，具体话术及使用方法需要用户学习才能更好的使用语音功能，而用户并不愿意花费时间和精力去阅读说明书，即便愿意阅读说明书，许多话术也难以记住。因此，现有技术中亟需一种准确率较高的语音语义识别方法。
发明内容
鉴于以上所述现有技术的缺点，本发明的目的在于提供一种语音语义识别方法、系统、设备及介质，用于解决现有技术语音语义识别需用户学习话术，才能准确理解语义的问题。
为实现上述目的及其他相关目的，本发明的第一方面提供一种语音语义识别方法，包括：
获取用户的语音信号；
利用自动语音识别技术将语音信号转换为文本数据；
判断所述文本数据是否符合预设句式，若是，则根据所述文本数据中的语音信号进行响应；若否，则利用自然语言处理分析文本数据得到命名实体，并对所述文本数据进行语法分析得到意图关键词，根据所述意图关键词与命名实体之间的关系，得到意图识别结果。
于所述第一方面的一实施例中，所述利用自然语言处理分析文本数据得到命名实体的步骤，包括：将所述文本数据内语音信息所对应的输入序列的每个字符映射成字符向量，根据输入序列相邻字符在词典中进行词组匹配，按照所述字符在词组中的位置生成标签并加权计算得到文本信息；将所述文本信息加入Albert预训练模型得到字符特征表示，得到每个字符的字符增加特征；利用Bi-LSTM对字符的word2vec向量与字符增加特征训练序列模型，基于该序列模型利用条件随机场识别出命名实体。
于所述第一方面的一实施例中，所述Albert预训练模型采用双向transformer获取文本的特征表示，所述transformer为编码解码模型，所述编码解码模型包含多个相同的基本层，每个基本层包含两个子网络层，其中，一个多头自注意力机制层与另一个前馈网络层。
于所述第一方面的一实施例中，还包括：结合词典信息与Albert预训练模型，将字符特征表示与字符增加特征输入到序列模型中，根据字符之间的依赖关系进行建模，得到基于Bi-LSTM的序列模型。
于所述第一方面的一实施例中，还包括：将接收到的所述语音信息转化为至少包含一条文本信息的文本数据；对所述文本信息进行分词，其中，所述分词采用基于词库分词；根据分词后的文本识别所述关键词；根据所述关键词和/或所述关键词的组合获取意图关键词。
于所述第一方面的一实施例中，还包括：将所述文本信息以句为单位进行依存句法分析并得到依存句法分析结果；
根据预设的用户意图关键词候选集，使用深度学习方法训练词向量，通过词汇相似度进行模糊匹配得到意图关键词。
于所述第一方面的一实施例中，还包括：判断所述意图关键词与命名实体关系之间是否存在依存关系，如果是，则根据两者之间的依存关系确定意图识别结果；如果否，则根据意图关键词与命名实体相同或近似关系确定意图识别结果。
本发明的第二方面提供一种语音语义识别系统，包括：
语音采集模块，用于获取用户的语音信号；
语音识别模块，利用自动语音识别技术将语音信号转换为文本数据；
意图判断模块，用于判断所述文本数据是否符合预设句式，若是，则根据所述文本数据中的语音信号进行响应；若否，则利用自然语言处理分析文本数据得到命名实体，并对所述文本数据进行语法分析得到意图关键词，根据所述意图关键词与命名实体之间的关系，得到意图识别结果。
本发明的第三方面提供一种语音语义识别设备，包括：
一个或多个处理装置；
存储器，用于存储一个或多个程序；当所述一个或多个程序被所述一个或多个处理装置执行，使得所述一个或多个处理装置实现上述的语音语义识别方法。
本发明的第四方面提供一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序用于使所述计算机执行上述的语音语义识别方法。
如上所述，本发明所述的语音语义识别方法、系统、设备及介质的一个技术方案，具有以下有益效果：
本发明无需用户一定要话术转化才能准确识别用户的语音语义，通过结合文本数据中语音信息中的命名实体与意图关键词，能够在用户不采用话术体系交互时，也能准确理解用户的意图，从而提高了语义识别的准确率与用户的体验度。
附图说明
图1显示为本发明提供的一种语音语义识别方法流程图；
图2显示为本发明提供的一种语音语义识别系统结构框图；
图3显示为本发明提供的一种语音语义识别设备的结构示意图。
具体实施方式
以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。
需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，遂图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。
本发明解决现有技术中，例如，随着智能语音交互，特别是在智能问答系统中，通常采用语音识别、自然语言处理(Natural LanguageProcessing，NLP)等技术，以对话的方式自动理解用户的语音或文字，在无需人工干预的情况下，分析用户输入的语音或文字并向用户返回合适的答案。作为人工智能的重要落地场景，智能问答系统广泛应用于智能客服等领域，例如，在健康咨询平台、医疗咨询平台，采用智能问答可以极大的降低人工成本，并带来更加友好、丰富的用户体验。
请参阅图1，为本发明提供的一种语音语义识别方法流程图，包括：
步骤S1，获取用户的语音信号；
具体地，语音信息可以是用户采用智能终端或计算机或其他智能设备上，通过设备自带的麦克风输入的语音信号。
步骤S2，利用自动语音识别技术将语音信号转换为文本数据；
其中，语音识别技术，也被称为自动语音识别Automatic Speech Recognition，(ASR)，其目标是将人类的语音中的词汇内容转换为计算机可读的输入，例如按键、二进制编码或者字符序列，与说话人识别及说话人确认不同，后者尝试识别或确认发出语音的说话人而非其中所包含的词汇内容。
例如，从语音信号中提取语音特征，考虑到将语音信号中的特性表达得更为详细，在一个具体的例子中，可以先通过对数梅尔滤波器组(Log-mel filterbank)从语音样本信号中提取80维的对数梅尔特征，再从语音信号中提取3维的音高(pitch)特征，再对80维的对数梅尔特征和3维的音高特征进行归一化处理，从而得到语音特征，通过语音识别技术将音信号转换为至少一句文本信息的文本数据，从而提高语音信号的转换准确率。
步骤S3，判断所述文本数据是否符合预设句式，若是，则根据所述文本数据中的语音信号进行响应；若否，则利用自然语言处理分析文本数据得到命名实体，并对所述文本数据进行语法分析得到意图关键词，根据所述意图关键词与命名实体之间的关系，得到意图识别结果。
其中，预设句式可以为预设的话术，例如，通过预先机器语言学习所掌握的话术，即当接收到与预设话术一致的语音信息时，可以不经过处理便进行相对应的响应操作。举例而言，本实施方式的预设话术可以为“请帮我查询XXX疾病”、“咨询高血压形成原因”、“XXX疾病如何治疗”等等。
另外，如果判断该文本数据的文本信息不符合预设句式，也可采用句式转换器将其对应转换为预设句式向量，句式转换器可以指将当前用户的当前话术或者其他对话数据转化为向量或者矩阵化的转化网络。具体地，获取对应的应用场景下的历史语料，历史语料包括至少两个人之间的对话数据，该对话数据可以包括问答数据，从而提高语音语义识别准确率。
例如，对历史语料进行分词处理，得到多个分词文本；计算各分词文本在历史语料中的第一词频，得到第一词频字典；并基于第一词频字典，计算历史语料中各句子文本中各分词文本的TF-IDF值，作为第一词频特征；基于第一词频字典和第一词频特征的特征生成算法，构造得到基于历史语料的稀疏矩阵，作为句式转化器。
在本实施例中，无需用户一定要话术转化才能准确识别用户的语音语义，通过结合文本数据中语音信息中的命名实体与意图关键词，能够在用户不采用话术体系交互时，也能准确理解用户的意图，从而提高了语义识别的准确率与用户的体验度，特别适合应用于医疗咨询平台、健康咨询平台的人机交互领域。
需要说明的是，本发明利用语音识别技术能减少用户手动操作，而且能够让用户在没有掌握话术的条件下，给用户提供话术指引，提供更加贴切的帮助，同时也加快了用户掌握语音功能的进度，提高了用户体验。
另外，本发明的技术方案还可以应用于微信、QQ、淘宝旺旺聊天、line、Facebook等即时聊天系统中，用于在用户的输入界面生成具有引导、方向性预测的应答话术，以解决现有技术中无法对与当前用户聊天的用户的聊天方向进行预判的技术问题，并且可以在用户的聊天界面生成话术预判结果，以供当前用户进行参考或者直接点击选择，具有提高聊天效率的效果。
在一实施例中，所述利用自然语言处理分析文本数据得到命名实体的步骤，包括：将所述文本数据内语音信息所对应的输入序列的每个字符映射成字符向量，根据输入序列相邻字符在词典中进行词组匹配，按照所述字符在词组中的位置生成标签并加权计算得到文本信息；将所述文本信息加入Albert预训练模型得到字符特征表示，得到每个字符的字符增加特征；利用Bi-LSTM对字符的word2vec向量与字符增加特征训练序列模型，基于该序列模型利用条件随机场识别出命名实体。
其中，采用基于字符的中文Ner模型，例如，将所述文本数据内语音信息所对应的输入序列（即，输入语句）被转换为字符序列，利用字符词汇表进行查找得到每个字符映射成字符向量。
例如，将输入序列中每个字符与其临近的字符词组，在词典中进行匹配，得到全部匹配的词组的字，利用标签A1、A2、A3与A4来记录，分别表示字符处于词组的开始、表示字符处于词组的中间、表示字符处于词组的结尾、以及单个字符，形成四个标签；利用每个字符的标签，计算四个标签的最大长度，例如，将标签长度小于最大长度的填充为0向量，将填充后的标签向量输入到神经网络。
其中，该神经网络为改进的卷积神经网络模型，其与一般的神经网络模型一致，除了包含有输入层、隐含层与输出层。其输入层输入的数据为经过分析处理后的原始数据，而后将这些原始数据，在后续的隐含层中进行卷积计算，从而逐层的提出目标函数。在输出层输出相应的目标函数后，该模型还将其预测的结果与实际结果进行比较，将两者之间的误差通过反向传播算法，从输出层逐一返回，从而提高模型的准确性。
统计词典中词组出现在统计数据中频率，计算词集的权重，具体的表达式如下：
Figure 499630DEST_PATH_IMAGE001
式中，Vs（S）为词集S的权重，g（）为relu激活函数，Z为词组出现在统计数据中频率，w为词组，b为常数。
需要说明的是，如果词组w的子序列覆盖另一个短词组，词组w的频率也不会增加，确保数据集中的短词组的频率小于覆盖它的子序列的频率。
具体地，所述Albert预训练模型采用双向transformer获取文本的特征表示，所述transformer的结构为encoder-decoder（编码解码模型），所述编码解码模型包含多个相同的基本层，每个基本层包含两个子网络层，其中，一个多头自注意力机制层与另一个前馈网络层。
其中，结合词典信息与Albert预训练模型，将字符特征表示与字符增加特征输入到序列模型中，根据字符之间的依赖关系进行建模，得到基于Bi-LSTM的序列模型。
还需要说明的是，将四个词集的向量表示，通过词集权重Vs（S）组合成一个固定维的向量特征，为了尽量多保留特征信息，将四个词集的特征连接起来，将连接的词集特征与ALbertt预训练模型添加到字符的表示中，每个字符的字符增加特征，
Xc∈[ Xc；es（A1,A2,A3,A4）；Xc Albert]
式中，Xc Albert为字符在ALbertt预训练模型的字符增加特征，词集es（A1,A2,A3,A4）表示加权计算后的向量特征。
在本实施例中，在命名实体识别中，通过对输入序列中字符在词典中进行动态词组匹配，利用神经网络对词组加权，结合word2vec与Albertt得到字符增加特征，基于Bi-LSTM对字符的word2vec向量与字符增加特征构建序列模型，通过标签推理层宇通条件随机场识别出命名实体，从而提高了命名实体识别的准确率。
在一实施例中，还包括：将接收到的所述语音信息转化为至少包含一条文本信息的文本数据；对所述文本信息进行分词，其中，所述分词采用基于词库分词；根据分词后的文本识别所述关键词；根据所述关键词和/或所述关键词的组合获取意图关键词。
例如，分词采用基于词库分词，基于词库分词是依靠中文词典数据库、历史行为词库和热门搜索词库对所述文本信息进行分词。
具体地，分词的准确率取决于算法和词库，不同的语言由于构成不同需要采用不同的分词技术，例如，英文是以词为单位，词和词之间靠空格隔开，而中文是以字为单位，相邻的字连接起来构成一个词，在另一实施方式中，可以采用正则分词与基于词典的分词算法MMSEG算法，从而实现对英文，中文的分词。需要说明的是，分词的原则是关键词按最少分词次数进行分割，通过分词可以降低识别复杂度，提高识别效率。
具体地，为了方便用户操作，用户无需进行预先训练词语、也无需采用固定的词语，本发明可以直接对普通的自然语言进行识别处理，解析接收到语音信号，获取语音信号中文本信息中的关键词，然后再根据关键词和/或关键词的组合获取意图关键词。
解析接收到语音信号，获取语音信号中文本信息中的关键词，根据关键词和/或关键词的组合获取用户目标意图可以为通过将语音信息转化为纯文本信息，通过对纯文本信息进行分词以获取语音信息的关键词,根据关键词和/或关键词的组合获取意图关键词。在另一实施方式中，也可以通过根据语音信息提取语音特征信息，根据语音特征信息和预设的声学模型生成语音信息的识别结果，再根据预设算法和语音信息的识别结果获取意图关键词。
在一实施例中，还包括：将所述文本信息以句为单位进行依存句法分析并得到依存句法分析结果；根据预设的用户意图关键词候选集，使用深度学习方法训练词向量，通过词汇相似度进行模糊匹配得到意图关键词。
具体地，将用户对话文字以句为单位进行依存句法分析，其中，依存句法分析可以使用LTP工具包实现；根据预设的用户意图关键词候选集，使用模糊匹配的方法，获得对应的意图关键词，其中，用户意图关键词候选集是由所需识别的用户意图人工生成的动词集合，关键词模糊匹配使用到word2vec深度学习模型训练得到的词向量文件，匹配的规则为cosine相似度，通过词汇相似度进行模糊匹配得到意图关键词。
在一实施例中，还包括：判断所述意图关键词与命名实体关系之间是否存在依存关系，如果是，则根据两者之间的依存关系确定意图识别结果；如果否，则根据意图关键词与命名实体相同或近似关系确定意图识别结果。
其中，利用依存语法通过分析语言单位内成分之间的依存关系揭示其句法结构，主张句子中核心动词是支配其它成分的中心成分，而它本身却不受其它任何成分的支配，所有受支配成分都以某种依存关系从属于支配者。例如，依存关系“主谓关系”、“动宾关系”、“并列关系”等，如果存在，根据两者之间的关系，确定意图。
如果意图关键词与命名实体关系之间不存在依存关系，则根据意图关键词与命名实体相同或近似关系确定意图识别结果，例如，确定分词处理得到的词语中属于目标词性的目标词语，基于词向量模型，计算所述目标词语的近义词。
在本实施例中，通过两者相结合的关系，明显提高了语音语义识别的准确率。
另外，还可采用带感情评分的词向量模型，例如，使用n表示滑动窗口的大小，训练词汇表，训练词汇表中索引值或真实的单词向量x的转换关系，得到输入值（意图关键词与命名实体）经过转换后的向量序列，将转换后的向量序列进行拼接得到长向量X，将X传递到词向量模型中线性层，通过激活函数可得到向量Z：
Figure 88874DEST_PATH_IMAGE002
式中，W1为加权系数，b1为常数，X为长向量，Z为转换后的向量序列。
将输入向量Z输入到线性层与softmax中，得到最终输出向量Y。
Figure 806295DEST_PATH_IMAGE003
式中，Loss（s）为损失函数，当k ={0,1}，当y{0}=[0,1]时，表示单词的情感为消极情感；当 y{0}=[1,0]时，单词为积极情感。Yk表示的是词向量模型对该单词的情感预测，其概率与应为1，采用词向量情感评分的方式，对常用的词向量进行打分，从而避免在语义分析时因情感相近、语义不同导致的语义分析偏差问题，从而提高语义的准确性。
请参阅图2，为本发明提供的一种语音语义识别系统结构框图，所述语音语义识别系统详述如下：
语音采集模块1，用于获取用户的语音信号；
语音识别模块2，利用自动语音识别技术将语音信号转换为文本数据；
意图判断模块3，用于判断所述文本数据是否符合预设句式，若是，则根据所述文本数据中的语音信号进行响应；若否，则利用自然语言处理分析文本数据得到命名实体，并对所述文本数据进行语法分析得到意图关键词，根据所述意图关键词与命名实体之间的关系，得到意图识别结果
还需要说明的是，语音语义识别方法与语音语义识别系统为一一对应的关系，在此，语音语义识别系统所涉及的技术细节与技术效果和上述识别方法相同，在此不一一赘述，请参照上述语音语义识别方法。
下面参考图3，其示出了适于用来实现本公开实施例的语音语义识别设备(例如电子设备设备或服务器300的结构示意图。本公开实施例中的电子设备设备可以包括但不限于诸如手机、平板电脑、膝上型电脑、台式电脑、电脑一体机、服务器、工作站、电视、机顶盒、智能眼镜、智能手表、数码相机、MP4播放器、MP5播放器、学习机、点读机、电纸书、电子词典、车载终端、虚拟现实(VirtualReality，VR)播放器或增强现实(Augmented Reality，AR)播放器等的固定器。图3示出的电子设备仅仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。
如图3所示，电子设备300可以包括处理装置(例如中央处理器、图形处理器等)301，其可以根据存储在只读存储器(ROM)302中的程序或者从存储装置308加载到随机访问存储器(RAM)303中的程序而执行各种适当的动作和处理。在RAM303中，还存储有电子设备300操作所需的各种程序和数据。处理装置301、ROM302以及RAM303通过总线304彼此相连。输入/输出(I/O)接口305也连接至总线304。
通常，以下装置可以连接至I/O接口305：包括例如触摸屏、触摸板、键盘、鼠标、摄像头、麦克风、加速度计、陀螺仪等的输入装置306；包括例如液晶显示器(LCD)、扬声器、振动器等的输出装置307；包括例如磁带、硬盘等的存储装置308；以及通信装置309。通信装置309可以允许电子设备300与其他设备进行无线或有线通信以交换数据。虽然图3示出了具有各种装置的电子设备300，但是应理解的是，并不要求实施或具备所有示出的装置。可以替代地实施或具备更多或更少的装置。
特别地，根据本公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信装置309从网络上被下载和安装，或者从存储装置308被安装，或者从ROM 302被安装。在该计算机程序被处理装置301执行时，执行本公开实施例的方法中限定的上述功能。
特别地，根据本公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信装置309从网络上被下载和安装，或者从存储装置308被安装，或者从ROM302被安装。在该计算机程序被处理装置301执行时，执行本公开实施例的方法中限定的上述功能。
上述计算机可读介质可以是上述电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。
上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被该电子设备执行时，使得该电子设备：执行上述步骤S1到步骤S3的方法。
可以以一种或多种程序设计语言或其组合来编写用于执行本公开的操作的计算机程序代码，上述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
综上所述，本发明本发明无需用户一定要话术转化才能准确识别用户的语音语义，通过结合文本数据中语音信息中的命名实体与意图关键词，能够在用户不采用话术体系交互时，也能准确理解用户的意图，从而提高了语义识别的准确率与用户的体验度，有效克服了现有技术中的种种缺点而具高度产业利用价值。
上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。

Claims (6)

1.一种语音语义识别方法，其特征在于，包括：
获取用户的语音信号；
利用自动语音识别技术将语音信号转换为文本数据；
判断所述文本数据是否符合预设句式，若是，则根据所述文本数据中的语音信号进行响应；若否，则利用自然语言处理分析文本数据得到命名实体，并对所述文本数据进行语法分析得到意图关键词，根据所述意图关键词与命名实体之间的关系，得到意图识别结果；判断所述意图关键词与命名实体关系之间是否存在依存关系，如果是，则根据两者之间的依存关系确定意图识别结果；如果否，则根据意图关键词与命名实体相同或近似关系确定意图识别结果；
将所述文本数据内语音信息所对应的输入序列的每个字符映射成字符向量，根据输入序列相邻字符在词典中进行词组匹配，按照所述字符在词组中的位置生成标签并加权计算得到文本信息；将所述文本信息加入Albert预训练模型得到字符特征表示，得到每个字符的字符增加特征；利用Bi-LSTM对字符的word2vec向量与字符增加特征训练序列模型，基于该序列模型利用条件随机场识别出命名实体；
其中，所述Albert预训练模型采用双向transformer获取文本的特征表示，所述transformer为编码解码模型，所述编码解码模型包含多个相同的基本层，每个基本层包含两个子网络层，其中，一个多头自注意力机制层与另一个前馈网络层；结合词典信息与Albert预训练模型，将字符特征表示与字符增加特征输入到序列模型中，根据字符之间的依赖关系进行建模，得到基于Bi-LSTM的序列模型；
采用基于字符的中文Ner模型，将输入序列中每个字符与其临近的字符词组，在词典中进行匹配，得到全部匹配的词组的字，利用标签A1、A2、A3与A4来记录，分别表示字符处于词组的开始、表示字符处于词组的中间、表示字符处于词组的结尾、以及单个字符，形成四个标签；将四个词集的向量表示，通过词集权重Vs（S）组合成一个固定维的向量特征，为了尽量多保留特征信息，将四个词集的特征连接起来，将连接的词集特征与ALbert预训练模型添加到字符的表示中，每个字符的字符增加特征，
Xc∈[ Xc；es（A1,A2,A3,A4）；Xc Albert]
式中，Xc Albert为字符在ALbertt预训练模型的字符增加特征，词集es（A1,A2,A3,A4）表示加权计算后的向量特征；
其中，利用统计词典中词组出现在统计数据中频率，计算词集权重，具体的表达式如下：
Figure 577199DEST_PATH_IMAGE001
式中，Vs（S）为词集S权重，g（）为relu激活函数，Z为词组出现在统计数据中频率，w为词组，b为常数。
2.根据权利要求1所述的语音语义识别方法，其特征在于，还包括：将接收到的所述语音信息转化为至少包含一条文本信息的文本数据；对所述文本信息进行分词，其中，所述分词采用基于词库分词；根据分词后的文本识别所述关键词；根据所述关键词和/或所述关键词的组合获取意图关键词。
3.根据权利要求1所述的语音语义识别方法，其特征在于，还包括：将所述文本信息以句为单位进行依存句法分析并得到依存句法分析结果；
根据预设的用户意图关键词候选集，使用深度学习方法训练词向量，通过词汇相似度进行模糊匹配得到意图关键词。
4.一种语音语义识别系统，其特征在于，包括：
语音采集模块，用于获取用户的语音信号；
语音识别模块，利用自动语音识别技术将语音信号转换为文本数据；
意图判断模块，用于判断所述文本数据是否符合预设句式，若是，则根据所述文本数据中的语音信号进行响应；若否，则利用自然语言处理分析文本数据得到命名实体，并对所述文本数据进行语法分析得到意图关键词，根据所述意图关键词与命名实体之间的关系，得到意图识别结果；判断所述意图关键词与命名实体关系之间是否存在依存关系，如果是，则根据两者之间的依存关系确定意图识别结果；如果否，则根据意图关键词与命名实体相同或近似关系确定意图识别结果；
将所述文本数据内语音信息所对应的输入序列的每个字符映射成字符向量，根据输入序列相邻字符在词典中进行词组匹配，按照所述字符在词组中的位置生成标签并加权计算得到文本信息；将所述文本信息加入Albert预训练模型得到字符特征表示，得到每个字符的字符增加特征；利用Bi-LSTM对字符的word2vec向量与字符增加特征训练序列模型，基于该序列模型利用条件随机场识别出命名实体；
其中，所述Albert预训练模型采用双向transformer获取文本的特征表示，所述transformer为编码解码模型，所述编码解码模型包含多个相同的基本层，每个基本层包含两个子网络层，其中，一个多头自注意力机制层与另一个前馈网络层；结合词典信息与Albert预训练模型，将字符特征表示与字符增加特征输入到序列模型中，根据字符之间的依赖关系进行建模，得到基于Bi-LSTM的序列模型；
采用基于字符的中文Ner模型，将输入序列中每个字符与其临近的字符词组，在词典中进行匹配，得到全部匹配的词组的字，利用标签A1、A2、A3与A4来记录，分别表示字符处于词组的开始、表示字符处于词组的中间、表示字符处于词组的结尾、以及单个字符，形成四个标签；将四个词集的向量表示，通过词集权重Vs（S）组合成一个固定维的向量特征，为了尽量多保留特征信息，将四个词集的特征连接起来，将连接的词集特征与ALbert预训练模型添加到字符的表示中，每个字符的字符增加特征，
Xc∈[ Xc；es（A1,A2,A3,A4）；Xc Albert]
式中，Xc Albert为字符在ALbertt预训练模型的字符增加特征，词集es（A1,A2,A3,A4）表示加权计算后的向量特征；
其中，利用统计词典中词组出现在统计数据中频率，计算词集权重，具体的表达式如下：
Figure 972409DEST_PATH_IMAGE001
式中，Vs（S）为词集S权重，g（）为relu激活函数，Z为词组出现在统计数据中频率，w为词组，b为常数。
5.一种语音语义识别设备，其特征在于，包括：
一个或多个处理装置；
存储器，用于存储一个或多个程序；当所述一个或多个程序被所述一个或多个处理装置执行，使得所述一个或多个处理装置实现权利要求1至3中任一所述的语音语义识别方法。
6.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序用于使计算机执行权利要求1至3中任一所述的语音语义识别方法。
CN202110762336.1A 2021-07-06 2021-07-06 语音语义识别方法、系统、设备及介质 Active CN113205817B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110762336.1A CN113205817B (zh) 2021-07-06 2021-07-06 语音语义识别方法、系统、设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110762336.1A CN113205817B (zh) 2021-07-06 2021-07-06 语音语义识别方法、系统、设备及介质

Publications (2)

Publication Number Publication Date
CN113205817A CN113205817A (zh) 2021-08-03
CN113205817B true CN113205817B (zh) 2021-12-07

Family

ID=77022780

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110762336.1A Active CN113205817B (zh) 2021-07-06 2021-07-06 语音语义识别方法、系统、设备及介质

Country Status (1)

Country Link
CN (1) CN113205817B (zh)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113657120B (zh) * 2021-08-23 2024-03-19 深圳卫安智能机器人科技有限公司 人机交互意图分析方法、装置、计算机设备及存储介质
CN113935309A (zh) * 2021-09-13 2022-01-14 惠州市德赛西威汽车电子股份有限公司 一种基于语义平台的技能优化处理方法及系统
CN113849604A (zh) * 2021-09-27 2021-12-28 广东纬德信息科技股份有限公司 一种基于nlp的电网调控方法、系统、设备及可存储介质
CN113593565B (zh) * 2021-09-29 2021-12-17 深圳大生活家科技有限公司 一种智能家庭设备管控方法和系统
CN113870842B (zh) * 2021-12-02 2022-03-15 深圳市北科瑞声科技股份有限公司 基于权重调节的语音控制方法、装置、设备及介质
CN114418709A (zh) * 2021-12-24 2022-04-29 珠海大横琴科技发展有限公司 一种会议数据处理的方法和装置
CN114462364B (zh) * 2022-02-07 2023-01-31 北京百度网讯科技有限公司 录入信息的方法和装置
CN115168563B (zh) * 2022-09-05 2022-12-20 深圳市华付信息技术有限公司 一种基于意图识别的机场服务引导方法、系统及装置
CN116884648A (zh) * 2023-05-23 2023-10-13 深圳汇医必达医疗科技有限公司 基于中医问诊的语音交互优化方法、装置、设备及介质
CN117056859B (zh) * 2023-08-15 2024-05-10 丁杨 一种对文言文中缺失文字的补全方法
CN117435716B (zh) * 2023-12-20 2024-06-11 国网浙江省电力有限公司宁波供电公司 电网人机交互终端的数据处理方法及系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108074565A (zh) * 2016-11-11 2018-05-25 上海诺悦智能科技有限公司 语音指令跳转与详细指令执行的方法和系统
CN108255816A (zh) * 2018-03-12 2018-07-06 北京神州泰岳软件股份有限公司 一种命名实体识别方法、装置及系统
CN110633470A (zh) * 2019-09-17 2019-12-31 北京小米智能科技有限公司 命名实体识别方法、装置及存储介质
CN111695033A (zh) * 2020-04-29 2020-09-22 平安科技（深圳）有限公司 企业舆情分析方法、装置、电子设备及介质

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108304466B (zh) * 2017-12-27 2022-01-11 中国银联股份有限公司 一种用户意图识别方法以及用户意图识别系统
CN108874967B (zh) * 2018-06-07 2023-06-23 腾讯科技（深圳）有限公司 对话状态确定方法及装置、对话系统、终端、存储介质
CN111415656B (zh) * 2019-01-04 2024-04-30 上海擎感智能科技有限公司 语音语义识别方法、装置及车辆
KR20210074632A (ko) * 2019-12-12 2021-06-22 엘지전자 주식회사 음소 기반 자연어 처리
CN111709241B (zh) * 2020-05-27 2023-03-28 西安交通大学 一种面向网络安全领域的命名实体识别方法
CN111933127B (zh) * 2020-07-31 2024-06-25 升智信息科技(南京)有限公司 一种具备自学习能力的意图识别方法及意图识别系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108074565A (zh) * 2016-11-11 2018-05-25 上海诺悦智能科技有限公司 语音指令跳转与详细指令执行的方法和系统
CN108255816A (zh) * 2018-03-12 2018-07-06 北京神州泰岳软件股份有限公司 一种命名实体识别方法、装置及系统
CN110633470A (zh) * 2019-09-17 2019-12-31 北京小米智能科技有限公司 命名实体识别方法、装置及存储介质
CN111695033A (zh) * 2020-04-29 2020-09-22 平安科技（深圳）有限公司 企业舆情分析方法、装置、电子设备及介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Named entity recognition method with word position;Du Yanrui et al.;《IWECAI 2020》;20201231;全文 *

Also Published As

Publication number Publication date
CN113205817A (zh) 2021-08-03

Similar Documents

Publication Publication Date Title
CN113205817B (zh) 语音语义识别方法、系统、设备及介质
CN111933129B (zh) 音频处理方法、语言模型的训练方法、装置及计算机设备
CN110491382B (zh) 基于人工智能的语音识别方法、装置及语音交互设备
US11862143B2 (en) Systems and methods for processing speech dialogues
CN111312245B (zh) 一种语音应答方法、装置和存储介质
Erdem et al. Neural natural language generation: A survey on multilinguality, multimodality, controllability and learning
US11900518B2 (en) Interactive systems and methods
CN112214591B (zh) 一种对话预测的方法及装置
CN112037773B (zh) 一种n最优口语语义识别方法、装置及电子设备
CN115309877B (zh) 对话生成方法、对话模型训练方法及装置
CN114676234A (zh) 一种模型训练方法及相关设备
US20230127787A1 (en) Method and apparatus for converting voice timbre, method and apparatus for training model, device and medium
CN112349294B (zh) 语音处理方法及装置、计算机可读介质、电子设备
CN113392265A (zh) 多媒体处理方法、装置及设备
WO2023226239A1 (zh) 对象情绪的分析方法、装置和电子设备
CN115394321A (zh) 音频情感识别方法、装置、设备、存储介质及产品
CN113761377A (zh) 基于注意力机制多特征融合的虚假信息检测方法、装置、电子设备及存储介质
WO2023045186A1 (zh) 意图识别方法、装置、电子设备和存储介质
CN113393841B (zh) 语音识别模型的训练方法、装置、设备及存储介质
CN111968646A (zh) 一种语音识别方法及装置
CN116361442A (zh) 基于人工智能的营业厅数据分析方法及系统
CN115376547A (zh) 发音评测方法、装置、计算机设备和存储介质
CN114373443A (zh) 语音合成方法和装置、计算设备、存储介质及程序产品
CN114974310A (zh) 基于人工智能的情感识别方法、装置、计算机设备及介质
Ghorpade et al. ITTS model: speech generation for image captioning using feature extraction for end-to-end synthesis

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20220719

Address after: 201615 room 1904, G60 Kechuang building, No. 650, Xinzhuan Road, Songjiang District, Shanghai

Patentee after: Shanghai Mingping Medical Data Technology Co.,Ltd.

Address before: 102400 no.86-n3557, Wanxing Road, Changyang, Fangshan District, Beijing

Patentee before: Mingpinyun (Beijing) data Technology Co.,Ltd.