CN109977401A - 一种基于神经网络的语义识别方法 - Google Patents

一种基于神经网络的语义识别方法 Download PDF

Info

Publication number
CN109977401A
CN109977401A CN201910199654.4A CN201910199654A CN109977401A CN 109977401 A CN109977401 A CN 109977401A CN 201910199654 A CN201910199654 A CN 201910199654A CN 109977401 A CN109977401 A CN 109977401A
Authority
CN
China
Prior art keywords
model
semantic
text
sentence
asking
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910199654.4A
Other languages
English (en)
Inventor
王诗俊
吴粤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Fire Merchants Intelligent Technology Co Ltd
Original Assignee
Shanghai Fire Merchants Intelligent Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Fire Merchants Intelligent Technology Co Ltd filed Critical Shanghai Fire Merchants Intelligent Technology Co Ltd
Priority to CN201910199654.4A priority Critical patent/CN109977401A/zh
Publication of CN109977401A publication Critical patent/CN109977401A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/26—Speech to text systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Acoustics & Sound (AREA)
  • Human Computer Interaction (AREA)
  • Machine Translation (AREA)

Abstract

本发明公开了一种基于神经网络的语义识别方法，包括：接收语音数据，识别语音数据获得识别文本；将识别文本输入预置的第一神经网络模型得到语义文本；将语义文本输入预置的第二神经网络模型得到语义文本的语义不确定度；若语义不确定度大于预设的不确定度阈值，输出语义文本；若语义不确定度不大于不确定度阈值，将识别文本输入预置的跟问模型得到跟问文本，并输出跟问文本。本发明通过将语义不确定度与不确定度阈值进行对比可清楚的知道语义文本与用户意图的符合程度，对于符合程度高的情况，输出用户的意图，对于符合程度不高的情况，通过跟问模型输出跟问文本，对于用户意图识别不高的情况有了较好的解决方案，支持多轮对话，提高了用户体验。

Description

一种基于神经网络的语义识别方法
技术领域
本发明涉及语音识别领域，具体为一种基于神经网络的语义识别方法。
背景技术
随着科技的高速发展，语音识别在技术上的进步实现了用户与智能设备语音交互，使得用户与智能设备的口语沟通变得自然和方便。
目前智能设备上的对话系统中已经引入了动作语义理解技术，从而自然语言对话系统已成为人们普遍使用的一种沟通工具。其中，实现自然语言对话系统的基本技术可以分为两大类，基于规则的方法和基于统计的方法。其中，基于规则的方法是指根据定义的语法规则、词性和构词与构句规则等，使用计算机语言进行描述；基于统计的方法是指采用深度学习和大数据，构建单轮对话系统，并自动生成对话。
现在的对话系统多数只能做单轮对话，可以帮助用户完成一些简单的任务，如问天气、查路线。而实际上，人们在生活中需求场景并非是这样简单且单一的，而是多样化且复杂的。在实际使用中，现有的对话系统识别对于用户意图的识别能力不高，经常会出现因为无法判别用户意图而出现无法回答用户的情况，或者出现答非所问或重复回答的情况，使得对话系统的构建对话的内容太过局限和死板，用户体验不高。
发明内容
本发明的目的在于提供一种基于神经网络的语义识别方法，以解决上述背景技术中存在的问题。
为实现上述目的，本发明提供如下技术方案：一种基于神经网络的语义识别方法，包括：
接收语音数据，识别所述语音数据获得识别文本；
将所述识别文本输入预置的第一神经网络模型得到语义文本；
将所述语义文本输入预置的第二神经网络模型得到所述语义文本的语义不确定度；
判断所述语义不确定度是否大于预设的不确定度阈值；
若所述语义不确定度大于预设的不确定度阈值，输出所述语义文本；
若所述语义不确定度不大于所述不确定度阈值，将所述识别文本输入预置的跟问模型得到跟问文本，并输出所述跟问文本。
进一步地，所述第一神经网络模型通过如下方式进行训练：
从语义库中抽取训练语义；
抽取所述训练语义的训练语句；
采用所述训练语句训练第一神经网络模型。
进一步地，所述将所述语义文本输入预置的第二神经网络模型得到所述语义文本的语义不确定度，包括：将所述语义文本输入所述第二神经网络；随机数生成器生成随机数n，随机将所述第二神经网络模型的n个隐藏层节点的数值设为0，计算出输出层的输出结果的方差值，即得到了所述语义不确定度。
进一步地，所述跟问模型为生成式对抗网络中的生成模型。
进一步地，所述生成模型通过如下方式进行训练：
从跟问语句库中抽取训练语句及所述训练语句对应的跟问语句；
将所述训练语句输入所述生成模型得到模拟语句；
通过判别模型对比所述跟问语句与所述模拟语句，得到所述跟问语句与所述模拟语句的对比值，将所述对比值反馈至所述生成模型，以使所述生成模型和所述判别模型基于互相对抗过程循环更新；
当所述对比值不大于预设的判别阈值时，通过所述生成模型生成所述识别文本的所述跟问文本。
进一步地，循环更新所述生成模型包括：
采用第一目标函数和随机梯度下降法循环更新所述生成模型，所述第一目标函数为：其中，θ表示所述生成模型的参数，D表示所述判别模型，Z表示所述模拟语句，m表示采样容量，i表示采样点。
进一步地，循环更新所述判别模型包括：
采用第二目标函数和随机梯度上升法循环更新所述判别模型，所述第二目标函数为：其中，θ表示所述生成模型的参数，D表示所述判别模型，Z表示所述模拟语句，m表示采样容量，i表示采样点。
进一步地，θ的计算公式为：
其中，c为所述生成模型的输入，x为所述生成模型的输出，P为所述生成模型的概率分布函数，R为所述判别模型的输出。
进一步地，采用第一损失函数训练所述生成模型，所述第一损失函数为：其中，c为所述生成模型的输入，x为所述生成模型的输出，P为所述生成模型的概率分布函数，R为所述判别模型的输出。
与现有技术相比，本发明的有益效果是：本发明通过第二神经网络模型对识别文本的语义文本计算语义不确定度，通过将语义不确定度与不确定度阈值进行对比可清楚的知道语义文本与用户意图的符合程度，对于符合程度高的情况，输出用户的意图，对于符合程度不高的情况，通过跟问模型输出跟问文本，对于用户意图识别不高的情况有了较好的解决方案，支持多轮对话，提高了用户体验。
附图说明
图1为本发明的流程框图；
图2为本发明中跟问模型的训练步骤流程框图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参阅图1，本发明提供一种基于神经网络的语义识别方法，包括：
步骤S101，接收语音数据，识别语音数据获得识别文本，并执行步骤S102；当接收到用户输入的语音数据时，本发明实施例将对于该语音数据进行识别，得到识别文本，其中使用的识别方法为现有技术，在此不详述其具体方法。
步骤S102，将识别文本输入预置的第一神经网络模型得到语义文本，并执行步骤S103；其中，第一神经网络模型为长短期记忆模型(Long Short-Term Memory，LSTM)。
需要说明的是，第一神经网络模型通过如下方式进行训练：
从语义库中抽取训练语义；
抽取训练语义的训练语句；
采用训练语句训练第一神经网络模型。
步骤S103，将语义文本输入预置的第二神经网络模型得到语义文本的语义不确定度，并执行步骤S104；其中，第二神经网络模型为带有dropout算法的长短期记忆模型(LongShort-Term Memory，LSTM)；
语义不确定度的计算过程如下：将语义文本输入第二神经网络后，随机数生成器生成随机数n，随机将第二神经网络模型的n个隐藏层节点的数值设为0，计算出输出层的输出结果的方差值，即得到了语义不确定度。
步骤S104，判断语义不确定度是否大于预设的不确定度阈值；若是，则执行步骤S105；若否，则执行步骤S106；
步骤S105，输出语义文本；
步骤S106，将识别文本输入预置的跟问模型得到跟问文本，并输出跟问文本。其中，如图2所示，跟问模型为生成式对抗网络中的生成模型，其训练方法具有如下步骤：
步骤S201，从跟问语句库中抽取训练语句及训练语句对应的跟问语句，并执行步骤S202；
步骤S202，将训练语句输入生成模型得到模拟语句，并执行步骤S203；
步骤S203，通过判别模型对比跟问语句与模拟语句，得到跟问语句与模拟语句的对比值，将对比值反馈至生成模型并更新判别模型，并执行步骤S204；
需要说明的是，跟问语句的数据分布与跟问语句的数据分布和模拟语句的数据分布的和的比值，该比值可以代表跟问语句的数据分布和模拟语句的数据分布的差别。
具体的，判别模型为可迭代更新的深度神经网络模型，其判别能力随着一次次的迭代更新逐渐增强。将跟问语句和模拟语句输入该判别模型，可计算出跟问语句的数据分布和模拟语句的数据分布的差别，即得到跟问语句和模拟语句的对比值。
步骤S204，判断跟问语句和模拟语句的对比值是否不大于预设的判别阈值；若是，则执行步骤S205；若否，则执行S206；
步骤S205，通过生成模型生成识别文本的跟问文本；
步骤S206，根据跟问语句和模拟语句的对比值更新生成模型，并通过更新后的生成模型生成模拟语句，并执行步骤S204。
需要说明的是，循环更新生成模型包括：
采用第一目标函数和随机梯度下降法循环更新所述生成模型，第一目标函数为：
其中，θ表示生成模型的参数，D表示判别模型，Z表示模拟语句，m表示采样容量，i表示采样点。
需要说明的是，循环更新判别模型包括：
采用第二目标函数和随机梯度上升法循环更新所述判别模型，第二目标函数为：
其中，θ表示生成模型的参数，D表示判别模型，Z表示模拟语句，m表示采样容量，i表示采样点。
进一步地，本实施例中采用增强学习的方法对生成模型进行训练，其中，θ的计算公式为：
其中，c为生成模型的输入，x为生成模型的输出，P为生成模型的概率分布函数，R为判别模型的输出。
基于上述任意实施例，采用第一损失函数训练生成模型，第一损失函数为：其中，c为生成模型的输入，x为生成模型的输出，P为生成模型的概率分布函数，R为判别模型的输出。
基于上述任意实施例，需要说明的是，当跟问语句和模拟语句的对比值不大于预设的阈值时，判别模型停止更新，但生成模型依然保持循环更新状态。当然，也可以为生成模型设置停止更新的阈值，使其在满足预设条件时停止更新。
具体的，跟问语句和模拟语句的对比值为：跟问语句数据分布Pdata(x)与跟问语句数据分布Pdata(x)和模拟语句数据分布Pg(x)的和的比值，可用下述公式进行表示：
其中，为跟问语句和模拟语句的对比值，当等于预设的阈值时，即判别模型已判别不出跟问语句数据分布Pdata(x)和模拟语句数据分布Pg(x)的区别，即认为跟问语句数据分布Pdata(x)和模拟语句数据分布Pg(x)一致，即生成模型可生成真实数据。其中，一般将该阈值设置为0.5，因此当不大于0.5时，跟问语句数据分布Pdata(x)和模拟语句数据分布Pg(x)一致；因此当大于0.5时，跟问语句数据分布Pdata(x)和模拟语句数据分布Pg(x)还存在区别，那么需要继续循环更新，直至不大于0.5。
对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。
此外，应当理解，虽然本说明书按照实施方式加以描述，但并非每个实施方式仅包含一个独立的技术方案，说明书的这种叙述方式仅仅是为清楚起见，本领域技术人员应当将说明书作为一个整体，各实施例中的技术方案也可以经适当组合，形成本领域技术人员可以理解的其他实施方式。

Claims (9)

1.一种基于神经网络的语义识别方法，其特征在于，包括：
接收语音数据，识别所述语音数据获得识别文本；
将所述识别文本输入预置的第一神经网络模型得到语义文本；
将所述语义文本输入预置的第二神经网络模型得到所述语义文本的语义不确定度；
判断所述语义不确定度是否大于预设的不确定度阈值；
若所述语义不确定度大于所述不确定度阈值，输出所述语义文本；
若所述语义不确定度不大于所述不确定度阈值，将所述识别文本输入预置的跟问模型得到跟问文本，并输出所述跟问文本。
2.根据权利要求1所述的方法，其特征在于，所述第一神经网络模型通过如下方式进行训练：
从语义库中抽取训练语义；
抽取所述训练语义的训练语句；
采用所述训练语句训练第一神经网络模型。
3.根据权利要求1所述的方法，其特征在于，所述将所述语义文本输入预置的第二神经网络模型得到所述语义文本的语义不确定度，包括：将所述语义文本输入所述第二神经网络；随机数生成器生成随机数n，随机将所述第二神经网络模型的n个隐藏层节点的数值设为0，计算出输出层的输出结果的方差值，即得到了所述语义不确定度。
4.根据权利要求1所述的方法，其特征在于，所述跟问模型为生成式对抗网络中的生成模型。
5.根据权利要求4所述的方法，其特征在于，所述生成模型通过如下方式进行训练：
从跟问语句库中抽取训练语句及所述训练语句对应的跟问语句；
将所述训练语句输入所述生成模型得到模拟语句；
通过判别模型对比所述跟问语句与所述模拟语句，得到所述跟问语句与所述模拟语句的对比值，将所述对比值反馈至所述生成模型，以使所述生成模型和所述判别模型基于互相对抗过程循环更新；
当所述对比值不大于预设的判别阈值时，通过所述生成模型生成所述识别文本的所述跟问文本。
6.根据权利要求5所述的方法，其特征在于，循环更新所述生成模型包括：
采用第一目标函数和随机梯度下降法循环更新所述生成模型，所述第一目标函数为：其中，θ表示所述生成模型的参数，D表示所述判别模型，Z表示所述模拟语句，m表示采样容量，i表示采样点。
7.根据权利要求1所述的方法，其特征在于，循环更新所述判别模型包括：
采用第二目标函数和随机梯度上升法循环更新所述判别模型，所述第二目标函数为：其中，θ表示所述生成模型的参数，D表示所述判别模型，Z表示所述模拟语句，m表示采样容量，i表示采样点。
8.根据权利要求6或7所述的方法，其特征在于，θ的计算公式为：
其中，c为所述生成模型的输入，x为所述生成模型的输出，P为所述生成模型的概率分布函数，R为所述判别模型的输出。
9.根据权利要求6所述的方法，其特征在于，采用第一损失函数训练所述生成模型，所述第一损失函数为：其中，c为所述生成模型的输入，x为所述生成模型的输出，P为所述生成模型的概率分布函数，R为所述判别模型的输出。
CN201910199654.4A 2019-03-15 2019-03-15 一种基于神经网络的语义识别方法 Pending CN109977401A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910199654.4A CN109977401A (zh) 2019-03-15 2019-03-15 一种基于神经网络的语义识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910199654.4A CN109977401A (zh) 2019-03-15 2019-03-15 一种基于神经网络的语义识别方法

Publications (1)

Publication Number Publication Date
CN109977401A true CN109977401A (zh) 2019-07-05

Family

ID=67079085

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910199654.4A Pending CN109977401A (zh) 2019-03-15 2019-03-15 一种基于神经网络的语义识别方法

Country Status (1)

Country Link
CN (1) CN109977401A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112837676A (zh) * 2019-11-04 2021-05-25 深圳市优必选科技股份有限公司 一种语句生成方法、语句生成装置及智能设备
CN112949293A (zh) * 2021-02-02 2021-06-11 深圳市优必选科技股份有限公司 一种相似文本生成方法、相似文本生成装置及智能设备
WO2021190389A1 (zh) * 2020-03-25 2021-09-30 阿里巴巴集团控股有限公司 语音处理方法、语音编码器、语音解码器及语音识别系统
CN113569581A (zh) * 2021-08-26 2021-10-29 中国联合网络通信集团有限公司 意图识别方法、装置、设备及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106202010A (zh) * 2016-07-12 2016-12-07 重庆兆光科技股份有限公司 基于深度神经网络构建法律文本语法树的方法和装置
CN108363690A (zh) * 2018-02-08 2018-08-03 北京十三科技有限公司 基于神经网络的对话语义意图预测方法及学习训练方法
CN108597496A (zh) * 2018-05-07 2018-09-28 广州势必可赢网络科技有限公司 一种基于生成式对抗网络的语音生成方法及装置
CN108717852A (zh) * 2018-04-28 2018-10-30 湖南师范大学 一种基于白光通信和类脑认知的智能机器人语义交互系统和方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106202010A (zh) * 2016-07-12 2016-12-07 重庆兆光科技股份有限公司 基于深度神经网络构建法律文本语法树的方法和装置
CN108363690A (zh) * 2018-02-08 2018-08-03 北京十三科技有限公司 基于神经网络的对话语义意图预测方法及学习训练方法
CN108717852A (zh) * 2018-04-28 2018-10-30 湖南师范大学 一种基于白光通信和类脑认知的智能机器人语义交互系统和方法
CN108597496A (zh) * 2018-05-07 2018-09-28 广州势必可赢网络科技有限公司 一种基于生成式对抗网络的语音生成方法及装置

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112837676A (zh) * 2019-11-04 2021-05-25 深圳市优必选科技股份有限公司 一种语句生成方法、语句生成装置及智能设备
CN112837676B (zh) * 2019-11-04 2023-12-01 深圳市优必选科技股份有限公司 一种语句生成方法、语句生成装置及智能设备
WO2021190389A1 (zh) * 2020-03-25 2021-09-30 阿里巴巴集团控股有限公司 语音处理方法、语音编码器、语音解码器及语音识别系统
CN112949293A (zh) * 2021-02-02 2021-06-11 深圳市优必选科技股份有限公司 一种相似文本生成方法、相似文本生成装置及智能设备
CN112949293B (zh) * 2021-02-02 2023-11-21 深圳市优必选科技股份有限公司 一种相似文本生成方法、相似文本生成装置及智能设备
CN113569581A (zh) * 2021-08-26 2021-10-29 中国联合网络通信集团有限公司 意图识别方法、装置、设备及存储介质
CN113569581B (zh) * 2021-08-26 2023-10-17 中国联合网络通信集团有限公司 意图识别方法、装置、设备及存储介质

Similar Documents

Publication Publication Date Title
CN109977401A (zh) 一种基于神经网络的语义识别方法
CN108231062B (zh) 一种语音翻译方法及装置
CN106297773B (zh) 一种神经网络声学模型训练方法
CN110489755A (zh) 文本生成方法和装置
CN109523616A (zh) 一种面部动画生成方法、装置、设备及可读存储介质
CN107766506A (zh) 一种基于层次化注意力机制的多轮对话模型构建方法
CN107665708A (zh) 智能语音交互方法及系统
CN110517664A (zh) 多方言识别方法、装置、设备及可读存储介质
CN110362696A (zh) 歌词生成方法、系统、计算机设备及计算机可读存储介质
CN107480122A (zh) 一种人工智能交互方法及人工智能交互装置
CN109410974A (zh) 语音增强方法、装置、设备及存储介质
CN107844480B (zh) 将书面文本转换为口语文本的方法及系统
CN107239440A (zh) 一种垃圾文本识别方法和装置
CN105261358A (zh) 用于语音识别的n元文法模型构造方法及语音识别系统
CN107679225B (zh) 一种基于关键词的回复生成方法
CN107766320A (zh) 一种中文代词消解模型建立方法及装置
CN107437417A (zh) 基于循环神经网络语音识别中语音数据增强方法及装置
CN108073565A (zh) 词语规范化的方法和设备及机器翻译方法和设备
CN109213856A (zh) 一种语义识别方法及系统
CN105895082A (zh) 声学模型训练方法、语音识别方法及装置
CN110689880A (zh) 一种应用于电力调度领域的语音识别方法及装置
CN104751227A (zh) 深度神经网络的构建方法及系统
CN109117474A (zh) 语句相似度的计算方法、装置及存储介质
CN107015964A (zh) 面向智能机器人开发的自定义意图实现方法及装置
CN107291701A (zh) 一种机器语言生成方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20190705

WD01 Invention patent application deemed withdrawn after publication