CN112131371A - 一种电力智能问答系统中的问句匹配方法 - Google Patents
一种电力智能问答系统中的问句匹配方法 Download PDFInfo
- Publication number
- CN112131371A CN112131371A CN202011326028.6A CN202011326028A CN112131371A CN 112131371 A CN112131371 A CN 112131371A CN 202011326028 A CN202011326028 A CN 202011326028A CN 112131371 A CN112131371 A CN 112131371A
- Authority
- CN
- China
- Prior art keywords
- question
- word
- vector
- sentence
- vectors
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 34
- 239000013598 vector Substances 0.000 claims abstract description 131
- 239000011159 matrix material Substances 0.000 claims description 8
- 239000013604 expression vector Substances 0.000 claims description 7
- 230000004927 fusion Effects 0.000 claims description 6
- 230000000644 propagated effect Effects 0.000 claims description 6
- 238000013528 artificial neural network Methods 0.000 claims description 5
- 238000000605 extraction Methods 0.000 claims description 3
- 238000011176 pooling Methods 0.000 claims description 2
- 238000013527 convolutional neural network Methods 0.000 abstract description 4
- 238000013135 deep learning Methods 0.000 abstract 1
- 238000010586 diagram Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/33—Querying
- G06F16/332—Query formulation
- G06F16/3329—Natural language query formulation or dialogue systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/35—Clustering; Classification
- G06F16/353—Clustering; Classification into predefined classes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/279—Recognition of textual entities
- G06F40/284—Lexical analysis, e.g. tokenisation or collocates
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Artificial Intelligence (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Software Systems (AREA)
- Databases & Information Systems (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种电力智能问答系统中的问句匹配方法:首先对用户输入的查询问句P和系统知识库中的问句Q进行补零或截断操作,使句子序列变成固定长度;然后通过GloVe模型生成关于句子序列中对应单词词向量;接着将词向量输入到BI‑LSTM模型中,获取具有上下文语境义的单词向量;在此基础上,利用卷积神经网络提取词向量特征,得到句子的特征向量,进一步对特征向量抽取共同特征;最后将问句P、问句Q的特征向量以及共同特征向量进行拼接,输入全连接层,获取相似度预测结果。本发明将深度学习应用于电力智能问答领域,能够有效融合句子单词的上下文语境,精准的匹配用户问句,提高电力智能问答的准确度。
Description
技术领域
本发明属于信息处理技术领域,具体涉及一种基于G-BI-LSTM模型的电力智能问答系统中的问句匹配方法。
背景技术
随着互联网产业的不断发展以及电力用户各项服务需求的提升,传统的电力客服服务已经无法满足业务量的发展和用户需求,电力智能问答系统逐渐成为热门的研究方向,利用新型智能客服技术,实现全天候在线服务。而如何有效的将用户问句与系统语料库中的问句进行匹配,精准的解答用户问题是智能问答过程中的核心环节。
发明专利一种电力多源知识检索结果融合方法及装置,公开了一种基于D-S证据理论的电力多源知识检索结果融合方法及装置,该方法及装置主要对用户问句进行检索,得到与问句相关的电力专业名词集合,计算集合中名词的置信度并排序,得到最终的检索结果。该方法能够提高电力智能问答的进度,但存在融合精度低的问题。
发明专利一种电力领域语义增强方法和装置,公开了一种电力领域语义增强方法和装置,该方法基于电力客服领域的相关业务规则数据集生成一阶逻辑规则库,并将规则库形成从句集合;借助电力知识图谱和实体识别技术获取电力领域所有的常量及常量知识;基于从句集合、常量及常量知识生成马尔可夫逻辑网络学习权重;将获取的电力问句经电力知识图谱和实体识别技术处理后,通过马尔可夫逻辑网络学习权重推理出隐含在知识图谱中的潜在知识。该方法能够提高用户问句解答的准确度,但存在推理过程较为复杂,时间较长等问题。
发明内容
针对上述问题,本发明的目的是提供一种基于G-BI-LSTM模型的电力智能问答系统中的问句匹配方法,能够有效融合单词的上下文语境义,快速精准的匹配用户问句,提高电力智能问答的准确度。
本发明是通过以下技术方案实现的:
一种电力智能问答系统中的问句匹配方法,其特征在于:包括以下步骤:
1)生成单词的词向量:给定用户输入的查询问句P以及电力智能问答系统知识库中的问句Q,将所给定的句子序列通过补零或者截断的方法变成固定长度L的句子序列,即将过长的句子序列截断,将过短的句子序列用零补齐到一个固定长度,然后将固定长度的问句P和Q通过GloVe 模型生成关于句子序列中对应单词的词向量:构建词的共现矩阵,基于共现矩阵和GloVe模型学习词向量。
2)获取具有上下文语境义的单词向量:将问句P对应的词向量和问句Q对应的词向量分别输入到BI-LSTM 模型中,不仅考虑局部信息同时考虑全局信息。通过前向和后向传播,获得单词的上下文语境义,生成单词在上下文中的向量表示。
3)抽取句子特征:将经过BI-LSTM 模型得到的问句P和问句Q的词向量进行计算分权得到特征矩阵;通过卷积神经网络的滤波器扫描特征矩阵,得到扫描特征,经过Maxpool对扫描特征进行采样生成深度特征向量表示。
4)提取共同特征:将问句P的特征向量和问句Q的 特征向量进行信息融合抽取其共同相关特征,提取主要信息以及生成与目标相关性更高的向量。
5)匹配度计算:将问句P的特征向量、问句Q的特征向量和抽取的共同特征向量进行拼接,使得P和Q能够包含彼此的文本特征,增加相似度计算的准确率。将进行拼接的单一向量输入到全连接层,求得匹配度。
进一步,步骤1)中,将所给定的句子序列通过补零或者截断的方法变成固定长度的句子序列,然后通过glove模型生成关于句子序列中对应单词的词向量,具体为:将问句和问句都通过glove模型得到单词的词向量表示:
其中表示问句P的词向量表示,表示问句Q的词向量表示,表示问句P中第i个位置上的单词, 表示问句Q中第i个位置上的单词,表示问句P中第i个位置上单词对应的词向量,表示问句Q中第i个位置上单词对应的词向量,表示词向量的维度,L表示句子的长度。
步骤2)中,将问句P对应的词向量和问句Q对应的词向量分别输入到BI-LSTM模型中,获得单词的上下文语境义,具体为:将各个单词的词向量输入到BI-LSTM模型中,分别获取其前向传播的句子序列向量和后向传播的句子序列向量,然后将这个两个向量进行拼接,得到所需具有上下文语境义的单词向量表示:
步骤3)中,将经过BI-LSTM 模型得到的词向量,利用卷积神经网络进行卷积操作,抽取句子的特征,具体为:利用卷积神经网络进行卷积操作,然后,利用最大池化层提取特征,得到句子的特征表示向量:
步骤4)中,将问句P的特征向量和问句Q的特征向量进行信息融合抽取其共同特征,具体为:
本发明提出的基于G-BI-LSTM模型的电力智能问答系统中的问句匹配方法,将深度学习模型应用到电力智能问答领域,融合了GloVe 和BI-LSTM模型,包括生成单词的词向量、获取具有上下文语境义的单词向量、抽取句子特征、提取共同特征、匹配度计算。本发明的匹配方法不仅考虑句子局部信息的同时利用BI-LSTM模型添加了全局性信息,更好的理解单词的上下文信息,能够有效融合句子单词的上下文语境,精准的匹配用户问句,提高电力智能问答的准确度。
附图说明
图1为本发明的问句匹配方法原理框图。
具体实施方式
下面结合具体实施方式对本发明所属方法进一步说明。
一种基于G-BI-LSTM模型的电力智能问答系统中的问句匹配方法,图1为本发明的问句匹配方法原理框图,包括:首先对用户输入的查询问句P和系统知识库中的问句Q进行补零或截断操作,使句子序列变成固定长度;然后通过GloVe模型生成关于句子序列中对应单词词向量;接着将词向量输入到BI-LSTM模型中,获取具有上下文语境义的单词向量;在此基础上,利用卷积神经网络提取词向量特征,得到句子的特征向量,进一步对特征向量抽取共同特征;最后将问句P、问句Q的特征向量以及共同特征向量进行拼接,输入全连接层,获取相似度预测结果。具体实施方式如下:
步骤1、生成单词的词向量
将用户输入的查询问句P以及电力智能问答系统知识库中的问句Q的句子序列通过补零或者截断的方法变成固定长度L的句子序列;即将过长的句子序列截断,将过短的句子序列用零补齐到一个固定长度。
步骤2、获取具有上下文语境义的单词向量
将前向传播和后向传播的句子序列向量进行维度拼接,获得具有上下文语境义的单词向量:
步骤3、抽取句子特征
利用卷积神经网络对经BI-LSTM模型获得的词向量进行特征提取,得到句子的特征表示向量:
步骤4、提取共同特征
将问句P特征向量和问句Q 特征向量进行信息融合,抽取其共同特征,得到共同特征向量表示:
将问句P的特征向量、问句Q的特征向量和抽取的共同特征向量进行拼接,得到向量Z:
步骤5、匹配度计算
将向量Z输入到全连接层,进行二分类操作,公式为:
通过全连接二分类层进行匹配度计算,如匹配度大于不匹配度,则说明问句P和Q相匹配 ,反之则说明P和Q不匹配。
Claims (6)
1.一种电力智能问答系统中的问句匹配方法,其特征在于:包括以下步骤:
1)生成单词的词向量:给定用户输入的查询问句P以及电力智能问答系统知识库中的问句Q,将所给定的句子序列通过补零或者截断的方法变成固定长度的句子序列,然后通过GloVe 模型生成关于句子序列中对应单词的词向量;
2)获取具有上下文语境义的单词向量:将问句P和问句Q 分别输出到BI-LSTM 模型中,获得单词的上下文语境义;
3)抽取句子特征:将经过BI-LSTM 模型得到的词向量,利用卷积神经网络卷积操作,抽取句子的特征;
4)提取共同特征:将问句P 特征向量和问句Q 特征向量进行信息融合抽取其共同相关特征;
5)匹配度计算:将问句P的特征向量,问句Q的特征向量和抽取的共同特征向量进行拼接,然后通过其全连接层进行二分类,计算匹配度,得到结果。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011326028.6A CN112131371A (zh) | 2020-11-24 | 2020-11-24 | 一种电力智能问答系统中的问句匹配方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011326028.6A CN112131371A (zh) | 2020-11-24 | 2020-11-24 | 一种电力智能问答系统中的问句匹配方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN112131371A true CN112131371A (zh) | 2020-12-25 |
Family
ID=73852388
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011326028.6A Pending CN112131371A (zh) | 2020-11-24 | 2020-11-24 | 一种电力智能问答系统中的问句匹配方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112131371A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113094486A (zh) * | 2021-04-12 | 2021-07-09 | 天津大学 | 一种量子干涉启发的文本问答匹配系统 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110321419A (zh) * | 2019-06-28 | 2019-10-11 | 神思电子技术股份有限公司 | 一种融合深度表示与交互模型的问答匹配方法 |
CN111259130A (zh) * | 2020-02-14 | 2020-06-09 | 支付宝(杭州)信息技术有限公司 | 用于在对话中提供答复语句的方法及装置 |
CN111651973A (zh) * | 2020-06-03 | 2020-09-11 | 拾音智能科技有限公司 | 一种基于句法感知的文本匹配方法 |
CN111651974A (zh) * | 2020-06-23 | 2020-09-11 | 北京理工大学 | 一种隐式篇章关系分析方法和系统 |
-
2020
- 2020-11-24 CN CN202011326028.6A patent/CN112131371A/zh active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110321419A (zh) * | 2019-06-28 | 2019-10-11 | 神思电子技术股份有限公司 | 一种融合深度表示与交互模型的问答匹配方法 |
CN111259130A (zh) * | 2020-02-14 | 2020-06-09 | 支付宝(杭州)信息技术有限公司 | 用于在对话中提供答复语句的方法及装置 |
CN111651973A (zh) * | 2020-06-03 | 2020-09-11 | 拾音智能科技有限公司 | 一种基于句法感知的文本匹配方法 |
CN111651974A (zh) * | 2020-06-23 | 2020-09-11 | 北京理工大学 | 一种隐式篇章关系分析方法和系统 |
Non-Patent Citations (1)
Title |
---|
王路等: "基于注意力机制的上下文相关的问答配对方法", 《中文信息学报》 * |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113094486A (zh) * | 2021-04-12 | 2021-07-09 | 天津大学 | 一种量子干涉启发的文本问答匹配系统 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108573411B (zh) | 基于用户评论的深度情感分析和多源推荐视图融合的混合推荐方法 | |
CN109165294B (zh) | 一种基于贝叶斯分类的短文本分类方法 | |
Jiang et al. | Natural language processing and its applications in machine translation: A diachronic review | |
CN105843801B (zh) | 多译本平行语料库的构建系统 | |
WO2024131111A1 (zh) | 一种智能写作方法、装置、设备及非易失性可读存储介质 | |
CN112613326B (zh) | 一种融合句法结构的藏汉语言神经机器翻译方法 | |
CN110414009B (zh) | 基于BiLSTM-CNN的英缅双语平行句对抽取方法及装置 | |
CN110704606B (zh) | 一种基于图文融合的生成式摘要生成方法 | |
CN115392259B (zh) | 一种基于对抗训练融合bert的微博文本情感分析方法及系统 | |
CN115860006B (zh) | 一种基于语义句法的方面级情感预测方法及装置 | |
CN114997181A (zh) | 一种基于用户反馈修正的智能问答方法及系统 | |
CN111694927A (zh) | 一种基于改进词移距离算法的文档自动评阅方法 | |
Wang et al. | Named entity recognition method of brazilian legal text based on pre-training model | |
CN115204143A (zh) | 一种基于prompt的文本相似度计算方法及系统 | |
CN115759119A (zh) | 一种金融文本情感分析方法、系统、介质和设备 | |
CN117763363A (zh) | 基于知识图谱与提示学习的跨网络学术社区资源推荐方法 | |
CN113361252B (zh) | 基于多模态特征和情感词典的文本抑郁倾向检测系统 | |
CN112131371A (zh) | 一种电力智能问答系统中的问句匹配方法 | |
CN111382333B (zh) | 基于案件相关性联合学习与图卷积的新闻文本句中案件要素抽取方法 | |
CN116611447A (zh) | 一种基于深度学习方法的信息抽取和语义匹配系统及方法 | |
CN111694960A (zh) | 基于词性特征和观点特征结合卷积神经网络的电商评论情感分析模型 | |
CN115017924B (zh) | 跨语际语言翻译的神经机器翻译模型构建及其翻译方法 | |
CN116069924A (zh) | 一种融合全局和局部语义特征的文本摘要生成方法及系统 | |
CN114358006A (zh) | 基于知识图谱的文本内容摘要生成方法 | |
CN114117069A (zh) | 一种用于知识图谱智能问答的语义理解方法及系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20201225 |