CN108563779B - 一种基于神经网络的无模板自然语言文本答案生成方法 - Google Patents

一种基于神经网络的无模板自然语言文本答案生成方法 Download PDF

Info

Publication number
CN108563779B
CN108563779B CN201810377647.4A CN201810377647A CN108563779B CN 108563779 B CN108563779 B CN 108563779B CN 201810377647 A CN201810377647 A CN 201810377647A CN 108563779 B CN108563779 B CN 108563779B
Authority
CN
China
Prior art keywords
neural network
text
natural
model
network model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810377647.4A
Other languages
English (en)
Other versions
CN108563779A (zh
Inventor
杨林
高淑敏
张力
蒋文婷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Institute of Computer Technology and Applications
Original Assignee
Beijing Institute of Computer Technology and Applications
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Institute of Computer Technology and Applications filed Critical Beijing Institute of Computer Technology and Applications
Priority to CN201810377647.4A priority Critical patent/CN108563779B/zh
Publication of CN108563779A publication Critical patent/CN108563779A/zh
Application granted granted Critical
Publication of CN108563779B publication Critical patent/CN108563779B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Machine Translation (AREA)

Abstract

本发明公开了一种基于神经网络的无模板自然语言文本答案生成方法，其中，步骤一，针对问答系统内部特定的语义表征形式设计一个由自然文本生成该形式表征的神经网络模型A；步骤二，使用神经网络模型A完全相反的神经网络模型B；步骤三，基于神经网络模型A构建一个自然文本识别器C；步骤四，进行训练：对给定的自然文本S，通过神经网络模型A生成内部语义表征向量X，然而向该向量X中加入服从高斯分布的噪声Z，输入到神经网络模型B中，产生伪造的自然文本T，将自然文本S输入分类器C中并给出监督反馈1，将伪造的自然文本T输入分类器C中并给出监督反馈0，如此训练分类器C并将误差反向传播到模型B中，以对自然文本生成模型B进行有监督训练。

Description

一种基于神经网络的无模板自然语言文本答案生成方法
技术领域
本发明涉及自然语言文本答案生成方法，尤其涉及用于无模板的特定语义表征形式的自言语言文本答案生成模型。
背景技术
自然语言推理技术的日渐完善使人们拥有了更加自然的人机交互方式，自动问答系统可以较为准确地理解人们自然语言形式的问题，并利用知识库检索即时地返回言简意赅的答案，有效地满足了各领域问答需求。自动问答系统能用自然语言句子提问又能为用户直接返回所需要的答案,而并不是相关的文档或者网页。
在问答系统中，首先需要通过对问题进行分解和对知识库进行查询，得到尽可能全的一系列假设，这些假设是需要进行甄别的备选答案的集合。其次需要在文本语料库中对假设进行证据收集，得到每个假设即备选答案的置信度，进而甄选出最佳的假设。然而该假设是由类似一系列具有特定含义的关键词向量进行表示的，依然属于一种算法内部的语义表达形式，用户无法直接阅读和理解该假设，因此需要借助于自然语言文本生成模型对给出的假设生成对应的可供人类阅读的自然语言文本。
目前，基于英文的自然语言生成技术在国外取得了较大的进展，但基于中文的自然语言生成技术的研究却少有人问津。加之，在特定问答场景下语义的内部表示是基于特定的研究目标即问答系统提出的特定形式语义表征形式，其他的自然语言生成模型借鉴意义不大，因此有必要研究基于问答系统中生成的假设的语义表达形式的中文自然语言文本生成模型，该研究方向是自然语言问答领域的一个难点。
发明内容
本发明的目的在于提供一种基于神经网络的无模板自然语言文本答案生成方法，用于解决现有技术的问题。
本发明一种基于神经网络的无模板自然语言文本答案生成方法，其中，步骤一，针对问答系统内部特定的语义表征形式设计一个由自然文本生成该形式表征的神经网络模型A；步骤二，使用神经网络模型A完全相反的神经网络模型B，通过反复上采样由特定语义表征形式的向量合成伪造的自然文本；步骤三，基于神经网络模型A构建一个自然文本识别器C，用于识别给定的一段文本字符串是否为自然文本抑，以及判定是否为伪造文本；步骤四，进行训练：对给定的自然文本S，通过神经网络模型A生成内部语义表征向量X，然而向该向量X中加入服从高斯分布的噪声Z，输入到神经网络模型B中，产生伪造的自然文本T，将自然文本S输入分类器C中并给出监督反馈1，将伪造的自然文本T输入分类器C中并给出监督反馈0，如此训练分类器C并将误差反向传播到模型B中，以对自然文本生成模型B进行有监督训练。
根据本发明的基于神经网络的无模板自然语言文本答案生成方法的一实施例，其中，神经网络模型A采用TextCNN模型、CNN模型或RNN模型，使用神经网络模型A进行下采样操作。
根据本发明的基于神经网络的无模板自然语言文本答案生成方法的一实施例，其中，神经网络模型B采用TextCNN模型、CNN模型或RNN模型，使用神经网络模型B进行反复上采样由特定语义表征形式的向量合成伪造的自然文本。
根据本发明的基于神经网络的无模板自然语言文本答案生成方法的一实施例，其中，自然文本识别器C为CNN+LSTM神经网络
根据本发明的基于神经网络的无模板自然语言文本答案生成方法的一实施例，其中，A表征器与B生成器的内部结构采用对称架构，以保证从自然文本由A提取文本特征转化为向量形式后能够由B尽可能还原为自然文本。
根据本发明的基于神经网络的无模板自然语言文本答案生成方法的一实施例，其中，自然文本判别器C采用CNN+LSTM神经网络提取特征，采用SVM分类器进行二分类，CNN部分为两层CNN，第一层采用9×9滤波器，第二层为4×3的滤波器，池化层采用max-pooling策略，第一层pooling size设定为3，第二层CNN不接池化层，在CNN后LSTM之前接一个线性层来降维，CNN后接2层LSTM，每个LSTM层采用832个cells，512维映射层来降维。
本发明重点设计一个对抗神经网络模型(Generative Adversarial Nets，简称为GANs)来实现该方法，它借助于一个文本生成器与一个自然文本判别器作为一对博弈的双方，通过零和博弈不断的增强文本生成器伪造自然文本的能力，最终能够使得自然文本判别器无法分辨生成器的伪造文本与真实自然文本的差异性。
附图说明
图1所示为本发明基于神经网络的无模板自然语言文本答案生成方法的流程图；
图2所示为表征提取器与文本生成器对称结构图；
图3所示为TextCNN模型的流程图；
图4所示为CNN+LSTM网络的自然文本识别器模型图。
具体实施方式
为使本发明的目的、内容、和优点更加清楚，下面结合附图和实施例，对本发明的具体实施方式作进一步详细描述。
图1所示为本发明基于神经网络的无模板自然语言文本答案生成方法的流程图，如图1所示，本发明基于神经网络的无模板自然语言文本答案生成方法的技术方案包括以下步骤：
步骤一，针对问答系统内部特定的语义表征形式设计一个由自然文本生成该形式表征的神经网络模型A，可以尝试的具体模型如卷积神经网络CNN、循环神经网络RNN以及长短时记忆神经网络LSTM等。这些模型都包含下采样操作；
步骤二，使用一个与步骤一中神经网络模型A完全相反的神经网络模型B，它可以通过反复上采样由特定语义表征形式的向量合成伪造的自然文本；
步骤三，基于神经网络模型A构建一个自然文本识别器C，它用于识别给定的一段文本字符串是否为自然文本抑或判定其为伪造文本；
步骤四，按照如下方式进行训练：对给定的自然文本S，通过步骤一中构建的网络A生成内部语义表征向量X，然而向该向量X中加入服从高斯分布的噪声Z，输入到步骤二中的神经网络模型B中，它会产生伪造的“自然文本”T。将S输入分类器C中并给出监督反馈1，将T输入分类器C中并给出监督反馈0，如此训练分类C并将误差反向传播到模型B中，就可以对自然文本生成模型B进行有监督训练。
图2所示为表征提取器与文本生成器对称结构图；图3所示为TextCNN模型的流程图；图4所示为CNN+LSTM网络的自然文本识别器模型图，如图1至图4所示，本发明基于神经网络的无模板自然语言文本答案生成方法的一实施例：
①针对问答系统内部特定的语义表征形式设计一个由自然文本生成该形式表征的TextCNN神经网络模型A(本发明设计的TextCNN网络模型见图3，也可以选择其他CNN或RNN模型作为简易实现)，使用神经网络模型A进行下采样操作；
②设计一个与神经网络模型A完全相反的TextCNN神经网络模型B(同样也可以选择其他CNN或RNN模型)，它可以通过反复上采样由特定语义表征形式的向量合成伪造的自然文本；
③基于类似于A结构的神经网络构建一个自然文本识别器C(本发明中构建一种CNN+LSTM神经网络)，它用于识别给定的一段文本字符串是否为自然文本抑或判定其为伪造文本；
④并按照如下方式训练：对给定的自然文本S，通过步骤一中构建的网络A生成内部语义表征向量X，然而向该向量X中加入服从高斯分布的噪声Z，输入到神经网络模型B中，它会产生伪造的“自然文本”T。将S输入分类器C中并给出监督反馈1，将T输入分类器C中并给出监督反馈0，如此训练分类C并将误差反向传播到模型B中，就可以对自然文本生成模型B进行有监督训练。
其中A表征器与B生成器的内部结构采用对称架构，以保证从自然文本由A提取文本特征转化为向量形式后能够由B尽可能还原为自然文本。而自然文本判别器C采用CNN+LSTM神经网络提取特征，然后采用SVM分类器进行二分类。CNN部分为两层CNN，第一层采用9×9滤波器，第二层为4×3的滤波器。池化层采用max-pooling策略，第一层pooling size设定为3，第二层CNN不接池化层。由于CNN最后一层输出维度很大，所以在CNN后LSTM之前接一个线性层来降维。CNN后接2层LSTM，每个LSTM层采用832个cells，512维映射层来降维。
文本统一表征提取器(即表征器)A和自然文本生成器B的对称结构示例如图2所示，向生成器B中添加噪声的目的是为了生成足够多样本输入，以增强样本集且同时提高训练的到模型的鲁棒性。
本发明重点设计一个对抗神经网络模型(Generative Adversarial Nets，简称为GANs)来实现该方法，它借助于一个文本生成器与一个自然文本判别器作为一对博弈的双方，通过零和博弈不断的增强文本生成器伪造自然文本的能力，最终能够使得自然文本判别器无法分辨生成器的伪造文本与真实自然文本的差异性。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变形，这些改进和变形也应视为本发明的保护范围。

Claims (5)

1.一种基于神经网络的无模板自然语言文本答案生成方法，其特征在于，
步骤一，针对问答系统内部特定的语义表征形式设计一个由自然文本生成该形式表征的神经网络模型A作为表征器；
步骤二，使用神经网络模型B作为生成器，通过反复上采样由特定语义表征形式的向量合成伪造的自然文本；A表征器与B生成器的内部结构采用对称架构，以保证从自然文本由A提取文本特征转化为向量形式后能够由B尽可能还原为自然文本；
步骤三，基于神经网络模型A构建一个自然文本识别器C，用于识别给定的一段文本字符串是否为自然文本抑或判定是否为伪造文本；
步骤四，进行训练：对给定的自然文本S，通过神经网络模型A生成内部语义表征向量X，然而向该向量X中加入服从高斯分布的噪声Z，输入到神经网络模型B中，产生伪造的自然文本T，将自然文本S输入分类器C中并给出监督反馈1，将伪造的自然文本T输入分类器C中并给出监督反馈0，如此训练分类器C并将误差反向传播到模型B中，以对自然文本生成模型B进行有监督训练。
2.如权利要求1所述的基于神经网络的无模板自然语言文本答案生成方法，其特征在于，神经网络模型A采用TextCNN模型、CNN模型或RNN模型，使用神经网络模型A进行下采样操作。
3.如权利要求1所述的基于神经网络的无模板自然语言文本答案生成方法，其特征在于，神经网络模型B采用TextCNN模型、CNN模型或RNN模型，使用神经网络模型B进行反复上采样由特定语义表征形式的向量合成伪造的自然文本。
4.如权利要求1所述的基于神经网络的无模板自然语言文本答案生成方法，其特征在于，自然文本识别器C为CNN+LSTM神经网络。
5.如权利要求1所述的基于神经网络的无模板自然语言文本答案生成方法，其特征在于，自然文本判别器C采用CNN+LSTM神经网络提取特征，采用SVM分类器进行二分类，CNN部分为两层CNN，第一层采用9×9滤波器，第二层为4×3的滤波器，池化层采用max-pooling策略，第一层poolingsize设定为3，第二层CNN不接池化层，在CNN后LSTM之前接一个线性层来降维，CNN后接2层LSTM，每个LSTM层采用832个cells，512维映射层来降维。
CN201810377647.4A 2018-04-25 2018-04-25 一种基于神经网络的无模板自然语言文本答案生成方法 Active CN108563779B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810377647.4A CN108563779B (zh) 2018-04-25 2018-04-25 一种基于神经网络的无模板自然语言文本答案生成方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810377647.4A CN108563779B (zh) 2018-04-25 2018-04-25 一种基于神经网络的无模板自然语言文本答案生成方法

Publications (2)

Publication Number Publication Date
CN108563779A CN108563779A (zh) 2018-09-21
CN108563779B true CN108563779B (zh) 2022-03-08

Family

ID=63536407

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810377647.4A Active CN108563779B (zh) 2018-04-25 2018-04-25 一种基于神经网络的无模板自然语言文本答案生成方法

Country Status (1)

Country Link
CN (1) CN108563779B (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109815339B (zh) 2019-01-02 2022-02-08 平安科技（深圳）有限公司 基于TextCNN知识抽取方法、装置、计算机设备及存储介质
CN109857864A (zh) * 2019-01-07 2019-06-07 平安科技（深圳）有限公司 文本情感分类方法、装置、计算机设备及存储介质
CN111046178B (zh) * 2019-11-29 2023-06-20 北京邮电大学 一种文本序列生成方法及其系统
CN111125325B (zh) * 2019-12-06 2024-01-30 山东浪潮科学研究院有限公司 一种基于gan网络的faq生成系统及方法
CN111581455B (zh) * 2020-04-28 2023-03-21 北京字节跳动网络技术有限公司 文本生成模型的生成方法、装置和电子设备
CN112347791B (zh) * 2020-11-06 2023-10-13 北京奇艺世纪科技有限公司 文本匹配模型的构建方法、系统、计算机设备及存储介质
CN114648011A (zh) * 2020-12-17 2022-06-21 京东科技控股股份有限公司 基于利率数据的数据处理方法、装置、设备及存储介质
CN112949305B (zh) * 2021-05-13 2021-08-13 平安科技（深圳）有限公司 负反馈信息采集方法、装置、设备及存储介质
CN113326384A (zh) * 2021-06-22 2021-08-31 四川大学 一种基于知识图谱的可解释推荐模型的构建方法
CN114996424B (zh) * 2022-06-01 2023-05-09 吴艳 一种基于深度学习的弱监督跨域问答对生成方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101566998A (zh) * 2009-05-26 2009-10-28 华中师范大学 一种基于神经网络的中文问答系统
CN106844368A (zh) * 2015-12-03 2017-06-13 华为技术有限公司 用于人机对话的方法、神经网络系统和用户设备
CN107180241A (zh) * 2017-04-20 2017-09-19 华南理工大学 一种基于Gabor特征具有分形结构的极深神经网络的动物分类方法
CN107544960A (zh) * 2017-08-29 2018-01-05 中国科学院自动化研究所 一种基于变量绑定和关系激活的推理方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10909329B2 (en) * 2015-05-21 2021-02-02 Baidu Usa Llc Multilingual image question answering
US10353900B2 (en) * 2015-07-24 2019-07-16 Oracle International Corporation System and method for creating an intelligent synopsis of a database using re-partitioning based sampling

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101566998A (zh) * 2009-05-26 2009-10-28 华中师范大学 一种基于神经网络的中文问答系统
CN106844368A (zh) * 2015-12-03 2017-06-13 华为技术有限公司 用于人机对话的方法、神经网络系统和用户设备
CN107180241A (zh) * 2017-04-20 2017-09-19 华南理工大学 一种基于Gabor特征具有分形结构的极深神经网络的动物分类方法
CN107544960A (zh) * 2017-08-29 2018-01-05 中国科学院自动化研究所 一种基于变量绑定和关系激活的推理方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
用户生成答案质量评价中的特征表示及融合研究;胡海峰;《万方数据》;20140331;全文 *

Also Published As

Publication number Publication date
CN108563779A (zh) 2018-09-21

Similar Documents

Publication Publication Date Title
CN108563779B (zh) 一种基于神经网络的无模板自然语言文本答案生成方法
CN113987209B (zh) 基于知识指导前缀微调的自然语言处理方法、装置、计算设备和存储介质
CN110163299B (zh) 一种基于自底向上注意力机制和记忆网络的视觉问答方法
CN110490946B (zh) 基于跨模态相似度和生成对抗网络的文本生成图像方法
Gallant et al. Representing objects, relations, and sequences
CN110083705A (zh) 一种用于目标情感分类的多跳注意力深度模型、方法、存储介质和终端
CN109887484A (zh) 一种基于对偶学习的语音识别与语音合成方法及装置
CN112101044B (zh) 一种意图识别方法、装置及电子设备
CN112905795A (zh) 文本意图分类的方法、装置和可读介质
US20220406034A1 (en) Method for extracting information, electronic device and storage medium
CN112528989B (zh) 一种图像语义细粒度的描述生成方法
CN114417872A (zh) 一种合同文本命名实体识别方法及系统
Jiang et al. A BERT-Bi-LSTM-Based knowledge graph question answering method
Lu et al. Chinese sentence semantic matching based on multi-level relevance extraction and aggregation for intelligent human–robot interaction
Okur et al. Pretrained neural models for turkish text classification
CN112560440A (zh) 一种基于深度学习的面向方面级情感分析的句法依赖方法
CN112463935A (zh) 一种带有强泛化知识选择的开放域对话生成方法及模型
CN116795965A (zh) 基于状态值生成的两阶段低资源对话状态追踪方法
CN116311493A (zh) 一种基于编码解码架构的两阶段人-物交互检测方法
Jalaja et al. A behavioral chatbot using encoder-decoder architecture: Humanizing conversations
Chen et al. Text classification based on a new joint network
Oura et al. Multimodal Deep Neural Network with Image Sequence Features for Video Captioning
Chandhar et al. Deep learning model for automatic image captioning
Nguyen et al. Combining Multi-vision Embedding in Contextual Attention for Vietnamese Visual Question Answering
Kulkarni et al. Deep Reinforcement-Based Conversational AI Agent in Healthcare System

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant