CN108563779A - 一种基于神经网络的无模板自然语言文本答案生成方法 - Google Patents

一种基于神经网络的无模板自然语言文本答案生成方法 Download PDF

Info

Publication number
CN108563779A
CN108563779A CN201810377647.4A CN201810377647A CN108563779A CN 108563779 A CN108563779 A CN 108563779A CN 201810377647 A CN201810377647 A CN 201810377647A CN 108563779 A CN108563779 A CN 108563779A
Authority
CN
China
Prior art keywords
text
neural network
natural
network model
cnn
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810377647.4A
Other languages
English (en)
Other versions
CN108563779B (zh
Inventor
杨林
高淑敏
张力
蒋文婷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Institute of Computer Technology and Applications
Original Assignee
Beijing Institute of Computer Technology and Applications
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Institute of Computer Technology and Applications filed Critical Beijing Institute of Computer Technology and Applications
Priority to CN201810377647.4A priority Critical patent/CN108563779B/zh
Publication of CN108563779A publication Critical patent/CN108563779A/zh
Application granted granted Critical
Publication of CN108563779B publication Critical patent/CN108563779B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Machine Translation (AREA)

Abstract

本发明公开了一种基于神经网络的无模板自然语言文本答案生成方法，其中，步骤一，针对问答系统内部特定的语义表征形式设计一个由自然文本生成该形式表征的神经网络模型A；步骤二，使用神经网络模型A完全相反的神经网络模型B；步骤三，基于神经网络模型A构建一个自然文本识别器C；步骤四，进行训练：对给定的自然文本S，通过神经网络模型A生成内部语义表征向量X，然而向该向量X中加入服从高斯分布的噪声Z，输入到神经网络模型B中，产生伪造的自然文本T，将自然文本S输入分类器C中并给出监督反馈1，将伪造的自然文本T输入分类器C中并给出监督反馈0，如此训练分类器C并将误差反向传播到模型B中，以对自然文本生成模型B进行有监督训练。

Description

一种基于神经网络的无模板自然语言文本答案生成方法
技术领域
本发明涉及自然语言文本答案生成方法，尤其涉及用于无模板的特定语义表征形式的自言语言文本答案生成模型。
背景技术
自然语言推理技术的日渐完善使人们拥有了更加自然的人机交互方式，自动问答系统可以较为准确地理解人们自然语言形式的问题，并利用知识库检索即时地返回言简意赅的答案，有效地满足了各领域问答需求。自动问答系统能用自然语言句子提问又能为用户直接返回所需要的答案,而并不是相关的文档或者网页。
在问答系统中，首先需要通过对问题进行分解和对知识库进行查询，得到尽可能全的一系列假设，这些假设是需要进行甄别的备选答案的集合。其次需要在文本语料库中对假设进行证据收集，得到每个假设即备选答案的置信度，进而甄选出最佳的假设。然而该假设是由类似一系列具有特定含义的关键词向量进行表示的，依然属于一种算法内部的语义表达形式，用户无法直接阅读和理解该假设，因此需要借助于自然语言文本生成模型对给出的假设生成对应的可供人类阅读的自然语言文本。
目前，基于英文的自然语言生成技术在国外取得了较大的进展，但基于中文的自然语言生成技术的研究却少有人问津。加之，在特定问答场景下语义的内部表示是基于特定的研究目标即问答系统提出的特定形式语义表征形式，其他的自然语言生成模型借鉴意义不大，因此有必要研究基于问答系统中生成的假设的语义表达形式的中文自然语言文本生成模型，该研究方向是自然语言问答领域的一个难点。
发明内容
本发明的目的在于提供一种基于神经网络的无模板自然语言文本答案生成方法，用于解决现有技术的问题。
本发明一种基于神经网络的无模板自然语言文本答案生成方法，其中，步骤一，针对问答系统内部特定的语义表征形式设计一个由自然文本生成该形式表征的神经网络模型A；步骤二，使用神经网络模型A完全相反的神经网络模型B，通过反复上采样由特定语义表征形式的向量合成伪造的自然文本；步骤三，基于神经网络模型A构建一个自然文本识别器C，用于识别给定的一段文本字符串是否为自然文本抑，以及判定是否为伪造文本；步骤四，进行训练：对给定的自然文本S，通过神经网络模型A生成内部语义表征向量X，然而向该向量X中加入服从高斯分布的噪声Z，输入到神经网络模型B中，产生伪造的自然文本T，将自然文本S输入分类器C中并给出监督反馈1，将伪造的自然文本T输入分类器C中并给出监督反馈0，如此训练分类器C并将误差反向传播到模型B中，以对自然文本生成模型B进行有监督训练。
根据本发明的基于神经网络的无模板自然语言文本答案生成方法的一实施例，其中，神经网络模型A采用TextCNN模型、CNN模型或RNN模型，使用神经网络模型A进行下采样操作。
根据本发明的基于神经网络的无模板自然语言文本答案生成方法的一实施例，其中，神经网络模型B采用TextCNN模型、CNN模型或RNN模型，使用神经网络模型B进行反复上采样由特定语义表征形式的向量合成伪造的自然文本。
根据本发明的基于神经网络的无模板自然语言文本答案生成方法的一实施例，其中，自然文本识别器C为CNN+LSTM神经网络
根据本发明的基于神经网络的无模板自然语言文本答案生成方法的一实施例，其中，A表征器与B生成器的内部结构采用对称架构，以保证从自然文本由A提取文本特征转化为向量形式后能够由B尽可能还原为自然文本。
根据本发明的基于神经网络的无模板自然语言文本答案生成方法的一实施例，其中，自然文本判别器C采用CNN+LSTM神经网络提取特征，采用SVM分类器进行二分类，CNN部分为两层CNN，第一层采用9×9滤波器，第二层为4×3的滤波器，池化层采用max-pooling策略，第一层pooling size设定为3，第二层CNN不接池化层，在CNN后LSTM之前接一个线性层来降维，CNN后接2层LSTM，每个LSTM层采用832个cells，512维映射层来降维。
本发明重点设计一个对抗神经网络模型(Generative Adversarial Nets，简称为GANs)来实现该方法，它借助于一个文本生成器与一个自然文本判别器作为一对博弈的双方，通过零和博弈不断的增强文本生成器伪造自然文本的能力，最终能够使得自然文本判别器无法分辨生成器的伪造文本与真实自然文本的差异性。
附图说明
图1所示为本发明基于神经网络的无模板自然语言文本答案生成方法的流程图；
图2所示为表征提取器与文本生成器对称结构图；
图3所示为TextCNN模型的流程图；
图4所示为CNN+LSTM网络的自然文本识别器模型图。
具体实施方式
为使本发明的目的、内容、和优点更加清楚，下面结合附图和实施例，对本发明的具体实施方式作进一步详细描述。
图1所示为本发明基于神经网络的无模板自然语言文本答案生成方法的流程图，如图1所示，本发明基于神经网络的无模板自然语言文本答案生成方法的技术方案包括以下步骤：
步骤一，针对问答系统内部特定的语义表征形式设计一个由自然文本生成该形式表征的神经网络模型A，可以尝试的具体模型如卷积神经网络CNN、循环神经网络RNN以及长短时记忆神经网络LSTM等。这些模型都包含下采样操作；
步骤二，使用一个与步骤一中神经网络模型A完全相反的神经网络模型B，它可以通过反复上采样由特定语义表征形式的向量合成伪造的自然文本；
步骤三，基于神经网络模型A构建一个自然文本识别器C，它用于识别给定的一段文本字符串是否为自然文本抑或判定其为伪造文本；
步骤四，按照如下方式进行训练：对给定的自然文本S，通过步骤一中构建的网络A生成内部语义表征向量X，然而向该向量X中加入服从高斯分布的噪声Z，输入到步骤二中的神经网络模型B中，它会产生伪造的“自然文本”T。将S输入分类器C中并给出监督反馈1，将T输入分类器C中并给出监督反馈0，如此训练分类C并将误差反向传播到模型B中，就可以对自然文本生成模型B进行有监督训练。
图2所示为表征提取器与文本生成器对称结构图；图3所示为TextCNN模型的流程图；图4所示为CNN+LSTM网络的自然文本识别器模型图，如图1至图4所示，本发明基于神经网络的无模板自然语言文本答案生成方法的一实施例：
①针对问答系统内部特定的语义表征形式设计一个由自然文本生成该形式表征的TextCNN神经网络模型A(本发明设计的TextCNN网络模型见图3，也可以选择其他CNN或RNN模型作为简易实现)，使用神经网络模型A进行下采样操作；
②设计一个与神经网络模型A完全相反的TextCNN神经网络模型B(同样也可以选择其他CNN或RNN模型)，它可以通过反复上采样由特定语义表征形式的向量合成伪造的自然文本；
③基于类似于A结构的神经网络构建一个自然文本识别器C(本发明中构建一种CNN+LSTM神经网络)，它用于识别给定的一段文本字符串是否为自然文本抑或判定其为伪造文本；
④并按照如下方式训练：对给定的自然文本S，通过步骤一中构建的网络A生成内部语义表征向量X，然而向该向量X中加入服从高斯分布的噪声Z，输入到神经网络模型B中，它会产生伪造的“自然文本”T。将S输入分类器C中并给出监督反馈1，将T输入分类器C中并给出监督反馈0，如此训练分类C并将误差反向传播到模型B中，就可以对自然文本生成模型B进行有监督训练。
其中A表征器与B生成器的内部结构采用对称架构，以保证从自然文本由A提取文本特征转化为向量形式后能够由B尽可能还原为自然文本。而自然文本判别器C采用CNN+LSTM神经网络提取特征，然后采用SVM分类器进行二分类。CNN部分为两层CNN，第一层采用9×9滤波器，第二层为4×3的滤波器。池化层采用max-pooling策略，第一层pooling size设定为3，第二层CNN不接池化层。由于CNN最后一层输出维度很大，所以在CNN后LSTM之前接一个线性层来降维。CNN后接2层LSTM，每个LSTM层采用832个cells，512维映射层来降维。
文本统一表征提取器(即表征器)A和自然文本生成器B的对称结构示例如图2所示，向生成器B中添加噪声的目的是为了生成足够多样本输入，以增强样本集且同时提高训练的到模型的鲁棒性。
本发明重点设计一个对抗神经网络模型(Generative Adversarial Nets，简称为GANs)来实现该方法，它借助于一个文本生成器与一个自然文本判别器作为一对博弈的双方，通过零和博弈不断的增强文本生成器伪造自然文本的能力，最终能够使得自然文本判别器无法分辨生成器的伪造文本与真实自然文本的差异性。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变形，这些改进和变形也应视为本发明的保护范围。

Claims (6)

1.一种基于神经网络的无模板自然语言文本答案生成方法，其特征在于，
步骤一，针对问答系统内部特定的语义表征形式设计一个由自然文本生成该形式表征的神经网络模型A；
步骤二，使用神经网络模型A完全相反的神经网络模型B，通过反复上采样由特定语义表征形式的向量合成伪造的自然文本；
步骤三，基于神经网络模型A构建一个自然文本识别器C，用于识别给定的一段文本字符串是否为自然文本抑，以及判定是否为伪造文本；
步骤四，进行训练：对给定的自然文本S，通过神经网络模型A生成内部语义表征向量X，然而向该向量X中加入服从高斯分布的噪声Z，输入到神经网络模型B中，产生伪造的自然文本T，将自然文本S输入分类器C中并给出监督反馈1，将伪造的自然文本T输入分类器C中并给出监督反馈0，如此训练分类器C并将误差反向传播到模型B中，以对自然文本生成模型B进行有监督训练。
2.如权利要求1所述的基于神经网络的无模板自然语言文本答案生成方法，其特征在于，神经网络模型A采用TextCNN模型、CNN模型或RNN模型，使用神经网络模型A进行下采样操作。
3.如权利要求1所述的基于神经网络的无模板自然语言文本答案生成方法，其特征在于，神经网络模型B采用TextCNN模型、CNN模型或RNN模型，使用神经网络模型B进行反复上采样由特定语义表征形式的向量合成伪造的自然文本。
4.如权利要求1所述的基于神经网络的无模板自然语言文本答案生成方法，其特征在于，自然文本识别器C为CNN+LSTM神经网络。
5.如权利要求1所述的基于神经网络的无模板自然语言文本答案生成方法，其特征在于，A表征器与B生成器的内部结构采用对称架构，以保证从自然文本由A提取文本特征转化为向量形式后能够由B尽可能还原为自然文本。
6.如权利要求1所述的基于神经网络的无模板自然语言文本答案生成方法，其特征在于，自然文本判别器C采用CNN+LSTM神经网络提取特征，采用SVM分类器进行二分类，CNN部分为两层CNN，第一层采用9×9滤波器，第二层为4×3的滤波器，池化层采用max-pooling策略，第一层pooling size设定为3，第二层CNN不接池化层，在CNN后LSTM之前接一个线性层来降维，CNN后接2层LSTM，每个LSTM层采用832个cells，512维映射层来降维。
CN201810377647.4A 2018-04-25 2018-04-25 一种基于神经网络的无模板自然语言文本答案生成方法 Active CN108563779B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810377647.4A CN108563779B (zh) 2018-04-25 2018-04-25 一种基于神经网络的无模板自然语言文本答案生成方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810377647.4A CN108563779B (zh) 2018-04-25 2018-04-25 一种基于神经网络的无模板自然语言文本答案生成方法

Publications (2)

Publication Number Publication Date
CN108563779A true CN108563779A (zh) 2018-09-21
CN108563779B CN108563779B (zh) 2022-03-08

Family

ID=63536407

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810377647.4A Active CN108563779B (zh) 2018-04-25 2018-04-25 一种基于神经网络的无模板自然语言文本答案生成方法

Country Status (1)

Country Link
CN (1) CN108563779B (zh)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109857864A (zh) * 2019-01-07 2019-06-07 平安科技（深圳）有限公司 文本情感分类方法、装置、计算机设备及存储介质
CN111046178A (zh) * 2019-11-29 2020-04-21 北京邮电大学 一种文本序列生成方法及其系统
CN111125325A (zh) * 2019-12-06 2020-05-08 山东浪潮人工智能研究院有限公司 一种基于gan网络的faq生成系统及方法
WO2020140386A1 (zh) * 2019-01-02 2020-07-09 平安科技（深圳）有限公司 基于TextCNN知识抽取方法、装置、计算机设备及存储介质
CN111581455A (zh) * 2020-04-28 2020-08-25 北京字节跳动网络技术有限公司 文本生成模型的生成方法、装置和电子设备
CN112347791A (zh) * 2020-11-06 2021-02-09 北京奇艺世纪科技有限公司 文本匹配模型的构建方法、系统、计算机设备及存储介质
CN112949305A (zh) * 2021-05-13 2021-06-11 平安科技（深圳）有限公司 负反馈信息采集方法、装置、设备及存储介质
CN113326384A (zh) * 2021-06-22 2021-08-31 四川大学 一种基于知识图谱的可解释推荐模型的构建方法
CN114648011A (zh) * 2020-12-17 2022-06-21 京东科技控股股份有限公司 基于利率数据的数据处理方法、装置、设备及存储介质
CN114996424A (zh) * 2022-06-01 2022-09-02 吴艳 一种基于深度学习的弱监督跨域问答对生成方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101566998A (zh) * 2009-05-26 2009-10-28 华中师范大学 一种基于神经网络的中文问答系统
US20160342895A1 (en) * 2015-05-21 2016-11-24 Baidu Usa Llc Multilingual image question answering
US20170024452A1 (en) * 2015-07-24 2017-01-26 Oracle International Corporation System and method for creating an intelligent synopsis of a database using re-partitioning based sampling
CN106844368A (zh) * 2015-12-03 2017-06-13 华为技术有限公司 用于人机对话的方法、神经网络系统和用户设备
CN107180241A (zh) * 2017-04-20 2017-09-19 华南理工大学 一种基于Gabor特征具有分形结构的极深神经网络的动物分类方法
CN107544960A (zh) * 2017-08-29 2018-01-05 中国科学院自动化研究所 一种基于变量绑定和关系激活的推理方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101566998A (zh) * 2009-05-26 2009-10-28 华中师范大学 一种基于神经网络的中文问答系统
US20160342895A1 (en) * 2015-05-21 2016-11-24 Baidu Usa Llc Multilingual image question answering
US20170024452A1 (en) * 2015-07-24 2017-01-26 Oracle International Corporation System and method for creating an intelligent synopsis of a database using re-partitioning based sampling
CN106844368A (zh) * 2015-12-03 2017-06-13 华为技术有限公司 用于人机对话的方法、神经网络系统和用户设备
CN107180241A (zh) * 2017-04-20 2017-09-19 华南理工大学 一种基于Gabor特征具有分形结构的极深神经网络的动物分类方法
CN107544960A (zh) * 2017-08-29 2018-01-05 中国科学院自动化研究所 一种基于变量绑定和关系激活的推理方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
胡海峰: "用户生成答案质量评价中的特征表示及融合研究", 《万方数据》 *

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11392838B2 (en) 2019-01-02 2022-07-19 Ping An Technology (Shenzhen) Co., Ltd. Method, equipment, computing device and computer-readable storage medium for knowledge extraction based on TextCNN
WO2020140386A1 (zh) * 2019-01-02 2020-07-09 平安科技（深圳）有限公司 基于TextCNN知识抽取方法、装置、计算机设备及存储介质
CN109857864A (zh) * 2019-01-07 2019-06-07 平安科技（深圳）有限公司 文本情感分类方法、装置、计算机设备及存储介质
CN111046178B (zh) * 2019-11-29 2023-06-20 北京邮电大学 一种文本序列生成方法及其系统
CN111046178A (zh) * 2019-11-29 2020-04-21 北京邮电大学 一种文本序列生成方法及其系统
CN111125325A (zh) * 2019-12-06 2020-05-08 山东浪潮人工智能研究院有限公司 一种基于gan网络的faq生成系统及方法
CN111125325B (zh) * 2019-12-06 2024-01-30 山东浪潮科学研究院有限公司 一种基于gan网络的faq生成系统及方法
CN111581455A (zh) * 2020-04-28 2020-08-25 北京字节跳动网络技术有限公司 文本生成模型的生成方法、装置和电子设备
CN112347791A (zh) * 2020-11-06 2021-02-09 北京奇艺世纪科技有限公司 文本匹配模型的构建方法、系统、计算机设备及存储介质
CN112347791B (zh) * 2020-11-06 2023-10-13 北京奇艺世纪科技有限公司 文本匹配模型的构建方法、系统、计算机设备及存储介质
CN114648011A (zh) * 2020-12-17 2022-06-21 京东科技控股股份有限公司 基于利率数据的数据处理方法、装置、设备及存储介质
CN112949305A (zh) * 2021-05-13 2021-06-11 平安科技（深圳）有限公司 负反馈信息采集方法、装置、设备及存储介质
CN113326384A (zh) * 2021-06-22 2021-08-31 四川大学 一种基于知识图谱的可解释推荐模型的构建方法
CN114996424B (zh) * 2022-06-01 2023-05-09 吴艳 一种基于深度学习的弱监督跨域问答对生成方法
CN114996424A (zh) * 2022-06-01 2022-09-02 吴艳 一种基于深度学习的弱监督跨域问答对生成方法

Also Published As

Publication number Publication date
CN108563779B (zh) 2022-03-08

Similar Documents

Publication Publication Date Title
CN108563779A (zh) 一种基于神经网络的无模板自然语言文本答案生成方法
KR101799681B1 (ko) 어휘 의미망 및 단어 임베딩을 이용한 동형이의어 분별 장치 및 방법
CN110136690A (zh) 语音合成方法、装置及计算机可读存储介质
CN112352275A (zh) 具有多级别文本信息的神经文本到语音合成
CN105261358A (zh) 用于语音识别的n元文法模型构造方法及语音识别系统
CN110767213A (zh) 一种韵律预测方法及装置
CN103632663B (zh) 一种基于hmm的蒙古语语音合成前端处理的方法
KR20200084443A (ko) 음성 변조 시스템 및 방법
CN111508466A (zh) 一种文本处理方法、装置、设备及计算机可读存储介质
CN104538025A (zh) 手势到汉藏双语语音转换方法及装置
CN112749567A (zh) 一种基于现实信息环境知识图谱的问答系统
Gao et al. ToneNet: A CNN Model of Tone Classification of Mandarin Chinese.
CN106971721A (zh) 一种基于嵌入式移动设备的地方口音语音识别系统
Reddy et al. Indian sign language generation from live audio or text for tamil
Yu et al. Prosodic modeling with rich syntactic context in HMM-based Mandarin speech synthesis
Vrindavanam et al. Machine learning based approach to image description for the visually impaired
Chowdhury et al. Bangla grapheme to phoneme conversion using conditional random fields
CN115374784A (zh) 一种多模态信息选择性融合的中文命名实体识别方法
CN114492382A (zh) 人物提取方法、文本朗读方法、对话式文本生成方法、装置、设备及存储介质
CN105895075B (zh) 提高合成语音韵律自然度的方法及系统
Win et al. Review and perspectives of natural language processing for speech recognition
Chen et al. A Mandarin Text-to-Speech System
Karpe et al. Konkani script to speech conversion by concatenation of recognized hand written Konkani text using neural network
Alzubaidi et al. Real-time assistive reader pen for Arabic language
KR20030001668A (ko) 연속 음성인식기의 성능 개선 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant