CN110597971B - 基于神经网络的自动问答装置、方法及可读存储介质 - Google Patents

基于神经网络的自动问答装置、方法及可读存储介质 Download PDF

Info

Publication number
CN110597971B
CN110597971B CN201910776748.3A CN201910776748A CN110597971B CN 110597971 B CN110597971 B CN 110597971B CN 201910776748 A CN201910776748 A CN 201910776748A CN 110597971 B CN110597971 B CN 110597971B
Authority
CN
China
Prior art keywords
question
answer
preset
length
neural network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910776748.3A
Other languages
English (en)
Other versions
CN110597971A (zh
Inventor
林锋锋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhuo Erzhi Lian Wuhan Research Institute Co Ltd
Original Assignee
Zhuo Erzhi Lian Wuhan Research Institute Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhuo Erzhi Lian Wuhan Research Institute Co Ltd filed Critical Zhuo Erzhi Lian Wuhan Research Institute Co Ltd
Priority to CN201910776748.3A priority Critical patent/CN110597971B/zh
Publication of CN110597971A publication Critical patent/CN110597971A/zh
Application granted granted Critical
Publication of CN110597971B publication Critical patent/CN110597971B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/332—Query formulation
    • G06F16/3329—Natural language query formulation or dialogue systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/3331—Query processing
    • G06F16/334—Query execution
    • G06F16/3344—Query execution using natural language analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/3331—Query processing
    • G06F16/334—Query execution
    • G06F16/3346—Query execution using probabilistic model
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Artificial Intelligence (AREA)
  • Databases & Information Systems (AREA)
  • Biophysics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Human Computer Interaction (AREA)
  • Probability & Statistics with Applications (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

一种基于神经网络的自动问答方法，包括：获取问答文本并对问答文本进行分词处理；将分词得到的多个词语存入词袋模型，并计算每一词语在词袋模型中的TF‑IDF信息；基于所述问答文本所关联的TF‑IDF信息生成词频矩阵；对词频矩阵进行奇异值分解处理，以在分解处理后提取所述问答文本的关键字信息；根据所述问答文本的关键字信息在预设问答库中匹配得到回答集合；及将回答集合及问答文本输入至预设神经网络模型，以得到所述问答文本的最优回答。本发明还提供一种基于神经网络的自动问答装置及计算机可读存储介质。上述基于神经网络的自动问答装置、方法及计算机可读存储介质，可提高自动问答的准确率，提升用户使用体验。

Description

基于神经网络的自动问答装置、方法及可读存储介质
技术领域
本发明涉及人工智能技术领域，尤其涉及一种基于神经网络的自动问答装置、方法及计算机可读存储介质。
背景技术
自动问答是利用计算机自动回答用户所提出的问题，以满足用户知识需求的任务。现有问答模型所采用的方案一般是抽取用户提出的问答内容中的关键语义信息，然后在已有语料库、知识库或问答库中通过检索、匹配等手段获取答案并返回给用户。然而，自然语言具有灵活多变的特点，当问答内容中出现一词多义，一义多词的情形时，会导致系统返回的答案与问答内容不匹配的现象。
发明内容
有鉴于此，有必要提供一种基于神经网络的自动问答装置、方法及计算机可读存储介质，其可提高自动问答的准确率，提升用户使用体验。
本发明一实施方式提供一种基于神经网络的自动问答方法，包括：获取问答文本并对所述问答文本进行分词处理，以得到所述问答文本所对应的多个词语；将多个所述词语存入词袋模型，并计算每一所述词语在所述词袋模型中的词频-逆文本频率(TF-IDF)信息；基于所述问答文本所关联的TF-IDF信息生成词频矩阵；对所述词频矩阵进行奇异值分解处理，以在分解处理后提取所述问答文本的关键字信息；根据所述问答文本的关键字信息在预设问答库中匹配得到回答集合，其中所述回答集合包括一个或多个候选回答；及将所述回答集合及所述问答文本输入至预设神经网络模型，以得到所述问答文本的最优回答。
优选地，所述方法还包括：根据预设编号规则对每一所述词语进行编号，以将每一所述词语映射至一数字。
优选地，所述将所述问答文本输入至所述预设神经网络模型的步骤包括：按照所述问答文本的词序将所述问答文本转换为数字序列；及将所述数字序列输入至所述预设神经网络模型。
优选地，所述将所述数字序列输入至所述预设神经网络模型的步骤包括：判断所述数字序列的长度是否等于预设长度；若所述数字序列的长度大于所述预设长度，则将所述数字序列的长度超过部分进行截断，得到等于所述预设长度的第一子数字序列及截断部分的第二子数字序列；判断所述第二子数字序列的长度是否等于所述预设长度；若所述第二子数字序列的长度等于所述预设长度，则将所述第一子数字序列及所述第二子数字序列输入至所述预设神经网络模型；若所述第二子数字序列的长度大于所述预设长度，则重复上述截断步骤；若所述第二子数字序列的长度小于所述预设长度，则利用预设数字对所述第二子数字序列进行填充，以填充得到符合所述预设长度的数字序列；将所述第一子数字序列及经过填充的第二子数字序列输入至所述预设神经网络模型；若所述数字序列的长度小于所述预设长度，则利用所述预设数字对所述数字序列进行填充，以填充得到符合所述预设长度的数字序列并输入至所述预设神经网络模型；及若所述数字序列的长度等于所述预设长度，则将所述数字序列直接输入至所述预设神经网络模型。
优选地，所述获取每一所述词语在所述词袋模型中的TF-IDF信息的步骤包括：根据每一所述词语在所述问答文本中出现的词频及每一所述词语在所述预设问答库中所包含的所有问答文本中出现的频率得到每一所述词语在所述词袋模型中的TF-IDF信息。
优选地，所述对所述词频矩阵进行奇异值分解处理的步骤包括：将所述词频矩阵转换为奇异矩阵，并基于所述奇异矩阵对每一所述词语进行降维处理。
优选地，将所述回答集合及所述问答文本输入至预设神经网络模型，以得到所述问答文本的最优回答的步骤包括：将所述回答集合及所述问答文本输入至预设神经网络模型，得到所述回答集合中的每一所述候选回答与所述问答文本的匹配值；根据所述匹配值的高低对每一所述候选回答进行排序；及选取最大匹配值对应的候选回答作为所述问答文本的最优回答。
优选地，所述预设神经网络模型为卷积神经网络模型，所述将所述回答集合及所述问答文本输入至预设神经网络模型，得到所述回答集合中的每一所述候选回答与所述问答文本的匹配值的步骤包括：将所述回答集合及所述问答文本输入至所述卷积神经网络模型；及利用所述卷积神经网络模型的卷积层、池化层及全连接层对所述回答集合及所述问答文本进行特征提取与特征迭代计算，以输出所述回答集合中的每一所述候选回答与所述问答文本的匹配值。
本发明一实施方式提供一种基于神经网络的自动问答装置，所述装置包括处理器及存储器，所述存储器上存储有若干计算机程序，所述处理器用于执行存储器中存储的计算机程序时实现上述基于神经网络的自动问答方法的步骤。
本发明一实施方式还提供一种计算机可读存储介质，所述计算机可读存储介质存储有多条指令，多条所述指令可被一个或者多个处理器执行，以实现上述的基于神经网络的自动问答方法的步骤。
与现有技术相比，上述基于神经网络的自动问答装置、方法及计算机可读存储介质，利用奇异值分解方法对词频矩阵进行处理，再通过神经网络模型对筛选得到的候选回答进行二次匹配，以选出与问答文本对应的最优回答，可以实现避免问答文本的词语出现一词多义，一义多词的情形时导致回答不准确的问题，自动问答准确性高可，提升用户使用体验。
附图说明
图1是本发明一实施方式的自动问答装置的功能模块图。
图2是本发明一实施方式的自动问答程序的功能模块图。
图3是本发明一实施方式的自动问答方法的流程图。
主要元件符号说明
存储器 10
处理器 20
自动问答程序 30
处理模块 101
计算模块 102
生成模块 103
分解模块 104
匹配模块 105
选定模块 106
判断模块 107
自动问答装置 100
如下具体实施方式将结合上述附图进一步说明本发明。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
进一步需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
请参阅图1，为本发明自动问答装置较佳实施例的示意图。
自动问答装置100可以包括存储器10、处理器20以及存储在所述存储器10中并可在所述处理器20上运行的自动问答程序30。所述处理器20执行所述自动问答程序30时实现自动问答方法实施例中的步骤，例如图3所示的步骤S300～S310。或者，所述处理器20执行所述自动问答程序30时实现图2中各模块的功能，例如模块101～107。
所述自动问答程序30可以被分割成一个或多个模块，所述一个或者多个模块被存储在所述存储器10中，并由所述处理器20执行，以完成本发明。所述一个或多个模块可以是能够完成特定功能的一系列计算机程序指令段，所述指令段用于描述所述自动问答程序30在所述自动问答装置100中的执行过程。例如，所述自动问答程序30可以被分割成图2中的处理模块101、计算模块102、生成模块103、分解模块104、匹配模块105、选定模块106及判断模块107。各模块具体功能参见下图2中各模块的功能。
本领域技术人员可以理解，所述示意图仅是自动问答装置100的示例，并不构成对自动问答装置100的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如所述自动问答装置100还可以包括输入输出设备、通信模块、总线等。
所称处理器20可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者所述处理器20也可以是任何常规的处理器等，所述处理器20可以利用各种接口和总线连接自动问答装置100的各个部分。
所述存储器10可用于存储所述自动问答程序30和/或模块，所述处理器20通过运行或执行存储在所述存储器10内的计算机程序和/或模块，以及调用存储在存储器10内的数据，实现所述自动问答装置100的各种功能。所述存储器10可以包括高速随机存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡(Smart MediaCard,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
图2为本发明自动问答程序较佳实施例的功能模块图。
参阅图2所示，自动问答程序30可以包括处理模块101、计算模块102、生成模块103、分解模块104、匹配模块105、选定模块106及判断模块107。在一实施方式中，上述模块可以为存储于所述存储器10中且可被所述处理器20调用执行的可程序化软件指令。可以理解的是，在其他实施方式中，上述模块也可为固化于所述处理器20中的程序指令或固件(firmware)。
处理模块101用于获取问答文本并对所述问答文本进行分词处理，以得到所述问答文本所对应的多个词语。
在一实施方式中，所述问答文本可以是用户通过输入设备输入的文本，比如通过键盘输入的想提问的问题，进而处理模块101可以获取得到问答文本。所述问答文本还可以是通过语音转换后得到的文本，比如自动问答装置100可以预先安装有语音识别程序，通过该语音识别程序将用户的口头语音转换为文本，进而处理模块101可以获取得到问答文本。
在一实施方式中，处理模块101可以通过预设分词方式对所述问答文本进行分词处理，得到所述问答文本对应的各个分词。所述预设分词方式可以使预设分词算法或预设分词工具，所述预设分词算法可以是基于词典的最大匹配算法、全切分路径选择算法、基于字序列标注的算法、基于转移的分词算法，所述预设分词工具可以是开源分词工具或闭源分词工具，比如jieba分词工具。
在一实施方式中，处理模块101在获取得到问答文本后，还用于对所述问答文本进行去停用词处理。停用词去除可以是按照现有公开或自定义的停用词表，去除所述问答文本中不含实际意义的虚词、标点、特殊符号等。
在一实施方式中，所述处理模块101还用于根据预设编号规则对每一所述词语进行编号，以将每一所述词语映射至一数字，进而可以通过数字来标识词语，方便后续进行矩阵转换，且可减少模型计算量。所述预设编号规则包含有多个词语与数字的映射关系表，可以预先以字典化的方式构建词语与数字的映射关系，方便后续查询。处理模块101可以通过查询该关系表实现将词语转换为数字。
计算模块102用于将多个所述词语存入词袋模型，并计算每一所述词语在所述词袋模型中的词频-逆文本频率(TF-IDF)信息。
在一实施方式中，计算模块102优选从经过分词处理得到的多个词语中筛选出互不重复的词语，并将这些互不重复的词语存入词袋模型。计算模块102优选根据每一所述词语在所述问答文本中出现的词频及每一所述词语在所述预设问答库中所包含的所有问答文本中出现的频率计算得到每一所述词语在所述词袋模型中的TF-IDF信息。计算模块102可以将词语在所述问答文本中出现的词频与该词语在所述预设问答库中所包含的所有问答文本中出现的频率进行乘法运算得到该词语的TF-IDF信息。TF可以通过以下算式计算得到：TF＝(某个词语在问答文本中的出现次数)/(问答文本中出现次数最多的词语次数)；IDF可以通过以下算式计算得到：IDF＝log[(预设问答库中的问答文本总数/(包含该词语的问答文本数量)。
所述预设问答库可以预先存储在所述自动问答装置100中，也可以存储在云端服务器。所述预设问答库包含有多个问答文本及其对应的答案。举例而言，所述预设问答库包含n条问答文本A1～An，TF-IDF信息是指TF*IDF，对于问答文本A1的词语a1而言，TF表征与词语a1在问答文本A1中出现的次数成正相关，IDF表征与词语a1在问答文本A1～An中出现的频率成负相关。IDF的规则是：如果包含词语t的文本d越少，则词语t对应的IDF越大，说明词语t具有很好的类别区分能力，否则说明词语t的类别区分能力不强。某一词语的TF-IDF值越大，则该词语成为一个关键词的概率就越大。
生成模块103用于基于所述问答文本所关联的TF-IDF信息生成词频矩阵。
在一实施方式中，所述问答文本所关联的TF-IDF信息为所述问答文本所包含的每一词语的TF-IDF信息。当计算模块102计算得到所述问答文本中的每一所述词语在所述词袋模型中的词频-逆文本频率(TF-IDF)信息时，生成模块103可以基于每一词语的TF-IDF信息生成所述词频矩阵。所述词频矩阵优选是一个行为问答文本编号，列为词语的矩阵，矩阵中的元素是该列词语在该行问答文本中出现的次数。
分解模块104用于对所述词频矩阵进行奇异值分解处理，以在分解处理后提取所述问答文本的关键字信息。
在一实施方式中，分解模块104利用奇异值分解方法将所述词频矩阵转换为奇异矩阵，并基于所述奇异矩阵对每一所述词语进行降维处理，所述降维方式可以是将词语和问答文本映射到一个新的低维度空间进行降维。所述奇异值分解方法可以实现将一个较复杂的矩阵用更小更简单的几个子矩阵的相乘来表示，这些小矩阵描述的是原矩阵的重要特性。分解模块104利用奇异值分解方法可以将一个a*b的词频矩阵C分解为三个矩阵的相乘：
Figure BDA0002175314270000091
其中Σ是一个非负对角矩阵，对角线上的元素为词频矩阵C的奇异值，Wa*b对应第a个问答文本的第b个词语的特征值,可以是基于预处理后的标准化TF-IDF值，k是假设的主题数，k值一般设置为小于预设问答库中的问答文本数量，Ua*k对应为第a个问答文本和第k个问答问句的相关度，Σk*m对应为第k个词语和m个词义的相关度，
Figure BDA0002175314270000092
对应为第k个主题和第b个词义的相关度，通过奇异值分解处理可以得到问答文本与问答问句的相关度，词和词义的相关度以及词义和主题的相关度，进而可以在分解处理后提取所述问答文本的关键字信息，所述关键字信息可以包括关键词、词义、问答主题等信息。
可以理解的，对于同一个问答问题，由于每个用户的表达方式存在差异，导致问答文本也存在差异，通过关键字信息提取方式可以使得不同表达方式的问答文本提取得到的关键字信息基本相同。
匹配模块105用于根据所述问答文本的关键字信息在所述预设问答库中匹配得到回答集合，其中所述回答集合包括一个或多个候选回答。
在一实施方式中，所述匹配模块105可以将所述问答文本的关键字信息与所述预设问答库中的每一样本问答文本进行匹配，通过匹配后可以得到一个或者多个与所述问答文本相似的疑似问答文本，该些疑似问答文本的答案即为候选回答，该些候选回答构成所述回答集合。
在一实施方式中，所述匹配模块105将所述问答文本的关键字信息与所述预设问答库中的每一样本问答文本进行匹配，可以得到与每一样本问答文本的匹配程度，匹配程度大于预设程度的样本问答文本可以被认定为疑似问答文本，匹配程度的计算规则可以根据实际需求进行定义。为了节省计算量，所述匹配模块105还可以是将所述问答文本的关键词与预设问答库中的每一样本问答文本进行一次匹配初筛选，比如至少与两个关键词匹配的样本问答文本被遗留下来，然后再计算所述问答文本与遗留下来的每一样本问答文本的匹配程度，使得所述匹配模块105不需要计算所述问答文本与所述预设问答库中的每一样本问答文本的匹配程度。
选定模块106用于将所述回答集合及所述问答文本输入至预设神经网络模型，得到所述问答文本的最优回答。
在一实施方式中，所述预设神经网络模型优选为预先训练的卷积神经网络模型，在本发明的其他实施方式中，所述预设神经网络模型也可以为预先训练的其他类型的神经网络模型，比如循环神经网络模型。选定模块106可以将所述回答集合及所述问答文本输入至所述卷积神经网络模型，利用所述卷积神经网络模型的卷积层、池化层及全连接层对所述回答集合及所述问答文本进行特征提取与特征迭代计算，以输出所述回答集合中的每一所述候选回答与所述问答文本的匹配值。具体地，选定模块106将所述回答集合及所述问答文本输入至所述卷积神经网络模型，所述卷积神经网络模型对问答文本和回答行词嵌入，在每次迭代中训练词向量。可以分别对问答文本和回答进行两次卷积核大小为3、4、5的卷积操作，提取问答特征，使用批规范化来加速收敛，同时使用RELU激活函数，防止反向传播过程中的梯度问题，当该次卷积操作完成后，再进行两次卷积核大小为3、4、5的卷积操作，进一步提取问答特征，并再次进行批规范化和激活函数操作，再经过最大池化层对特征进行降维，降低后续全连接层的复杂度，最后将池化的向量连接起来，输出代表问答文本和回答的匹配值。
当得到所述回答集合中的每一所述候选回答与所述问答文本的匹配值时，选定模块106还根据所述匹配值的高低对每一所述候选回答进行排序，并选取最大匹配值对应的候选回答作为所述问答文本的最优回答。
在一实施方式中，若所述问答文本中的每一词语被映射为一数字，选定模块106将所述问答文本输入至预设神经网络模型的具体方式可以是：选定模块106先按照所述问答文本的词序将所述问答文本转换为数字序列，再将所述数字序列输入至所述预设神经网络模型。所述数字序列的顺序与所述问答文本的词序相对应。所述回答集合由于都是预设问答库中的回答，预设问答库中的每一回答可以预先进行词语-数字的转换。
在一实施方式中，所述预设神经网络模型的输入数字数据为预设的固定长度，对于转换后得到的数字序列需要进行填充或截断操作，小于所述固定长度的数字序列可以采用预设数字进行填充，比如采用数字“0”进行填充，对于大于所述固定长度的数字序列进行截断处理，以便使得转换后的数字序列符合长度要求，对于等于所述固定长度的数字序列，则可以直接输入至所述预设神经网络模型。
可以理解的，当采用数字“0”进行填充时，所述预设编号规则不定义“0”与词语的映射关系。
在一实施方式中，判断模块107用于判断所述问答文本转换后的数字序列的长度是否等于预设长度。若所述数字序列的长度大于所述预设长度，则选定模块106将所述数字序列的长度超过部分进行截断，得到等于所述预设长度的第一子数字序列及截断部分的第二子数字序列，比如所述预设长度为10个数字的数字序列，若所述问答文本转换后的数字序列的长度为15，则选定模块106将该数字序列从第11位进行截断，得到长度为10的第一子数字序列及长度为5的第二子数字序列。判断模块107判断所述第二子数字序列的长度是否等于所述预设长度，若所述第二子数字序列的长度等于所述预设长度，则选定模块106将所述第一子数字序列及所述第二子数字序列输入至所述预设神经网络模型。若所述第二子数字序列的长度大于所述预设长度，则选定模块106重复上述截断步骤对所述第二子数字序列进行截断处理。若所述第二子数字序列的长度小于所述预设长度，则选定模块106可以利用预设数字对所述第二子数字序列进行填充，以将第二子数字序列填充至所述预设长度的数字序列，填充完成后，选定模块106可以将所述第一子数字序列及经过填充的第二子数字序列输入至所述预设神经网络模型。比如对于长度为5的第二子数字序列，选定模块106在该第二子数字序列的第6位至第10位均填充数字“0”。
若所述数字序列的长度小于所述预设长度，则选定模块106利用所述预设数字对所述数字序列进行填充，以填充得到符合所述预设长度的数字序列并输入至所述预设神经网络模型。比如，某一问答文本转换后的数字序列的长度为6，则选定模块106可以再该数字序列的第7位至第10位填充数字“0”。若所述数字序列的长度等于所述预设长度，则选定模块106可以直接将所述数字序列直接输入至所述预设神经网络模型。
图3为本发明一实施方式中自动问答方法的流程图。根据不同的需求，所述流程图中步骤的顺序可以改变，某些步骤可以省略。
步骤S300，获取问答文本并对所述问答文本进行分词处理，以得到所述问答文本所对应的多个词语。
步骤S302，将多个所述词语存入词袋模型，并计算每一所述词语在所述词袋模型中的TF-IDF信息。
步骤S304，基于所述问答文本所关联的TF-IDF信息生成词频矩阵。
步骤S306，对所述词频矩阵进行奇异值分解处理，以在分解处理后提取所述问答文本的关键字信息。
步骤S308，根据所述问答文本的关键字信息在预设问答库中匹配得到回答集合，其中所述回答集合包括一个或多个候选回答。
步骤S310，将所述回答集合及所述问答文本输入至预设神经网络模型，以得到所述问答文本的最优回答。
上述基于神经网络的自动问答装置、方法及计算机可读存储介质，利用奇异值分解方法对词频矩阵进行处理，再通过神经网络模型对筛选得到的候选回答进行二次匹配，以选出与问答文本对应的最优回答，可以实现避免问答文本的词语出现一词多义，一义多词的情形时导致回答不准确的问题，自动问答准确性高可，提升用户使用体验。
对本领域的技术人员来说，可以根据本发明的发明方案和发明构思结合生产的实际需要做出其他相应的改变或调整，而这些改变和调整都应属于本发明所公开的范围。

Claims (8)

1.一种基于神经网络的自动问答方法，其特征在于，所述方法包括：
获取问答文本并对所述问答文本进行分词处理，以得到所述问答文本所对应的多个词语；
根据预设编号规则对所述多个词语中的每一词语进行编号，以将所述每一词语映射至一数字；
按照所述问答文本的词序将所述问答文本转换为数字序列；
将多个所述词语存入词袋模型，并计算每一所述词语在所述词袋模型中的词频-逆文本频率TF-IDF信息；
基于所述问答文本所关联的TF-IDF信息生成词频矩阵；
将所述词频矩阵转换为奇异矩阵，基于所述奇异矩阵对每一所述词语进行降维处理，及在降维处理后提取所述问答文本的关键字信息，其中所述关键字信息包括文本关键字、关键字词义和/或文本主题；
根据所述问答文本的关键字信息在预设问答库中匹配得到回答集合，其中所述回答集合包括一个或多个候选回答；及
将所述回答集合及与所述问答文本对应的数字序列输入至预设神经网络模型，以得到所述问答文本的最优回答；
其中，将与所述问答文本对应的数字序列输入至预设神经网络模型包括：
判断所述数字序列的长度是否等于预设长度；
若所述数字序列的长度不等于所述预设长度，则利用预设数字将所述数字序列的长度填充至与所述预设长度成倍数关系，及将填充后的数字序列输入至所述预设神经网络模型。
2.如权利要求1所述的方法，其特征在于，所述判断所述数字序列的长度是否等于预设长度的步骤之后，还包括：
若所述数字序列的长度等于所述预设长度，则将所述数字序列直接输入至所述预设神经网络模型。
3.如权利要求1所述的方法，其特征在于，所述若所述数字序列的长度不等于所述预设长度，则利用预设数字将所述数字序列的长度填充至与所述预设长度成倍数关系，及将填充后的数字序列输入至所述预设神经网络模型的步骤包括：
若所述数字序列的长度大于所述预设长度，则将所述数字序列的长度超过部分进行截断，得到等于所述预设长度的第一子数字序列及截断部分的第二子数字序列；
判断所述第二子数字序列的长度是否等于所述预设长度；
若所述第二子数字序列的长度等于所述预设长度，则将所述第一子数字序列及所述第二子数字序列输入至所述预设神经网络模型；
若所述第二子数字序列的长度大于所述预设长度，则重复上述截断步骤；
若所述第二子数字序列的长度小于所述预设长度，则利用预设数字对所述第二子数字序列进行填充，以填充得到符合所述预设长度的数字序列；
将所述第一子数字序列及经过填充的第二子数字序列输入至所述预设神经网络模型；及
若所述数字序列的长度小于所述预设长度，则利用所述预设数字对所述数字序列进行填充，以填充得到符合所述预设长度的数字序列并输入至所述预设神经网络模型。
4.如权利要求1所述的方法，其特征在于，获取每一所述词语在所述词袋模型中的TF-IDF信息的步骤包括：
根据每一所述词语在所述问答文本中出现的词频及每一所述词语在所述预设问答库中所包含的所有问答文本中出现的频率得到每一所述词语在所述词袋模型中的TF-IDF信息。
5.如权利要求1所述的方法，其特征在于，将所述回答集合及所述问答文本输入至预设神经网络模型，以得到所述问答文本的最优回答的步骤包括：
将所述回答集合及所述问答文本输入至预设神经网络模型，得到所述回答集合中的每一所述候选回答与所述问答文本的匹配值；
根据所述匹配值的高低对每一所述候选回答进行排序；及
选取最大匹配值对应的候选回答作为所述问答文本的最优回答。
6.如权利要求1所述的方法，其特征在于，所述预设神经网络模型为卷积神经网络模型，所述将所述回答集合及所述问答文本输入至预设神经网络模型，得到所述回答集合中的每一所述候选回答与所述问答文本的匹配值的步骤包括：
将所述回答集合及所述问答文本输入至所述卷积神经网络模型；及
利用所述卷积神经网络模型的卷积层、池化层及全连接层对所述回答集合及所述问答文本进行特征提取与特征迭代计算，以输出所述回答集合中的每一所述候选回答与所述问答文本的匹配值。
7.一种基于神经网络的自动问答装置，所述装置包括处理器及存储器，所述存储器上存储有若干计算机程序，其特征在于，所述处理器用于执行存储器中存储的计算机程序时实现如权利要求1至6中任一项所述的基于神经网络的自动问答方法的步骤。
8.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有多条指令，多条所述指令可被一个或者多个处理器执行，以实现如权利要求1至6中任一项所述的基于神经网络的自动问答方法的步骤。
CN201910776748.3A 2019-08-22 2019-08-22 基于神经网络的自动问答装置、方法及可读存储介质 Active CN110597971B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910776748.3A CN110597971B (zh) 2019-08-22 2019-08-22 基于神经网络的自动问答装置、方法及可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910776748.3A CN110597971B (zh) 2019-08-22 2019-08-22 基于神经网络的自动问答装置、方法及可读存储介质

Publications (2)

Publication Number Publication Date
CN110597971A CN110597971A (zh) 2019-12-20
CN110597971B true CN110597971B (zh) 2022-04-29

Family

ID=68855084

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910776748.3A Active CN110597971B (zh) 2019-08-22 2019-08-22 基于神经网络的自动问答装置、方法及可读存储介质

Country Status (1)

Country Link
CN (1) CN110597971B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111143634A (zh) * 2019-12-27 2020-05-12 中国工商银行股份有限公司 基于图像识别的问答方法及系统
CN111415740B (zh) * 2020-02-12 2024-04-19 东北大学 问诊信息的处理方法、装置、存储介质及计算机设备
CN111949783A (zh) * 2020-08-12 2020-11-17 中国银行股份有限公司 知识库中问答结果生成方法及装置
CN112231537A (zh) * 2020-11-09 2021-01-15 张印祺 基于深度学习和网络爬虫的智能阅读系统
CN113191145B (zh) * 2021-05-21 2023-08-11 百度在线网络技术（北京）有限公司 关键词的处理方法、装置、电子设备和介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108345585A (zh) * 2018-01-11 2018-07-31 浙江大学 一种基于深度学习的自动问答方法
CN108710613A (zh) * 2018-05-22 2018-10-26 平安科技（深圳）有限公司 文本相似度的获取方法、终端设备及介质
CN109271505A (zh) * 2018-11-12 2019-01-25 深圳智能思创科技有限公司 一种基于问题答案对的问答系统实现方法
CN109857871A (zh) * 2019-01-28 2019-06-07 重庆邮电大学 一种基于社交网络海量情景数据的用户关系发现方法
CN109886021A (zh) * 2019-02-19 2019-06-14 北京工业大学 一种基于api全局词向量和分层循环神经网络的恶意代码检测方法
CN109947918A (zh) * 2019-03-12 2019-06-28 南京邮电大学 面向智能客服对话场景的语义分析方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10255273B2 (en) * 2017-06-15 2019-04-09 Microsoft Technology Licensing, Llc Method and system for ranking and summarizing natural language passages
US10733699B2 (en) * 2017-10-24 2020-08-04 Deep North, Inc. Face replacement and alignment
CN108038209A (zh) * 2017-12-18 2018-05-15 深圳前海微众银行股份有限公司 答案选择方法、装置和计算机可读存储介质
CN108153876B (zh) * 2017-12-26 2021-07-23 爱因互动科技发展（北京）有限公司 智能问答方法及系统
CN108363763B (zh) * 2018-02-05 2020-12-01 深圳市腾讯计算机系统有限公司 一种自动问答方法、装置和存储介质
CN108304587B (zh) * 2018-03-07 2020-10-27 中国科学技术大学 一种社区问答平台回答排序方法
CN109062897A (zh) * 2018-07-26 2018-12-21 苏州大学 基于深度神经网络的句子对齐方法
CN110032632A (zh) * 2019-04-04 2019-07-19 平安科技（深圳）有限公司 基于文本相似度的智能客服问答方法、装置及存储介质

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108345585A (zh) * 2018-01-11 2018-07-31 浙江大学 一种基于深度学习的自动问答方法
CN108710613A (zh) * 2018-05-22 2018-10-26 平安科技（深圳）有限公司 文本相似度的获取方法、终端设备及介质
CN109271505A (zh) * 2018-11-12 2019-01-25 深圳智能思创科技有限公司 一种基于问题答案对的问答系统实现方法
CN109857871A (zh) * 2019-01-28 2019-06-07 重庆邮电大学 一种基于社交网络海量情景数据的用户关系发现方法
CN109886021A (zh) * 2019-02-19 2019-06-14 北京工业大学 一种基于api全局词向量和分层循环神经网络的恶意代码检测方法
CN109947918A (zh) * 2019-03-12 2019-06-28 南京邮电大学 面向智能客服对话场景的语义分析方法

Also Published As

Publication number Publication date
CN110597971A (zh) 2019-12-20

Similar Documents

Publication Publication Date Title
CN110597971B (zh) 基于神经网络的自动问答装置、方法及可读存储介质
CN108959246B (zh) 基于改进的注意力机制的答案选择方法、装置和电子设备
CN109783817B (zh) 一种基于深度强化学习的文本语义相似计算模型
CN108763535B (zh) 信息获取方法及装置
CN111599340A (zh) 一种多音字读音预测方法、装置及计算机可读存储介质
CN110765785A (zh) 基于神经网络的中英翻译方法、及其相关设备
CN109117474B (zh) 语句相似度的计算方法、装置及存储介质
US11409374B2 (en) Method and device for input prediction
CN111368037A (zh) 基于Bert模型的文本相似度计算方法和装置
CN112052331A (zh) 一种处理文本信息的方法及终端
CN111651986A (zh) 事件关键词提取方法、装置、设备及介质
CN111462751A (zh) 解码语音数据的方法、装置、计算机设备和存储介质
CN114818729A (zh) 一种训练语义识别模型、查找语句的方法、装置及介质
CN114021573B (zh) 一种自然语言处理方法、装置、设备及可读存储介质
CN113836938A (zh) 文本相似度的计算方法及装置、存储介质、电子装置
CN112434134A (zh) 搜索模型训练方法、装置、终端设备及存储介质
CN107341152B (zh) 一种参数输入的方法及装置
WO2022022049A1 (zh) 文本长难句的压缩方法、装置、计算机设备及存储介质
CN113743090A (zh) 一种关键词提取方法及装置
CN114330251A (zh) 文本生成方法、模型的训练方法、设备及存储介质
CN112527967A (zh) 文本匹配方法、装置、终端和存储介质
JP2019082860A (ja) 生成プログラム、生成方法及び生成装置
CN114021572B (zh) 一种自然语言处理方法、装置、设备及可读存储介质
CN111401069A (zh) 会话文本的意图识别方法、意图识别装置及终端
CN115114420A (zh) 一种知识图谱问答方法、终端设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant