CN111259115A - 内容真实性检测模型的训练方法、装置和计算设备 - Google Patents

内容真实性检测模型的训练方法、装置和计算设备 Download PDF

Info

Publication number
CN111259115A
CN111259115A CN202010042646.1A CN202010042646A CN111259115A CN 111259115 A CN111259115 A CN 111259115A CN 202010042646 A CN202010042646 A CN 202010042646A CN 111259115 A CN111259115 A CN 111259115A
Authority
CN
China
Prior art keywords
detected
answer
authenticity
training
knowledge
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010042646.1A
Other languages
English (en)
Other versions
CN111259115B (zh
Inventor
杨雷
雷涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
CHEZHI HULIAN (BEIJING) SCIENCE & TECHNOLOGY CO LTD
Original Assignee
CHEZHI HULIAN (BEIJING) SCIENCE & TECHNOLOGY CO LTD
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by CHEZHI HULIAN (BEIJING) SCIENCE & TECHNOLOGY CO LTD filed Critical CHEZHI HULIAN (BEIJING) SCIENCE & TECHNOLOGY CO LTD
Priority to CN202010042646.1A priority Critical patent/CN111259115B/zh
Publication of CN111259115A publication Critical patent/CN111259115A/zh
Application granted granted Critical
Publication of CN111259115B publication Critical patent/CN111259115B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/332—Query formulation
    • G06F16/3329—Natural language query formulation or dialogue systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/3331—Query processing
    • G06F16/334—Query execution
    • G06F16/3344—Query execution using natural language analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Human Computer Interaction (AREA)
  • Electrically Operated Instructional Devices (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种内容真实性检测模型的训练方法，适于在计算设备中执行，该计算设备中存储有包括多个知识条目的知识库，该模型适于输出答案的真实性概率，该方法包括步骤：获取多条具有标签数据的训练样本，所述训练样本包括问题、答案、与该问题和答案相关的属性特征、以及与该问题和属性特征相关的知识点特征，其中，标签数据为答案是否真实，知识点特征为基于属性特征和问题的关键词在知识库中查找到的n个知识条目；以及将训练样本输入待训练的内容真实性检测模型中进行处理，得到训练样本的预测概率，并基于其标签数据进行模型训练，得到训练后的内容真实性检测模型。本发明还一并公开了对应的内容真实性检测模型的训练装置和计算设备。

Description

内容真实性检测模型的训练方法、装置和计算设备
技术领域
本发明涉及计算机技术领域，尤其涉及一种内容真实性检测模型的训练方法、装置和计算设备。
背景技术
网络知识问答，逐渐成为人与人之间互助的平台。网民之间利用自己的信息、资源和经历，通过网络提问回答的方式并借助各种网络互动问答平台，对网友提问、对问题进行解答。由于回答人员数量较多，答案的质量参差不齐，给提问者和浏览者带来了很多困惑，甚至是误导。因此面对迅速增长的网络问答需求，需要相应的检测技术来辨别真伪，提升网络问答平台(论坛、贴吧等)的数据质量。
发明内容
鉴于上述问题，本发明提出了一种内容真实性检测模型的训练方法、装置和计算设备，以力图解决或者至少解决上面存在的问题。
根据本发明的一个方面，提供了一种内容真实性检测模型的训练方法，适于在计算设备中执行，该计算设备中存储有包括多个知识条目的知识库，该模型适于输出答案的真实性概率，该方法包括步骤：获取多条具有标签数据的训练样本，训练样本包括问题、答案、与该问题和答案相关的属性特征、以及与该问题和属性特征相关的知识点特征，其中，标签数据为答案是否真实，知识点特征为基于所述属性特征和问题的关键词在知识库中查找到的n个知识条目；以及将训练样本输入待训练的内容真实性检测模型中进行处理，得到训练样本的预测概率，并基于其标签数据进行模型训练，得到训练后的内容真实性检测模型。
可选地，在根据本发明的训练方法中，查找知识点特征的步骤包括：在知识库中查找与所述属性特征相关的多个知识条目；基于问题的关键词对多个知识条目进行排序，得到前n个知识条目作为知识点特征。
可选地，在根据本发明的训练方法中，属性特征包括问题版块、问题类型、提问者和回答者的用户信息中的至少一种；用户信息包括会员级别、发帖数目、回帖数目、回帖长度、回帖真实性中的至少一种。
可选地，在根据本发明的训练方法中，计算设备中还存储有问答库，训练样本中的问题和答案从问答库中获取。
可选地，在根据本发明的训练方法中，内容真实性检测模型包括：编码器，适于生成训练样本中每项内容的词向量；语义提取模块，适于基于每项内容的词向量生成对应的语义向量；融合模块，适于将所有语义向量进行拼接融合；以及预测模块，适于从拼接融合后的语义向量中预测答案的真实性概率。
可选地，在根据本发明的训练方法中，编码器包括：第一编码器，适于分别生成问题、答案和知识点特征对应的第一至第三词向量；以及第二编码器，适于生成属性特征对应的第四词向量。
可选地，在根据本发明的训练方法中，语义提取模块包括：第一语义提取模块，适于分别基于第一和第二词向量，生成问题和答案对应的第一和第二语义向量；第二语义提取模块，适于基于第三词向量，生成知识点特征对应的第三语义向量；以及第一线性转换模块，适于基于第四词向量，生成属性特征对应的第四语义向量。
可选地，在根据本发明的训练方法中，第一语义提取模块包括：第一循环网络，适于分别提取问题和答案的语义信息；以及注意力网络，与第一循环网络相耦接，适于提取问题和答案之间的关联权重，并基于该关联权重生成第一和第二语义向量。
可选地，在根据本发明的训练方法中，第二语义提取模块为第二循环网络；预测模块包括相互耦接的第二线性转换模块和Sigmoid函数。
可选地，在根据本发明的训练方法中，第一编码器为词向量编码，第二编码器为独热编码；第一和第二循环网络为双向-长短时记忆网络，注意力网络为双向注意力网络；第一和第二线性转换模块为神经网络全连接层。
根据本发明的另一个方面，提供了一种内容真实性检测方法，适于在计算设备中执行，该方法包括步骤：采集待测问题和待测答案、并获取与该待测问题和待测答案相关的待测属性特征；基于待测属性特征和待测答案，查找对应的待测知识点特征；将待测问题、待测答案、待测属性特征和待测知识点特征作为待测样本，分别输入到多个训练后的内容真实性检测模型中，得到多个真实性概率值；以及通过对该多个真实性概率值进行比较，确定待测答案的真实性；其中，内容真实性检测模型采用如上所述的内容真实性检测模型的训练方法训练生成。
根据本发明的另一个方面，提供了一种内容真实性检测模型的训练装置，适于驻留在计算设备中，该计算设备中存储有包括多个知识条目的知识库，该模型适于输出答案的真实性概率，该装置包括：训练集生成模块，适于获取多条具有标签数据的训练样本，该训练样本包括问题、答案、与该问题和答案相关的属性特征、以及与该问题和属性特征相关的知识点特征，其中，标签数据为答案是否真实，知识点特征为基于属性特征和问题的关键词在所述知识库中查找到的n个知识条目；以及模型训练模块，适于将训练样本输入待训练的内容真实性检测模型中进行处理，得到训练样本的预测概率，并基于标签数据进行模型训练，得到训练后的内容真实性检测模型。
根据本发明的另一个方面，提供了一种内容真实性检测装置，适于驻留在计算设备中，该装置包括：待测集生成模块，适于获取待测问题、待测答案、以及与该待测问题和待测答案相关的待测属性特征，并基于待测属性特征和待测答案，从知识库中查找对应的待测知识点特征；真实性预测模块，适于将待测问题、待测答案、待测属性特征和待测知识点特征作为待测样本，分别输入到多个训练后的内容真实性检测模型中，得到多个真实性概率值；以及真实性确定模块，适于通过对该多个真实性概率值进行比较，确定待测答案的真实性；其中，内容真实性检测模型采用如上所述的内容真实性检测模型的训练方法训练生成。
根据本发明的又一方面，提供一种计算设备，包括：一个或多个处理器；存储器；以及一个或多个程序，其中一个或多个程序存储在存储器中并被配置为由一个或多个处理器执行，该一个或多个程序被处理器执行时实现如上所述的方法的步骤。
根据本发明的又一方面，提供一种存储一个或多个程序的可读存储介质，该一个或多个程序包括指令，所述指令当由计算设备执行时实现如上所述的方法的步骤。
根据本发明的技术方案，生成了一种基于知识图谱检测论坛回复内容真实性的问答系统。首先整理提取与问题和答案相关的属性特征，例如包含问题板块、问题类型、提问者和回答者的用户信息等。之后利用属性特征和问题在知识图谱中检索相关的知识条目，例如选择前n个知识点作为知识点特征，该知识点特征可以为模型鉴别答案的真伪提供数据支持。最后将知识点特征、属性特征、问题和答案输入到检测模型中，将多源信息进行语义融合和推理，最后做真实性判断。另外，本发明还可以训练多个模型，进行模型的融合，将融合后模型的输出结果，作为最终的判断结果，从而提高判断的准确性。
上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。
附图说明
为了实现上述以及相关目的，本文结合下面的描述和附图来描述某些说明性方面，这些方面指示了可以实践本文所公开的原理的各种方式，并且所有方面及其等效方面旨在落入所要求保护的主题的范围内。通过结合附图阅读下面的详细描述，本公开的上述以及其它目的、特征和优势将变得更加明显。遍及本公开，相同的附图标记通常指代相同的部件或元素。
图1示出了根据本发明一个实施例的计算设备100的结构框图；
图2示出了根据本发明一个实施例的内容真实性检测模型的训练方法200的流程图；
图3示出了根据本发明一个实施例的内容真实性检测模型的示意图；
图4示出了根据本发明另一个实施例的内容真实性检测模型的示意图；
图5示出了根据本发明一个实施例的内容真实性检测方法500的流程图；
图6示出了根据本发明一个实施例的内容真实性检测模型的训练装置600的结构图；以及
图7示出了根据本发明一个实施例的内容真实性检测装置700的结构图。
具体实施方式
下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。
图1是根据本发明一个实施例的计算设备100的框图。在基本的配置102中，计算设备100典型地包括系统存储器106和一个或者多个处理器104。存储器总线108可以用于在处理器104和系统存储器106之间的通信。
取决于期望的配置，处理器104可以是任何类型的处理，包括但不限于：微处理器(μP)、微控制器(μC)、数字信息处理器(DSP)或者它们的任何组合。处理器104可以包括诸如一级高速缓存110和二级高速缓存112之类的一个或者多个级别的高速缓存、处理器核心114和寄存器116。示例的处理器核心114可以包括运算逻辑单元(ALU)、浮点数单元(FPU)、数字信号处理核心(DSP核心)或者它们的任何组合。示例的存储器控制器118可以与处理器104一起使用，或者在一些实现中，存储器控制器118可以是处理器104的一个内部部分。
取决于期望的配置，系统存储器106可以是任意类型的存储器，包括但不限于：易失性存储器(诸如RAM)、非易失性存储器(诸如ROM、闪存等)或者它们的任何组合。系统存储器106可以包括操作系统120、一个或者多个应用122以及程序数据124。在一些实施方式中，应用122可以布置为在操作系统上利用程序数据124进行操作。程序数据124包括指令，在根据本发明的计算设备100中，程序数据124包含用于执行内容真实性检测模型的训练方法200和/或内容真实性检测方法500的指令。
计算设备100还可以包括有助于从各种接口设备(例如，输出设备142、外设接口144和通信设备146)到基本配置102经由总线/接口控制器130的通信的接口总线140。示例的输出设备142包括图形处理单元148和音频处理单元150。它们可以被配置为有助于经由一个或者多个A/V端口152与诸如显示器或者扬声器之类的各种外部设备进行通信。示例外设接口144可以包括串行接口控制器154和并行接口控制器156，它们可以被配置为有助于经由一个或者多个I/O端口158和诸如输入设备(例如，键盘、鼠标、笔、语音输入设备、触摸输入设备)或者其他外设(例如打印机、扫描仪等)之类的外部设备进行通信。示例的通信设备146可以包括网络控制器160，其可以被布置为便于经由一个或者多个通信端口164与一个或者多个其他计算设备162通过网络通信链路的通信。
网络通信链路可以是通信介质的一个示例。通信介质通常可以体现为在诸如载波或者其他传输机制之类的调制数据信号中的计算机可读指令、数据结构、程序模块，并且可以包括任何信息递送介质。“调制数据信号”可以这样的信号，它的数据集中的一个或者多个或者它的改变可以在信号中编码信息的方式进行。作为非限制性的示例，通信介质可以包括诸如有线网络或者专线网络之类的有线介质，以及诸如声音、射频(RF)、微波、红外(IR)或者其它无线介质在内的各种无线介质。这里使用的术语计算机可读介质可以包括存储介质和通信介质二者。
计算设备100可以实现为服务器，例如文件服务器、数据库服务器、应用程序服务器和WEB服务器等，也可以实现为小尺寸便携(或者移动)电子设备的一部分，这些电子设备可以是诸如蜂窝电话、个人数字助理(PDA)、个人媒体播放器设备、无线网络浏览设备、个人头戴设备、应用专用设备、或者可以包括上面任何功能的混合设备。计算设备100还可以实现为包括桌面计算机和笔记本计算机配置的个人计算机。在一些实施例中，计算设备100被配置为执行内容真实性检测模型的训练方法200和/或内容真实性检测方法500。
图2示出了根据本发明一个实施例的内容真实性检测模型的训练方法200的流程示意图。方法200在计算设备中执行，如在计算设备100中执行。如图2所示，该方法始于步骤S210。
在步骤S210中，获取多条具有标签数据的训练样本，该训练样本包括问题、答案、与该问题和答案相关的属性特征、以及与该问题和属性特征相关的知识点特征。
其中，标签数据为答案是否真实，其可以用0或1表示，可通过人工进行标注。例如，当答案为真时，标签数据值为1；当答案为假时，标签数据值为0。
训练样本中的问题和答案可从计算设备中所存储的问答库中获取。问答库中包括多对问题和答案，该问题和答案例如是发帖问题和回帖内容，如问题为“凌度油耗多少”，答案为“油耗为6.9”。问答库中还可以包括每个问题所属的问题版块和问题类型。
基于问题和答案，可以查找相关的属性特征。属性特征包括问题版块、问题类型、提问者和回答者的用户信息中的至少一种。用户信息包括会员级别、发帖数目、回帖数目、回帖长度、回帖真实性中的至少一种。属性特征可表示为{问题版块，问题类型，提问者信息，回答者信息}，例如{问题版块：凌度论坛，问题类型：保养类型，提问者信息：(认证车主，3级会员，帖子数目12，回帖数目23)，回答者信息：(认证车主，3级会员，帖子数目12，回帖数目23)}。属性特征的引入可提高信息的参考量，能够训练出更准确的模型。
知识点特征为基于属性特征和问题的关键词在知识库中查找到的n个知识条目。计算设备中存储有知识库，知识库中包括多个知识条目，每个知识条目可以表示为三元词组。例如(2019款凌度手动版，油耗，5.5)，代表2019新款凌度手动版的油耗为5.5。三元组可理解为(实体entity，实体关系relation，实体entity)，如果把实体看作是结点，把实体关系(包括属性，类别等等)看作是一条边，那么包含了大量三元组的知识库就成为了一个庞大的知识图。知识库可以知识图谱的形式存在，知识图谱中存储了大量领域内的知识点，这些知识点可为数据分析处理提供有力的支撑。将知识图谱作为外部数据源应用于问题答案真伪的检测，可提高模型的准确度。
根据一个实施例，查找知识点特征的步骤包括：在知识库中查找与属性特征相关的多个知识条目；基于问题的关键词对该多个知识条目进行排序，得到前n个知识条目作为知识点特征。其中，在进行知识条目可基于重合词的概率进行排序，重合词例如可以是问题全文与知识条目之间的重合词，或者问题关键词与知识条目之间的重合词，本发明对此不作限制。
以上文中凌度论坛的属性特征为例，根据属性特征可知问的是凌度汽车的保养问题，在知识图谱中粗略搜索凌度汽车的所有知识条目，然后根据问题的关键词在知识图谱中进行详细的检索。当然，训练样本中的知识点特征也可以通过人工选择来查找得到。
随后，在步骤S220中，将训练样本输入待训练的内容真实性检测模型中进行处理，得到训练样本的预测概率，并基于其标签数据进行模型训练，得到训练后的内容真实性检测模型。
图3示出了内容真实性检测模型的一个示例性实施例，图4示出了该内容真实性检测模型的一个优选实施例。如图中所示，内容真实性检测模型包括编码器、语义提取模块、融合模块和预测模块，分别对应于嵌入层、语义层、融合层和输出层。
其中，编码器生成训练样本中每项内容的词向量，语义提取模块基于每项内容的词向量生成对应的语义向量，融合模块将所有语义向量进行拼接融合，预测模块从拼接融合后的语义向量中预测答案的真实性概率。
进一步地，编码器可以包括第一编码器和第二编码器。其中，第一编码器分别生成问题、答案和知识点特征对应的第一至第三词向量。第二编码器生成属性特征对应的第四词向量。优选地，第一编码器为Word Embedding词向量编码，第二编码器为One Hot独热编码。这里主要是考虑属性特征汇集了多个不同方面的离散特征，相互之间不存在文本语义的关系，因此用独热编码表达更为合适。
语义提取模块包括第一语义提取模块(图中未示出)、第二语义提取模块和第一线性转换模块。其中，第一语义提取模块分别基于第一和第二词向量，生成问题和答案对应的第一和第二语义向量。第二语义提取模块基于第三词向量，生成知识点特征对应的第三语义向量。第一线性转换模块基于第四词向量，生成属性特征对应的第四语义向量。
具体而言，第一语义提取模块包括相互耦接的第一循环网络和注意力网络。其中，第一循环网络分别提取问题和答案的语义信息，注意力网络提取问题和答案之间的关联权重，并基于该关联权重生成第一和第二语义向量。第二语义提取模块为第二循环网络，用于提取知识点特征的语义信息。
优选地，第一和第二循环网络为双向-长短时记忆网络，即Bi-LSTM层。注意力网络为双向注意力网络，即Bi-Attention层，它是一个问题和答案的关联交互层，主要是用来判断问题和答案语义关联的强弱。例如，若问题为凌度油耗多少，答案为凌度整除质保三年或10公里，则这两者之间不具有相关性。
融合模块将第一至第四语义向量进行拼接，如进行矩阵的拼接，本发明对其拼接顺序不作限制。预测模块包括相互耦接的第二线性转换模块和Sigmoid函数。作为优选地，第一和第二线性转换模块(Linear)为神经网络全连接层。
这样，问题和答案经过第一编码器(词向量编码)后生成嵌入词向量，再依次通过第一语义提取模块中的第一循环网络(Bi-LSTM层)和注意力网络(Bi-Attention层)，分别得到输出序列Hb和Hc。属性特征经过第二编码器(One-Hot独热编码)生成独热编码，再经第一线性转换模块(Linear-神经网络全连接)后，生成序列Ha。知识点特征依次输入到第一编码器(词向量层)和第二循环网络(Bi-LSTM层)中，得到输出序列Hf。
最后，将输出序列Ha、Hf、Hb和Hc拼接后再次经过第二线性转换模块进行线性转换，也就是做神经网络的全连接，以将向量映射到输出层对应的维度上，便于后面的Sigmoid函数计算，输出相应的0到1之间的概率值。例如：若输出是0.9，则认为答案很大概率是真实的答案；若输出是0.1，则认为答案很大概率不是真实答案。
需要说明的是，以上所提到的Word Embedding词向量编码、One Hot独热编码、Bi-LSTM和Bi-Attention语义提取、语义融合、Linear线性转换和Sigmoid函数预测，均是本领域比较成熟的技术，本领域技术人员可以根据需要自行设定该模型中各部分的结构和参数，并对模型进行训练，本发明对其详细细节不作具体限制。在模型训练过程中，将问题、答案、属性特征和知识点特征分别输入到模型的对应部分，转换为对应的语义序列后进行拼接，输出预测概率值。之后，基于实际标签值，对模型的超参数进行调整，多次迭代更新，直到预测概率值和实际标签值最为接近，模型损失函数最低，得到训练后的模型。
图5示出了根据本发明一个实施例的内容真实性检测方法500的流程示意图。方法500在计算设备中执行，如在计算设备100中执行。如图5所示，该方法始于步骤S510。
在步骤S510中，获取待测问题、待测答案、以及与该待测问题和待测答案相关的待测属性特征。其中，待测属性特征中的问题版块和问题类型可以通过对问题进行关键词分析或语义识别，并结合问答库确定。
随后，在步骤S520中，基于待测属性特征和待测答案，查找对应的待测知识点特征，该知识点特征为查找的n个知识条目。知识点特征的查找方法为：在知识库中查找与所述属性特征相关的多个知识条目，并基于问题的关键词对多个知识条目进行排序，得到前n个知识条目。
随后，在步骤S530中，将待测问题、待测答案、待测属性特征和待测知识点特征作为待测样本，分别输入到多个训练后的内容真实性检测模型中，得到多个真实性概率值。
其中，该多个内容真实性检测模型均采用方法200进行训练，在训练的迭代过程中可以保存多个模型，并基于该多个模型分别对该待测样本进行预测，分别得到一个预测概率值。这里，将待测问题、待测答案词向量编码，输入到循环网络中进行语义信息的获取，经过双向Attention进行信息融合后，得到语义向量信息。将属性特征进行独热编码和线性转换后，得到属性向量。将知识点特征进行词向量编码后，输入到循环网络中，得到知识点向量。将语义向量信息、知识点向量和属性向量信息进行拼接，输入到输出层，进行真伪的判断。
随后，在步骤S540中，通过对该多个真实性概率值进行比较，确定待测答案的真实性。这样，同一组问答语句经过多个训练模型的投票判断后，可提高结果判断的准确性。
在一种实现方式中，若多个真实性概率值中，有至少一半的数值大于等于预设的概率阈值，则判定该待测答案为真实答案；反之则为虚假答案。概率阈值例如可以为0.7，当然不限于此，本领域技术人员可以自行设定其数值。若有五个模型，该五个模型的输出值中，有两个小于0.7，三个大于0.7，则代表该待测答案为真实答案。
在另一种实现方式中，如计算所有预测概率值的平均值，若该平均值大于等于概率阈值，则认为待测答案为真；反之则为假。当然还有其他比较方法，本领域技术人员可以根据需要自行设定比较规则，本发明对此不作限制。
另外，对于所训练出的多个模型，还可为每个模型设置一定的权重值，所得到的模型迭代次数越多，也就是越接近最终模型，则该模型的权重越高。若依次训练出五个模型，则该五个模型的权重逐渐升高，由该五个模型预测得到的概率值与对应的权重进行加权后，作为该模型的实际概率值。之后，对该五个实际概率值进行比较，确定待测答案是否为真实答案。
图6示出了根据本发明一个实施例的内容真实性检测模型的训练装置600的结构框图，该模型适于输出答案的真实性概率。装置600可以驻留在计算设备中，如驻留在计算设备100中。如图6所示，装置600包括训练集生成模块610和模型训练模块620。
训练集生成模块610获取多条具有标签数据的训练样本，该训练样本包括问题、答案、与该问题和答案相关的属性特征、以及与该问题和属性特征相关的知识点特征。其中，标签数据为答案是否真实，知识点特征为基于所述属性特征和问题的关键词在知识库中查找到的n个知识条目。训练集生成模块610在查找知识点时，可以在知识库中查找与所述属性特征相关的多个知识条目，并基于问题的关键词对多个知识条目进行排序，得到前n个知识条目作为知识点特征。训练集生成模块610可以进行与上面在步骤S210中描述的处理相对应的处理，这里不再展开赘述。
模型训练模块620将训练样本输入待训练的内容真实性检测模型中进行处理，得到训练样本的预测概率，并基于其标签数据进行模型训练，得到训练后的内容真实性检测模型。模型训练模块620可以进行与上面在步骤S220中描述的处理相对应的处理，这里不再展开赘述。
图7示出了根据本发明一个实施例的内容真实性检测装置700的结构框图，该装置700可以驻留在计算设备中，如驻留在计算设备100中。如图7所示，该装置包括待测集生成模块710、真实性预测模块720和真实性确定模块730。
待测集生成模块710采集待测问题、待测答案、及与该待测问题和待测答案相关的待测属性特征，并基于待测属性特征和待测答案，从知识库中查找对应的待测知识点特征。待测集生成模块710在查找知识点时，可以在知识库中查找与属性特征相关的多个知识条目，并基于问题的关键词对所述多个知识条目进行排序，得到前n个知识条目作为知识点特征。待测集生成模块710可以进行与上面在步骤S510和S520中描述的处理相对应的处理，这里不再展开赘述。
真实性预测模块720将待测问题、待测答案、待测属性特征和待测知识点特征作为待测样本，分别输入到多个训练后的内容真实性检测模型中，得到多个真实性概率值。真实性预测模块720可以进行与上面在步骤S530中描述的处理相对应的处理，这里不再展开赘述。
真实性确定模块730通过对该多个真实性概率值进行比较，确定待测答案的真实性。若多个真实性概率值中，有至少一半的数值大于等于预设的概率阈值，则判定该待测答案为真实答案；反之则为虚假答案。真实性确定模块730可以进行与上面在步骤S540中描述的处理相对应的处理，这里不再展开赘述。
根据本发明的技术方案，通过引入属性特征来提高了信息的参考量，通过利用外部数据(知识图谱、知识库等)来检测论坛回复内容的真实性，提高模型预测的准确性。通过增加多组模型的投票判断，提高了检测结果的真实性。
A5、如A1所述的方法，其中，所述内容真实性检测模型包括：编码器，适于生成所述训练样本中每项内容的词向量；语义提取模块，适于基于每项内容的词向量生成对应的语义向量；融合模块，适于将所有语义向量进行拼接融合；以及预测模块，适于从拼接融合后的语义向量中预测答案的真实性概率。A6、如A5所述的方法，其中，所述编码器包括：第一编码器，适于分别生成所述问题、答案和知识点特征对应的第一至第三词向量；以及第二编码器，适于生成所述属性特征对应的第四词向量。
A7、如A6所述的方法，其中，所述语义提取模块包括：第一语义提取模块，适于分别基于所述第一和第二词向量，生成所述问题和答案对应的第一和第二语义向量；第二语义提取模块，适于基于所述第三词向量，生成所述知识点特征对应的第三语义向量；以及第一线性转换模块，适于基于所述第四词向量，生成所述属性特征对应的第四语义向量。A8、如A7所述的方法，其中，所述第一语义提取模块包括：第一循环网络，适于分别提取所述问题和答案的语义信息；以及注意力网络，与所述第一循环网络相耦接，适于提取所述问题和答案之间的关联权重，并基于该关联权重生成所述第一和第二语义向量。
A9、如A7或A8所述的方法，其中，所述第二语义提取模块为第二循环网络；所述预测模块包括相互耦接的第二线性转换模块和Sigmoid函数。A10、如A9所述的方法，其中，所述第一编码器为词向量编码，所述第二编码器为独热编码；所述第一和第二循环网络为双向-长短时记忆网络，所述注意力网络为双向注意力网络；所述第一和第二线性转换模块为神经网络全连接层。
这里描述的各种技术可结合硬件或软件，或者它们的组合一起实现。从而，本发明的方法和设备，或者本发明的方法和设备的某些方面或部分可采取嵌入有形媒介，例如可移动硬盘、U盘、软盘、CD-ROM或者其它任意机器可读的存储介质中的程序代码(即指令)的形式，其中当程序被载入诸如计算机之类的机器，并被所述机器执行时，所述机器变成实践本发明的设备。
在程序代码在可编程计算机上执行的情况下，计算设备一般包括处理器、处理器可读的存储介质(包括易失性和非易失性存储器和/或存储元件)，至少一个输入装置，和至少一个输出装置。其中，存储器被配置用于存储程序代码；处理器被配置用于根据该存储器中存储的所述程序代码中的指令，执行本发明的方法。
以示例而非限制的方式，可读介质包括可读存储介质和通信介质。可读存储介质存储诸如计算机可读指令、数据结构、程序模块或其它数据等信息。通信介质一般以诸如载波或其它传输机制等已调制数据信号来体现计算机可读指令、数据结构、程序模块或其它数据，并且包括任何信息传递介质。以上的任一种的组合也包括在可读介质的范围之内。
在此处所提供的说明书中，算法和显示不与任何特定计算机、虚拟系统或者其它设备固有相关。各种通用系统也可以与本发明的示例一起使用。根据上面的描述，构造这类系统所要求的结构是显而易见的。此外，本发明也不针对任何特定编程语言。应当明白，可以利用各种编程语言实现在此描述的本发明的内容，并且上面对特定语言所做的描述是为了披露本发明的最佳实施方式。
在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本发明的实施例可以在没有这些具体细节的情况下被实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。
类似地，应当理解，为了精简本公开并帮助理解各个发明方面中的一个或多个，在上面对本发明的示例性实施例的描述中，本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释成反映如下意图：即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多特征。更确切地说，如下面的权利要求书所反映的那样，发明方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本发明的单独实施例。
本领域那些技术人员应当理解在本文所公开的示例中的设备的模块或单元或组件可以布置在如该实施例中所描述的设备中，或者可替换地可以定位在与该示例中的设备不同的一个或多个设备中。前述示例中的模块可以组合为一个模块或者此外可以分成多个子模块。
本领域那些技术人员可以理解，可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件，以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。
此外，本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如，在下面的权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。
此外，所述实施例中的一些在此被描述成可以由计算机系统的处理器或者由执行所述功能的其它装置实施的方法或方法元素的组合。因此，具有用于实施所述方法或方法元素的必要指令的处理器形成用于实施该方法或方法元素的装置。此外，装置实施例的在此所述的元素是如下装置的例子：该装置用于实施由为了实施该发明的目的的元素所执行的功能。
如在此所使用的那样，除非另行规定，使用序数词“第一”、“第二”、“第三”等等来描述普通对象仅仅表示涉及类似对象的不同实例，并且并不意图暗示这样被描述的对象必须具有时间上、空间上、排序方面或者以任意其它方式的给定顺序。
尽管根据有限数量的实施例描述了本发明，但是受益于上面的描述，本技术领域内的技术人员明白，在由此描述的本发明的范围内，可以设想其它实施例。此外，应当注意，本说明书中使用的语言主要是为了可读性和教导的目的而选择的，而不是为了解释或者限定本发明的主题而选择的。因此，在不偏离所附权利要求书的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。对于本发明的范围，对本发明所做的公开是说明性的而非限制性的，本发明的范围由所附权利要求书限定。

Claims (10)

1.一种内容真实性检测模型的训练方法，适于在计算设备中执行，所述计算设备中存储有包括多个知识条目的知识库，所述模型适于输出答案的真实性概率，所述方法包括步骤：
获取多条具有标签数据的训练样本，所述训练样本包括问题、答案、与该问题和答案相关的属性特征、以及与该问题和属性特征相关的知识点特征，其中，所述标签数据为答案是否真实，所述知识点特征为基于所述属性特征和问题的关键词在所述知识库中查找到的n个知识条目；以及
将所述训练样本输入待训练的内容真实性检测模型中进行处理，得到训练样本的预测概率，并基于所述标签数据进行模型训练，得到训练后的内容真实性检测模型。
2.如权利要求1所述的方法，其中，查找所述知识点特征的步骤包括：
在所述知识库中查找与所述属性特征相关的多个知识条目；
基于所述问题的关键词对所述多个知识条目进行排序，得到前n个知识条目作为所述知识点特征。
3.如权利要求1所述的方法，其中，
所述属性特征包括问题版块、问题类型、提问者和回答者的用户信息中的至少一种；
所述用户信息包括会员级别、发帖数目、回帖数目、回帖长度、回帖真实性中的至少一种。
4.如权利要求1所述的方法，其中，所述计算设备中还存储有问答库，所述训练样本中的问题和答案从所述问答库中获取。
5.一种内容真实性检测方法，适于在计算设备中执行，所述方法包括步骤：
获取待测问题、待测答案、以及与该待测问题和待测答案相关的待测属性特征；
基于所述待测属性特征和待测答案，查找对应的待测知识点特征；
将所述待测问题、待测答案、待测属性特征和待测知识点特征作为待测样本，分别输入到多个训练后的内容真实性检测模型中，得到多个真实性概率值；以及
通过对该多个真实性概率值进行比较，确定所述待测答案的真实性；
其中，所述内容真实性检测模型采用如权利要求1-10中任一项所述的方法训练生成。
6.如权利要求5所述的方法，其中，所述对该多个真实性概率值进行比较，确定所述待测答案的真实性的步骤包括：
若所述多个真实性概率值中，有至少一半的数值大于等于预设的概率阈值，则判定该待测答案为真实答案；反之则为虚假答案。
7.一种内容真实性检测模型的训练装置，适于驻留在计算设备中，所述计算设备中存储有包括多个知识条目的知识库，所述模型适于输出答案的真实性概率，所述装置包括：
训练集生成模块，适于获取多条具有标签数据的训练样本，所述训练样本包括问题、答案、与该问题和答案相关的属性特征、以及与该问题和属性特征相关的知识点特征，其中，所述标签数据为答案是否真实，所述知识点特征为基于所述属性特征和问题的关键词在所述知识库中查找到的n个知识条目；以及
模型训练模块，适于将所述训练样本输入待训练的内容真实性检测模型中进行处理，得到训练样本的预测概率，并基于所述标签数据进行模型训练，得到训练后的内容真实性检测模型。
8.一种内容真实性检测装置，适于驻留在计算设备中，包括：
待测集生成模块，适于采集待测问题、待测答案、及与该待测问题和待测答案相关的待测属性特征，并基于所述待测属性特征和待测答案，从知识库中查找对应的待测知识点特征；
真实性预测模块，适于将所述待测问题、待测答案、待测属性特征和待测知识点特征作为待测样本，分别输入到多个训练后的内容真实性检测模型中，得到多个真实性概率值；以及
真实性确定模块，适于通过对该多个真实性概率值进行比较，确定所述待测答案的真实性；
其中，所述内容真实性检测模型采用如权利要求1-10中任一项所述的方法训练生成。
9.一种计算设备，包括：
存储器；
一个或多个处理器；
一个或多个程序，其中所述一个或多个程序存储在所述存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个程序包括用于执行根据权利要求1-6所述方法中的任一方法的指令。
10.一种存储一个或多个程序的计算机可读存储介质，所述一个或多个程序包括指令，所述指令当计算设备执行时，使得所述计算设备执行根据权利要求1-6所述的方法中的任一方法。
CN202010042646.1A 2020-01-15 2020-01-15 内容真实性检测模型的训练方法、装置和计算设备 Active CN111259115B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010042646.1A CN111259115B (zh) 2020-01-15 2020-01-15 内容真实性检测模型的训练方法、装置和计算设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010042646.1A CN111259115B (zh) 2020-01-15 2020-01-15 内容真实性检测模型的训练方法、装置和计算设备

Publications (2)

Publication Number Publication Date
CN111259115A true CN111259115A (zh) 2020-06-09
CN111259115B CN111259115B (zh) 2023-06-02

Family

ID=70948957

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010042646.1A Active CN111259115B (zh) 2020-01-15 2020-01-15 内容真实性检测模型的训练方法、装置和计算设备

Country Status (1)

Country Link
CN (1) CN111259115B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112070511A (zh) * 2020-08-12 2020-12-11 上海连尚网络科技有限公司 一种检测不合格商品的方法与设备
CN112580343A (zh) * 2020-11-03 2021-03-30 北京字节跳动网络技术有限公司 模型生成方法、问答质量判断方法、装置、设备及介质
CN114743440A (zh) * 2022-04-29 2022-07-12 长沙酷得网络科技有限公司 基于应用拆解的智能化编程训练环境构建方法及装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017025046A1 (zh) * 2015-08-13 2017-02-16 马正方 一种基于知识点结构的题库系统
CN108959396A (zh) * 2018-06-04 2018-12-07 众安信息技术服务有限公司 机器阅读模型训练方法及装置、问答方法及装置
CN110532400A (zh) * 2019-09-04 2019-12-03 江苏苏宁银行股份有限公司 基于文本分类预测的知识库维护方法及装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017025046A1 (zh) * 2015-08-13 2017-02-16 马正方 一种基于知识点结构的题库系统
CN108959396A (zh) * 2018-06-04 2018-12-07 众安信息技术服务有限公司 机器阅读模型训练方法及装置、问答方法及装置
CN110532400A (zh) * 2019-09-04 2019-12-03 江苏苏宁银行股份有限公司 基于文本分类预测的知识库维护方法及装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
刘宇;解月光;: "动态学生模型与智能支持服务研究" *
夏远远;王宇;: "基于HNC理论的社区问答系统问句检索模型构建" *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112070511A (zh) * 2020-08-12 2020-12-11 上海连尚网络科技有限公司 一种检测不合格商品的方法与设备
CN112580343A (zh) * 2020-11-03 2021-03-30 北京字节跳动网络技术有限公司 模型生成方法、问答质量判断方法、装置、设备及介质
CN114743440A (zh) * 2022-04-29 2022-07-12 长沙酷得网络科技有限公司 基于应用拆解的智能化编程训练环境构建方法及装置

Also Published As

Publication number Publication date
CN111259115B (zh) 2023-06-02

Similar Documents

Publication Publication Date Title
CN109376222B (zh) 问答匹配度计算方法、问答自动匹配方法及装置
CN111428488A (zh) 简历数据信息解析及匹配方法、装置、电子设备及介质
CN104598611B (zh) 对搜索条目进行排序的方法及系统
CN110597962B (zh) 搜索结果展示方法、装置、介质及电子设备
CN110334186B (zh) 数据查询方法、装置、计算机设备及计算机可读存储介质
CN111259115B (zh) 内容真实性检测模型的训练方法、装置和计算设备
CN111666376B (zh) 一种基于段落边界扫描预测与词移距离聚类匹配的答案生成方法及装置
CN110457585B (zh) 负面文本的推送方法、装置、系统及计算机设备
CN109933792A (zh) 基于多层双向lstm和验证模型的观点型问题阅读理解方法
CN111241397A (zh) 一种内容推荐方法、装置和计算设备
CN114818717A (zh) 融合词汇和句法信息的中文命名实体识别方法及系统
CN113656561A (zh) 实体词识别方法、装置、设备、存储介质及程序产品
CN113821587B (zh) 文本相关性确定方法、模型训练方法、装置及存储介质
CN114239730A (zh) 一种基于近邻排序关系的跨模态检索方法
CN113065356B (zh) 一种基于语义分析算法的it设备运维故障建议处理方法
CN114519508A (zh) 基于时序深度学习和法律文书信息的信用风险评估方法
CN115617960A (zh) 一种岗位推荐方法及装置
CN113378569A (zh) 模型生成、实体识别方法、装置、电子设备及存储介质
CN115186071A (zh) 意图识别方法、装置、电子设备及可读存储介质
CN113705207A (zh) 语法错误识别方法及装置
CN116127954A (zh) 一种基于词典的新工科专业中文知识概念抽取方法
CN113535928A (zh) 基于注意力机制下长短期记忆网络的服务发现方法及系统
CN113763934A (zh) 音频识别模型的训练方法、装置和存储介质及电子设备
CN113468311A (zh) 一种基于知识图谱的复杂问句问答方法、装置及存储介质
CN117521674B (zh) 对抗信息的生成方法、装置、计算机设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant