CN107301226B - 一种问答系统中检索子模块的自动评价方法 - Google Patents

一种问答系统中检索子模块的自动评价方法 Download PDF

Info

Publication number
CN107301226B
CN107301226B CN201710469901.9A CN201710469901A CN107301226B CN 107301226 B CN107301226 B CN 107301226B CN 201710469901 A CN201710469901 A CN 201710469901A CN 107301226 B CN107301226 B CN 107301226B
Authority
CN
China
Prior art keywords
document
question
confidence
model
evaluation method
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710469901.9A
Other languages
English (en)
Other versions
CN107301226A (zh
Inventor
杨沐昀
郑德权
朱聪慧
张越
徐冰
曹海龙
赵铁军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Heilongjiang Industrial Technology Research Institute Asset Management Co ltd
Original Assignee
Harbin Institute of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Harbin Institute of Technology filed Critical Harbin Institute of Technology
Priority to CN201710469901.9A priority Critical patent/CN107301226B/zh
Publication of CN107301226A publication Critical patent/CN107301226A/zh
Application granted granted Critical
Publication of CN107301226B publication Critical patent/CN107301226B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/332—Query formulation
    • G06F16/3329—Natural language query formulation or dialogue systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0639—Performance analysis of employees; Performance analysis of enterprise or organisation operations

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Human Resources & Organizations (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Development Economics (AREA)
  • Educational Administration (AREA)
  • Economics (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Mathematical Physics (AREA)
  • Strategic Management (AREA)
  • General Physics & Mathematics (AREA)
  • Tourism & Hospitality (AREA)
  • Quality & Reliability (AREA)
  • General Business, Economics & Management (AREA)
  • Operations Research (AREA)
  • Marketing (AREA)
  • Artificial Intelligence (AREA)
  • Human Computer Interaction (AREA)
  • Game Theory and Decision Science (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明提出了一种问答系统中检索子模块的自动评价方法，属于模块自评价方法技术领域。通过针对检索出来的文档列表，根据其中每个位置上的文档与问题、与参考答案之间的相关程度(由各种特征表示)，通过机器学习模型(具体是GBDT)，准确估计出这个检索结果的MAP值，从而完成最终的评价过程。具有评价确定度高，评价方法简洁等特点。适用于各种问答系统中检索子模块的自评价。

Description

一种问答系统中检索子模块的自动评价方法
技术领域
本发明涉及一种检索子模块评价方法，属于模块自评价方法技术领域。
背景技术
问答系统中一般都会有一定数量的问题，和这些问题对应的参考答案。检索子模块的任务就是从已有的文档集合中，检索到最有可能的答案候选文档，方便后续模块精准确定答案。由于检索评价指标MAP，在计算的时候，需要知道每一个检索出的文档是否是问题的相关文档；而在问答系统开发的时候，一般不可能投入人力，为每个问题在海量的文档集中标注出其中相关的文档。因此存在很大的检索模块评价困难。
发明内容
本发明为了解决现有检索子模块无法评价或评价困难复杂，计算量大的技术问题，提出了一种问答系统中检索子模块的自动评价方法，通过预测指标MAP来评价检索子模块，所采取的技术方案如下：
一种问答系统中检索子模块的自动评价方法，所述自动评价方法的具体步骤为：
步骤一：根据问答系统中的文档集合输出文档排序列表，并根据置信度模型通过四种计算粒度获得每个文档对应的置信度，其中，所述文档集合包含问题文档和参考答案文档；
步骤二，根据精确率模型通过四种计算粒度获得每个文档的精确率，根据召回率模型通过四种计算粒度获得每个文档的召回率；
步骤三：针对问答系统中输入的待回答问题，在步骤一所述文档排序列表中自动寻找并获得与所述待回答问题相关的一系列相关文档；
步骤四：将步骤三所述一系列相关文档按照每个相关文档对应的置信度的数值从大到小顺序进行排序；
步骤五：利用步骤一获得的置信度、步骤二获得的精确率和召回率获取步骤四所述相关文档的特征值集合，形成特征文件；所述特征值集合包括24个特征值
步骤六：对GBDT模型进行模型训练，获得训练好的GBDT模型；
步骤七：将步骤五所述特征文件送入步骤六所述训练好的GBDT模型中进行MAP指标预测，获得预测结果，所述预测结果即为MAP预测值。
进一步地，为了弥补汉语自动分词的干扰，在精确率、召回率和置信度三个量值计算过程中采用四种计算粒度，所述四种计算粒度为：
词：即自动分词结果；
字：即以汉字为单位进行计算，不进行分词处理；
二元字：每相邻的两个汉字为计算单位，不进行分词处理；
三元字：每相邻的三个汉字为计算单位，不进行分词处理。
进一步地，所述步骤一所述置信度模型为：
其中，qj表示排序列表Q＝{q1，q2......qn}中第j个查询词；Doci表示置信度对应的文档；tfqj表示查询词qj在文档Doci中的出现次数，表示查询词qj在整个文档集中的出现次数，|Doci|表示该粒度下文档Doci中包含词的总数，|C|表示该粒度下文档集中词的总数；μ表示衡量文档集在计算置信度时的权重，μ为0时计算置信度仅考虑文档mu越大文档集在计算置信度时越重要。
进一步地，步骤二所述精确率的模型为：
其中，Ans表示所述文档排序列表对应的答案。
进一步地，步骤二所述召回率的模型为：
进一步地，步骤五所述特征值集合的具体获取步骤为：
第一步：利用置信度、精确率和召回率获得所述相关文档与问题文档之间相关性的12个特征；
第二步：利用利用置信度、精确率和召回率获得所述相关文档与参考答案文档之间相关性的12个特征。
进一步地，步骤六所述GBDT模型训练方法可采用现有的训练方法，其主要步骤为：
Step1：使用平方误差函数作为损失函数。
其中wm是权重，φm是弱决策树模型。
Step2：采用最小平方误差准则来选择待分裂特征和最佳分裂点，对应以下优化问题：
其中i代表节点c区域内的一个样本，Nc代表节点c区域内样本数量，mc代表对于节点c区域内样本的预测值。
本发明有益效果：
为问答系统中的检索模块提供了一种自动评价的解决方案，可以直接利用问题的参考答案(一般是问答系统中开发数据中包含此内容)评价检索模块，避免了手工标注检索结果的环节，节省开发成本，提高开发效率，规避手工过程可能产生的错误。同时在现有的主流机器学习解决方案中，效果最好。本发明提供的自动评价方法，可提高问答系统检索模块检索的准确率，使自动问答系统的答案准确程度提高到98％，极大程度提高了问答系统的应用过程中的准确性。
附图说明
图1为本发明所述自动评价方法的流程图。
具体实施方式
下面结合具体实施例对本发明做进一步说明，但本发明不受实施例的限制。
实施例1：
一种问答系统中检索子模块的自动评价方法，如图1所示，所述自动评价方法的具体步骤为：
步骤一：根据问答系统中的文档集合输出文档排序列表，并根据置信度模型通过四种计算粒度获得每个文档对应的置信度，其中，所述文档集合包含问题文档和参考答案文档；
步骤二，根据精确率模型通过四种计算粒度获得每个文档的精确率，根据召回率模型通过四种计算粒度获得每个文档的召回率；
步骤三：针对问答系统中输入的待回答问题，在步骤一所述文档排序列表中自动寻找并获得与所述待回答问题相关的一系列相关文档；
步骤四：将步骤三所述一系列相关文档按照每个相关文档对应的置信度的数值从大到小顺序进行排序；
步骤五：利用步骤一获得的置信度、步骤二获得的精确率和召回率获取步骤四所述相关文档的特征值集合，形成特征文件；
步骤六：对GBDT模型进行模型训练，获得训练好的GBDT模型；
步骤七：将步骤五所述特征文件送入步骤六所述训练好的GBDT模型中进行MAP指标预测，获得预测结果，所述预测结果即为MAP预测值。
其中，所述四种计算粒度为：
词：即自动分词结果；
字：即以汉字为单位进行计算，不进行分词处理；
二元字：每相邻的两个汉字为计算单位，不进行分词处理；
三元字：每相邻的三个汉字为计算单位，不进行分词处理。
进一步地，所述步骤一所述置信度模型为：
其中，qj表示排序列表Q＝{q1，q2……qn}中第j个查询词；Doci表示置信度对应的文档；表示查询词qj在文档Doci中的出现次数，表示查询词qj在整个文档集中的出现次数，|Doci|表示该粒度下文档Doci中包含词的总数，|C|表示该粒度下文档集中词的总数；μ表示衡量文档集在计算置信度时的权重，μ为0时计算置信度仅考虑文档mu越大文档集在计算置信度时越重要。
步骤二所述精确率的模型为：
其中，Ans表示所述文档排序列表对应的答案。
进一步地，步骤二所述召回率的模型为：
步骤五所述特征值集合的具体获取步骤为：
第一步：利用置信度、精确率和召回率获得所述相关文档与问题文档之间相关性的12个特征；
第二步：利用利用置信度、精确率和召回率获得所述相关文档与参考答案文档之间相关性的12个特征。
步骤六所述GBDT模型训练的具体步骤为：
Step1：使用平方误差函数作为损失函数。
其中wm是权重，φm是弱决策树模型。
Step2：采用最小平方误差准则来选择待分裂特征和最佳分裂点，对应以下优化问题：
其中i代表节点c区域内的一个样本，Nc代表节点c区域内样本数量，mc代表对于节点c区域内样本的预测值。
本发明所述方法的具体实验过程及结果如下：
实验工具
为了获得更有说服力的结果，实验中均采用第三方共享工具，而不是专门开发的程序。
检索工具：公开检索工具包Indri
机器学习工具：
Ranking SVM；
其他学习工具，包括GBDT都来自开源项目scikit-learn
1.实验数据
问题：共15道，2013-2015年北京高考历史真题中的问答题；
参考答案：已经正式公布的对应答案要点，也是15道
待检索文档集合：高考教材的每个自然段，包括必修教材3本和选修教材6本
相关段落：为了计算真实的MAP，手工标注每个问题的相关段落
待评价的检索结果：800个，均计算得到准确的MAP评价值
2.实验结果如表1所示
表格1模型性能比较
可见GBDT优于其他主流机器学习模型的效果。
虽然本发明已以较佳的实施例公开如上，但其并非用以限定本发明，任何熟悉此技术的人，在不脱离本发明的精神和范围内，都可以做各种改动和修饰，因此本发明的保护范围应该以权利要求书所界定的为准。

Claims (5)

1.一种问答系统中检索子模块的自动评价方法，其特征在于，所述自动评价方法的具体步骤为：
步骤一：根据问答系统中的文档集合输出文档排序列表，并根据置信度模型通过四种计算粒度获得每个文档对应的置信度，其中，所述文档集合包含问题文档和参考答案文档；
步骤二，根据精确率模型通过四种计算粒度获得每个文档的精确率，根据召回率模型通过四种计算粒度获得每个文档的召回率；
步骤三：针对问答系统中输入的待回答问题，在步骤一所述文档排序列表中自动寻找并获得与所述待回答问题相关的一系列相关文档；
步骤四：将步骤三所述一系列相关文档按照每个相关文档对应的置信度的数值从大到小顺序进行排序；
步骤五：利用步骤一获得的置信度、步骤二获得的精确率和召回率获取步骤四所述相关文档的特征值集合，形成特征文件；
步骤六：对GBDT模型进行模型训练，获得训练好的GBDT模型；
步骤七：将步骤五所述特征文件送入步骤六所述训练好的GBDT模型中进行MAP指标预测，获得预测结果，所述预测结果即为MAP预测值。
所述四种计算粒度为：
词：即自动分词结果；
字：即以汉字为单位进行计算，不进行分词处理；
二元字：每相邻的两个汉字为计算单位，不进行分词处理；
三元字：每相邻的三个汉字为计算单位，不进行分词处理。
2.根据权利要求1所述自动评价方法，其特征在于，所述步骤一所述置信度模型为：
其中，qj表示排序列表Q＝{q1，q2......qn}中第j个查询词；n为常数；Doci表示置信度对应的文档；表示查询词qj在文档Doci中的出现次数，表示查询词qj在整个文档集中的出现次数，|Doci|表示该粒度下文档Doci中包含词的总数，|C|表示该粒度下文档集中词的总数；μ表示衡量文档集在计算置信度时的权重，μ为0时计算置信度仅考虑文档越大文档集在计算置信度时越重要。
3.根据权利要求2所述自动评价方法，其特征在于，步骤二所述精确率的模型为：
其中，Ans表示所述文档排序列表对应的答案。
4.根据权利要求3所述自动评价方法，其特征在于，步骤二所述召回率的模型为：
5.根据权利要求1所述自动评价方法，其特征在于，步骤五所述特征值集合的具体获取步骤为：
第一步：利用置信度、精确率和召回率获得所述相关文档与问题文档之间相关性的12个特征；
第二步：利用利用置信度、精确率和召回率获得所述相关文档与参考答案文档之间相关性的12个特征。
CN201710469901.9A 2017-06-20 2017-06-20 一种问答系统中检索子模块的自动评价方法 Active CN107301226B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710469901.9A CN107301226B (zh) 2017-06-20 2017-06-20 一种问答系统中检索子模块的自动评价方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710469901.9A CN107301226B (zh) 2017-06-20 2017-06-20 一种问答系统中检索子模块的自动评价方法

Publications (2)

Publication Number Publication Date
CN107301226A CN107301226A (zh) 2017-10-27
CN107301226B true CN107301226B (zh) 2018-06-15

Family

ID=60136447

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710469901.9A Active CN107301226B (zh) 2017-06-20 2017-06-20 一种问答系统中检索子模块的自动评价方法

Country Status (1)

Country Link
CN (1) CN107301226B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108536650B (zh) * 2018-04-03 2022-04-26 北京京东尚科信息技术有限公司 生成梯度提升树模型的方法和装置
CN108960319B (zh) * 2018-06-29 2019-12-03 哈尔滨工业大学 一种面向全局的机器阅读理解建模中的候选答案筛选方法
CN113743433A (zh) * 2020-05-29 2021-12-03 北京金山数字娱乐科技有限公司 一种阅读理解模型的评估方法及装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102298583A (zh) * 2010-06-22 2011-12-28 腾讯科技（深圳）有限公司 一种电子公告板网页质量评价方法和系统
CN105975631A (zh) * 2016-06-03 2016-09-28 华东理工大学 一种用于数据集的数据使用质量的评估方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4039488B2 (ja) * 2003-08-18 2008-01-30 インターナショナル・ビジネス・マシーンズ・コーポレーション 多頻度パターン抽出装置、多頻度パターン抽出方法、及びそのプログラムと記録媒体
US9569503B2 (en) * 2014-05-23 2017-02-14 International Business Machines Corporation Type evaluation in a question-answering system

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102298583A (zh) * 2010-06-22 2011-12-28 腾讯科技（深圳）有限公司 一种电子公告板网页质量评价方法和系统
CN105975631A (zh) * 2016-06-03 2016-09-28 华东理工大学 一种用于数据集的数据使用质量的评估方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
基于双向循环神经网络的评价对象抽取研究;陈鹏等;《智能计算机与应用》;20170228;第7卷(第1期);第71-75页 *
社区问答系统中"问答对"的质量评价;刘高军等;《北方工业大学学报》;20120915;第24卷(第5期);第31-36页 *

Also Published As

Publication number Publication date
CN107301226A (zh) 2017-10-27

Similar Documents

Publication Publication Date Title
CN111639171B (zh) 一种知识图谱问答方法及装置
CN110765257B (zh) 一种知识图谱驱动型的法律智能咨询系统
CN101819578B (zh) 检索方法、索引建立方法和装置及检索系统
CN106815252B (zh) 一种搜索方法和设备
CN1637744A (zh) 为在大量电子文档中搜索而确定文档相关性的机器学习方法
CN107301226B (zh) 一种问答系统中检索子模块的自动评价方法
CN111078837A (zh) 智能问答信息处理方法、电子设备及计算机可读存储介质
CN104199965A (zh) 一种语义信息检索方法
CN107004141A (zh) 对大样本组的高效标注
CN110310012B (zh) 数据分析方法、装置、设备及计算机可读存储介质
CN112328800A (zh) 自动生成编程规范问题答案的系统及方法
CN104572918A (zh) 一种在线课程的搜索方法
CN117312509A (zh) 一种海量信息下基于大语言模型的知识库问答方法及装置
CN111104503A (zh) 一种建筑工程质量验收规范问答系统及其构建方法
CN116431746A (zh) 基于编码库的地址映射方法、装置、电子设备及存储介质
CN116226526A (zh) 一种知识产权智能检索平台及方法
CN111259145B (zh) 基于情报数据的文本检索分类方法、系统及存储介质
CN113239145A (zh) 基于职位描述的简历检索方法
Lucchese et al. The impact of negative samples on learning to rank
CN110413956B (zh) 一种基于bootstrapping的文本相似度计算方法
CN116992874B (zh) 一种文本引用审核溯源方法、系统、装置和存储介质
CN118170933B (zh) 一种面向科学领域多模态语料数据的构建方法和装置
CN113434760B (zh) 工法推荐方法、装置、设备及存储介质
US20180121502A1 (en) User Search Query Processing
CN114491051B (zh) 一种建筑用地项目审批系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20210121

Address after: Building 9, accelerator, 14955 Zhongyuan Avenue, Songbei District, Harbin City, Heilongjiang Province

Patentee after: INDUSTRIAL TECHNOLOGY Research Institute OF HEILONGJIANG PROVINCE

Address before: 150001 No. 92 West straight street, Nangang District, Heilongjiang, Harbin

Patentee before: HARBIN INSTITUTE OF TECHNOLOGY

TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20230412

Address after: 150027 Room 412, Unit 1, No. 14955, Zhongyuan Avenue, Building 9, Innovation and Entrepreneurship Plaza, Science and Technology Innovation City, Harbin Hi tech Industrial Development Zone, Heilongjiang Province

Patentee after: Heilongjiang Industrial Technology Research Institute Asset Management Co.,Ltd.

Address before: Building 9, accelerator, 14955 Zhongyuan Avenue, Songbei District, Harbin City, Heilongjiang Province

Patentee before: INDUSTRIAL TECHNOLOGY Research Institute OF HEILONGJIANG PROVINCE

TR01 Transfer of patent right