CN112184021A - 一种基于相似支持集的答案质量评估方法 - Google Patents

一种基于相似支持集的答案质量评估方法 Download PDF

Info

Publication number
CN112184021A
CN112184021A CN202011045765.9A CN202011045765A CN112184021A CN 112184021 A CN112184021 A CN 112184021A CN 202011045765 A CN202011045765 A CN 202011045765A CN 112184021 A CN112184021 A CN 112184021A
Authority
CN
China
Prior art keywords
answer
question
similar
similarity
candidate
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011045765.9A
Other languages
English (en)
Other versions
CN112184021B (zh
Inventor
李爱平
贾焰
江荣
周斌
涂宏魁
王晔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
National University of Defense Technology
Original Assignee
National University of Defense Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by National University of Defense Technology filed Critical National University of Defense Technology
Priority to CN202011045765.9A priority Critical patent/CN112184021B/zh
Publication of CN112184021A publication Critical patent/CN112184021A/zh
Application granted granted Critical
Publication of CN112184021B publication Critical patent/CN112184021B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0639—Performance analysis of employees; Performance analysis of enterprise or organisation operations
    • G06Q10/06393—Score-carding, benchmarking or key performance indicator [KPI] analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/332—Query formulation
    • G06F16/3325—Reformulation based on results of preceding query
    • G06F16/3326—Reformulation based on results of preceding query using relevance feedback from the user, e.g. relevance feedback on documents, documents sets, document terms or passages
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/338—Presentation of query results
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G06F40/284—Lexical analysis, e.g. tokenisation or collocates
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Human Resources & Organizations (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Strategic Management (AREA)
  • Mathematical Physics (AREA)
  • Databases & Information Systems (AREA)
  • Development Economics (AREA)
  • Educational Administration (AREA)
  • Economics (AREA)
  • Artificial Intelligence (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Operations Research (AREA)
  • Tourism & Hospitality (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Business, Economics & Management (AREA)
  • Health & Medical Sciences (AREA)
  • Marketing (AREA)
  • Game Theory and Decision Science (AREA)
  • Quality & Reliability (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种基于相似支持集的答案质量评估方法，先在问答对集合支持库中检索相似问题，然后以相似问题的高质量答案主卧诶相似支持集，分别从内容和结构两个角度计算候选答案与相似支持集的相似度，再以二者的综合评估来衡量候选答案的质量，从而避免直接对问题和答案之间相似度进行计算，有效降低了问题和答案之间巨大语义距离造成的影响，从而提高答案质量评估的有效性。

Description

一种基于相似支持集的答案质量评估方法
技术领域
本发明属于问答系统技术领域，具体涉及一种基于相似支持集的答案质量评估方法。
背景技术
在搜索引擎中,人们习惯于优先点击排序靠前的几条结果,而且大部分用户都只会点击搜索引擎返回的第一个页面的链接，可见尽量把满足用户需求的结果排在前面可以有效地改善系统的用户体验。同样，对于自动问答系统，也应该把最能解决用户问题的答案排在最前面，特别是对于一些只返回少量答案的系统，排序的有效性更是决定了系统的准确率。答案质量评估就是要对候选答案能够合理回答用户问题的程度进行评估，并根据评估的结果对候选答案进行排序。答案质量评估模块是系统的最后一个模块，无论是只提交一个结果还是多个结果的问答系统,答案质量评估与排序都具有非常重要的意义。
目前,比较常用的方法是依靠文本之间的相似性来对答案的质量进行评估，但很多情况下问题和答案的之间的关系是非常稀疏的，而且不同类型问题与其答案之间的关系也不一而足，因此，这种方法常常难以取得令人满意的效果。
发明内容
针对上述存在的不足，本发明提出一种基于相似支持集的答案质量评估方法, 避免直接从问题和答案之间的关系进行分析,而是借助问答社区中的相似问题和答案,进行间接分析。
本发明采用的技术方案是：
一种基于相似支持集的答案质量评估方法
包括以下步骤：
步骤S1：对于每一个原问题，先从社区问答系统的问答对集合支持库中检索相似问题集合，相似问题集合对应的高质量答案集合形成相似支持集；
步骤S2：通过计算相似支持集中的答案与候选答案之间的相似度，对所有候选答案进行排名，并且排名越靠前的答案质量越高。
优选的，所述相似问题包括内容相似问题和结构相似问题；所述相似支持集包括相似内容支持集和相似结构支持集；所述相似内容支持集为内容相似问题对应的高质量答案集，所述相似结构支撑集为结构相似问题对应的高质量答案集。
优选的，所述内容相似问题的检索过程包括：
(1)首先，采用结合结构的改进型TF-IDF相似性模型对问答对集合支持库中待检索问题进行打分；
(2)然后，采用词性标注工具POs Tagger对原问题进行词性分析，查询问句中实词更高的权重；
(3)以问句的实词进行检索，获得与原问题在内容上相似的问题集合。
优选的，所述结构相似问题的检索过程包括：
(1)首先，采用结合结构的改进型TF-IDF相似性模型对问答对集合支持库中待检索问题进行打分；
(2)然后，采用词性标注工具POs Tagger对原问题进行词性分析，查询问句中实词更高的权重，将实词从问句中删除，得到问句的框架；
(3)以问句的框架进行检索，获得与原问句在结构上相似的问题集合。
优选的，所述TF-IDF相似性模型的表达式如下：
Figure BDA0002707552230000021
其中，q表示查询，即原问题；d表示被检索文档，即问答对集合支持库中的待检索问题；coord(q,d)表示打分因子,根据文档中出现的查询项的个数来确定；tf(t∈d)表示查询中词项的出现频率；boost(t)是查询中的词项t的权重, 由用户在查询的过程中确定；idf(t)表示逆向文件频率,其表达式如下：
Figure BDA0002707552230000031
其中，docFreg表示包含词项t的文档数量；numDocs表示待检索文档的总数量。
优选的，利用相似内容支持集和相似结构支持集对所有候选答案从结构和内容上分别进行评估，最后对两个评估结果进行综合评分和排序，其过程包括：
(1)对候选答案进行内容评估
对候选答案进行内容评估的过程是计算候选答案与相似内容支持集的相似度的过程，将相似度计算过程看作查询过程，在查询过程中，候选答案作为查询对象，相似内容支持集中的答案作为待检索文档，其相似度计算过程为：
采用BM25模型分别计算每个待检索文档与查询对象的相似度，然后对他们进行加权求和：
Figure BDA0002707552230000032
其中，q表示查询；ti是查询中的项；Wi表示项ti的权重,可用项的IDF值作为其权重；d表示待查询文档,即相似内容支持集中的答案；R(ti,d)是项ti与文档d之间的相似性：
Figure BDA0002707552230000033
其中，k和b是基于经验的调节因子，根据试验，将它们的值分别赋值为 k＝2和b＝0.75；fi是项ti在文档d中的出现频率；d1是文档d的长度,而avgd1 是所有文档的平均长度；
将公式(4)代入公式(3)中，BM25模型的计算公式为：
Figure BDA0002707552230000041
对于每一个候选答案Ai和高质量答案dj都有一个相似度计算值，将候选答案与所有高质量答案的平均相似度作为其与相似内容支持集的相似度：
Figure BDA0002707552230000042
其中，Cssi是候选答案Ai所对应的相似内容支持集,s是Cssi的大小；
(2)对候选答案进行结构评估
a.从相似结构支持集的所有答案中提取数量特征和比例特征，然后计算每一个特征的平均值；
b.从候选答案中提取数量特征和比例特征，然后计算每个候选答案的特征值与相似结构支持集的平均特征值之间的差值，将差值按照从小到大的顺序对候选答案进行排序，得到排序矩阵：
Figure RE-GDA0002742833640000043
上述矩阵中的Rif表示第i个候选答案在第f个特征值上的排序；采用计算排名的倒数和方式对这些特征值进行整合：
Figure BDA0002707552230000044
其中,scores(Ai)表示候选答案Ai的结构相似度评分结果；m表示特征的个数；
(3)对步骤(1)和(2)的评估结果进行综合，采用计算排名的倒数和方式：
Figure BDA0002707552230000045
其中，Rank(C)表示候选答案通过内容得分进行排序的编号；Rank(s)表示候选答案通过结构得分进行排序的编号；A是用于调节两个评分的权重的调节因子；
根据scores(Ai)对所有的候选答案进行排名，并排序越靠前的答案质量越高。
优选的，所述数量特征包括答案长度，答案中的名词数量、动词数量、形容词数量、句子数量；所述比例特征包括答案中名词的比例、动词的比例、形容词的比例，问题和答案的句子数量之比以及问题和句子的长度之比。
优选的，公式(8)中A的值为0.5。
优选的，问答对集合支持库中的问答对是从社区问答系统的历史问答对中提取的。
本发明的有益效果：本发明的基于相似支持集的答案质量评估方法，先在问答对集合支持库中检索相似问题，然后以相似问题的高质量答案主卧诶相似支持集，分别从内容和结构两个角度计算候选答案与相似支持集的相似度，再以二者的综合评估来衡量候选答案的质量，从而避免直接对问题和答案之间相似度进行计算，有效降低了问题和答案之间巨大语义距离造成的影响，从而提高答案质量评估的有效性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明的基于相似支持集的答案质量评估原理结构图；
图2为三种评估方法的MAP＠K值；
图3为A取不同值时MRR值和MAP＠1的变化情况。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。
因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明具体提供了一种基于相似支持集的答案质量评估方法，如图1所示，包括以下步骤：
步骤S1：对于每一个原问题，先从问答对集合支持库中检索相似问题集合，相似问题集合对应的高质量答案集合形成相似支持集；
步骤S2：通过计算相似支持集中的答案与候选答案之间的相似度，对所有候选答案进行排名，并且排名越靠前的答案质量越高。
上述的问答对集合支持库中的问答对是从社区问答系统的历史问答对中获取的，当问答对集合支持库的问答对数量足够多时，对于绝大部分问题，都能从中找到内容和结构相似的问题。
上述所述的所述相似问题包括内容相似问题和结构相似问题，内容相似问题指的是两个问句的文本内容上是相似的,如具有相同的疑问词、提问对象、限定词等；所述相似内容支持集为内容相似问题对应的高质量答案集。
进行内容相似问题检索的关键问题在于如何衡量问题之间的相似性。因此，内容相似问题的检索过程包括：
(1)首先，采用结合结构的改进型TF-IDF相似性模型对问答对集合支持库中待检索问题进行打分；
结合结构的改进型TF-IDF相似性模型的表达式如下：
Figure BDA0002707552230000071
其中，q表示查询，即原问题；d表示被检索文档，即问答对集合支持库中的待检索问题；coord(q,d)表示打分因子,根据文档中出现的查询项的个数来确定；tf(t∈d)表示查询中词项的出现频率；boost(t)是查询中的词项t的权重, 由用户在查询的过程中确定；idf(t)表示逆向文件频率,其表达式如下：
Figure BDA0002707552230000072
其中，docFreg表示包含词项t的文档数量；numDocs表示待检索文档的总数量。
(2)然后，采用词性标注工具POS Tagger对原问题进行词性分析，查询问句中实词更高的权重；
(3)以问句的实词进行检索，获得与原问题在内容上相似的问题集合。
结合结构的改进型TF-IDF模型的特点在于:
若一个文档中包含的查询项越多,这个文档的得分越高；
项在一个文档中出现的次数越多,这个文档的得分越高；
在所有文档中出现次数越少的项的区分度越高,对得分的贡献也越大；
权重越高的项对得分的贡献越大。
上述所述相似支持集包括相似内容支持集和相似结构支持集，所述相似结构支撑集为结构相似问题对应的高质量答案集。
结构相似问题的检索与内容相似问题的检索过程相似，不同点在于,在对问句进行了词性分析之后,不是对实词的权重进行增强,而是将实词从问句中删除, 得到问句的框架，其过程如下：
(1)首先，采用结合结构的改进型TF-IDF相似性模型对问答对集合支持库中待检索问题进行打分；
(2)然后，采用词性标注工具POS Tagger对原问题进行词性分析，查询问句中实词更高的权重，将实词从问句中删除，得到问句的框架；
(3)以问句的框架进行检索，获得与原问句在结构上相似的问题集合。
通过上述过程，得到了相似内容支持集和相似结构支持集两个高质量答案集合，下面将利用相似内容支持集和相似结构支持集对候选答案分别从内容和结构两个方面进行质量评估，最后对两个评估结构进行综合评分和排序，具体过程如下：
(1)对候选答案进行内容评估
对候选答案进行内容评估的过程是计算候选答案与相似内容支持集的相似度的过程，将相似度计算过程看作查询过程，在查询过程中，候选答案作为查询对象，相似内容支持集中的答案作为待检索文档，其相似度计算过程为：
采用BM25模型分别计算每个待检索文档与查询对象的相似度，然后对他们进行加权求和：
Figure BDA0002707552230000081
其中，q表示查询；ti是查询中的项；Wi表示项ti的权重,可用项的IDF值作为其权重；d表示待查询文档,即相似内容支持集中的答案；R(ti,d)是项ti与文档d之间的相似性：
Figure BDA0002707552230000082
其中，k和b是基于经验的调节因子，根据试验，将它们的值分别赋值为 k＝2和b＝0.75；fi是项ti在文档d中的出现频率；dl是文档d的长度,而avgdl 是所有文档的平均长度；
将公式(4)代入公式(3)中，BM25模型的计算公式为：
Figure BDA0002707552230000091
对于每一个候选答案Ai和高质量答案
Figure BDA0002707552230000092
都有一个相似度计算值，将候选答案与所有高质量答案的平均相似度作为其与相似内容支持集的相似度：
Figure BDA0002707552230000093
其中，Cssi是候选答案Ai所对应的相似内容支持集,s是Cssi的大小；
(2)对候选答案进行结构评估
在对候选答案进行结构上的评分的过程中,主要通过提取和分析问答对中具有代表性的特征来对候选答案的质量进量化。其中,提取的特征主要分为以下两大类:
数量特征:结构相似的问题所对应的答案之间会有某些数量上的共同特征；比例特征:因为答案的长度可能不一样,因此除了考虑数量特征,还应该虑比例上的共同点。基于结构的评估所用到的特征如表1所示。
Figure BDA0002707552230000094
Figure BDA0002707552230000101
a.从相似结构支持集的所有答案中提取数量特征和比例特征，然后计算每一个特征的平均值；
b.从候选答案中提取数量特征和比例特征，然后计算每个候选答案的特征值与相似结构支持集的平均特征值之间的差值，将差值按照从小到大的顺序对候选答案进行排序，得到排序矩阵：
Figure BDA0002707552230000102
上述矩阵中的Rif表示第i个候选答案在第f个特征值上的排序；采用计算排名的倒数和方式对这些特征值进行整合：
Figure BDA0002707552230000103
其中,Scores(Ai)表示候选答案Ai的结构相似度评分结果；m表示特征的个数；
(3)对步骤(1)和(2)的评估结果进行综合，采用计算排名的倒数和方式：
Figure BDA0002707552230000104
其中，Rank(C)表示候选答案通过内容得分进行排序的编号；Rank(S)表示候选答案通过结构得分进行排序的编号；A是用于调节两个评分的权重的调节因子；
根据Scores(Ai)对所有的候选答案进行排名，并排序越靠前的答案质量越高。
本发明首先从问答对集合支持库中检索相似问题，然后以相似问题的高质量答案为支持集，分别从内容和结构两个角度计算候选答案与支持集的相似度，再以二者的综合评分来衡量候选答案的质量，通过利用历史问答对蕴含的知识,从而避免直接对问题和答案之间相关度进行计算,可以降低问题和答案之间巨大语义距离造成的影响,从而提高答案质量评估的有效性。
实验与分析
为了避免信息抽取等因素引入的误差,本实验将使用来自Yahoo！Answer上的问答对作为本实验的数据集，并以提问者选择的“最佳答案”作为问题的正确答案；从Yahoo！Answer提供的数据集上抽取了约178万个问答对作为本实验的“支持库”；将另外抽取1879个问题和它们对应的答案作为本实验的测试数据, 此数据集的相关情况如表2所示。
表2来自Yahoo！Answer的数据集情况
Figure BDA0002707552230000111
本实验将用平均正确率均值MAP和平均排序倒数MRR两个指标来验证答案质量评估方法的效果,并与基于Consine相似度的方法(COs)和基于线性回归的方法(LR)进行对比。
MRR的计算公式为：
Figure BDA0002707552230000112
其中，O是测试数据集中的问题集合,rg是问题g的正确答案在评估结果中的排序。
在作为对比试验的线性回归方法中,抽取了15个特征，其中10个如上述表格1所示，另外5个特征如表3所示。
表3抽取的其他5个特征
Figure BDA0002707552230000121
实验得到三种方法在测试数据集上的MRR值如表4所示,MAP值如图2所示, 其中MAP＠K表示在取前K个候选答案为计算对象时候的平均正确率均值,K分别取1、5和10。
表4三种评估方法的MRR值
Figure BDA0002707552230000122
从表4和图2中可以看出，基于LR的方法效果比基于Consine相似度的方法效果好，而本发明采用的方法在MAP和MRR两个指标上都有较大的优势，由此可见，采用避免直接计算问题和答案之间的相似度，而利用历史数据提供的知识进行答案质量评估的方法是可行、且有效的。
另外，公式(8)中，A是用于调节基于内容评份和基于结构评分的权重的调节因子，当A取不同值时，系统在测试数据集上得到MRR值和MAP@1值的变化如图3所示。
从图3可以看出，当A为0时,表示只有基于结构的评分有效,而当A为1时只有基于内容的评分有效。从图中可以看到,当A从0逐渐增大到1时,MRR和M AP＠1两个值都是先增大后减小,当A为0.5的时候效果最好。
以上所述，仅用以说明本发明的技术方案而非限制，本领域普通技术人员对本发明的技术方案所做的其它修改或者等同替换，只要不脱离本发明技术方案的精神和范围，均应涵盖在本发明的权利要求范围当中。

Claims (9)

1.一种基于相似支持集的答案质量评估方法，其特征在于，包括以下步骤：
步骤S1：对于每一个原问题，先从问答对集合支持库中检索相似问题集合，相似问题集合对应的高质量答案集合形成相似支持集；
步骤S2：通过计算相似支持集中的答案与候选答案之间的相似度，对所有候选答案进行排名，并且排名越靠前的答案质量越高。
2.根据权利要求1所述的一种基于相似支持集的答案质量评估方法，其特征在于，所述相似问题包括内容相似问题和结构相似问题；所述相似支持集包括相似内容支持集和相似结构支持集；所述相似内容支持集为内容相似问题对应的高质量答案集，所述相似结构支撑集为结构相似问题对应的高质量答案集。
3.根据权利要求2所述的一种基于相似支持集的答案质量评估方法，其特征在于，所述内容相似问题的检索过程包括：
(1)首先，采用结合结构的改进型TF-IDF相似性模型对问答对集合支持库中待检索问题进行打分；
(2)然后，采用词性标注工具POS Tagger对原问题进行词性分析，查询问句中实词更高的权重；
(3)以问句的实词进行检索，获得与原问题在内容上相似的问题集合。
4.根据权利要求2所述的一种基于相似支持集的答案质量评估方法，其特征在于，所述结构相似问题的检索过程包括：
(1)首先，采用结合结构的改进型TF-IDF相似性模型对问答对集合支持库中待检索问题进行打分；
(2)然后，采用词性标注工具POS Tagger对原问题进行词性分析，查询问句中实词更高的权重，将实词从问句中删除，得到问句的框架；
(3)以问句的框架进行检索，获得与原问句在结构上相似的问题集合。
5.根据权利要求3或4所述的一种基于相似支持集的答案质量评估方法，其特征在于，所述结合结构的改进型TF-IDF相似性模型的表达式如下：
Figure FDA0002707552220000021
其中，q表示查询，即原问题；d表示被检索文档，即问答对集合支持库中的待检索问题；coord(q,d)表示打分因子,根据文档中出现的查询项的个数来确定；tf(t∈d)表示查询中词项的出现频率；boost(t)是查询中的词项t的权重,由用户在查询的过程中确定；idf(t)表示逆向文件频率,其表达式如下：
Figure FDA0002707552220000022
其中，docFreg表示包含词项t的文档数量；numDocs表示待检索文档的总数量。
6.根据权利要求2所述的一种基于相似支持集的答案质量评估方法，其特征在于，利用相似内容支持集和相似结构支持集对所有候选答案从结构和内容上分别进行评估，最后对两个评估结果进行综合评分和排序，其过程包括：
(1)对候选答案进行内容评估
对候选答案进行内容评估的过程是计算候选答案与相似内容支持集的相似度的过程，将相似度计算过程看作查询过程，在查询过程中，候选答案作为查询对象，相似内容支持集中的答案作为待检索文档，其相似度计算过程为：
采用BM25模型分别计算每个待检索文档与查询对象的相似度，然后对他们进行加权求和：
Figure FDA0002707552220000023
其中，q表示查询；ti是查询中的项；Wi表示项ti的权重,可用项的IDF值作为其权重；d表示待查询文档,即相似内容支持集中的答案；R(ti,d)是项ti与文档d之间的相似性：
Figure FDA0002707552220000024
其中，k和b是基于经验的调节因子，根据试验，将它们的值分别赋值为k＝2和b＝0.75；fi是项ti在文档d中的出现频率；dl是文档d的长度,而avgdl是所有文档的平均长度；
将公式(4)代入公式(3)中，BM25模型的计算公式为：
Figure FDA0002707552220000031
对于每一个候选答案Ai和高质量答案
Figure FDA0002707552220000032
都有一个相似度计算值，将候选答案与所有高质量答案的平均相似度作为其与相似内容支持集的相似度：
Figure FDA0002707552220000033
其中，Cssi是候选答案Ai所对应的相似内容支持集,s是Cssi的大小。
(2)对候选答案进行结构评估
a.从相似结构支持集的所有答案中提取数量特征和比例特征，然后计算每一个特征的平均值；
b.从候选答案中提取数量特征和比例特征，然后计算每个候选答案的特征值与相似结构支持集的平均特征值之间的差值，将差值按照从小到大的顺序对候选答案进行排序，得到排序矩阵：
Figure FDA0002707552220000034
上述矩阵中的Rif表示第i个候选答案在第f个特征值上的排序；采用计算排名的倒数和方式对这些特征值进行整合：
Figure FDA0002707552220000035
其中,Scores(Ai)表示候选答案Ai的结构相似度评分结果；m表示特征的个数；
(3)对步骤(1)和(2)的评估结果进行综合，采用计算排名的倒数和方式：
Figure FDA0002707552220000041
其中，Rank(C)表示候选答案通过内容得分进行排序的编号；Rank(S)表示候选答案通过结构得分进行排序的编号；A是用于调节两个评分的权重的调节因子；
根据Scores(Ai)对所有的候选答案进行排名，并排序越靠前的答案质量越高。
7.根据权利要求6所述的一种基于相似支持集的答案质量评估方法，其特征在于，所述数量特征包括答案长度，答案中的名词数量、动词数量、形容词数量、句子数量；所述比例特征包括答案中名词的比例、动词的比例、形容词的比例，问题和答案的句子数量之比以及问题和句子的长度之比。
8.根据权利要求6所述的一种基于相似支持集的答案质量评估方法，其特征在于，公式(8)中A的值为0.5。
9.根据权利要求1所述的一种基于相似支持集的答案质量评估方法，其特征在于，问答对集合支持库中的问答对是从社区问答系统的历史问答对中提取的。
CN202011045765.9A 2020-09-28 2020-09-28 一种基于相似支持集的答案质量评估方法 Active CN112184021B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011045765.9A CN112184021B (zh) 2020-09-28 2020-09-28 一种基于相似支持集的答案质量评估方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011045765.9A CN112184021B (zh) 2020-09-28 2020-09-28 一种基于相似支持集的答案质量评估方法

Publications (2)

Publication Number Publication Date
CN112184021A true CN112184021A (zh) 2021-01-05
CN112184021B CN112184021B (zh) 2023-09-05

Family

ID=73945647

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011045765.9A Active CN112184021B (zh) 2020-09-28 2020-09-28 一种基于相似支持集的答案质量评估方法

Country Status (1)

Country Link
CN (1) CN112184021B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113761178A (zh) * 2021-08-11 2021-12-07 北京三快在线科技有限公司 一种数据的展示方法和装置
CN115544236A (zh) * 2022-11-16 2022-12-30 北京红棉小冰科技有限公司 一种模型评估方法、装置及电子设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20030006201A (ko) * 2001-07-12 2003-01-23 서정연 홈페이지 자동 검색을 위한 통합형 자연어 질의-응답시스템
CN105893523A (zh) * 2016-03-31 2016-08-24 华东师范大学 利用答案相关性排序的评估度量来计算问题相似度的方法
US20170249311A1 (en) * 2016-02-26 2017-08-31 Yahoo! Inc. Quality-based scoring and inhibiting of user-generated content
CN109271505A (zh) * 2018-11-12 2019-01-25 深圳智能思创科技有限公司 一种基于问题答案对的问答系统实现方法
WO2019153613A1 (zh) * 2018-02-09 2019-08-15 平安科技（深圳）有限公司 聊天应答方法、电子装置及存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20030006201A (ko) * 2001-07-12 2003-01-23 서정연 홈페이지 자동 검색을 위한 통합형 자연어 질의-응답시스템
US20170249311A1 (en) * 2016-02-26 2017-08-31 Yahoo! Inc. Quality-based scoring and inhibiting of user-generated content
CN105893523A (zh) * 2016-03-31 2016-08-24 华东师范大学 利用答案相关性排序的评估度量来计算问题相似度的方法
WO2019153613A1 (zh) * 2018-02-09 2019-08-15 平安科技（深圳）有限公司 聊天应答方法、电子装置及存储介质
CN109271505A (zh) * 2018-11-12 2019-01-25 深圳智能思创科技有限公司 一种基于问题答案对的问答系统实现方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113761178A (zh) * 2021-08-11 2021-12-07 北京三快在线科技有限公司 一种数据的展示方法和装置
CN115544236A (zh) * 2022-11-16 2022-12-30 北京红棉小冰科技有限公司 一种模型评估方法、装置及电子设备

Also Published As

Publication number Publication date
CN112184021B (zh) 2023-09-05

Similar Documents

Publication Publication Date Title
US10831769B2 (en) Search method and device for asking type query based on deep question and answer
US7783629B2 (en) Training a ranking component
US20210056571A1 (en) Determining of summary of user-generated content and recommendation of user-generated content
US6564210B1 (en) System and method for searching databases employing user profiles
CN111401040B (zh) 一种适用于word文本的关键词提取方法
US20080215565A1 (en) Searching heterogeneous interrelated entities
Alguliev et al. Effective summarization method of text documents
JP4778474B2 (ja) 質問応答装置、質問応答方法、質問応答プログラム並びにそのプログラムを記録した記録媒体
CN111797214A (zh) 基于faq数据库的问题筛选方法、装置、计算机设备及介质
WO2010066616A1 (en) Systems and methods for analyzing electronic text
Budiu et al. Modeling Information Scent: A Comparison of LSA, PMI and GLSA Similarity Measures on Common Tests and Corpora.
KR20110040147A (ko) 신뢰도에 기반한 질의응답 장치 및 그 방법
Agirre et al. CLEF 2008: Ad hoc track overview
Abdul-Kader et al. Question answer system for online feedable new born Chatbot
CN110134799B (zh) 一种基于bm25算法的文本语料库的搭建和优化方法
Di Santo et al. Comparing approaches for query autocompletion
CN112307182B (zh) 一种基于问答系统的伪相关反馈的扩展查询方法
KR101377447B1 (ko) 태그간 의미 분석을 이용한 다중 문서 요약 방법 및 시스템
CN111221968A (zh) 基于学科树聚类的作者消歧方法及装置
CN112184021B (zh) 一种基于相似支持集的答案质量评估方法
CN111737607A (zh) 数据处理方法、装置、电子设备以及存储介质
Ruthven et al. A study on the use of summaries and summary-based query expansion for a question-answering task
CN114117309A (zh) 一种网页实体提取方法、装置、计算机设备及存储介质
Saggion Automatic summarization: an overview
CN114328865A (zh) 一种改进的TextRank多特征融合教育资源关键词提取方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant