CN109783631A - 社区问答数据的校验方法、装置、计算机设备和存储介质 - Google Patents

社区问答数据的校验方法、装置、计算机设备和存储介质 Download PDF

Info

Publication number
CN109783631A
CN109783631A CN201910107611.9A CN201910107611A CN109783631A CN 109783631 A CN109783631 A CN 109783631A CN 201910107611 A CN201910107611 A CN 201910107611A CN 109783631 A CN109783631 A CN 109783631A
Authority
CN
China
Prior art keywords
answer
data
verified
question
authoritative
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910107611.9A
Other languages
English (en)
Other versions
CN109783631B (zh
Inventor
余淼
冯欣伟
周环宇
宋勋超
戴松泰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Baidu Netcom Science and Technology Co Ltd
Original Assignee
Beijing Baidu Netcom Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Baidu Netcom Science and Technology Co Ltd filed Critical Beijing Baidu Netcom Science and Technology Co Ltd
Priority to CN201910107611.9A priority Critical patent/CN109783631B/zh
Publication of CN109783631A publication Critical patent/CN109783631A/zh
Priority to US16/691,017 priority patent/US11372942B2/en
Priority to EP19210509.6A priority patent/EP3690676A1/en
Priority to JP2019211256A priority patent/JP7153004B2/ja
Priority to KR1020190155197A priority patent/KR102324048B1/ko
Application granted granted Critical
Publication of CN109783631B publication Critical patent/CN109783631B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/953—Querying, e.g. by the use of web search engines
    • G06F16/9536—Search customisation based on social or collaborative filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/335—Filtering based on additional data, e.g. user or group profiles
    • G06F16/337—Profile generation, learning or modification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/951—Indexing; Web crawling techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/36—Creation of semantic tools, e.g. ontology or thesauri
    • G06F16/374—Thesaurus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/903—Querying
    • G06F16/9032—Query formulation
    • G06F16/90332—Natural language query formulation or dialogue systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/903—Querying
    • G06F16/90335—Query processing
    • G06F16/90344—Query processing by using string matching techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G06F40/289—Phrasal analysis, e.g. finite state techniques or chunking
    • G06F40/295—Named entity recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/01—Social networking

Abstract

本发明实施例公开了一种社区问答数据的校验方法、装置、计算机设备和存储介质。所述方法包括：获取社区问答数据集，并根据所述社区问答数据集，生成多个问答对，所述问答对包括：问题，以及与问题对应的待验证答案；根据至少一个置信源站点中存储的数据，生成权威数据集；根据各所述待验证答案与所述权威数据集中的权威数据在至少一个维度下的相似性得分，对各所述待验证答案进行权威度校验。本发明实施例可以快速对大量问答数据进行权威度校验，有效保障答案的权威、客观和准确性。

Description

社区问答数据的校验方法、装置、计算机设备和存储介质
技术领域
本发明实施例涉及数据处理技术，尤其涉及一种社区问答数据的校验方法、装置、计算机设备和存储介质。
背景技术
随着科技的发展和互联网技术的不断进步，基于搜索的互动式社区问答平台已经成为人们生活中和工作中获取和分享知识的一种重要渠道。社区问答(CommunityQuestion Answering，CQA)是结合开放知识共享性网站(例如：百度知道、Yahoo！Answers、腾讯搜搜问问、新浪爱问等)，通过用户参与，利用网络用户的集体智慧，提供问题的直接答案。同时，这些问题的答案又可以作为搜索结果提供给其他有相同或相似问题的用户，达到共享知识的效果，以及在一定程度上解决了用户精确查询的需求。
但在CQA数据中，答案质量差异较大，在提供有用答案的同时可能包含各种无关、低质量、甚至恶意的信息。对此类答案进行判别和过滤，并选取高质量的问题与答案对，有助于在基于社区的自动问答系统中重用相关问题的答案以提高问答系统的服务质量。
现阶段高质量、高准确率的CQA数据筛选主要通过人工审核、多维显式特征筛选及语义检索模型过滤。随着互联网数据指数级升级，人工审核尤为显得杯水车薪。多维显示特征目前比较依赖用户行为(如点赞或点踩等)，这些信息对判定答案是否有意义虽然具有一定的指向性帮助，但用户点赞、点踩的行为受一定主观情绪影响，且容易出现低质量甚至恶意的答案；此外这些信息不够全面，针对暴露程度不高的问答数据，没有足够的用户信息。
目前的语义检索模型，通常都是从语义层面计算CQA中问题和答案的相关性，但是也无法保证答案是否客观和权威。例如：针对问题“用户A的老婆是谁”，用户回答：“用户A的老婆不是用户B”，但实际上用户A的老婆是用户B时，如果无外界辅助信息的支撑，则该语义检索模型会误认为该答案是正确的。
发明内容
本发明实施例提供一种社区问答数据的校验方法、装置、计算机设备和存储介质，可以快速对大量问答数据进行权威度校验，有效保障答案的权威、客观和准确性。
第一方面，本发明实施例提供了一种社区问答数据的校验方法，包括：
获取社区问答数据集，并根据所述社区问答数据集，生成多个问答对，所述问答对包括：问题，以及与问题对应的待验证答案；
根据至少一个置信源站点中存储的数据，生成权威数据集；
根据各所述待验证答案与所述权威数据集中的权威数据在至少一个维度下的相似性得分，对各所述待验证答案进行权威度校验。
第二方面，本发明实施例还提供了一种社区问答数据的校验装置，包括：
问答对生成模块，用于获取社区问答数据集，并根据所述社区问答数据集，生成多个问答对，所述问答对包括：问题，以及与问题对应的待验证答案；
权威数据集生成模块，用于根据至少一个置信源站点中存储的数据，生成权威数据集；
权威度校验模块，用于根据各所述待验证答案与所述权威数据集中的权威数据在至少一个维度下的相似性得分，对各所述待验证答案进行权威度校验。
第三方面，本发明实施例还提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序所述处理器执行所述程序时实现如本发明实施例中任一所述的社区问答数据的校验方法。
第四方面，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本发明实施例中任一所述的社区问答数据的校验方法。
本发明实施例通过从社区问答数据集中筛选数据生成问答对，同时从置信源站点中获取权威数据集，计算每个问答对中的待验证答案与权威数据集中的权威数据的相似性得分，并根据相似性得分确定各问答对中待验证答案的权威度的技术手段，巧妙的采用检验用户提供的答案与权威数据的相似度的方式，对该答案的权威度进行简单、快速的验证，解决了现有技术中人工筛选社区问答数据的效率低，同时依赖用户行为评价答案导致评价结果主观性强的问题，可以快速对大量的社区问答数据进行权威度校验，提高校验效率，而且通过计算待验证答案与权威数据的相似性得分确定待验证答案的权威度，可以避免使用用户显示特征筛选的情况，从而有效保证问答数据中答案的权威、客观和准确性。
附图说明
图1是本发明实施例一提供的一种社区问答数据的校验方法的流程图；
图2a是本发明实施例二提供的一种社区问答数据的校验方法的流程图；
图2b是本发明实施例二提供的一种社区问答数据的校验方法的具体应用场景的示意图；
图3是本发明实施例三提供的一种社区问答数据的校验装置的结构示意图；
图4是本发明实施例四提供的一种计算机设备的结构示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。
实施例一
图1为本发明实施例一提供的一种社区问答数据的校验方法的流程图，本实施例可适用于校验社区问答平台的问答数据中的答案的权威程度的情况。该方法可以由本发明实施例提供的社区问答数据的校验装置来执行，该装置可采用软件和/或硬件的方式实现，并一般可集成在用于提供社区问答数据的校验服务的计算机设备中，例如客户端或服务器。如图1所示，本实施例的方法具体包括：
S110，获取社区问答数据集，并根据所述社区问答数据集，生成多个问答对，所述问答对包括：问题，以及与问题对应的待验证答案。
具体的，社区问答数据集可以是指从网络中各社区问答平台中收集的问答数据的集合。问答对可以是指一个问题和该问题的一个待验证答案形成的组合，其中，社区问答数据集中一个问题存在多个待验证答案，可以针对每个待验证答案分别生成问答对。
示例性的，社区问答平台可以是指百度知道、新浪爱问、腾讯搜搜等开放性社区问答平台。其中，社区问答平台中的问答数据可以是中文的，也可以是其他外国文字的，如英文。
S120，根据至少一个置信源站点中存储的数据，生成权威数据集。
具体的，置信源站点可以是指预设的权威数据的网站，例如，百度百科、维基百科、豆丁网或百度文库等权威数源。其中，置信源站点可以由用户选定。
权威数据集可以是指置信源站点中存储的有效数据，例如具有实体语义的数据。示例性的，在句子“哈哈，A是B的子集”中，前半句是语气词，后半句是具有实体语义的数据，可以将语气词剔除，仅根据后半句生成权威数据集。
可选的，所述根据至少一个置信源站点中存储的数据，生成权威数据集，可以包括：选取至少一个置信源站点，获取各所述置信源站点的站点数据进行数据清洗，并进行结构化解析后，生成所述权威数据集。
其中，数据清洗可以是指对站点数据进行去重、去无效、去错误和去冲突等至少一种的数据操作，结构化解析可以是指分析站点数据中的数据结构，例如，获取站点数据中句子中包括的各实体，以及句子的语法结构。将站点数据进行数据清洗，并进行结构化解析，基于解析结果，可以将站点数据配置成统一格式(如通过二维逻辑表表现)的数据，根据配置后的数据形成的集合作为权威数据集。通过对置信源站点的站点数据进行数据预处理，生成权威数据集，可以快速对权威数据进行结构化处理，便于快速查看和理解以及进行精确的语义检索，从而提高后续计算待验证答案与权威数据的相似性得分的效率。
S130，根据各所述待验证答案与所述权威数据集中的权威数据在至少一个维度下的相似性得分，对各所述待验证答案进行权威度校验。
具体的，相似性得分可以是指待验证答案与权威数据的相似程度的评价结果。维度可以是指评价相似程度的特征类型，具体可以包括关键词特征、句法特征和语义特征等中的至少一类特征。
通常，用户回答问题的时候，其中“引经据典”的答案的客观性和准确性远高于其他用户答案。在本实施例中，权威度校验可以是指判断待验证答案是否出现在置信源站点(如权威网站)存储的数据中。具体是，当权威数据集中以原文的形式出现该待验证答案时，则可以认为该待验证答案权威度为高；当权威数据集中存在与待验证答案相似的数据时，则可以认为该待验证答案权威度为中；当权威数据集中的全部数据均与该待验证答案相似度很低时，则可以认为该待验证答案权威度为低。
相应的，可以在通过上述相似性得分得到的权威度较低的待验证答案进行标注，提醒或者筛除，以保证社区问答数据中用户答案的准确性和权威性。
本发明实施例通过从社区问答数据集中筛选数据生成问答对，同时从置信源站点中获取权威数据集，计算每个问答对中的待验证答案与权威数据集中的权威数据的相似性得分，并根据相似性得分确定各问答对中待验证答案的权威度的技术手段，巧妙的采用检验用户提供的答案与权威数据的相似度的方式，对该答案的权威度进行简单、快速的验证，解决了现有技术中人工筛选社区问答数据的效率低，同时依赖用户行为评价答案导致评价结果主观性强的问题，可以快速对大量的社区问答数据进行权威度校验，提高校验效率，而且通过计算待验证答案与权威数据的相似性得分确定待验证答案的权威度，可以避免使用用户显示特征筛选的情况，从而有效保证问答数据中答案的权威、客观和准确性。
实施例二
图2a为本发明实施例二提供的一种社区问答数据的校验方法的流程图，本实施例以本发明实施例一为基础作出了进一步具体化，将步骤：所述根据各所述待验证答案与所述权威数据集中的权威数据在至少一个维度下的相似性得分，对各所述待验证答案进行权威度校验，具体化为：将所述待验证答案在所述权威数据集中进行检索，筛选出设定数量的满足相关性条件的目标权威数据；在至少一个目标维度下，分别计算所述待验证答案与各所述目标权威数据的相似性得分；根据所述相似性得分，对所述待验证答案进行权威度校验。
如图2a所示，该方法具体包括：
S210，获取社区问答数据集，并根据所述社区问答数据集，生成多个问答对，所述问答对包括：问题，以及与问题对应的待验证答案。
本实施例中的社区问答数据集、问答对、置信源站点、权威数据集、相似性得分和权威度校验等可以参考上述实施例的描述。
S220，根据至少一个置信源站点中存储的数据，生成权威数据集。
S230，将所述待验证答案在所述权威数据集中进行检索，筛选出设定数量的满足相关性条件的目标权威数据。
其中，满足相关性条件的目标权威数据可以是指与待验证答案的相关程度超过设定阈值的权威数据。设定数量可以是指大于等于1的整数，可以根据需要由用户设定，示例性的，设定数量为10条。
可选的，可以获取待验证答案中的关键词，并按照待验证答案中的关键词在权威数据集中进行检索，以及根据关键词与权威数据的相关性对权威数据集中的权威数据进行排序，在排序结果中取前N个权威数据作为满足相关性条件的目标权威数据。N为正整数，具体可以根据需要设定。
其中，对待验证答案进行文字提取、分词、消噪、去重后和关键词提取可以获取待验证答案中的关键词，其中，关键词提取可以通过预先训练的机器学习模型从待验证答案中提取，例如，可以通过监督学习方法、序列标注方法或无监督学习方法训练机器学习模型。
根据待验证答案中提取的至少一个关键词在权威数据集中进行检索，获取至少一个关键词在每个权威数据中出现的次数、频率、位置和格式等信息。进而可以根据各关键词本身的常用程度(如“我们”的常用程度高于“星座”的常用程度)，各关键词在权威数据中出现的次数、频率、位置和格式，各关键词的权重以及各关键词之间的距离，计算该待验证答案与该权威数据的相关性。由此，可以计算出权威数据集中各权威数据与待验证答案的相关程度，从而确定N条满足相关性条件的目标权威数据，并筛选。
S240，在至少一个目标维度下，分别计算所述待验证答案与各所述目标权威数据的相似性得分。
具体的，目标维度可以包括：关键词维度、句子维度或语义维度。关键词维度可以是指待验证答案中提取的关键词与各目标权威数据中提取的关键词进行相似性比较；句子维度可以是指待验证答案中包括的句子与各目标权威数据中包括的句子进行相似性比较；语义维度可以是指待验证答案的语义与各目标权威数据的语义进行相似性比较。
其中，每个目标维度均可以通过预先训练的机器学习模型实现计算相似性得分。或者还可以通过其他方式计算相似性得分。
在实际计算应用时，可以根据上述一个、两个或者全部三个维度下，每个所述待验证答案与各所述目标权威数据的相似性得分，对各待验证答案进行权威度校验。
可选的，在关键词维度下，分别计算所述待验证答案与各所述目标权威数据的相似性得分，包括：分别获取所述待验证答案中包括的第一关键词集合，以及各所述目标权威数据中包括的第二关键词集合；获取所述第一关键词集合命中各所述第二关键词集合的关键词数量；根据所述关键词数量以及各所述第二关键词集合中包括的关键词总数量，计算在所述关键词维度下，所述待验证答案与各所述目标权威数据的相似性得分。
具体的，第一关键词集合和第二关键词集合均可以通过预先训练的用于关键词提取的机器学习模型生成。第一关键词集合命中第二关键词集合的关键词数量可以是指第一关键词集合和第二关键词集合中相同的关键词的数量。第一相似性得分具体可以是指关键词数量与关键词总数量的比值。示例性的，第一关键词集合命中第二关键词集合的关键词数量为6个，第二关键词集合包括的关键词总数量为10个，根据该第一关键词集合以及第二关键词集合，计算得到的在关键词维度下，所述待验证答案与对应目标权威数据的相似性得分为6/10＝60％。
可选的，在句子维度下，分别计算所述待验证答案与各所述目标权威数据的相似性得分，可以包括：分别验证所述待验证答案是否命中各所述目标权威数据中包括的句子；根据命中结果，计算在所述句子维度下，所述待验证答案与各所述目标权威数据的相似性得分。
具体的，待验证答案是否命中目标权威数据中包括的句子可以是指待验证答案包括的一个或者多个句子是否属于目标权威数据中包括的句子集合中。其中，命中结果包括0和1，与命中结果0对应的相似性得分为0，与命中结果1对应的相似性得分为1。
其中，当目标权威数据中包括有待验证答案中的一个或者多个句子时，命中结果为1；当目标权威数据中不包括待验证答案中包括的任何一个句子时，命中结果为0。示例性的，待验证答案为1个句子，同时，目标权威数据中包括的句子中存在与该待验证答案相同的句子，命中结果为1，计算得到的在句子维度下，所述待验证答案与对应目标权威数据的相似性得分也为1。
可选的，在语义维度下，分别计算所述待验证答案与各所述目标权威数据的相似性得分，包括：分别将所述待验证答案以及各所述目标权威数据组合成为输入数据；将每个所述输入数据分别输入至预先训练的语义相似度识别模型中；获取所述语义相似度识别模型针对各所述输入数据的输出结果，作为在所述语义维度下，所述待验证答案与各所述目标权威数据的相似性得分。
具体的，预先训练的语义相似度识别模型可以是指是由机器学习模型通过样本训练而成的模型。具体的，语义相似度识别模型可以是深度结构化语义模型(DeepStructured Semantic Models，DSSM)，还可以是卷积神经网络(Convolutional NeuralNetworks，CNN)深度结构化语义模型，或者可以是长短期记忆(Long-Short Term Memory，LSTM)深度结构化语义模型，对此本发明实施例不作具体限制。将待验证答案以及每个目标权威数据分别组合形成多个输入数据，并将各个输入数据输入至预先训练的语义相似度识别模型中，得到语义相似度识别模型输出的相似性得分，作为在语义维度下，所述待验证答案与各所述目标权威数据的相似性得分。
通过分别针对关键词维度、句子维度以及语义维度进行待验证答案以及目标权威数据的相似性得分计算，可以从多个方面评价待验证答案与权威数据的相似程度，从而准确评价待验证答案是否具有权威性，而且目标维度都是依据待验证答案的特征信息计算相似度，未涉及用户行为，避免评价待验证答案的权威性的受到用户主观想法的影响的情况，从而保证待验证答案的评价结果的客观性。
S250，根据所述相似性得分，对所述待验证答案进行权威度校验。
可选的，所述根据所述相似性得分，对所述待验证答案进行权威度校验，可以包括：
根据公式：计算所述待验证答案的权威度得分；其中，N为在所述权威数据集中筛选出的满足相关性条件的目标权威数据的条数；Word(Ans,Pi)为所述待验证答案Ans与第i条目标权威数据Pi在关键词维度下的相似性得分，Sent(Ans,Pi)为Ans与Pi在句子维度下的相似性得分，Sim(Ans,Pi)为Ans与Pi在语义维度下的相似性得分，α、β以及γ为预设的比例系数；如果所述权威度得分小于设定权威度阈值，则将所述待验证答案从所述社区问答数据集中滤除。
其中，Word(Ans,Pi)用于表示待验证答案与第i个目标权威数据在关键词维度的重合度；Sent(Ans,Pi)用于表示待验证答案与第i个目标权威数据在句子维度的重合度；Sim(Ans,Pi)用于表示待验证答案与第i个目标权威数据在语义维度的重合度；α、β以及γ为预设的比例系数可以根据需要由用户设定，α、β以及γ分别用于表示第一相似性得分的权重值、第二相似性得分的权重值和第三相似性得分的权重值。权威度阈值可以根据需要由用户设定，此外，后续可以控制该权威度阈值的大小，实现对权威待验证答案的有效筛选。
通过具体公式以及函数量化待验证答案与第i个目标权威数据之间的相似程度，实现分别准确计算待验证答案与第i个目标权威数据之间的相似性得分，同时计算各相似性得分的加权和的均值，实现综合考虑各目标权威数据，从而准确评价待验证答案的权威度。
需要说明的是，还可以根据上述任意一个或者任意两个维度下的相似性得分，计算相似性得分的加权和的均值作为待验证答案的权威度得分，从而对各待验证答案进行权威度校验。
在一个具体的例子中，如图2b所示，从百度知道、新浪爱问、腾讯搜搜和其他社区问答平台等平台收集问答数据生成社区问答数据集，同时从百度百科、豆丁网、维基百科和其他置信源站点等站点收集权威数据生成权威数据集。在权威数据集中建立索引库，根据社区问答数据集提取的问答对进行检索，获取每个问答对中待验证答案的N个目标权威数据。分别获取每个待验证答案的特征信息以及匹配的N个目标权威数据的特征信息，并分别在关键词维度、句子维度以及语义维度下分别计算待验证答案的特征信息与每个目标权威数据之间的相似性得分。最后根据待验证答案的特征信息与每个目标权威数据之间的相似性得分对该待验证答案进行权威度校验。
本发明实施例通过根据待验证答案在权威数据集中进行检索，筛选出相关的至少一个目标权威数据，针对每个目标权威数据，分别计算待验证答案与目标权威数据的相似性得分，并根据得到的至少一个相似性得分对待验证答案进行权威度校验，可以从多个维度评价待验证答案与权威数据的相似程度，实现准确评价待验证答案是否具有权威性。
实施例三
图3是本发明实施例三提供的一种社区问答数据的校验装置的结构示意图，如图3所示，所述装置具体包括：
问答对生成模块310，用于获取社区问答数据集，并根据所述社区问答数据集，生成多个问答对，所述问答对包括：问题，以及与问题对应的待验证答案；
权威数据集生成模块320，用于根据至少一个置信源站点中存储的数据，生成权威数据集；
权威度校验模块330，用于根据各所述待验证答案与所述权威数据集中的权威数据在至少一个维度下的相似性得分，对各所述待验证答案进行权威度校验。
本发明实施例通过从社区问答数据集中筛选数据生成问答对，同时从置信源站点中获取权威数据集，计算每个问答对中的待验证答案与权威数据集中的权威数据的相似性得分，并根据相似性得分确定各问答对中待验证答案的权威度的技术手段，巧妙的采用检验用户提供的答案与权威数据的相似度的方式，对该答案的权威度进行简单、快速的验证，解决了现有技术中人工筛选社区问答数据的效率低，同时依赖用户行为评价答案导致评价结果主观性强的问题，可以快速对大量的社区问答数据进行权威度校验，提高校验效率，而且通过计算待验证答案与权威数据的相似性得分确定待验证答案的权威度，可以避免使用用户显示特征筛选的情况，从而有效保证问答数据中答案的权威、客观和准确性。
进一步的，所述权威度校验模块330，具体用于：将所述待验证答案在所述权威数据集中进行检索，筛选出设定数量的满足相关性条件的目标权威数据；在至少一个目标维度下，分别计算所述待验证答案与各所述目标权威数据的相似性得分；根据所述相似性得分，对所述待验证答案进行权威度校验。
进一步的，所述目标维度包括：关键词维度、句子维度或语义维度。
进一步的，所述权威度校验模块330，具体用于：分别获取所述待验证答案中包括的第一关键词集合，以及各所述目标权威数据中包括的第二关键词集合；获取所述第一关键词集合命中各所述第二关键词集合的关键词数量；根据所述关键词数量以及各所述第二关键词集合中包括的关键词总数量，计算在所述关键词维度下，所述待验证答案与各所述目标权威数据的相似性得分。
进一步的，所述权威度校验模块330，具体用于：分别验证所述待验证答案是否命中各所述目标权威数据中包括的句子；根据命中结果，计算在所述句子维度下，所述待验证答案与各所述目标权威数据的相似性得分。
进一步的，所述权威度校验模块330，具体用于：分别将所述待验证答案以及各所述目标权威数据组合成为输入数据；将每个所述输入数据分别输入至预先训练的语义相似度识别模型中；获取所述语义相似度识别模型针对各所述输入数据的输出结果，作为在所述语义维度下，所述待验证答案与各所述目标权威数据的相似性得分。
进一步的，所述权威度校验模块330，具体用于：根据公式：根据公式：计算所述待验证答案的权威度得分；其中，N为在所述权威数据集中筛选出的满足相关性条件的目标权威数据的条数；Word(Ans,Pi)为所述待验证答案Ans与第i条目标权威数据Pi在关键词维度下的相似性得分，Sent(Ans,Pi)为Ans与Pi在句子维度下的相似性得分，Sim(Ans,Pi)为Ans与Pi在语义维度下的相似性得分，α、β以及γ为预设的比例系数；
如果所述权威度得分小于设定权威度阈值，则将所述待验证答案从所述社区问答数据集中滤除。
进一步的，所述权威数据集生成模块320，具体用于：选取至少一个置信源站点，获取各所述置信源站点的站点数据进行数据清洗，并进行结构化解析后，生成所述权威数据集。
上述社区问答数据的校验装置可执行本发明任意实施例所提供的社区问答数据的校验方法，具备执行的社区问答数据的校验方法相应的功能模块和有益效果。
实施例四
图4为本发明实施例四提供的一种设备的结构示意图。图4示出了适于用来实现本发明实施方式的示例性计算机设备412的框图。图4显示的计算机设备412仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
如图4所示，计算机设备412以通用计算设备的形式表现。计算机设备412的组件可以包括但不限于：一个或者多个处理器或者处理单元416，系统存储器428，连接不同系统组件(包括系统存储器428和处理单元416)的总线418。计算机设备412可以是车载设备。
总线418表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器，外围总线，图形加速端口，处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说，这些体系结构包括但不限于工业标准体系结构(Industry StandardArchitecture，ISA)总线，微通道体系结构(Micro Channel Architecture，MCA)总线，增强型ISA总线、视频电子标准协会(Video Electronics Standards Association，VESA)局域总线以及外围组件互连(Peripheral Component Interconnect，PCI)总线。
计算机设备412典型地包括多种计算机系统可读介质。这些介质可以是任何能够被计算机设备412访问的可用介质，包括易失性和非易失性介质，可移动的和不可移动的介质。
系统存储器428可以包括易失性存储器形式的计算机系统可读介质，例如随机存取存储器(RAM)430和/或高速缓存存储器432。计算机设备412可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例，存储系统444可以用于读写不可移动的、非易失性磁介质(图4未显示，通常称为“硬盘驱动器”)。尽管图4中未示出，可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器，以及对可移动非易失性光盘(例如紧凑磁盘只读存储器(Compact Disc Read-Only Memory，CD-ROM)，数字视盘(Digital Video Disc-Read Only Memory，DVD-ROM)或者其它光介质)读写的光盘驱动器。在这些情况下，每个驱动器可以通过一个或者多个数据介质接口与总线418相连。存储器428可以包括至少一个程序产品，该程序产品具有一组(例如至少一个)程序模块，这些程序模块被配置以执行本发明各实施例的功能。
具有一组(至少一个)程序模块442的程序/实用工具440，可以存储在例如存储器428中，这样的程序模块442包括——但不限于——操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块442通常执行本发明所描述的实施例中的功能和/或方法。
计算机设备412也可以与一个或多个外部设备414(例如键盘、指向设备、显示器424等)通信，还可与一个或者多个使得用户能与该计算机设备412交互的设备通信，和/或与使得该计算机设备412能与一个或多个其它计算设备进行通信的任何设备(例如网卡，调制解调器等等)通信。这种通信可以通过输入/输出(Input/Output，I/O)接口422进行。并且，计算机设备412还可以通过网络适配器420与一个或者多个网络(例如局域网(LocalArea Network，LAN)，广域网(Wide Area Network，WAN)通信。如图所示，网络适配器420通过总线418与计算机设备412的其它模块通信。应当明白，尽管图4中未示出，可以结合计算机设备412使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列(Redundant Arrays of Inexpensive Disks，RAID)系统、磁带驱动器以及数据备份存储系统等。
处理单元416通过运行存储在系统存储器428中的程序，从而执行各种功能应用以及数据处理，例如实现本发明实施例所提供的一种社区问答数据的校验方法。
也即，所述处理单元执行所述程序时实现：获取社区问答数据集，并根据所述社区问答数据集，生成多个问答对，所述问答对包括：问题，以及与问题对应的待验证答案；根据至少一个置信源站点中存储的数据，生成权威数据集；根据各所述待验证答案与所述权威数据集中的权威数据在至少一个维度下的相似性得分，对各所述待验证答案进行权威度校验。
实施例五
本发明实施例五还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本申请所有发明实施例提供的社区问答数据的校验方法：获取社区问答数据集，并根据所述社区问答数据集，生成多个问答对，所述问答对包括：问题，以及与问题对应的待验证答案；根据至少一个置信源站点中存储的数据，生成权威数据集；根据各所述待验证答案与所述权威数据集中的权威数据在至少一个维度下的相似性得分，对各所述待验证答案进行权威度校验。
本发明实施例的计算机存储介质，可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、RAM、只读存储器(Read OnlyMemory，ROM)、可擦式可编程只读存储器(Erasable Programmable Read Only Memory，EPROM)、闪存、光纤、便携式CD-ROM、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括——但不限于——电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括——但不限于——无线、电线、光缆、无线电频率(RadioFrequency，RF)等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括LAN或WAN——连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims (11)

1.一种社区问答数据的校验方法，其特征在于，包括：
获取社区问答数据集，并根据所述社区问答数据集，生成多个问答对，所述问答对包括：问题，以及与问题对应的待验证答案；
根据至少一个置信源站点中存储的数据，生成权威数据集；
根据各所述待验证答案与所述权威数据集中的权威数据在至少一个维度下的相似性得分，对各所述待验证答案进行权威度校验。
2.根据权利要求1所述的方法，其特征在于，所述根据各所述待验证答案与所述权威数据集中的权威数据在至少一个维度下的相似性得分，对各所述待验证答案进行权威度校验，包括：
将所述待验证答案在所述权威数据集中进行检索，筛选出设定数量的满足相关性条件的目标权威数据；
在至少一个目标维度下，分别计算所述待验证答案与各所述目标权威数据的相似性得分；
根据所述相似性得分，对所述待验证答案进行权威度校验。
3.根据权利要求2所述的方法，其特征在于，所述目标维度包括：关键词维度、句子维度或语义维度。
4.根据权利要求3所述的方法，其特征在于，在关键词维度下，分别计算所述待验证答案与各所述目标权威数据的相似性得分，包括：
分别获取所述待验证答案中包括的第一关键词集合，以及各所述目标权威数据中包括的第二关键词集合；
获取所述第一关键词集合命中各所述第二关键词集合的关键词数量；
根据所述关键词数量以及各所述第二关键词集合中包括的关键词总数量，计算在所述关键词维度下，所述待验证答案与各所述目标权威数据的相似性得分。
5.根据权利要求3所述的方法，其特征在于，在句子维度下，分别计算所述待验证答案与各所述目标权威数据的相似性得分，包括：
分别验证所述待验证答案是否命中各所述目标权威数据中包括的句子；
根据命中结果，计算在所述句子维度下，所述待验证答案与各所述目标权威数据的相似性得分。
6.根据权利要求3所述的方法，其特征在于，在语义维度下，分别计算所述待验证答案与各所述目标权威数据的相似性得分，包括：
分别将所述待验证答案以及各所述目标权威数据组合成为输入数据；
将每个所述输入数据分别输入至预先训练的语义相似度识别模型中；
获取所述语义相似度识别模型针对各所述输入数据的输出结果，作为在所述语义维度下，所述待验证答案与各所述目标权威数据的相似性得分。
7.根据权利要求3所述的方法，其特征在于，所述根据所述相似性得分，对所述待验证答案进行权威度校验，包括：
根据公式：计算所述待验证答案的权威度得分；
其中，N为在所述权威数据集中筛选出的满足相关性条件的目标权威数据的条数；Word(Ans,Pi)为所述待验证答案Ans与第i条目标权威数据Pi在关键词维度下的相似性得分，Sent(Ans,Pi)为Ans与Pi在句子维度下的相似性得分，Sim(Ans,Pi)为Ans与Pi在语义维度下的相似性得分，α、β以及γ为预设的比例系数；
如果所述权威度得分小于设定权威度阈值，则将所述待验证答案从所述社区问答数据集中滤除。
8.根据权利要求1所述的方法，其特征在于，所述根据至少一个置信源站点中存储的数据，生成权威数据集，包括：
选取至少一个置信源站点，获取各所述置信源站点的站点数据进行数据清洗，并进行结构化解析后，生成所述权威数据集。
9.一种社区问答数据的校验装置，其特征在于，包括：
问答对生成模块，用于获取社区问答数据集，并根据所述社区问答数据集，生成多个问答对，所述问答对包括：问题，以及与问题对应的待验证答案；
权威数据集生成模块，用于根据至少一个置信源站点中存储的数据，生成权威数据集；
权威度校验模块，用于根据各所述待验证答案与所述权威数据集中的权威数据在至少一个维度下的相似性得分，对各所述待验证答案进行权威度校验。
10.一种计算机设备，其特征在于，所述设备包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-8中任一所述的社区问答数据的校验方法。
11.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-8中任一所述的社区问答数据的校验方法。
CN201910107611.9A 2019-02-02 2019-02-02 社区问答数据的校验方法、装置、计算机设备和存储介质 Active CN109783631B (zh)

Priority Applications (5)

Application Number Priority Date Filing Date Title
CN201910107611.9A CN109783631B (zh) 2019-02-02 2019-02-02 社区问答数据的校验方法、装置、计算机设备和存储介质
US16/691,017 US11372942B2 (en) 2019-02-02 2019-11-21 Method, apparatus, computer device and storage medium for verifying community question answer data
EP19210509.6A EP3690676A1 (en) 2019-02-02 2019-11-21 Method, apparatus, computer device and storage medium for verifying community question answer data
JP2019211256A JP7153004B2 (ja) 2019-02-02 2019-11-22 コミュニティ質問応答データの検証方法、装置、コンピュータ機器、及び記憶媒体
KR1020190155197A KR102324048B1 (ko) 2019-02-02 2019-11-28 커뮤니티 질의 응답 데이터의 검증 방법, 장치, 컴퓨터 기기 및 저장 매체

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910107611.9A CN109783631B (zh) 2019-02-02 2019-02-02 社区问答数据的校验方法、装置、计算机设备和存储介质

Publications (2)

Publication Number Publication Date
CN109783631A true CN109783631A (zh) 2019-05-21
CN109783631B CN109783631B (zh) 2022-05-17

Family

ID=66504148

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910107611.9A Active CN109783631B (zh) 2019-02-02 2019-02-02 社区问答数据的校验方法、装置、计算机设备和存储介质

Country Status (5)

Country Link
US (1) US11372942B2 (zh)
EP (1) EP3690676A1 (zh)
JP (1) JP7153004B2 (zh)
KR (1) KR102324048B1 (zh)
CN (1) CN109783631B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110287385A (zh) * 2019-06-18 2019-09-27 素朴网联(珠海)科技有限公司 一种语料数据采集方法、系统及存储介质
CN110297954A (zh) * 2019-06-14 2019-10-01 北京百度网讯科技有限公司 答案校验处理方法、装置、设备和存储介质
CN110362735A (zh) * 2019-07-15 2019-10-22 北京百度网讯科技有限公司 判断陈述真实性的方法和装置、电子设备、可读介质
CN111984775A (zh) * 2020-08-12 2020-11-24 北京百度网讯科技有限公司 问答质量确定方法、装置、设备和存储介质

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112052320B (zh) * 2020-09-01 2023-09-29 腾讯科技（深圳）有限公司 一种信息处理方法、装置及计算机可读存储介质
CN113177235A (zh) * 2020-12-01 2021-07-27 李孔雀 结合大数据和云计算的数据处理方法及大数据服务器
CN112966081B (zh) * 2021-03-05 2024-03-08 北京百度网讯科技有限公司 处理问答信息的方法、装置、设备和存储介质
CN114490965B (zh) * 2021-12-23 2022-11-08 北京百度网讯科技有限公司 问题处理方法、装置、电子设备和存储介质

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103577556A (zh) * 2013-10-21 2014-02-12 北京奇虎科技有限公司 一种获取问答对的相关联程度的装置和方法
CN107220296A (zh) * 2017-04-28 2017-09-29 北京拓尔思信息技术股份有限公司 问答知识库的生成方法、神经网络的训练方法以及设备
US20180025008A1 (en) * 2016-07-20 2018-01-25 Baidu Usa Llc Systems and methods for homogeneous entity grouping
CN108932349A (zh) * 2018-08-17 2018-12-04 齐鲁工业大学 医疗自动问答方法及装置、存储介质、电子设备
CN109062973A (zh) * 2018-06-29 2018-12-21 北京百度网讯科技有限公司 一种问答资源的挖掘方法、装置、服务器及存储介质
CN109101551A (zh) * 2018-07-10 2018-12-28 广州极天信息技术股份有限公司 一种问答知识库的构建方法及装置
CN109147934A (zh) * 2018-07-04 2019-01-04 平安科技（深圳）有限公司 问诊数据推荐方法、装置、计算机设备和存储介质
CN109213847A (zh) * 2018-09-14 2019-01-15 广州神马移动信息科技有限公司 答案的分层方法及其装置、电子设备、计算机可读介质

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7260568B2 (en) 2004-04-15 2007-08-21 Microsoft Corporation Verifying relevance between keywords and web site contents
US20060106788A1 (en) 2004-10-29 2006-05-18 Microsoft Corporation Computer-implemented system and method for providing authoritative answers to a general information search
US8494807B2 (en) 2009-01-23 2013-07-23 Oxfordian Llc Prognostics and health management implementation for self cognizant electronic products
US8346701B2 (en) * 2009-01-23 2013-01-01 Microsoft Corporation Answer ranking in community question-answering sites
CN104573028B (zh) * 2015-01-14 2019-01-25 百度在线网络技术（北京）有限公司 实现智能问答的方法和系统
JPWO2016178337A1 (ja) 2015-05-01 2018-02-22 ソニー株式会社 情報処理装置、情報処理方法及びコンピュータプログラム
KR101772199B1 (ko) 2015-10-30 2017-09-01 (주)유미테크 크라우드 소싱 기반 지식 검증 시스템
JP2017097561A (ja) 2015-11-20 2017-06-01 キヤノン株式会社 情報処理装置、情報処理システム、情報処理方法及びプログラム
CN106910083A (zh) * 2015-12-23 2017-06-30 阿里巴巴集团控股有限公司 提供商品对象信息的方法及装置
JP6745127B2 (ja) 2016-03-30 2020-08-26 株式会社アドバンスト・メディア 情報処理システム、サーバ、端末装置、情報処理方法及びプログラム
US20180144234A1 (en) * 2016-11-20 2018-05-24 Arturo Devesa Sentence Embedding for Sequence-To-Sequence Matching in a Question-Answer System

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103577556A (zh) * 2013-10-21 2014-02-12 北京奇虎科技有限公司 一种获取问答对的相关联程度的装置和方法
US20180025008A1 (en) * 2016-07-20 2018-01-25 Baidu Usa Llc Systems and methods for homogeneous entity grouping
CN107220296A (zh) * 2017-04-28 2017-09-29 北京拓尔思信息技术股份有限公司 问答知识库的生成方法、神经网络的训练方法以及设备
CN109062973A (zh) * 2018-06-29 2018-12-21 北京百度网讯科技有限公司 一种问答资源的挖掘方法、装置、服务器及存储介质
CN109147934A (zh) * 2018-07-04 2019-01-04 平安科技（深圳）有限公司 问诊数据推荐方法、装置、计算机设备和存储介质
CN109101551A (zh) * 2018-07-10 2018-12-28 广州极天信息技术股份有限公司 一种问答知识库的构建方法及装置
CN108932349A (zh) * 2018-08-17 2018-12-04 齐鲁工业大学 医疗自动问答方法及装置、存储介质、电子设备
CN109213847A (zh) * 2018-09-14 2019-01-15 广州神马移动信息科技有限公司 答案的分层方法及其装置、电子设备、计算机可读介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
余正涛等: ""基于潜在语义分析的汉语问答系统答案提取"", 《计算机学报》 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110297954A (zh) * 2019-06-14 2019-10-01 北京百度网讯科技有限公司 答案校验处理方法、装置、设备和存储介质
CN110287385A (zh) * 2019-06-18 2019-09-27 素朴网联(珠海)科技有限公司 一种语料数据采集方法、系统及存储介质
CN110362735A (zh) * 2019-07-15 2019-10-22 北京百度网讯科技有限公司 判断陈述真实性的方法和装置、电子设备、可读介质
CN110362735B (zh) * 2019-07-15 2022-05-13 北京百度网讯科技有限公司 判断陈述真实性的方法和装置、电子设备、可读介质
CN111984775A (zh) * 2020-08-12 2020-11-24 北京百度网讯科技有限公司 问答质量确定方法、装置、设备和存储介质

Also Published As

Publication number Publication date
JP7153004B2 (ja) 2022-10-13
CN109783631B (zh) 2022-05-17
US11372942B2 (en) 2022-06-28
US20200250248A1 (en) 2020-08-06
KR102324048B1 (ko) 2021-11-09
EP3690676A1 (en) 2020-08-05
JP2020126587A (ja) 2020-08-20
KR20200096402A (ko) 2020-08-12

Similar Documents

Publication Publication Date Title
CN109783631A (zh) 社区问答数据的校验方法、装置、计算机设备和存储介质
CN110489538B (zh) 基于人工智能的语句应答方法、装置及电子设备
CN106940788B (zh) 智能评分方法及装置、计算机设备及计算机可读介质
US11409964B2 (en) Method, apparatus, device and storage medium for evaluating quality of answer
US11720611B2 (en) Entailment knowledge base in natural language processing systems
US10162812B2 (en) Natural language processing system to analyze mobile application feedback
CN106570180A (zh) 基于人工智能的语音搜索方法及装置
US20180204106A1 (en) System and method for personalized deep text analysis
WO2021174812A1 (zh) 用于画像的数据的清洗方法、装置、介质及电子设备
CN110032734B (zh) 近义词扩展及生成对抗网络模型训练方法和装置
AU2013237103A1 (en) Systems and methods for extraction of policy information
CN111339292A (zh) 文本分类网络的训练方法、系统、设备及存储介质
WO2021174829A1 (zh) 众包任务的抽检方法、装置、计算机设备及存储介质
CN108717459A (zh) 一种面向用户评论信息的移动应用缺陷定位方法
KR102206781B1 (ko) 지식 기반 추론 및 신뢰도 분석을 이용한 가짜뉴스 판별 방법, 이를 수행하기 위한 기록매체 및 장치
CN116402166B (zh) 一种预测模型的训练方法、装置、电子设备及存储介质
CN109740156A (zh) 反馈信息处理方法、装置、电子设备及存储介质
CN108268602A (zh) 分析文本话题点的方法、装置、设备和计算机存储介质
CN117312562A (zh) 内容审核模型的训练方法、装置、设备及存储介质
CN110309411A (zh) 一种资源推荐方法及装置
CN110019556A (zh) 一种话题新闻获取方法、装置及其设备
CN111930908A (zh) 基于人工智能的答案识别方法及装置、介质、电子设备
CN116541711A (zh) 模型训练方法、课程推荐方法、装置、设备及介质
CN112732908B (zh) 试题新颖度评估方法、装置、电子设备和存储介质
CN113627155A (zh) 一种数据筛选方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant