CN112100340A - 问题内容匹配方法及装置 - Google Patents
问题内容匹配方法及装置 Download PDFInfo
- Publication number
- CN112100340A CN112100340A CN202011289410.4A CN202011289410A CN112100340A CN 112100340 A CN112100340 A CN 112100340A CN 202011289410 A CN202011289410 A CN 202011289410A CN 112100340 A CN112100340 A CN 112100340A
- Authority
- CN
- China
- Prior art keywords
- content
- question
- questions
- contents
- prediction score
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 54
- 239000013598 vector Substances 0.000 claims abstract description 54
- 238000012512 characterization method Methods 0.000 claims abstract description 34
- 238000003062 neural network model Methods 0.000 claims abstract description 29
- 238000012163 sequencing technique Methods 0.000 claims abstract description 19
- 230000011218 segmentation Effects 0.000 claims description 4
- 239000002356 single layer Substances 0.000 claims description 4
- 238000004422 calculation algorithm Methods 0.000 description 34
- 238000005457 optimization Methods 0.000 description 10
- 238000004364 calculation method Methods 0.000 description 5
- 238000011156 evaluation Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 230000007246 mechanism Effects 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000007635 classification algorithm Methods 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000008901 benefit Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 235000013399 edible fruits Nutrition 0.000 description 1
- 230000008451 emotion Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/33—Querying
- G06F16/3331—Query processing
- G06F16/334—Query execution
- G06F16/3347—Query execution using vector based model
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/33—Querying
- G06F16/3331—Query processing
- G06F16/3332—Query translation
- G06F16/3334—Selection or weighting of terms from queries, including natural language queries
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/33—Querying
- G06F16/338—Presentation of query results
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/35—Clustering; Classification
- G06F16/353—Clustering; Classification into predefined classes
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- Artificial Intelligence (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本公开提供了一种问题内容匹配方法及装置,其中,方法包括根据内容对问题进行多角度召回,并对召回的问题进行粗排序,获得所述内容相对应的问题集合;根据所述内容及其对应的问题集合,通过预训练模型获得多个问题内容对的表征向量;通过神经网络模型获得所述表征向量的预测分数,根据所述预测分数获得所述内容对应的目标问题。
Description
技术领域
本公开涉及智能匹配技术领域,更具体地,涉及一种问题内容匹配方法及装置。
背景技术
在很多自然语言识别场景下,都需要进行文本匹配,但是目前的文本智能匹配算法中,是将两个文本当做平等内容进行相关度计算匹配,无法识别出两个文本之间的内在联系,并不适用于问题与答案之间的场景。
发明内容
有鉴于此,本公开提供了一种问题内容匹配方法、装置、电子设备及计算机可读介质,其能够至少部分地解决或缓解现有技术的上述问题。
按照本公开内容的第一方面,本公开提供了一种问题内容匹配方法,包括:根据内容对问题进行多角度召回,并对召回的问题进行粗排序,获得内容相对应的问题集合;根据内容及其对应的问题集合,通过预训练模型获得多个问题内容对的表征向量;通过神经网络模型获得表征向量的预测分数,根据预测分数获得内容对应的目标问题。
优选地,根据内容对问题进行多角度召回包括以下至少一个:根据内容的标题直接搜索召回;根据内容的分类进行召回;根据内容的关键词进行召回;根据内容的话题进行召回。
优选地,对召回的问题进行粗排序包括:根据内容与问题的相关度以及问题的页面浏览量对召回的问题进行粗排序。
优选地,预训练模型为Bert模型,问题内容对依次包括问题标题、问题描述、内容标题、内容描述,且在问题和内容之间还设置有分割标志。
优选地,问题内容匹配方法还包括:根据预测分数获得神经网络模型的负样本,通过迭代训练,优化神经网络模型。
优选地,神经网络模型为单层神经网络模型。
按照本公开内容的第二方面,本公开提供了一种问题内容匹配方法,包括:根据问题对内容进行多角度召回,并对召回的内容进行粗排序,获得问题相对应的内容集合;根据问题及其对应的内容集合,通过预训练模型获得多个问题内容对的表征向量;通过神经网络模型获得表征向量的预测分数,根据预测分数获得问题对应的目标内容。
优选地,根据问题对内容进行多角度召回包括以下至少一个:根据问题的分类进行召回;根据问题的话题进行召回。
按照本公开内容的第三方面,本公开提供了一种问题内容匹配装置,包括:召回问题模块,被配置为用于根据内容对问题进行多角度召回,并对召回的问题进行粗排序,获得内容相对应的问题集合;第一问题内容组合模块,被配置为用于根据内容及其对应的问题集合,通过预训练模型获得多个问题内容对的表征向量;目标问题获取模块,被配置为用于通过神经网络模型获得表征向量的预测分数,根据预测分数获得内容对应的目标问题。
按照本公开内容的第四方面,本公开提供了一种问题内容匹配装置,包括:召回内容模块,被配置为用于根据问题对内容进行多角度召回,并对召回的内容进行粗排序,获得问题相对应的内容集合;第二问题内容组合模块,被配置为用于根据问题及其对应的内容集合,通过预训练模型获得多个问题内容对的表征向量;目标内容获取模块,被配置为用于通过神经网络模型获得表征向量的预测分数,根据预测分数获得问题对应的目标内容。
按照本公开内容的第五方面,本公开提供了一种电子设备,包括:一个或多个处理器;存储装置,用于存储一个或多个程序;其中,当所述一个或多个程序被所述一个或多个处理器执行时,使得所述一个或多个处理器执行如第一方面或第二方面所述的方法。
按照本公开内容的第六方面,本公开提供了一种计算机可读介质,其上存储有可执行指令,可执行指令被处理器执行时使处理器执行如本公开内容的第一方面或第二方面所述的方法。
经由上述公开内容可知,本公开提供的一种问题内容匹配方法、装置、电子设备及计算机可读介质,其根据内容对问题进行多角度召回,并对召回的问题进行粗排序,获得内容相对应的问题集合;根据内容及其对应的问题集合,通过预训练模型获得多个问题内容对的表征向量;通过神经网络模型获得所述表征向量的预测分数,根据预测分数获得内容对应的目标问题;或根据问题对内容进行多角度召回,并对召回的内容进行粗排序,获得问题相对应的内容集合;根据问题及其对应的内容集合,通过预训练模型获得多个问题内容对的表征向量;通过神经网络模型获得表征向量的预测分数,根据预测分数获得问题对应的目标内容。
本公开将问题内容匹配方法分割为召回和排序两个部分,且在召回的同时进行粗排序和截断策略,使得准确召回的同时可以大大减少计算量,同时通过预训练模型将问题和内容合并为一个语句,以理解问题与内容之间的内在联系,从而预测该语句的合理性,提高问题内容匹配的准确性。
附图说明
为了更清楚地说明本公开实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本公开的实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据提供的附图获得其他的附图。
图1示出了本公开实施例提供的在根据内容匹配目标问题的应用场景中的一种问题内容匹配方法流程图。
图2示出了本公开实施例提供的在根据问题匹配目标内容的应用场景中的一种问题内容匹配方法流程图。
图3示出了本公开实施例提供的在根据内容匹配目标问题的应用场景中的一种问题内容匹配装置结构图。
图4示出了本公开实施例提供的在根据问题匹配目标内容的应用场景中的一种问题内容匹配装置结构图。
具体实施方式
下面将结合本公开实施例中的附图,对本公开实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本公开一部分实施例,而不是全部的实施例。基于本公开中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本公开保护的范围。
文本智能匹配算法主要包括文本向量夹角法和合并评估法,其中,文本向量夹角法中包括词向量合并算法和注意力机制。词向量合并算法是根据提前计算好常见词的embedding向量,通过tf-idf算法抽取出文本中的关键词,将关键词的embedding相加平均即可以得到文本的向量,但是在该策略下,每个词只有一个embedding向量,例如,代表水果的“苹果”与代表公司的“苹果”只有一个embedding,在词向量合并算法中,“苹果”的embedding与上下文无关,因此,词向量合并算法仍有提升空间。注意力机制可以根据内容的上下文语境,自动分析得到内容中的关键信息,并提取出内容的对应向量,其准确性相较于词向量合并算法有较大提升。而合并评估法是将问题与回答合并为一个文本,通过计算合并文本的合理性进行评估。
但是文本向量夹角法和合并评估法均存在一定问题,文本向量夹角法在计算出两段内容的向量后,再比较向量的余弦夹角的实现方法虽然比较简单,但两段文本在该方法中是平等的,没有利用到问题与内容之间的内容联系,且文本向量夹角法倾向于越相似的内容越好,但是在问答场景中,越相似的内容提供的信息收益反而越少,因此,文本向量夹角法并不适用于问答场景。合并评估法虽然可以考虑到问题与回答之间的内在联系,但因为其合并之后的文本长度明显膨胀,算法难以抓取到有效的信息,因此文本匹配准确度较低。
本公开提供的问题内容匹配方法,可以应用到多种具有明确问答关系的场景中,例如:电子书问答融合场景:根据电子书的内容,匹配出准确的、可回答的问题,提高运营效率,进而提高会员内容的曝光和转化;问题与商业广告匹配场景:为客户创作的商业内容,推荐相关的站内问题,为商业内容带来流量的同时,有效解决用户的实际问题;问题与商品匹配场景:对于导购类问题,通过提取出站内已有的商品和相关的描述数据,可以生成商品类导购榜单;问题自动匹配回答场景:很多问题是存在标准答案的,比如“我国有哪些免费的图书馆”、“2020年律师行业平均工资是多少”以及大多数百科类提问,在这种问题没有回答的情况下,可以通过本公开提供的方法来自动抽取内容进行回复,帮助用户解决疑虑。
本公开提供的问题内容匹配方法,分为召回和排序两个部分,使用关键词、标签、embedding等方式对问题或内容进行召回,在召回的同时对召回的问题或内容进行粗排序和截断策略以获得召回信息集合,然后再对获得的召回信息集合进行精确排序,从而获得目标问题或目标内容,这样可以在准确召回的同时大大减少计算量。
在问答匹配场景中,可以根据回答内容匹配目标问题,也可以根据问题匹配目标内容,以下分别进行说明。
在根据内容匹配目标问题的应用场景中,如图1所示,本公开提供的问题内容匹配方法可以包括以下几个步骤。
S11、根据内容对问题进行多角度召回,并对召回的问题进行粗排序,获得内容相对应的问题集合。
其中,可以通过以下一个或多个角度对问题进行召回:根据内容的标题直接搜索问题数据库,根据匹配算法获得与内容标题相匹配的一个或多个问题;根据内容的分类搜索获得同种分类下的问题;提取内容的关键词,根据该关键词搜索获得与内容相关的问题;通过聚类等算法计算获得内容所属话题,根据内容所属话题,获得与该内容同种话题下的问题。
对于从不同角度召回的问题,可以对每个角度召回的问题进行粗排序,例如,可以根据问题与内容的相关度以及问题的页面浏览量对每个角度召回的问题进行粗排序,并截取排名靠前的一个或多个问题作为该角度召回的问题集合,多个角度召回的问题的所有问题进行合并,即为该内容相对应的问题集合。
在本公开的具体实施例中,还可以对多个角度召回的问题合并后的问题集合中的问题进行排序。
例如,在需要为电子书内容匹配其合适的问题的场景下,可以通过以下四个角度对问题进行召回:根据电子书内容的标题,搜索问题数据库,召回与该电子书内容的标题相匹配的一个或多个问题,进一步地,可以通过计算电子书内容与召回的问题的相关度以及召回的问题的页面浏览量对从问题数据库中召回的问题进行排序,截取排名前25的问题作为第一召回问题集合;根据电子书内容的标签,可以获得电子书内容所属分类,例如,电子书内容所属的分类可以为汽车、情感、科学等,根据电子书内容所属分类,可以召回该分类下的所有问题,进一步地,可以根据电子书内容与召回的问题的相关度以及问题的页面浏览量对该分类下的问题进行排序,截取排名前25的问题作为第二召回问题集合;提取电子书内容的关键词,根据提取出的关键词搜索与该关键词相关的问题,进一步地,可以根据电子书内容与搜索到的问题的相关度以及问题的页面浏览量,对搜索到的问题进行排序,截取排名前25的问题作为第三召回问题集合;通过聚类等算法可以计算获得电子书内容所属话题,进而获得该话题下的所有问题,进一步地,可以根据电子书内容和该话题下的问题的相关度以及问题的页面浏览量,对召回的该话题下的问题进行排序,截取排名前25的问题作为第四召回问题集合。
将第一至第四召回问题集合进行合并,得到100个问题,这100个问题即为根据该电子书内容召回的问题集合。
在本公开的具体实施例中,截取的每个角度召回的问题数量可以根据实际情况进行设置,每个角度召回的问题数量可以相同也可以不同,不限于本公开实施例中的排名前25的问题。
S12、根据内容及其对应的问题集合,通过预训练模型获得多个问题内容对的表征向量。
获得内容对应的问题集合后,可以将该内容与问题集合中的每一个问题进行拼接,形成多个问题内容对。将问题与内容直接拼接起来,可以保证数据的全面性,但是对于预训练模型来说,输入的内容过多,可能会导致算法难以抽取到关键信息辅助决策,因此,可以将问题的相关描述以及内容的相关描述放在问题正文和内容正文的后边,这些描述信息可以抽象概括原始文本,大大提高文本的信息密度,帮助算法进行匹配决策。因此,在本公开的具体实施例中,问题内容对可以包括问题标题、问题描述、内容标题、内容描述,其中,问题描述可以包括问题所属分类、问题所属话题、问题相关关键词等中的至少一个,相应的,内容描述也可以包括内容所属分类、内容所属话题、内容相关关键词中的至少一个。
其中,预训练模型可以采用Bert模型,具体地,可以为Bert-NN模型,可以通过训练语料fine-tune获得问题内容对的表征向量,在问题内容对的表征向量中,可以在问题和内容之间插入分割标志[SEP],以帮助Bert模型理解问题与内容之间的内在联系。
具体地,问题内容对的表征向量格式可以采用如下形式:
[CLS] | 问题 | 问题描述 | [SEP] | 内容 | 内容描述 | [SEP] |
S13、通过神经网络模型获得表征向量的预测分数,根据预测分数获得内容对应的目标问题。
具体地,神经网络模型可以采用单层神经网络,以提高匹配效率。
在本公开的具体实施例中,可以对预测分数进行优化,例如,可以采用分类算法对预测分数进行优化:将已上线的问题内容对作为正样本,将未上线的问题内容对作为负样本,优化正样本的预测分数高于某个阈值,同时负样本的预测分数低于该阈值,该算法以是否上线作为优化目标。还可以采用迭代训练算法对预测分数进行优化:将所有上线的问题都整理下来,计算出每个问题的页面浏览量,衡量出该问题的用户喜爱度,该算法以用户喜爱度作为优化目标。在具体实施例中,可以根据实际情况来选择预测分数的优化算法,也可以两种优化算法同时进行,以选择效果更好的优化算法。
当采用迭代训练算法对预测分数进行优化时,可以在初论训练中,将匹配分数较高的负样本挑选出来,将优质负样本与正样本一起训练,通过该前置策略,神经网络模型可以学习到多个问题内容对之间的细微差异,进入提高神经网络模型的算法匹配能力。
在根据问题匹配目标内容的应用场景中,如图2所示,本公开实施例提供的问题内容匹配方法包括以下几个步骤。
S21、根据问题对内容进行多角度召回,并对召回的内容进行粗排序,获得问题相对应的内容集合。
其中,可以通过以下一个或多个角度对内容进行召回:根据问题所属分类召回同种分类下的内容,具体地,可以根据问题所属的一级分类召回该一级分类下的内容,或者根据问题所属的二级分类召回该二级分类下的内容,例如,某个问题的一级分类可以为家电,二级分类可以为智能冰箱;根据问题所属的话题召回同种话题下的内容。在本公开的具体实施例中,问题所属分类可以直接根据问题的标签获得,也可以通过聚类算法、相似度计算、统计等方式获得,具体地,相似度计算是通过计算该问题与其他问题的相似度,根据其相似度较高的问题所属分类确定该问题的所属分类。
对于从不同角度召回的内容,可以对每个角度召回的内容进行粗排序,例如,可以根据问题与内容的相关度以及内容的页面浏览量对每个角度召回的内容进行排序,并截取排名靠前的一个或多个内容作为该角度召回的内容集合,多个角度召回的内容的所有内容进行合并,即可得到该问题相对应的内容集合。
在本公开的具体实施例中,还可以对多个角度召回的内容合并后的内容集合中的内容进行排序。
S22、根据问题及其对应的内容集合,通过预训练模型获得多个问题内容对的表征向量。
获得问题对应的内容集合后,可以将该问题与内容集合中的每一个内容进行拼接,形成多个问题内容对。将问题与内容直接拼接起来,可以保证数据的全面性,但是对于预训练模型来说,输入的内容过多,可能会导致算法难以抽取到关键信息辅助决策,因此,可以将问题的相关描述以及内容的相关描述放在问题正文和内容正文的后边,这些描述信息可以抽象概括原始文本,大大提高文本的信息密度,帮助算法进行匹配决策。因此,在本公开的具体实施例中,问题内容对可以包括问题标题、问题描述、内容标题、内容描述,其中,问题描述可以包括问题所属分类、问题所属话题、问题相关关键词等中的至少一个,相应的,内容描述也可以包括内容所属分类、内容所属话题、内容相关关键词中的至少一个。
其中,预训练模型可以采用Bert模型,具体地,可以为Bert-NN模型,可以通过训练语料fine-tune获得问题内容对的表征向量,在问题内容对的表征向量中,可以在问题和内容之间插入分割标志[SEP],以帮助Bert模型理解问题与内容之间的内在联系。
具体地,问题内容对的表征向量格式可以采用如下形式:
[CLS] | 问题 | 问题描述 | [SEP] | 内容 | 内容描述 | [SEP] |
S23、通过神经网络模型获得表征向量的预测分数,根据预测分数获得问题对应的目标内容。
具体地,神经网络模型可以采用单层神经网络,以提高匹配效率。
在本公开的具体实施例中,可以对预测分数进行优化,例如,可以采用分类算法对预测分数进行优化:将已上线的问题内容对作为正样本,将未上线的问题内容对作为负样本,优化正样本的预测分数高于某个阈值,同时负样本的预测分数低于该阈值,该算法以是否上线作为优化目标。还可以采用迭代训练算法对预测分数进行优化:将所有上线内容都整理下来,计算出每个内容的点赞数或页面浏览量,衡量出该内容的用户喜爱度,该算法以用户喜爱度作为优化目标。在具体实施例中,可以根据实际情况来选择预测分数的优化算法,也可以两种优化算法同时进行,以选择效果更好的优化算法。
当采用迭代训练算法对预测分数进行优化时,可以在初论训练中,将匹配分数较高的负样本挑选出来,将优质负样本与正样本一起训练,通过该前置策略,神经网络模型可以学习到多个问题内容对之间的细微差异,进入提高神经网络模型的算法匹配能力。
相应的,在根据内容匹配目标问题的应用场景中,如图3所示,本公开实施例还提供了一种问题内容匹配装置,包括:召回问题模块11,被配置为用于根据内容对问题进行多角度召回,并对召回的问题进行粗排序,获得内容相对应的问题集合;第一问题内容组合模块12,被配置为用于根据内容及其对应的问题集合,通过预训练模型获得多个问题内容对的表征向量;目标问题获取模块13,被配置为用于通过神经网络模型获得表征向量的预测分数,根据预测分数获得内容对应的目标问题。
在根据问题匹配目标内容的应用场景中,如图4所示,本公开实施例提供的一种问题内容匹配装置包括:召回内容模块21,被配置为用于根据问题对内容进行多角度召回,并对召回的内容进行粗排序,获得问题相对应的内容集合;第二问题内容组合模块22,被配置为用于根据问题及其对应的内容集合,通过预训练模型获得多个问题内容对的表征向量;目标内容获取模块23,被配置为用于通过神经网络模型获得表征向量的预测分数,根据预测分数获得问题对应的目标内容。
本公开实施例还提供了一种电子设备,包括:一个或多个处理器;存储装置,用于存储一个或多个程序;其中,当一个或多个程序被一个或多个处理器执行时,使得一个或多个处理器执行如上所述的问题内容匹配方法。
本公开还提供了一种计算机可读介质,其上存储有可执行指令,该可执行指令被处理器执行时使处理器执行如上所述的问题内容匹配方法。
结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块,或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
在上述实施例中,可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时,可以全部或部分地以计算机程序产品的形式实现。计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时,全部或部分地产生按照本公开所述的流程或功能。计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。计算机指令可以存储在计算机可读存储介质中,或者从一个计算机可读存储介质向另一个计算机可读存储介质传输,例如,计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线)或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。可用介质可以是磁性介质,(例如,软盘、硬盘、磁带)、光介质(例如,DVD)、或者半导体介质(例如固态硬盘Solid State Disk)等。
需要说明的是,本公开内容中的各个实施例均采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似的部分互相参见即可。对于方法类实施例而言,由于其与产品类实施例相似,所以描述的比较简单,相关之处参见产品实施例的部分说明即可。
还需要说明的是,在本公开内容中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
对所公开的实施例的上述说明,使本领域专业技术人员能够实现或使用本公开内容。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的,本公开内容中所定义的一般原理可以在不脱离本公开内容的精神或范围的情况下,在其它实施例中实现。因此,本公开内容将不会被限制于本公开内容所示的这些实施例,而是要符合与本公开内容所公开的原理和新颖特点相一致的最宽的范围。
Claims (12)
1.一种问题内容匹配方法,包括:
根据内容对问题进行多角度召回,并对召回的问题进行粗排序,获得所述内容相对应的问题集合;
根据所述内容及其对应的问题集合,通过预训练模型获得多个问题内容对的表征向量;
通过神经网络模型获得所述表征向量的预测分数,根据所述预测分数获得所述内容对应的目标问题。
2.如权利要求1所述的方法,其中,所述根据内容对问题进行多角度召回包括以下至少一个:
根据所述内容的标题直接搜索召回;
根据所述内容的分类进行召回;
根据所述内容的关键词进行召回;
根据所述内容的话题进行召回。
3.如权利要求1所述的方法,其中,所述对召回的问题进行粗排序包括:根据所述内容与所述问题的相关度以及所述问题的页面浏览量对召回的问题进行粗排序。
4.如权利要求1所述的方法,其中,所述预训练模型为Bert模型,所述问题内容对依次包括问题标题、问题描述、内容标题、内容描述,且在所述问题和所述内容之间还设置有分割标志。
5.如权利要求1所述的方法,还包括:
根据所述预测分数获得所述神经网络模型的负样本,通过迭代训练,优化所述神经网络模型。
6.如权利要求1所述的方法,其中,所述神经网络模型为单层神经网络模型。
7.一种问题内容匹配方法,包括:
根据问题对内容进行多角度召回,并对召回的内容进行粗排序,获得所述问题相对应的内容集合;
根据所述问题及其对应的内容集合,通过预训练模型获得多个问题内容对的表征向量;
通过神经网络模型获得所述表征向量的预测分数,根据所述预测分数获得所述问题对应的目标内容。
8.如权利要求7所述的方法,其中,所述根据问题对内容进行多角度召回包括以下至少一个:
根据所述问题的分类进行召回;
根据所述问题的话题进行召回。
9.一种问题内容匹配装置,包括:
召回问题模块,被配置为用于根据内容对问题进行多角度召回,并对召回的问题进行粗排序,获得所述内容相对应的问题集合;
第一问题内容组合模块,被配置为用于根据所述内容及其对应的问题集合,通过预训练模型获得多个问题内容对的表征向量;
目标问题获取模块,被配置为用于通过神经网络模型获得所述表征向量的预测分数,根据所述预测分数获得所述内容对应的目标问题。
10.一种问题内容匹配装置,包括:
召回内容模块,被配置为用于根据问题对内容进行多角度召回,并对召回的内容进行粗排序,获得所述问题相对应的内容集合;
第二问题内容组合模块,被配置为用于根据所述问题及其对应的内容集合,通过预训练模型获得多个问题内容对的表征向量;
目标内容获取模块,被配置为用于通过神经网络模型获得所述表征向量的预测分数,根据所述预测分数获得所述问题对应的目标内容。
11.一种电子设备,包括:
一个或多个处理器;
存储装置,用于存储一个或多个程序;
其中,当所述一个或多个程序被所述一个或多个处理器执行时,使得所述一个或多个处理器执行如权利要求1至8任一项所述方法。
12.一种计算机可读介质,其上存储有可执行指令,所述可执行指令被处理器执行时使处理器执行如权利要求1至8任一项所述方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011289410.4A CN112100340A (zh) | 2020-11-18 | 2020-11-18 | 问题内容匹配方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011289410.4A CN112100340A (zh) | 2020-11-18 | 2020-11-18 | 问题内容匹配方法及装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN112100340A true CN112100340A (zh) | 2020-12-18 |
Family
ID=73784711
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011289410.4A Pending CN112100340A (zh) | 2020-11-18 | 2020-11-18 | 问题内容匹配方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112100340A (zh) |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110647619A (zh) * | 2019-08-01 | 2020-01-03 | 中山大学 | 一种基于问题生成和卷积神经网络的常识问答方法 |
CN110909144A (zh) * | 2019-11-28 | 2020-03-24 | 中信银行股份有限公司 | 问答对话方法、装置、电子设备及计算机可读存储介质 |
CN111353290A (zh) * | 2020-02-28 | 2020-06-30 | 支付宝(杭州)信息技术有限公司 | 一种自动响应用户询问的方法和系统 |
CN111858881A (zh) * | 2020-06-19 | 2020-10-30 | 苏州浪潮智能科技有限公司 | 一种海量数据问答系统设计方法、系统、电子设备 |
CN111897934A (zh) * | 2020-07-28 | 2020-11-06 | 腾讯科技(深圳)有限公司 | 问答对生成方法及装置 |
-
2020
- 2020-11-18 CN CN202011289410.4A patent/CN112100340A/zh active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110647619A (zh) * | 2019-08-01 | 2020-01-03 | 中山大学 | 一种基于问题生成和卷积神经网络的常识问答方法 |
CN110909144A (zh) * | 2019-11-28 | 2020-03-24 | 中信银行股份有限公司 | 问答对话方法、装置、电子设备及计算机可读存储介质 |
CN111353290A (zh) * | 2020-02-28 | 2020-06-30 | 支付宝(杭州)信息技术有限公司 | 一种自动响应用户询问的方法和系统 |
CN111858881A (zh) * | 2020-06-19 | 2020-10-30 | 苏州浪潮智能科技有限公司 | 一种海量数据问答系统设计方法、系统、电子设备 |
CN111897934A (zh) * | 2020-07-28 | 2020-11-06 | 腾讯科技(深圳)有限公司 | 问答对生成方法及装置 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109992646B (zh) | 文本标签的提取方法和装置 | |
US10831769B2 (en) | Search method and device for asking type query based on deep question and answer | |
WO2019214245A1 (zh) | 一种信息推送方法、装置、终端设备及存储介质 | |
CN106570708B (zh) | 一种智能客服知识库的管理方法及系统 | |
Wu et al. | Flame: A probabilistic model combining aspect based opinion mining and collaborative filtering | |
Venugopalan et al. | Exploring sentiment analysis on twitter data | |
CN108628833B (zh) | 原创内容摘要确定方法及装置,原创内容推荐方法及装置 | |
US20180181677A1 (en) | Method and apparatus for displaying search result based on deep question and answer | |
Moghaddam et al. | AQA: aspect-based opinion question answering | |
CN104834651B (zh) | 一种提供高频问题回答的方法和装置 | |
CN112991017A (zh) | 基于用户评论解析的标签体系精准推荐方法 | |
CN111506831A (zh) | 一种协同过滤的推荐模块、方法、电子设备及存储介质 | |
CN111444304A (zh) | 搜索排序的方法和装置 | |
Yeole et al. | Opinion mining for emotions determination | |
CN111160019A (zh) | 一种舆情监测的方法、装置及系统 | |
CN113254777B (zh) | 信息推荐方法、装置、电子设备及存储介质 | |
CN112182145A (zh) | 文本相似度确定方法、装置、设备和存储介质 | |
Kiran et al. | User specific product recommendation and rating system by performing sentiment analysis on product reviews | |
CN115374362A (zh) | 多路召回模型训练方法、多路召回方法、装置及电子设备 | |
CN114255067A (zh) | 数据定价方法和装置、电子设备、存储介质 | |
Suprayogi et al. | Information extraction for mobile application user review | |
Eldefrawi et al. | Sentiment analysis of Arabic comparative opinions | |
Novo et al. | Explaining BERT model decisions for near-duplicate news article detection based on named entity recognition | |
Turdjai et al. | Simulation of marketplace customer satisfaction analysis based on machine learning algorithms | |
CN112100340A (zh) | 问题内容匹配方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20201218 |