CN117633208A - 一种基于倒数排序的知识召回融合方法及系统 - Google Patents
一种基于倒数排序的知识召回融合方法及系统 Download PDFInfo
- Publication number
- CN117633208A CN117633208A CN202410112578.XA CN202410112578A CN117633208A CN 117633208 A CN117633208 A CN 117633208A CN 202410112578 A CN202410112578 A CN 202410112578A CN 117633208 A CN117633208 A CN 117633208A
- Authority
- CN
- China
- Prior art keywords
- recall
- fusion
- knowledge
- results
- ranking
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000007500 overflow downdraw method Methods 0.000 title claims abstract description 19
- 230000004927 fusion Effects 0.000 claims abstract description 147
- 238000000034 method Methods 0.000 claims abstract description 81
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 40
- 238000012163 sequencing technique Methods 0.000 claims abstract description 19
- 238000012545 processing Methods 0.000 claims description 24
- 241000965478 Darksidea epsilon Species 0.000 claims description 6
- 238000004364 calculation method Methods 0.000 claims description 4
- 238000005457 optimization Methods 0.000 abstract description 4
- 230000000694 effects Effects 0.000 abstract description 3
- 238000013459 approach Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 6
- 230000008901 benefit Effects 0.000 description 5
- 238000012423 maintenance Methods 0.000 description 5
- 238000003745 diagnosis Methods 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 230000008030 elimination Effects 0.000 description 2
- 238000003379 elimination reaction Methods 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 230000005856 abnormality Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/33—Querying
- G06F16/338—Presentation of query results
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/36—Creation of semantic tools, e.g. ontology or thesauri
- G06F16/367—Ontology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N5/00—Computing arrangements using knowledge-based models
- G06N5/02—Knowledge representation; Symbolic representation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/06—Energy or water supply
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Health & Medical Sciences (AREA)
- Economics (AREA)
- Databases & Information Systems (AREA)
- Water Supply & Treatment (AREA)
- Tourism & Hospitality (AREA)
- Public Health (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Human Resources & Organizations (AREA)
- Marketing (AREA)
- Primary Health Care (AREA)
- Strategic Management (AREA)
- Animal Behavior & Ethology (AREA)
- General Business, Economics & Management (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明涉及一种基于倒数排序的知识召回融合方法及系统,该方法包括:接收多种不同途径搜索方法的知识召回结果;根据实际场景的需求,配置对应的知识召回融合策略,知识召回融合策略包括Stuff模式策略和Refine模式策略;根据Stuff模式策略或Refine模式策略对多种不同途径搜索方法的知识召回结果进行融合排序处理,生成相应融合排名结果。本发明提供的一种基于倒数排序的知识召回融合方法及系统,该方法通过实际场景的需求配置对应的知识召回融合策略,利用Stuff模式策略或Refine模式策略,基于倒序排序算法,不仅可以根据不同实际场景进行灵活调整,还能够针对不同的召回场景进行融合优化,进而有效提升知识召回的准确率和召回率,从而提高召回的总体效果。
Description
技术领域
本发明涉及电力和新能源技术领域,特别涉及电力和新能源技术领域中的智能诊断和检修技术,尤其涉及一种基于倒数排序的知识召回融合方法及系统。
背景技术
众所周知,电力和新能源领域的工业设备检修和故障诊断十分复杂,需要极强的专业知识。以往,企业内部通常采用基于知识图谱或者字面搜索的传统召回方法,利用这种召回方法能够快速检索出维修和诊断的相关知识,但是召回率较低,仅有50%~60%,且传统字面召回方法存在泛化能力弱、无关词以及无词典等问题,这些问题都将影响知识召回的质量。近年来,伴随着大模型而来的还有向量相似度语义召回方法,这种方法虽然能够有效弥补传统方法的不足,具有融会贯通、理解语义等优势,但仍存在召回率较低、相似度本身可优化程度低,性能上限低等问题。为此,本发明提供了一种基于倒数排序的知识召回融合方法及系统,该方法能够将向量相似度语义召回技术和传统字面召回技术相融合,从而提高知识召回的准确率和召回率。
发明内容
基于此,有必要针对上述技术问题,提供一种基于倒数排序的知识召回融合方法及系统,以提高知识召回的准确率和召回率。
根据本发明的第一方面,提供了一种基于倒数排序的知识召回融合方法,该方法包括:
接收多种不同途径搜索方法的知识召回结果;
根据实际场景的需求,配置对应的知识召回融合策略,所述知识召回融合策略包括Stuff模式策略和Refine模式策略;
根据Stuff模式策略或Refine模式策略对多种不同途径搜索方法的知识召回结果进行融合排序处理,生成相应融合排名结果。
在一些实施例的一些可选的实现方式中,所述知识召回结果包括若干子项召回结果和相应子项召回结果的排名。
在一些实施例的一些可选的实现方式中,所述根据Stuff模式策略对多种不同途径搜索方法的知识召回结果进行融合排序处理,具体包括:
将多种不同途径搜索方法的知识召回结果均作为输入值输入至倒序排序算法中,得到相应融合排名结果。
在一些实施例的一些可选的实现方式中,所述根据Refine模式策略对多种不同途径搜索方法的知识召回结果进行融合排序处理,具体包括:
在多种不同途径搜索方法的知识召回结果中先选取任意两种知识召回结果作为输入值输入至倒序排序算法中,得到第一融合排名结果,再将第一融合排名结果与剩余任一知识召回结果作为输入值输入至倒序排序算法中,得到第二融合排名结果,依次递归进行融合排序处理,直至所有知识召回结果均进行融合排序处理为止,得到相应融合排名结果。
在一些实施例的一些可选的实现方式中,所述倒序排序算法的计算步骤,具体包括:
首先预设固定常量k和窗口值a,其中,k≥1,用于进行倒数权重运算;窗口值a用于限定倒序排序算法的输出结果个数;
利用倒序排序模型,得到所有子项召回结果的召回融合得分;
根据预设的窗口值a,输出相应融合排名结果;
所述倒序排序模型的公式如下:
式中:k表示预设的固定常量,且k≥1;d表示某一子项召回结果;D表示知识召回结果的集合;r(d)表示某一子项召回结果的排名;RRFscore(d∈D)表示某一子项召回结果的召回融合得分。
根据本发明的第二方面,提供了一种基于倒数排序的知识召回融合系统,该系统包括:
知识召回结果接收模块,用于接收多种不同途径搜索方法的知识召回结果;
知识召回融合策略配置模块,用于根据实际场景的需求,配置对应的知识召回融合策略,所述知识召回融合策略包括Stuff模式策略和Refine模式策略;
融合排名结果生成模块,用于根据Stuff模式策略或Refine模式策略对多种不同途径搜索方法的知识召回结果进行融合排序处理,生成相应融合排名结果。
在一些实施例的一些可选的实现方式中,所述知识召回结果包括若干子项召回结果和相应子项召回结果的排名。
在一些实施例的一些可选的实现方式中,所述融合排名结果生成模块,包括:Stuff模式策略单元,用于根据Stuff模式策略对多种不同途径搜索方法的知识召回结果进行融合排序处理,具体包括:将多种不同途径搜索方法的知识召回结果均作为输入值输入至倒序排序算法中,得到相应融合排名结果。
在一些实施例的一些可选的实现方式中,所述融合排名结果生成模块,包括:Refine模式策略单元,用于根据Refine模式策略对多种不同途径搜索方法的知识召回结果进行融合排序处理,具体包括:在多种不同途径搜索方法的知识召回结果中先选取任意两种知识召回结果作为输入值输入至倒序排序算法中,得到第一融合排名结果,再将第一融合排名结果与剩余任一知识召回结果作为输入值输入至倒序排序算法中,得到第二融合排名结果,依次递归进行融合排序处理,直至所有知识召回结果均进行融合排序处理为止,得到相应融合排名结果。
在一些实施例的一些可选的实现方式中,所述倒序排序算法的计算步骤,具体包括:
首先预设固定常量k和窗口值a,其中,k≥1,用于进行倒数权重运算;窗口值a用于限定倒序排序算法的输出结果个数;
利用倒序排序模型,得到所有子项召回结果的召回融合得分;
根据预设的窗口值a,输出相应融合排名结果;
所述倒序排序模型的公式如下:
式中:k表示预设的固定常量,且k≥1;d表示某一子项召回结果;D表示知识召回结果的集合;r(d)表示某一子项召回结果的排名;RRFscore(d∈D)表示某一子项召回结果的召回融合得分。
本发明的优点及有益效果在于:
本发明提供的一种基于倒数排序的知识召回融合方法及系统,该方法通过实际场景的需求配置对应的知识召回融合策略,利用Stuff模式策略或Refine模式策略,基于倒序排序算法,不仅可以根据不同实际场景进行灵活调整,还能够针对不同的召回场景进行融合优化,进而有效提升知识召回的准确率和召回率,从而提高召回的总体效果;同时,本发明具有广泛的应用前景,可用于电力和新能源设备的维护、故障排除以及相关问题知识的解答,能够为电力和新能源领域带来巨大的技术进步和经济效益。
附图说明
图1为一种基于倒数排序的知识召回融合方法的流程图;
图2为根据Stuff模式策略对多种不同途径搜索方法的知识召回结果进行融合排序处理的流程图;
图3为根据Refine模式策略对多种不同途径搜索方法的知识召回结果进行融合排序处理的流程图;
图4为一种基于倒数排序的知识召回融合系统的结构示意图;
图5为融合排名结果生成模块的结构示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,下面通过具体实施方式结合附图对本发明做进一步详细说明。应当理解,此处所描述的具体实施例仅用以解释本发明,并不用于限定本发明。
实施例一
第一方面本申请提出了一种基于倒数排序的知识召回融合方法,如图1所示:包括以下步骤:
S1、接收多种不同途径搜索方法的知识召回结果。
应当理解的是,本发明不限定不同途径的搜索方法,而旨在接收不同途径搜索方法的知识召回结果后,利用Stuff模式策略或Refine模式策略,基于倒序排序算法对多种不同途径搜索方法的知识召回结果进行融合排序处理。
在本实施例中,知识召回结果包括若干子项召回结果和相应子项召回结果的排名。
S2、根据实际场景的需求,配置对应的知识召回融合策略,所述知识召回融合策略包括Stuff模式策略和Refine模式策略。
在本实施例中,根据实际场景的需求配置对应的知识召回融合策略,具体包括:
当知识召回结果和相应的排名结果均较为精准时,通常配置Refine模式策略,因为Refine模式策略采用一个串行的顺序,若知识召回结果较差可能会影响最终融合排名结果;
当知识召回结果和相应的排名结果均较差时,通常配置Stuff模式策略,即采用一次性将所有的知识召回结果进行融合,直接得到最终的融合排名结果。
S3、根据Stuff模式策略或Refine模式策略对多种不同途径搜索方法的知识召回结果进行融合排序处理,生成相应融合排名结果。
在本实施例中,根据Stuff模式策略对多种不同途径搜索方法的知识召回结果进行融合排序处理,具体包括:
将多种不同途径搜索方法的知识召回结果均作为输入值输入至倒序排序算法中,得到相应融合排名结果。
其中,本发明涉及的Stuff模式策略主要指一次性将所有接收的不同途径搜索方法的知识召回结果进行融合排序处理,直接得到最终的融合排名结果。
例如:请参见附图2,接收三种不同途径搜索方法(召回方法一、召回方法二、召回方法三)的知识召回结果,将这三种知识召回结果均作为输入值输入至倒序排序算法中,通过倒序排序算法进行统一融合排序,输出相应融合排名结果。
在本实施例中,根据Refine模式策略对多种不同途径搜索方法的知识召回结果进行融合排序处理,具体包括:
在多种不同途径搜索方法的知识召回结果中先选取任意两种知识召回结果作为输入值输入至倒序排序算法中,得到第一融合排名结果,再将第一融合排名结果与剩余任一知识召回结果作为输入值输入至倒序排序算法中,得到第二融合排名结果,依次递归进行融合排序处理,直至所有知识召回结果均进行融合排序处理为止,得到相应融合排名结果。
其中,Refine模式策略主要指将任一两种知识召回结果先进行融合排序处理,得到融合后的融合排名结果,再将融合后的融合排名结果与其他知识召回结果进行二次融合排序处理,得到二次融合后的融合排名结果,依次递归进行融合排序处理,直至所有知识召回结果均进行融合排序处理为止,得到相应融合排名结果。
例如:请参见附图3,接收三种不同途径搜索方法(召回方法一、召回方法二、召回方法三)的知识召回结果,首先将召回方法一和召回方法二的知识召回结果作为输入值输入至倒序排序算法中,得到第一融合排名结果,再将第一融合排名结果与召回方法三的知识召回结果作为输入值输入至倒序排序算法中,通过倒序排序算法进行二次融合排序处理,输出相应融合排名结果。
在本实施例中,倒序排序算法的计算步骤,具体包括:
首先预设固定常量k和窗口值a,其中,k≥1,用于进行倒数权重运算;窗口值a用于限定倒序排序算法的输出结果个数;
利用倒序排序模型,得到所有子项召回结果的召回融合得分;
根据预设的窗口值a,输出相应融合排名结果;
倒序排序模型的公式如下:
式中:k表示预设的固定常量,且k≥1;d表示某一子项召回结果;D表示知识召回结果的集合;r(d)表示某一子项召回结果的排名;RRFscore(d∈D)表示某一子项召回结果的召回融合得分。
例如:首先预设固定常量k=1,窗口值a的大小为3,两种不同途径搜索方法的知识召回结果如下:
召回方法一的知识召回结果:
rank 1,_id 2;
rank 2,_id 3;
rank 3,_id 4;
rank 4,_id 1;
召回方法二的知识召回结果:
rank 1,_id 1;
rank 2,_id 3;
rank 3,_id 2;
rank 4,_id 5;
其中,rank表示排名,例如:rank 1表示排名为1,id表示指唯一标识,例如:_id2表示id为2的子项召回结果;
利用倒序排序模型,计算所有子项召回结果的召回融合得分;
_id:1= 1.0/(1+rank 4) + 1.0/(1+rank 1) = 0.7000;
_id:2=1.0/(1+rank 1) + 1.0/(1+rank 3) = 0.7500;
_id:3= 1.0/(1+rank 2) + 1.0/(1+rank 2) = 0.6666;
_id:4=1.0/(1+rank 3)= 0.2500;
_id:5=1.0/(1+rank 4) = 0.2000;
根据预设的窗口值a的大小,确定并输出排名前三的融合排名结果为:_id2,_id1,_id3。
本实施例提供的一种基于倒数排序的知识召回融合方法,包括:接收多种不同途径搜索方法的知识召回结果;根据实际场景的需求,配置对应的知识召回融合策略,知识召回融合策略包括Stuff模式策略和Refine模式策略;根据Stuff模式策略或Refine模式策略对多种不同途径搜索方法的知识召回结果进行融合排序处理,生成相应融合排名结果;该具体实施方法通过接收多种不同途径搜索方法的知识召回结果,根据实际场景的需求配置对应的知识召回融合策略,利用Stuff模式策略或Refine模式策略,基于倒序排序算法,不仅可以根据不同实际场景进行灵活调整,还能够针对不同的召回场景进行融合优化,进而有效提升知识召回的准确率和召回率,从而提高召回的总体效果;另外,在新能源领域利用智能检修助手进行相关知识文档检索的场景下,可通过建立测试问题以及真实答案的问答测试集,对知识召回结果进行测试,根据测试结果发现:单独采用字面搜索召回技术或者向量相似度语义召回技术进行知识召回时,召回率分别为60%和50%,而采用本发明涉及的基于倒序排序算法的知识召回融合方法进行知识召回时的召回率提升至85%,能够大大提高知识召回的准确率和召回率;同时,本发明具有广泛的应用前景,可用于电力和新能源设备的维护、故障排除以及相关问题知识的解答,能够为电力和新能源领域带来巨大的技术进步和经济效益。
实施例二
本实施例在上述实施例一的基础上,提供一种基于倒数排序的知识召回融合系统200,请参见图4和图5,用于实现上述实施例一的一种基于倒数排序的知识召回融合方法的步骤,该系统200主要包括:知识召回结果接收模块210、知识召回融合策略配置模块220以及融合排名结果生成模块230,其中,
知识召回结果接收模块210,用于接收多种不同途径搜索方法的知识召回结果;
知识召回融合策略配置模块220,用于根据实际场景的需求,配置对应的知识召回融合策略,知识召回融合策略包括Stuff模式策略和Refine模式策略;
融合排名结果生成模块230,用于根据Stuff模式策略或Refine模式策略对多种不同途径搜索方法的知识召回结果进行融合排序处理,生成相应融合排名结果。
在本实施例中,知识召回结果包括若干子项召回结果和相应子项召回结果的排名。
在本实施例中,融合排名结果生成模块230,包括:Stuff模式策略单元231,用于根据Stuff模式策略对多种不同途径搜索方法的知识召回结果进行融合排序处理,具体包括:将多种不同途径搜索方法的知识召回结果均作为输入值输入至倒序排序算法中,得到相应融合排名结果。
在本实施例中,融合排名结果生成模块230,包括:Refine模式策略单元232,用于根据Refine模式策略对多种不同途径搜索方法的知识召回结果进行融合排序处理,具体包括:在多种不同途径搜索方法的知识召回结果中先选取任意两种知识召回结果作为输入值输入至倒序排序算法中,得到第一融合排名结果,再将第一融合排名结果与剩余任一知识召回结果作为输入值输入至倒序排序算法中,得到第二融合排名结果,依次递归进行融合排序处理,直至所有知识召回结果均进行融合排序处理为止,得到相应融合排名结果。
在本实施例中,倒序排序算法的计算步骤,具体包括:
首先预设固定常量k和窗口值a,其中,k≥1,用于进行倒数权重运算;窗口值a用于限定倒序排序算法的输出结果个数;
利用倒序排序模型,得到所有子项召回结果的召回融合得分;
根据预设的窗口值a,输出相应融合排名结果;
倒序排序模型的公式如下:
式中:k表示预设的固定常量,且k≥1;d表示某一子项召回结果;D表示知识召回结果的集合;r(d)表示某一子项召回结果的排名;RRFscore(d∈D)表示某一子项召回结果的召回融合得分。
附图中的流程图和框图,图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分,该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个接连地表示的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或操作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
描述于本公开的一些实施例中的单元可以通过软件的方式实现,也可以通过硬件的方式来实现。所描述的单元也可以设置在处理器中,例如,可以描述为:一种处理器包括数据获取单元、规则确定单元权重计算单元和异常确定单元。其中,这些单元的名称在某种情况下并不构成对该单元本身的限定,例如,数据获取单元还可以被描述为“获取训练数据的单元”。
本文中以上描述的功能可以至少部分地由一个或多个硬件逻辑部件来执行。例如,非限制性地,可以使用的示范类型的硬件逻辑部件包括:现场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、片上系统(SOC)、复杂可编程逻辑设备(CPLD)等。
以上内容是结合具体的实施方式对本发明所做的进一步详细说明,不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说,在不脱离本发明构思的前提下,还可以做出若干简单推演或替换,都应当视为属于本发明的保护范围。
显然,本领域的技术人员应该明白,上述本发明的各步骤实施方式可以以不同于本发明的方式执行,模拟方法及实验设备包括但不限于上述说明。上述本发明的各步骤在某些情况下可以以不同于此处的顺序执行,上述所示或描述的步骤,可将它们分开执行。所以,本发明不限制于任何特定的硬件和软件结合。
以上内容是结合具体的实施方式对本发明所做的进一步详细说明,不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说,在不脱离本发明构思的前提下,还可以做出若干简单推演或替换,都应当视为属于本发明的保护范围。
Claims (10)
1.一种基于倒数排序的知识召回融合方法,其特征在于,包括:
接收多种不同途径搜索方法的知识召回结果;
根据实际场景的需求,配置对应的知识召回融合策略,所述知识召回融合策略包括Stuff模式策略和Refine模式策略;
根据Stuff模式策略或Refine模式策略对多种不同途径搜索方法的知识召回结果进行融合排序处理,生成相应融合排名结果。
2.根据权利要求1所述的一种基于倒数排序的知识召回融合方法,其特征在于,所述知识召回结果包括若干子项召回结果和相应子项召回结果的排名。
3.根据权利要求2所述的一种基于倒数排序的知识召回融合方法,其特征在于,所述根据Stuff模式策略对多种不同途径搜索方法的知识召回结果进行融合排序处理,具体包括:
将多种不同途径搜索方法的知识召回结果均作为输入值输入至倒序排序算法中,得到相应融合排名结果。
4.根据权利要求2所述的一种基于倒数排序的知识召回融合方法,其特征在于,所述根据Refine模式策略对多种不同途径搜索方法的知识召回结果进行融合排序处理,具体包括:
在多种不同途径搜索方法的知识召回结果中先选取任意两种知识召回结果作为输入值输入至倒序排序算法中,得到第一融合排名结果,再将第一融合排名结果与剩余任一知识召回结果作为输入值输入至倒序排序算法中,得到第二融合排名结果,依次递归进行融合排序处理,直至所有知识召回结果均进行融合排序处理为止,得到相应融合排名结果。
5.根据权利要求3或4任一所述的一种基于倒数排序的知识召回融合方法,其特征在于,所述倒序排序算法的计算步骤,具体包括:
首先预设固定常量k和窗口值a,其中,k≥1,用于进行倒数权重运算;窗口值a用于限定倒序排序算法的输出结果个数;
利用倒序排序模型,得到所有子项召回结果的召回融合得分;
根据预设的窗口值a,输出相应融合排名结果;
所述倒序排序模型的公式如下:
式中:k表示预设的固定常量,且k≥1;d表示某一子项召回结果;D表示知识召回结果的集合;r(d)表示某一子项召回结果的排名;RRFscore(d∈D)表示某一子项召回结果的召回融合得分。
6.一种基于倒数排序的知识召回融合系统,其特征在于,包括:
知识召回结果接收模块,用于接收多种不同途径搜索方法的知识召回结果;
知识召回融合策略配置模块,用于根据实际场景的需求,配置对应的知识召回融合策略,所述知识召回融合策略包括Stuff模式策略和Refine模式策略;
融合排名结果生成模块,用于根据Stuff模式策略或Refine模式策略对多种不同途径搜索方法的知识召回结果进行融合排序处理,生成相应融合排名结果。
7.根据权利要求6所述的一种基于倒数排序的知识召回融合系统,其特征在于,所述知识召回结果包括若干子项召回结果和相应子项召回结果的排名。
8.根据权利要求7所述的一种基于倒数排序的知识召回融合系统,其特征在于,所述融合排名结果生成模块,包括:Stuff模式策略单元,用于根据Stuff模式策略对多种不同途径搜索方法的知识召回结果进行融合排序处理,具体包括:将多种不同途径搜索方法的知识召回结果均作为输入值输入至倒序排序算法中,得到相应融合排名结果。
9.根据权利要求7所述的一种基于倒数排序的知识召回融合系统,其特征在于,所述融合排名结果生成模块,包括:Refine模式策略单元,用于根据Refine模式策略对多种不同途径搜索方法的知识召回结果进行融合排序处理,具体包括:在多种不同途径搜索方法的知识召回结果中先选取任意两种知识召回结果作为输入值输入至倒序排序算法中,得到第一融合排名结果,再将第一融合排名结果与剩余任一知识召回结果作为输入值输入至倒序排序算法中,得到第二融合排名结果,依次递归进行融合排序处理,直至所有知识召回结果均进行融合排序处理为止,得到相应融合排名结果。
10.根据权利要求8或9任一所述的一种基于倒数排序的知识召回融合系统,其特征在于,所述倒序排序算法的计算步骤,具体包括:
首先预设固定常量k和窗口值a,其中,k≥1,用于进行倒数权重运算;窗口值a用于限定倒序排序算法的输出结果个数;
利用倒序排序模型,得到所有子项召回结果的召回融合得分;
根据预设的窗口值a,输出相应融合排名结果;
所述倒序排序模型的公式如下:
式中:k表示预设的固定常量,且k≥1;d表示某一子项召回结果;D表示知识召回结果的集合;r(d)表示某一子项召回结果的排名;RRFscore(d∈D)表示某一子项召回结果的召回融合得分。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202410112578.XA CN117633208B (zh) | 2024-01-26 | 2024-01-26 | 一种基于倒数排序的知识召回融合方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202410112578.XA CN117633208B (zh) | 2024-01-26 | 2024-01-26 | 一种基于倒数排序的知识召回融合方法及系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN117633208A true CN117633208A (zh) | 2024-03-01 |
CN117633208B CN117633208B (zh) | 2024-08-06 |
Family
ID=90018499
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202410112578.XA Active CN117633208B (zh) | 2024-01-26 | 2024-01-26 | 一种基于倒数排序的知识召回融合方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117633208B (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN118363981A (zh) * | 2024-06-19 | 2024-07-19 | 北方健康医疗大数据科技有限公司 | 一种医疗文本混合检索方法及系统 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109299245A (zh) * | 2018-11-27 | 2019-02-01 | 阿里巴巴集团控股有限公司 | 知识点召回的方法和装置 |
CN114064929A (zh) * | 2021-11-29 | 2022-02-18 | 工银科技有限公司 | 搜索排序方法及装置 |
EP4242879A1 (en) * | 2022-01-30 | 2023-09-13 | Beijing Baidu Netcom Science And Technology Co., Ltd. | Ranking method and apparatus, ranking model training method and apparatus, and electronic device and medium |
CN117011745A (zh) * | 2022-11-30 | 2023-11-07 | 腾讯科技(深圳)有限公司 | 一种数据处理方法、装置、计算机设备以及可读存储介质 |
-
2024
- 2024-01-26 CN CN202410112578.XA patent/CN117633208B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109299245A (zh) * | 2018-11-27 | 2019-02-01 | 阿里巴巴集团控股有限公司 | 知识点召回的方法和装置 |
CN114064929A (zh) * | 2021-11-29 | 2022-02-18 | 工银科技有限公司 | 搜索排序方法及装置 |
EP4242879A1 (en) * | 2022-01-30 | 2023-09-13 | Beijing Baidu Netcom Science And Technology Co., Ltd. | Ranking method and apparatus, ranking model training method and apparatus, and electronic device and medium |
CN117011745A (zh) * | 2022-11-30 | 2023-11-07 | 腾讯科技(深圳)有限公司 | 一种数据处理方法、装置、计算机设备以及可读存储介质 |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN118363981A (zh) * | 2024-06-19 | 2024-07-19 | 北方健康医疗大数据科技有限公司 | 一种医疗文本混合检索方法及系统 |
Also Published As
Publication number | Publication date |
---|---|
CN117633208B (zh) | 2024-08-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Nie et al. | Combining fact extraction and verification with neural semantic matching networks | |
CN117633208B (zh) | 一种基于倒数排序的知识召回融合方法及系统 | |
CN111858869B (zh) | 一种数据匹配方法、装置、电子设备和存储介质 | |
CN110147456B (zh) | 一种图像分类方法、装置、可读存储介质及终端设备 | |
CN114897163A (zh) | 预训练模型数据处理方法、电子设备及计算机存储介质 | |
CN116702766A (zh) | 一种基于大语言模型的领域知识库自动构建方法和装置 | |
CN112632264A (zh) | 智能问答方法、装置、电子设备及存储介质 | |
CN112420125A (zh) | 分子属性预测方法、装置、智能设备和终端 | |
CN117009478A (zh) | 一种基于软件知识图谱问答问句解析过程的算法融合方法 | |
CN116628162A (zh) | 语义问答方法、装置、设备及存储介质 | |
CN110825852A (zh) | 面向长文本的语义匹配方法及系统 | |
CN116070159A (zh) | 一种样本不平衡下实现飞机主电源系统故障诊断的方法及装置 | |
CN107545035A (zh) | 一种信息搜索方法及装置 | |
CN114357219A (zh) | 一种面向移动端实例级图像检索方法及装置 | |
CN114360677A (zh) | 基于多轮问答的ct影像报告信息抽取方法、装置、计算机设备和存储介质 | |
CN114547286A (zh) | 一种信息搜索方法、装置及电子设备 | |
CN113470830A (zh) | 异常数据处理方法、装置、设备及存储介质 | |
Chowdhury et al. | Too Big to Fail? Active Few-Shot Learning Guided Logic Synthesis | |
CN117493588B (zh) | 检索结果的确定方法及装置、存储介质、电子装置 | |
CN112328787B (zh) | 文本分类模型训练方法、装置、终端设备及存储介质 | |
CN117891929B (zh) | 改进型深度学习算法的知识图谱智能问答信息识别方法 | |
CN118245590B (zh) | 基于多视角图对比学习和元学习特征净化网络的答案选择方法及系统 | |
CN116910171A (zh) | 关键词提取方法、装置及电子设备 | |
CN117609447A (zh) | 问答背景信息的生成方法、装置、设备及存储介质 | |
CN117648406A (zh) | 文本无监督排序方法及系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |