CN112506864B - 文件检索的方法、装置、电子设备及可读存储介质 - Google Patents
文件检索的方法、装置、电子设备及可读存储介质 Download PDFInfo
- Publication number
- CN112506864B CN112506864B CN202011509344.7A CN202011509344A CN112506864B CN 112506864 B CN112506864 B CN 112506864B CN 202011509344 A CN202011509344 A CN 202011509344A CN 112506864 B CN112506864 B CN 112506864B
- Authority
- CN
- China
- Prior art keywords
- file
- search
- retrieval
- acquiring
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 39
- 239000013598 vector Substances 0.000 claims description 30
- 238000012545 processing Methods 0.000 claims description 11
- 238000013473 artificial intelligence Methods 0.000 abstract description 3
- 238000003058 natural language processing Methods 0.000 abstract description 2
- 238000004590 computer program Methods 0.000 description 10
- 238000004891 communication Methods 0.000 description 8
- 238000012549 training Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 238000013507 mapping Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000003062 neural network model Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 230000011218 segmentation Effects 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000012512 characterization method Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000010219 correlation analysis Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 238000012552 review Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/14—Details of searching files based on file metadata
- G06F16/148—File search processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/14—Details of searching files based on file metadata
- G06F16/156—Query results presentation
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Library & Information Science (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本申请公开了一种文件检索方法、装置、电子设备及可读存储介质,涉及人工智能领域的自然语言处理技术领域。具体实现方案为:获取用户输入的检索信息;基于所述检索信息,对云盘文件进行文件检索,获取文件检索集合;基于预设评分规则获取所述文件检索集合中每一个检索文件对应的分值;根据所述分值对所述文件检索集合中包括的检索文件进行排序,返回排序后的文件检索结果。本申请提供的方案更加方便用户在文件检索结果中查找到需要的文件,为用户带来更好的文件检索体验。
Description
技术领域
本公开涉及人工智能领域的自然语言处理技术领域,尤其涉及一种文件检索方法、装置、电子设备及可读存储介质。
背景技术
企业云盘是一种面向企业终端使用者的一系列文件服务,使用者可以通过云盘进行文件存储及多人协同编辑。目前,当对企业云盘中的文件进行搜索,返回检索结果时,通常是将检索到的文件按照文件更新时间进行倒序排列,当检索出的文件较多时,往往需要用户在众多检索文件中进行再次查询才能找到需要的文件。
发明内容
本公开提供了一种文件检索的方法、装置、电子设备及可读存储介质。
根据本公开的一方面,提供了一种文件检索的方法,包括:
获取用户输入的检索信息;
基于所述检索信息,对云盘文件进行文件检索,获取文件检索集合;
基于预设评分规则获取所述文件检索集合中每一个检索文件对应的分值;
根据所述分值对所述文件检索集合中包括的检索文件进行排序,返回排序后的文件检索结果。
根据本公开的另一方面,提供了一种文件检索的装置,包括:
第一获取模块,用于获取用户输入的检索信息;
检索模块,用于基于所述检索信息,对云盘文件进行文件检索,获取文件检索集合;
评分模块,用于基于预设评分规则获取所述文件检索集合中每一个检索文件对应的分值;
排序模块,用于根据所述分值对所述文件检索集合中包括的检索文件进行排序,返回排序后的文件检索结果。
根据本公开的另一方面,提供了一种电子设备,包括:
至少一个处理器;以及
与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行如上述一方面中所述的文件检索的方法。
根据本公开的另一方面,提供了一种存储有计算机指令的非瞬时计算机可读存储介质,所述计算机指令用于使所述计算机执行如上述一方面中所述的文件检索的方法。
根据本公开的另一方面,提供了一种计算机程序产品,包括计算机程序,所述计算机程序在被处理器执行时实现如上述一方面中所述的文件检索的方法
根据本申请的技术,使得返回的文件检索结果有序可循,更加方便用户在文件检索结果中查找到需要的文件,为用户带来更好的文件检索体验。
应当理解,本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征,也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
附图用于更好地理解本方案,不构成对本申请的限定。其中:
图1是根据本申请一实施例提供的一种文件检索的方法的流程图;
图1a是图1实施例中获取文件检索集合步骤的流程图;
图1b是图1实施例中获取检索文件对应的分值步骤的流程图;
图2是根据本申请一实施例提供的另一种文件检索的方法的流程图;
图3是根据本申请一实施例提供的一种文件检索的装置的结构图;
图4是用来实现本申请实施例的文件检索的方法的电子设备的框图。
具体实施方式
以下结合附图对本申请的示范性实施例做出说明,其中包括本申请实施例的各种细节以助于理解,应当将它们认为仅仅是示范性的。因此,本领域普通技术人员应当认识到,可以对这里描述的实施例做出各种改变和修改,而不会背离本申请的范围和精神。同样,为了清楚和简明,以下的描述中省略了对公知功能和结构的描述。
为更好地理解本申请实施例所提供的技术方案,以下对本申请实施例中可能涉及的相关概念进行解释说明。
域:代表文档中的内容块,通常企业级多人协作的写作系统(wiki)文档分为标题(title)和内容(content)两个域。
term:对查询参数(query)或域的内容进行分词,得到的结果称为term,如query为“第一云计算”,则其分词后的query term为“第一”和“云计算”两个term。
Embedding:Embedding在数学上表示一个映射,可以是通过映射函数表示,该映射函数是单射函数,例如f(x)=y,每个y只有唯一的x对应,反之亦然。在本申请及一般的计算机领域中,Embedding可以理解为将某种内容(例如网络中的一个节点,句子中的一个词等)通过算法与模型映射为一个高维向量。
本申请实施例提供了一种文件检索的方法,所述文件检索的方法可以是由文件检索的装置来执行,该装置可以是采用软件和/或硬件的方式实现,例如该装置可以是手机、平板电脑、笔记本计算机、台式计算机等。
请参照图1,所述文件检索的方法包括以下步骤:
步骤S101、获取用户输入的检索信息。
其中,所述检索信息可以是用户根据其检索目的而在文件检索的装置中输入的检索内容,所述检索信息可以是一个字、一个词、一个句子,可以是中文、英文、数字,也可以是前述几种形式结合所形成的检索内容。例如,所述检索信息为用户输入的“北京天气”,或是“北京朝阳区天气”等。
步骤S102、基于所述检索信息,对云盘文件进行文件检索,获取文件检索集合。
需要说明的是,本申请实施例的应用场景可以是对企业云盘中存储的文件进行检索,或者也可以是应用在其他的云盘文件的检索场景。
本申请实施例中,在获取到用户输入的检索信息后,基于所述检索信息对云盘文件进行检索,以获取文件检索集合。例如,可以是获取云盘文件中所有文件各自对应的文件名,检索所有的文件名中包括所述检索信息的文件名,获取这类包括所述检索信息的文件名对应的文件,以得到文件检索集合。
例如,所述检索信息为“会议记录”,则检索云盘文件中所有包括“会议记录”的文件名,获取所有包括“会议记录”文件名的文件,则文件检索集合中所包括的每一个文件都包括“会议记录”的文件名。
步骤S103、基于预设评分规则获取所述文件检索集合中每一个检索文件对应的分值。
本申请实施例中,在基于用户输入的检索信息,对云盘文件进行文件检索,获得文件检索集合后,则基于预设评分规则对所述文件检索集合中的每一个检索文件进行打分,以获得所述文件检索集合中每一个检索文件对应的分值,而后可以是基于分值大小对所述文件检索集合中的检索文件进行排序。
可选地,所述预设评分规则可以是用户预先设置的一个评分标准,例如检索文件的创建时间越早的,对应的分值越低;或者又如,检索文件的更新时间越靠近当前时间,对应的分值越高,等。
步骤S104、根据所述分值对所述文件检索集合中包括的检索文件进行排序,返回排序后的文件检索结果。
本申请实施例中,在基于预设评分规则获得所述文件检索集合中每一个检索文件对应的分值后,则根据所述分值对所述文件检索集合中所包括的检索文件进行排序,例如可以是按照分值从大到小的顺序排列,分值越高的排列越靠前,并返回排序后的文件检索结果。例如,所述排序后的文件检索结果可以是以列表的形式显示于文件检索的装置的显示界面上,例如分值越高的,排列在该列表的越靠前的位置。这样也就使得返回的文件检索结果有序可循,更加方便用户快速获取到想要的文件。
本申请实施例提供的方案,基于用户输入的检索信息,对云盘文件进行文件检索,获取文件检索集合,然后基于预设评分规则获取所述文件检索集合中每一个检索文件对应的分值,根据所述分值对所述文件检索集合中包括的检索文件进行排序,并返回排序后的文件检索结果。这样,也就能够对检索到的检索文件进行排序,使得返回的文件检索结果有序可循,更加方便用户在文件检索结果中查找到需要的文件,为用户带来更好的文件检索体验。
可选地,请参照图1a,所述步骤S102可以包括:
步骤S1021、基于所述检索信息,通过第一检索方式及第二检索方式分别对云盘文件进行文件检索,其中,所述第二检索方式为基于语义特征的检索方式;
步骤S1022、获取所述第一检索方式对应的第一检索集合,以及所述第二检索方式对应的第二检索集合;
步骤S1023、对所述第一检索集合及所述第二检索集合进行合并,并对合并后的检索集合进行数据去重处理,以得到文件检索集合。
其中,所述第一检索方式不同于第二检索方式。例如,所述第一检索方式为基于Elastic search搜索引擎的检索方式,所述第二检索方式为基于语义特征的检索方式。
本申请实施例中,在获取到所述检索信息后,分别通过第一检索方式和第二检索方式对云盘文件进行文件检索,例如通过基于Elastic search搜索引擎的方式对云盘文件进行文件检索,以得到第一检索集合,同时通过基于语义特征的检索方式对云盘文件进行文件检索,得到第二检索集合;然后合并所述第一检索集合和第二检索集合。可以理解地,通过两种方式分别得到的检索集合中,可能会存在重复的检索文件,则对合并后的检索集合进行数据去重处理,以得到最终的文件检索集合。例如第一检索集合和第二检索集合中都包括文件A,在合并两个检索集合后,则删除一个文件A,使得合并后的文件检索集合中只保留一个文件A,进而合并后的文件检索集合中也就不会存在重复的文件,避免得到的文件检索集合中存在重复数据而造成数据量过大,也就能够方便用户对文件检索集合中文件的查阅。
可选地,所述第一检索方式以基于Elastic search搜索引擎的检索方式为例,可以是通过文件名称(title)和内容(content)两个域进行检索。当获取到用户输入的检索信息,Elastic search搜索引擎根据term命中情况及相关性分析进行文件检索,召回检索结果以得到第一检索集合。需要说明的是,在检索时,还可以对用户的检索权限进行过滤,只召回用户权限范围内的文件。进一步地,还可以是生成提示信息,以提示用户提供一些特征信息以进一步缩小检索范围,如文件的扩展名称、文件更新时间范围区间、用户是否为文件创建人等;所述提示信息可以是显示在文件检索的装置的显示界面上,以获取用户输入的特征信息,并基于所述特征信息进行进一步的检索,以使得到的检索结果更加精确。
本申请实施例中,所述第二检索方式为基于语义特征的检索方式,或者说,所述第二检索方式可以是通过计算文本相似度来进行检索。可选地,所述基于所述检索信息,通过第二检索方式分别对云盘文件进行文件检索包括:
基于所述检索信息,获取所述检索信息对应的第一语义向量;
获取云盘文件各自对应的文件名,获取每个文件名各自对应的第二语义向量;
基于所述第一语义向量及所述第二语义向量,获取所述检索信息与各文件名的语义相似度;
将所述语义相似度大于预设值的文件名对应的文件确定为目标文件,其中,所述第二检索集合包括所述目标文件。
具体地,在获取到用户输入的检索信息后,获取所述检索信息对应的第一语义向量。其中,所述第一语义向量可以是基于预设的语义表征模型来得到,所述语义表征模型为神经网络模型,通过用户输入的样本词语及对应的语义向量,以对所述语义表征模型进行训练,进而以获得词语与语义向量之间的相关性。可以理解地,在获取到所述检索信息后,基于所述语义表征模型,获得该检索信息对应的第一语义向量。需要说明的是,若所述检索信息包括多个词语,或者所述检索信息为语句,则可以是对所述检索信息进行分词处理,以得到多个检索词语,基于每一个检索词语来获得对应的第一语义向量。
基于相似的原理,获取云盘文件中存储的文件各自对应的文件名后,同样可以是基于上述语义表征模型来获得每个文件名各自对应的第二语义向量。需要说明的是,在所述文件名包括多个词语的情况下,可以是分别获取每个词语各自对应的第二语义向量。例如,所述文件名中包括“会议记录”,则可以是通过分词处理划分为“会议”和“记录”两个词语,并分别获取这两个词语各自对应的第二语义向量。
进一步地,在获得检索信息对应的第一语义向量,以及云盘文件中每个文件名各自对应的第二语义向量后,可以是通过余弦相似度计算方法计算第一语义向量与第二语义向量之间的余弦距离,进而得到检索信息与各文件名之间的语义相似度,并将语义相似度大于预设值的文件名对应的文件确定为目标文件,这样也就能够获得通过第二检索方式得到的第二检索集合,第二检索集合也就是由目标文件组成。可选地,可以是通过Ernie2.0模型对检索信息和文件名进行编码,将检索信息和文件名所对应的文本转化到向量空间进行语义相似度衡量,进而以得到第二检索方式的召回结果。
例如,若所述检索信息为“会议记录”,通过余弦相似度计算方法计算得到与该检索信息的语义相似度较高的文件名可以是包括“会议纪要”、“会议概要”、“集会记录”等词语;进一步地,将包括这些文字的文件名所对应的文件确定为目标文件,进而也就得到了第二检索集合。
本申请实施例中,通过基于语义特征的第二检索方式对用户输入的检索信息进行文件检索,也就能够将与检索信息语义相似度较高的检索文件也检索出来,更有效地扩大了检索范围,得到更多的检索结果,更有利于用户在检索结果中得到需要的文件,提升用户的检索使用体验。
可选地,请参照图1b,所述步骤S103可以包括:
步骤S1031、获取所述文件检索集合中每一个检索文件对应的文件特征参数,所述文件特征参数包括文件更新时间、文件最近一次查看时间、文件最近一次编辑时间、文件名与所述检索信息之间的相关性、所述检索信息在文件名中的命中比例中的至少一项;
步骤S1032、基于预设评分模型,获取所述文件检索集合中每一个检索文件对应的分值,其中,所述预设评分模型为输入为所述检索文件对应的文件特征参数,输出为所述检索文件对应的分值的网络模型。
需要说明的是,所述预设评分模型为神经网络模型,该预设评分模型可以是预先基于用户输入的样本文件及对应的目标分值进行自学习训练,以得到文件与分值之间的相关性。其中,所述样本文件包括样本参数,所述样本参数包括文件更新时间、文件最近一次查看时间、文件最近一次编辑时间、文件名与所述检索信息之间的相关性、所述检索信息在文件名中的命中比例中的至少一项,这些样本参数会对所述样本文件对应的分值产生影响。例如,文件更新时间越靠近当前时间,则对应的分值越高;文件最近一次查看时间越靠近当前时间,则对应的分值越高;文件最近一次编辑时间越靠近当前时间,则对应的分值越高;文件名与检索信息之间的相关性越高,或者说相似度越高,则对应的分值越高;检索信息在文件名中的命中比例越高,则对应的分值越高。其中,所述样本文件对应的分值,可以是上述所有样本参数各自对应的分值的平均值,或者是加权平均值,每一个样本参数可以是有对应的权重值。
其中,所述检索信息在文件名中的命中比例,可以是指检索信息在文件名中所占的比例。例如,所述检索信息为“会议记录”,若文件名为“2020年度优秀员工表彰大会会议记录”,则该检索信息在该文件名中的命中比例为26.7%;若所述检索信息为“会议记录、优秀员工”,文件名为“2020年度优秀员工表彰大会会议纪要”,则该检索信息在该文件名中的命中比例为40%。
本申请实施例中,在基于用户输入的检索信息获取到文件检索集合后,获取所述文件检索集合中每一个检索文件对应的文件特征参数,将这些文件特征参数作为预设评分模型的输入,并获取预设评分模型输出的分值,进而也就能够每一个检索文件对应的分值。这样,也就能够基于预设评分模型自动实现对文件检索集合中所包括的检索文件的打分,使得对于检索文件的评分更加客观化,且预设评分模型的打分依据是基于检索文件对应的多个文件特征参数来得出,使得对于检索文件的评分更加全面,能够提升对检索文件评分的准确性。
例如,所述预设评分规则基于预设评分模型来实现,预设评分模型的输入为检索文件对应的文件特征参数,而文件特征参数包括文件更新时间、文件最近一次查看时间、文件最近一次编辑时间、文件名与所述检索信息之间的相关性、所述检索信息在文件名中的命中比例中的至少一项,这些文件特征参数也就会影响检索文件对应的分值。而检索文件对应的分值越高,则其排序可能越靠前,也就使得用户能够更迅速地查看到这些分值较高的检索文件,例如检索信息在文件名中的命中比例越高,该文件名对应的检索文件的分值也就越高,说明该检索文件与检索信息相关性更高,则该检索文件的排序越靠前,进而也就使得与检索信息相关性较高的检索文件越靠前,使得用户能够最先看到这种与检索信息相关性较高的文件,为用户带来更好的文件检索体验。
可选地,本申请实施例中,所述步骤S103之前还可以包括以下步骤:
获取所述文件检索集合中每一个检索文件对应的用户输入;
基于所述用户输入获得所述检索文件对应的目标文件特征参数;
其中,所述文件特征参数包括所述目标文件特征参数,所述目标文件特征参数包括文件更新时间、文件最近一次查看时间、文件最近一次编辑时间中的至少一项。
可以理解地,用户可以是对云盘中存储的文件进行查看、创建、编辑等操作,而用户的这些行为能够影响文件对应的文件特征参数。
本申请实施例中,文件检索的装置可以是实时获取所述文件检索集合中每一个检索文件对应的用户输入,所述用户输入可以是对文件进行的查看、创建、编辑等操作;基于所述用户输入获得检索文件对应的目标文件特征参数。可以理解地,用户查看某检索文件,进而该检索文件对应的文件最近一次查看时间也就会被更新,则文件检索的装置获取该被更新的文件最近一次查看时间。这样,也就能够基于用户输入实时更新检索文件对应的目标文件特征参数。
其中,所述文件特征参数包括所述目标文件特征参数,而文件特征参数会对检索文件的分值产生影响,进而用户输入也就会对检索文件的分值产生影响。例如,用户每更新一次检索文件,则该检索文件对应的文件更新时间也就越靠近当前时间,则该检索文件对应的分值越高;或者,用户对检索文件的编辑时间越靠近当前时间,该检索文件对应的分值也越高,等;而检索文件对应的分值越高,也就能够在排序后的文件检索结果中排列越靠前。这样,检索文件对应的用户输入越是靠近当前时间,说明这类的检索文件也就是比较重要、或者说使用比较多的文件,也就能够在返回的文件检索结果中更容易被用户看到,更加方便用户通过文件检索来获取到这类检索文件,提升用户的文件检索体验。
本申请实施例提供的方案,基于用户输入的检索信息,对云盘文件进行文件检索,获取文件检索集合,然后基于预设评分规则获取所述文件检索集合中每一个检索文件对应的分值,根据所述分值对所述文件检索集合中包括的检索文件进行排序,并返回排序后的文件检索结果。这样,也就能够对检索到的检索文件进行排序,使得返回的文件检索结果有序可循,更加方便用户在文件检索结果中查找到需要的文件,为用户带来更好的文件检索体验。
为更好地理解本方案,请参照图2,图2是本申请实施例提供的另一种文件检索的方法的流程图。
如图2所示,文件检索的装置首先获取用户输入query,所述query也即上述实施例中所述的检索信息;然后基于Elastic search搜索引擎的方式对所述query进行文件检索,同步基于语义表征模型对所述query进行文件检索,所述语义表征模型基于近似最近邻(Approximate Nearest Neighbor,ANN)的检索方式进行,获取ANN检索召回集合,以及基于Elastic search搜索引擎方式得到的召回集合,将两种方式得到的召回集合进行召回集合合并,然后通过预设评分模型打分,对召回集合中的检索文件进行二次排序,返回检索结果。其中,在进行召回集合合并的步骤中,还能够从用户-文档特征正排库中获取用户-文档特征,所述用户-文档特征可以是指上述实施例中的目标文件特征参数,所述用户-文档特征正排库可以是存储用户输入与文档特征之间关联性的数据库,例如文档特征关联用户查看该文档的最近一次查看时间、用户更新该文档的更新时间等。另外,在通过预设评分模型打分之前,还包括对预设评分模型的模型离线训练,例如模型训练可以是基于用户输入的样本文件及对应的目标分值进行自学习训练,通过比对模型给出的分值与目标分值之间的比对来对离线效果评估,并依此进行迭代处理,最终策略上线,也即得到文件与分值之间的相关性,所述对于模型离线训练的过程及原理可以是参照相关的神经网络模型训练方式,本实施例对此不做过多赘述。
本申请实施例中,通过两种检索方式来同时进行文件检索,也就能够得到更多的检索结果,使得对于文件检索更加精确,确保文件检索的全面性;并通过对检索结果进行排序,使得返回的文件检索结果有序可循,更加方便用户在文件检索结果中查找到需要的文件,为用户带来更好的文件检索体验。
请参照图3,图3是本申请实施例提供的一种文件检索的装置的结构图。如图3所示,所述文件检索的装置300包括:
第一获取模块301,用于获取用户输入的检索信息;
检索模块302,用于基于所述检索信息,对云盘文件进行文件检索,获取文件检索集合;
评分模块303,用于基于预设评分规则获取所述文件检索集合中每一个检索文件对应的分值;
排序模块304,用于根据所述分值对所述文件检索集合中包括的检索文件进行排序,返回排序后的文件检索结果。
可选地,所述检索模块302还用于:
基于所述检索信息,通过第一检索方式及第二检索方式分别对云盘文件进行文件检索,其中,所述第二检索方式为基于语义特征的检索方式;
获取所述第一检索方式对应的第一检索集合,以及所述第二检索方式对应的第二检索集合;
对所述第一检索集合及所述第二检索集合进行合并,并对合并后的检索集合进行数据去重处理,以得到文件检索集合。
可选地,所述检索模块302还用于:
基于所述检索信息,获取所述检索信息对应的第一语义向量;
获取云盘文件各自对应的文件名,获取每个文件名各自对应的第二语义向量;
基于所述第一语义向量及所述第二语义向量,获取所述检索信息与各文件名的语义相似度;
将所述语义相似度大于预设值的文件名对应的文件确定为目标文件,其中,所述第二检索集合包括所述目标文件。
可选地,所述评分模块303还用于:
获取所述文件检索集合中每一个检索文件对应的文件特征参数,所述文件特征参数包括文件更新时间、文件最近一次查看时间、文件最近一次编辑时间、文件名与所述检索信息之间的相关性、所述检索信息在文件名中的命中比例中的至少一项;
基于预设评分模型,获取所述文件检索集合中每一个检索文件对应的分值,其中,所述预设评分模型为输入为所述检索文件对应的文件特征参数,输出为所述检索文件对应的分值的网络模型。
可选地,所述文件检索的装置300还包括:
第二获取模块,用于获取所述文件检索集合中每一个检索文件对应的用户输入;
第三获取模块,用于基于所述用户输入获得所述检索文件对应的目标文件特征参数;
其中,所述文件特征参数包括所述目标文件特征参数,所述目标文件特征参数包括文件更新时间、文件最近一次查看时间、文件最近一次编辑时间中的至少一项。
本实施例提供的文件检索的装置300能够实现上述文件检索的方法实施例的全部技术方案,因此至少能够实现上述全部技术效果,此处不再赘述。
根据本申请的实施例,本申请还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。
图4示出了可以用来实施本公开的实施例的示例电子设备400的示意性框图。电子设备400旨在表示各种形式的数字计算机,诸如,膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备400还可以表示各种形式的移动装置,诸如,个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例,并且不意在限制本文中描述的和/或者要求的本公开的实现。
如图4所示,电子设备400包括计算单元401,其可以根据存储在只读存储器(ROM)402中的计算机程序或者从存储单元408加载到随机访问存储器(RAM)403中的计算机程序,来执行各种适当的动作和处理。在RAM 403中,还可存储设备400操作所需的各种程序和数据。计算单元401、ROM 402以及RAM 403通过总线404彼此相连。输入/输出(I/O)接口405也连接至总线404。
设备400中的多个部件连接至I/O接口405,包括:输入单元406,例如键盘、鼠标等;输出单元407,例如各种类型的显示器、扬声器等;存储单元408,例如磁盘、光盘等;以及通信单元409,例如网卡、调制解调器、无线通信收发机等。通信单元409允许设备400通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
计算单元401可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元401的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元401执行上文所描述的各个方法和处理,例如文件检索的方法。例如,在一些实施例中,文件检索的方法可被实现为计算机软件程序,其被有形地包含于机器可读介质,例如存储单元408。在一些实施例中,计算机程序的部分或者全部可以经由ROM 402和/或通信单元409而被载入和/或安装到设备400上。当计算机程序加载到RAM 403并由计算单元401执行时,可以执行上文描述的文件检索的方法的一个或多个步骤。备选地,在其他实施例中,计算单元401可以通过其他任何适当的方式(例如,借助于固件)而被配置为执行文件检索的方法。
本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括:实施在一个或者多个计算机程序中,该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释,该可编程处理器可以是专用或者通用可编程处理器,可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令,并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器,使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行,作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
在本公开的上下文中,机器可读介质可以是有形的介质,其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备,或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
为了提供与用户的交互,可以在计算机上实施此处描述的系统和技术,该计算机具有:用于向用户显示信息的显示装置(例如,CRT(阴极射线管)或者LCD(液晶显示器)监视器);以及键盘和指向装置(例如,鼠标或者轨迹球),用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互;例如,提供给用户的反馈可以是任何形式的传感反馈(例如,视觉反馈、听觉反馈、或者触觉反馈);并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如,作为数据服务器)、或者包括中间件部件的计算系统(例如,应用服务器)、或者包括前端部件的计算系统(例如,具有图形用户界面或者网络浏览器的用户计算机,用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如,通信网络)来将系统的部件相互连接。通信网络的示例包括:局域网(LAN)、广域网(WAN)和互联网。
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。
应该理解,可以使用上面所示的各种形式的流程,重新排序、增加或删除步骤。例如,本发公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行,只要能够实现本公开公开的技术方案所期望的结果,本文在此不进行限制。
上述具体实施方式,并不构成对本公开保护范围的限制。本领域技术人员应该明白的是,根据设计要求和其他因素,可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等,均应包含在本公开保护范围之内。
Claims (8)
1.一种文件检索的方法,包括:
获取用户输入的检索信息;
基于所述检索信息,对云盘文件进行文件检索,获取文件检索集合;
基于预设评分规则获取所述文件检索集合中每一个检索文件对应的分值;
根据所述分值对所述文件检索集合中包括的检索文件进行排序,返回排序后的文件检索结果;
所述基于所述检索信息,对云盘文件进行文件检索,获取文件检索集合包括:
基于所述检索信息,通过第一检索方式及第二检索方式分别对云盘文件进行文件检索,其中,所述第一检索方式为基于Elastic search搜索引擎的检索方式,所述第二检索方式为基于语义特征的检索方式;
获取所述第一检索方式对应的第一检索集合,以及所述第二检索方式对应的第二检索集合;
对所述第一检索集合及所述第二检索集合进行合并,并对合并后的检索集合进行数据去重处理,以得到文件检索集合;
所述基于预设评分规则获取所述文件检索集合中每一个检索文件对应的分值包括:
获取所述文件检索集合中每一个检索文件对应的文件特征参数,所述文件特征参数包括文件更新时间、文件最近一次查看时间、文件最近一次编辑时间、文件名与所述检索信息之间的相关性、所述检索信息在文件名中的命中比例中的至少一项;
基于预设评分模型,获取所述文件检索集合中每一个检索文件对应的分值,其中,所述预设评分模型为输入为所述检索文件对应的文件特征参数,输出为所述检索文件对应的分值的网络模型。
2.根据权利要求1所述的方法,其中,所述基于所述检索信息,通过第二检索方式分别对云盘文件进行文件检索包括:
基于所述检索信息,获取所述检索信息对应的第一语义向量;
获取云盘文件各自对应的文件名,获取每个文件名各自对应的第二语义向量;
基于所述第一语义向量及所述第二语义向量,获取所述检索信息与各文件名的语义相似度;
将所述语义相似度大于预设值的文件名对应的文件确定为目标文件,其中,所述第二检索集合包括所述目标文件。
3.根据权利要求1所述的方法,还包括:
获取所述文件检索集合中每一个检索文件对应的用户输入;
基于所述用户输入获得所述检索文件对应的目标文件特征参数;
其中,所述文件特征参数包括所述目标文件特征参数,所述目标文件特征参数包括文件更新时间、文件最近一次查看时间、文件最近一次编辑时间中的至少一项。
4.一种文件检索的装置,包括:
第一获取模块,用于获取用户输入的检索信息;
检索模块,用于基于所述检索信息,对云盘文件进行文件检索,获取文件检索集合;
评分模块,用于基于预设评分规则获取所述文件检索集合中每一个检索文件对应的分值;
排序模块,用于根据所述分值对所述文件检索集合中包括的检索文件进行排序,返回排序后的文件检索结果;
所述检索模块还用于:
基于所述检索信息,通过第一检索方式及第二检索方式分别对云盘文件进行文件检索,其中,所述第一检索方式为基于Elastic search搜索引擎的检索方式,所述第二检索方式为基于语义特征的检索方式;
获取所述第一检索方式对应的第一检索集合,以及所述第二检索方式对应的第二检索集合;
对所述第一检索集合及所述第二检索集合进行合并,并对合并后的检索集合进行数据去重处理,以得到文件检索集合;
所述评分模块还用于:
获取所述文件检索集合中每一个检索文件对应的文件特征参数,所述文件特征参数包括文件更新时间、文件最近一次查看时间、文件最近一次编辑时间、文件名与所述检索信息之间的相关性、所述检索信息在文件名中的命中比例中的至少一项;
基于预设评分模型,获取所述文件检索集合中每一个检索文件对应的分值,其中,所述预设评分模型为输入为所述检索文件对应的文件特征参数,输出为所述检索文件对应的分值的网络模型。
5.根据权利要求4所述的装置,其中,所述检索模块还用于:
基于所述检索信息,获取所述检索信息对应的第一语义向量;
获取云盘文件各自对应的文件名,获取每个文件名各自对应的第二语义向量;
基于所述第一语义向量及所述第二语义向量,获取所述检索信息与各文件名的语义相似度;
将所述语义相似度大于预设值的文件名对应的文件确定为目标文件,其中,所述第二检索集合包括所述目标文件。
6.根据权利要求4所述的装置,还包括:
第二获取模块,用于获取所述文件检索集合中每一个检索文件对应的用户输入;
第三获取模块,用于基于所述用户输入获得所述检索文件对应的目标文件特征参数;
其中,所述文件特征参数包括所述目标文件特征参数,所述目标文件特征参数包括文件更新时间、文件最近一次查看时间、文件最近一次编辑时间中的至少一项。
7.一种电子设备,包括:
至少一个处理器;以及
与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行权利要求1-3中任一项所述的方法。
8.一种存储有计算机指令的非瞬时计算机可读存储介质,所述计算机指令用于使所述计算机执行根据权利要求1-3中任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011509344.7A CN112506864B (zh) | 2020-12-18 | 2020-12-18 | 文件检索的方法、装置、电子设备及可读存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011509344.7A CN112506864B (zh) | 2020-12-18 | 2020-12-18 | 文件检索的方法、装置、电子设备及可读存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112506864A CN112506864A (zh) | 2021-03-16 |
CN112506864B true CN112506864B (zh) | 2023-07-25 |
Family
ID=74922496
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011509344.7A Active CN112506864B (zh) | 2020-12-18 | 2020-12-18 | 文件检索的方法、装置、电子设备及可读存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112506864B (zh) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113127421A (zh) * | 2021-04-01 | 2021-07-16 | 山东英信计算机技术有限公司 | 一种存储系统检索文件内容的方法和设备 |
CN114827132B (zh) * | 2022-06-27 | 2022-09-09 | 河北东来工程技术服务有限公司 | 一种船务文件传输控制方法、系统、装置和存储介质 |
CN117331893A (zh) * | 2023-09-20 | 2024-01-02 | 中移互联网有限公司 | 搜索方法、装置、电子设备和存储介质 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111460090A (zh) * | 2020-03-04 | 2020-07-28 | 深圳壹账通智能科技有限公司 | 基于向量的文档检索方法、装置、计算机设备及存储介质 |
CN111611361A (zh) * | 2020-04-01 | 2020-09-01 | 西南电子技术研究所(中国电子科技集团公司第十研究所) | 抽取式机器智能阅读理解问答系统 |
CN112084393A (zh) * | 2020-09-09 | 2020-12-15 | 北京百度网讯科技有限公司 | 用于输出信息的方法、装置、设备以及存储介质 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8326820B2 (en) * | 2009-09-30 | 2012-12-04 | Microsoft Corporation | Long-query retrieval |
-
2020
- 2020-12-18 CN CN202011509344.7A patent/CN112506864B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111460090A (zh) * | 2020-03-04 | 2020-07-28 | 深圳壹账通智能科技有限公司 | 基于向量的文档检索方法、装置、计算机设备及存储介质 |
CN111611361A (zh) * | 2020-04-01 | 2020-09-01 | 西南电子技术研究所(中国电子科技集团公司第十研究所) | 抽取式机器智能阅读理解问答系统 |
CN112084393A (zh) * | 2020-09-09 | 2020-12-15 | 北京百度网讯科技有限公司 | 用于输出信息的方法、装置、设备以及存储介质 |
Non-Patent Citations (1)
Title |
---|
基于VSM和偏好本体的个性化信息检索技术的研究;张一洲;;情报学报(07);全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN112506864A (zh) | 2021-03-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112506864B (zh) | 文件检索的方法、装置、电子设备及可读存储介质 | |
CN114549874B (zh) | 多目标图文匹配模型的训练方法、图文检索方法及装置 | |
CN112633000B (zh) | 一种文本中实体的关联方法、装置、电子设备及存储介质 | |
CN113326420B (zh) | 问题检索方法、装置、电子设备和介质 | |
CN113660541B (zh) | 新闻视频的摘要生成方法及装置 | |
CN114116997A (zh) | 知识问答方法、装置、电子设备及存储介质 | |
CN115168537B (zh) | 语义检索模型的训练方法、装置、电子设备及存储介质 | |
CN112579729A (zh) | 文档质量评价模型的训练方法、装置、电子设备和介质 | |
CN116401345A (zh) | 智能问答方法、装置、存储介质和设备 | |
CN113378015B (zh) | 搜索方法、装置、电子设备、存储介质和程序产品 | |
CN112926297B (zh) | 处理信息的方法、装置、设备和存储介质 | |
CN117971698A (zh) | 测试用例生成方法、装置、电子设备和存储介质 | |
CN114328800A (zh) | 文本处理方法、装置、电子设备和计算机可读存储介质 | |
CN115248890A (zh) | 用户兴趣画像的生成方法、装置、电子设备以及存储介质 | |
CN112925912A (zh) | 文本处理方法、同义文本召回方法及装置 | |
CN114201607B (zh) | 一种信息处理的方法和装置 | |
CN113704494B (zh) | 基于知识图谱的实体检索方法、装置、设备以及存储介质 | |
CN112818221B (zh) | 实体的热度确定方法、装置、电子设备及存储介质 | |
CN112860626B (zh) | 一种文档排序方法、装置及电子设备 | |
CN112528644B (zh) | 实体挂载的方法、装置、设备以及存储介质 | |
CN114329206A (zh) | 标题生成方法和装置、电子设备、计算机可读介质 | |
CN114281990A (zh) | 文档分类方法及装置、电子设备和介质 | |
CN114328855A (zh) | 文档查询方法、装置、电子设备和可读存储介质 | |
CN112784600A (zh) | 信息排序方法、装置、电子设备和存储介质 | |
CN112818167A (zh) | 实体检索方法、装置、电子设备及计算机可读存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |