CN111580881A - 文件加载方法、装置和电子设备 - Google Patents

文件加载方法、装置和电子设备 Download PDF

Info

Publication number
CN111580881A
CN111580881A CN202010366453.1A CN202010366453A CN111580881A CN 111580881 A CN111580881 A CN 111580881A CN 202010366453 A CN202010366453 A CN 202010366453A CN 111580881 A CN111580881 A CN 111580881A
Authority
CN
China
Prior art keywords
value
index
pool
target
loading
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010366453.1A
Other languages
English (en)
Other versions
CN111580881B (zh
Inventor
钱涛
严淮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alipay Hangzhou Information Technology Co Ltd
Original Assignee
Alipay Hangzhou Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alipay Hangzhou Information Technology Co Ltd filed Critical Alipay Hangzhou Information Technology Co Ltd
Priority to CN202010366453.1A priority Critical patent/CN111580881B/zh
Publication of CN111580881A publication Critical patent/CN111580881A/zh
Application granted granted Critical
Publication of CN111580881B publication Critical patent/CN111580881B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44Arrangements for executing specific programs
    • G06F9/445Program loading or initiating
    • G06F9/44521Dynamic linking or loading; Link editing at or after load time, e.g. Java class loading
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90Details of database functions independent of the retrieved data types
    • G06F16/901Indexing; Data structures therefor; Storage structures

Landscapes

  • Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本说明书提出了一种文件加载方法、装置和电子设备,其中,所述文件加载方法包括:加载值索引池,所述值索引池中存储对象和对象索引值;加载目标文档,所述目标文档中存储目标索引值;其中,当接收到检索请求时,在所述目标文档中确定与所述检索请求匹配的目标索引值,从所述值索引池中检索与确定出的所述目标索引值匹配一致的对象索引值,基于检索出的所述对象索引值所对应的对象生成检索结果。本说明书的文件加载方法、装置和电子设备,能够在文件加载场景中降低对象文件反序列化过程中的资源消耗。

Description

文件加载方法、装置和电子设备
【技术领域】
本说明书涉及互联网技术领域,尤其涉及一种文件加载方法、装置和电子设备。
【背景技术】
在搜索引擎场景中,尤其是特定对象的搜索场景中,首先需要加载一份对象名单,然后对加载的对象名单进行反序列化及建立索引,其中,对加载的对象名单进行反序列化是指将对象名单转换成编程语言可理解的对象存储。然而在对象名单加载时进行的反序列化和建立索引是一个非常消耗资源的过程,如何降低这种资源消耗成为一个亟待解决的问题。
【发明内容】
本说明书实施例提供了一种文件加载方法、装置和电子设备,以在对象文件加载场景中降低对象文件反序列化过程中的资源消耗。
第一方面,本说明书实施例提供了一种文件加载方法,包括:
加载值索引池,所述值索引池中存储对象和对象索引值;
加载目标文档,所述目标文档中存储目标索引值;
其中,当接收到检索请求时,在所述目标文档中确定与所述检索请求匹配的目标索引值,从所述值索引池中检索与确定出的所述目标索引值匹配一致的对象索引值,基于检索出的所述对象索引值所对应的对象生成检索结果。
其中一种可能的实现方式中,加载所述值索引池和所述目标文档,包括:
加载第一文件,从所述第一文件中获取所述值索引池和所述目标文档。
其中一种可能的实现方式中,所述值索引池和所述目标文档包含在同一列表中。
其中一种可能的实现方式中,所述值索引池基于对象类别分为不同的值索引池。
其中一种可能的实现方式中,加载所述值索引池,包括:
加载与所述目标索引值包含的类别标识匹配一致的值索引池。
其中一种可能的实现方式中,所述目标文档的数量为多个;加载与所述目标索引值包含的类别标识匹配一致的值索引池,包括:
获取加载的各个所述目标文档中的目标索引值包含的类别标识;
加载与各个目标文档中的所述类别标识匹配一致的值索引池。
其中一种可能的实现方式中,从所述值索引池中检索与确定出的所述目标索引值匹配一致的对象索引值,包括:
根据目标索引值包含的类别标识,从加载的值索引池中确定第一索引池;
从所述第一索引池中检索与所述目标索引值包含的各项索引匹配一致的对象索引值。
上述文件加载方法中,建立值索引池并在值索引池中存储对象和对象索引值,上述值索引池是与目标文档对应的对象索引池,基于所述值索引池目标文档中仅需存储目标索引值,而且为了目标文档中目标索引值与值索引池中对象匹配的唯一性,值索引池中不存在重复对象,因此在进行文件加载时可以大大降低加载的文件大小,另外,本说明书实施例中对于加载的值索引池和目标文档仅在接收到检索请求时,根据检索请求对目标文档中的部分目标索引值进行反序列化,因此,基于本说明书实施例方案能够降低文件加载中反序列化和建立索引的资源消耗。
第二方面,本说明书实施例提供了一种文件加载装置,包括:
加载模块,用于加载值索引池,所述值索引池中存储对象和对象索引值;
所述加载模块,还用于加载目标文档,所述目标文档中存储目标索引值;
检索模块,用于当接收到检索请求时,在所述目标文档中确定与所述检索请求匹配的目标索引值,从所述值索引池中检索与确定出的所述目标索引值匹配一致的对象索引值,基于检索出的所述对象索引值所对应的对象生成检索结果。
其中一种可能的实现方式中,所述加载模块,具体用于加载第一文件,从所述第一文件中获取所述值索引池和所述目标文档。
其中一种可能的实现方式中,所述值索引池和所述目标文档包含在同一列表中。
其中一种可能的实现方式中,所述值索引池基于对象类别分为不同的值索引池。
其中一种可能的实现方式中,所述加载模块,具体用于加载与所述目标索引值包含的类别标识匹配一致的值索引池。
其中一种可能的实现方式中,所述目标文档的数量为多个;
所述加载模块,具体用于获取加载的各个所述目标文档中的目标索引值包含的类别标识;加载与各个目标文档中的所述类别标识匹配一致的值索引池。
其中一种可能的实现方式中,所述检索模块,具体用于根据目标索引值包含的类别标识,从加载的值索引池中确定第一索引池;从所述第一索引池中检索与所述目标索引值包含的各项索引匹配一致的对象索引值。
第三方面,本说明书实施例提供了一种电子设备,包括:
至少一个处理器;以及
与所述处理器通信连接的至少一个存储器,其中:
所述存储器存储有可被所述处理器执行的程序指令,所述处理器调用所述程序指令能够执行第一方面所述的方法。
第四方面,本说明书实施例提供了一种非暂态计算机可读存储介质,所述非暂态计算机可读存储介质存储计算机指令,所述计算机指令使所述计算机执行第一方面所述的方法。
应当理解的是,本说明书的第二~第四方面与本说明书的第一方面的技术方案一致,各方面及对应的可行实施方式所取得的有益效果相似,不再赘述。
【附图说明】
为了更清楚地说明本说明书实施例的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本说明书的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其它的附图。
图1为本说明书文件加载方法一个实施例的流程图;
图2为本说明书文件加载方法另一个实施例的流程图;
图3为值索引池和目标文档包含在同一列表的示意图;
图4为本说明书文件加载方法再一个实施例的流程图;
图5为本说明书文件加载方法再一个实施例的流程图;
图6为本说明书中名单条目的一个示意图;
图7为本说明书文件加载装置一个实施例的结构示意图;
图8为本说明书电子设备一个实施例的结构示意图。
【具体实施方式】
为了更好的理解本说明书的技术方案,下面结合附图对本说明书实施例进行详细描述。
应当明确,所描述的实施例仅仅是本说明书一部分实施例,而不是全部的实施例。基于本说明书中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例,都属于本说明书保护的范围。
在本说明书实施例中使用的术语是仅仅出于描述特定实施例的目的,而非旨在限制本说明书。在本说明书实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式,除非上下文清楚地表示其他含义。
在搜索引擎场景中加载对象文件时,对象文件的反序列化和建立索引过程中存在较大资源消耗,为了降低这种资源消耗,本说明书实施例提供了一种文件加载方案,在该方案中建立用于存储对象和对象索引值的值索引池,在目标文档中仅存储目标索引值,当搜索引擎启动加载值索引池和目标文档后,并非立即对目标文档反序列化,仅在接收到检索请求时,根据检索请求对目标文档中对应的目标索引值进行反序列化,如此不仅降低了所加载文件的大小,而且能够降低对象反序列化过程中的资源消耗。
图1为本说明书文件加载方法一个实施例的流程图。图1所示方法的执行主体为支持执行搜索引擎任务的本地终端或者云服务器。如图1所示,该方法的处理步骤包括:
步骤S101:加载值索引池,所述值索引池中存储对象和对象索引值。
上述值索引池是带对索引的对象池,可用于存储对象,如字符串对象,在值索引池中通过索引值可以快速获取对象,例如,在值索引池中可以存储姓名对象“张三”、“李四”“王五”等,对于每个姓名对象均一一对应设置对象索引值,如“张三”的索引值为“001”,“李四”的索引值为“002”,“王五”的索引值为“003”,通过索引值“001”、“002”、“003”可以快速获取其分别对应的“张三”、“李四”“王五”。
另外,上述值索引池中所存储的对象和对象索引值具有唯一性,例如对于姓名对象“张三”,其索引值“001”均只需要存储一次,在值索引池中无需存储重复的对象内容。
步骤S102:加载目标文档,所述目标文档中存储目标索引值。
上述目标文档是待反序列化和建立索引的文档,在目标文档中存储目标索引值,目标索引值是待反序列化对象的索引值。具体的,目标索引值与值索引池中对应的对象索引值一致,或者,目标索引值经过至少一次转换后与值索引池中对应的对象索引值一致。例如,目标文档中的一条记录为张三,该条记录中姓名字段无需存储姓名字符串,只需存储存储索引值“001”,或者存储对“001”进行至少一次转换后得到的“aab”,索引值“001”或者“aab”与值索引池中的“张三”“001”匹配一致。
步骤S103:当接收到检索请求时,在目标文档中确定与检索请求匹配一致的目标索引值,从值索引池中检索与确定出的所述目标索引值匹配一致的对象索引值,根据检索出的对象索引值所对应的对象生成检索结果。
在本实施例中,加载值索引池和目标文档后并非立即对目标文档反序列化,而是在接收到检索请求后,根据检索请求在目标文档中确定与检索请求匹配的目标索引值,当确定出目标索引值后从值索引池中检索获取对象,并根据获取的对象生成检索结果,例如将获取的对象与相应的对象索引值进行组合生成检索结果。仍以目标文档中存储张三的相关数据为例,在目标文档的姓名字段中存储“001”或者存储对“001”进行至少一次转换后得到的“aab”,基于“001”或者“aab”在值索引池中检索出与其对应一致的对象索引值“001”,并将检索出的对象索引值“001”所对应的对象“张三”作为目标文档中姓名字段的对象,依据该方式对从目标文档中确定出的所有目标索引值进行转换。
相关技术中,文档中的每条记录数据都包含完整的字符串,例如关于张三的一条数据存储为“name:张三,age:40,gender:Male,birthday:19900101”,如果下一条数据仍然是关于张三的数据,则需要重复上一条记录数据中的部分或全部内容,可见采用该方式不仅存储文件占用空间大,而且文档中的数据加载到内存后会立即启动对加载文档的反序列化,且由于所加载数据没有索引,反序列化过程中需要动态建立索引,资源消耗非常大。不同于相关技术中加载文件的方式,本说明书实施例的文件加载方法中建立值索引池,在值索引池中存储对象和对象索引值,基于值索引池在目标文档中仅需存储目标索引值,可见值索引池是与目标文档对应的对象索引池,为了目标文档中目标索引值与值索引池中对象匹配的唯一性,值索引池中不存在重复对象,因此在进行文件加载时能够大大降低加载的文件大小,另外,本实施例中对于加载的值索引池和目标文档并非立即启动反序列化进程,仅在接收到检索请求时,依据检索请求对目标文档中与检索请求匹配的部分目标索引值进行反序列化,即从值索引池中获取与确定出的目标索引值匹配一致的对象,并基于检索出的对象和对象索引值生成检索结果,可见采用本发明实施例方法,不仅可以避免字符串对象的重复存储重复转换,而且在本实施例中根据检索需求对目标文档动态反序列化,可以大大降低对象反序列化和建立索引过程中的资源消耗。
需要说明的是,本实施例中加载值索引池和加载目标文档没有执行步骤的先后顺序之分,在具体实施时根据待加载文件的实际情况,可以先加载值索引池再加载目标文档,也可以先加载目标文档再加载值索引池,或者同时加载值索引池和目标文档。
图2为本说明书文件加载方法另一个实施例的流程图。在图2所示方法中,值索引池和目标文档在同一个文件中,如图2所示,该方法的处理步骤包括:
步骤S201:加载第一文件,从所述第一文件中获取值索引池和目标文档。
在本实施例中,从第一文件获取的值索引池中存储有对象和对象索引值,在目标文档中存储有目标索引值。
步骤S202:当接收到检索请求时,在目标文档中确定与检索请求匹配一致的目标索引值,从值索引池中检索与确定出的所述目标索引值匹配一致的对象索引值,根据检索出的对象索引值所对应的对象生成检索结果。
在本实施例中,值索引池和目标文档包含在同一文件(即第一文件)中,当搜索引擎启动时加载第一文件,并从第一文件中获取值索引池和目标文档。
在其他可能的实现方式中,值索引池和目标文档也可以包含在不同的文件中,包含值索引池和目标文档的各个文件可以同步或者异步加载到内存中。
其中,在值索引池和目标文档包含在同一文件的方式下,值索引池和目标文档可以包含在同一列表中。如图3所示,值索引池和目标文档包含在同一列表中,在图3给出的示例中列表的第1行为列表类型,第2~16行为值索引池,第17~文件末尾为目标文档。其中在一种可能的方式中,第2~16行每行可以为一个单独类型的值索引池,例如第2行是姓名值索引池,第3行是实体名值索引池,第4行是证件号值索引池,在值索引池中存储对象和对象索引值,例如对于第2行的姓名值索引池,在一个示例中可以是0x02(行号):0x01(对象索引)张三(对象值)0x02李四0x03王五……,可选的,上述示例在存储时以二进制方式存储。对应上述示例,在目标文档中仅存储目标索引值,例如0x10(十六进制的17行):0x02(索引池)0x01(索引值),该条记录对应的即是值索引池中的对象张三。
在本说明书实施例中,值索引池基于所存储对象的类别可以分为不同值索引池,即不同类型的对象存储在不同值索引池中,例如,值索引池分为姓名字段索引池、地址字段索引池等,其中,在姓名字段索引池中仅存储姓名字符串和姓名字符串对应的索引值,在地址字段索引池仅存储地址字段和地址字段对应的索引值;又例如,值索引池分为表示人或实体具有的字段索引池、表示仅人具有的字段索引池和表示仅地址具有的字段索引池,其中,在表示人或实体具有的字段索引池中存储人或实体可以共用的字段和对应索引值,在表示仅人具有的字段索引池中存储仅可以用于描述人的特征的字段和对应索引值,在表示仅地址具有的字段索引池中存储仅可用于描述地址的字段和对应索引值。
在上述值索引池基于对象类别分为不同值索引池的实施方式中,各个值索引池还具有类别标识,对应的目标文档的目标索引值中也包含值索引池的类别标识,并且在每个类别标识下包含一项或多向索引。
在本实施例中,根据对象类别对值索引池进行区分,不同类别的对象存储到不同值索引池中,由此可以实现不同类型数据对象的隔离,不仅可以解决不同类型数据共同存储带来的数据混乱问题,而且能够在反序列化过程中降低数据检索量,例如对于姓名类型索引值,仅需在姓名类索引池中检索,能够大大降低不同类型数据共存时带来的数据检索量。另外,根据对象类别对值索引池进行区分后,可以通过多线程的方式并发加载多个值索引池到内存中,以进一步提升对象文档反序列化的效率。
图4为本说明书文件加载方法再一个实施例的流程图。如图4所示,该方法的处理步骤包括:
步骤S401:加载目标文档,所述目标文档中存储目标索引值,所述目标索引值包含类别标识和索引项。
上述目标索引值可以包含多个不同的类别标识,该多个不同的类别标识用于表示目标文档转换时从该多个类别标识指示的值索引池中匹配对象。例如,所述目标索引值中包含表示人或实体具有的字段索引池、仅人具有的字段索引池和仅地址具有的字段索引池这三个值索引池的类别标识,即目标文档转换时需要从该三个值索引池中匹配需要转换的对象。
进一步,目标索引值中的类别标识和索引项可以合并为一个索引值,可选的,在一条记录中,类别标识和索引项合并为一个索引值,该索引值的部分用于表示类别标识,剩余部分用于表示索引项,例如索引值为0004+4,其中0004表示值索引池的标识,4表示在0004指示的值索引池中的索引。另外,目标索引值中的类别标识和索引项也可以分开表示,例如在一条数据记录中包括类别标识,在该类别标识下包括多个索引,如类别标识P/E用于表示人或实体具有的字段索引池,在P/E标识下包括多个索引,该多个索引用于指示对象在P/E索引池的具体位置。
步骤S402:加载多个值索引池,所述值索引池中存储对象、对象索引值和索引池类别标识。
上述值索引池基于对象类别划分为不同索引池,在本实施例中加载多个值索引池,该多个值索引池分别对应不同类别的对象。在值索引池中除了存储对象、对象索引值之外还进一步存储索引池类别标识,根据索引池类别标识可以确定索引池中所存储对象的类别归属。
进一步,上述加载的多个值索引池的索引池类别标识与目标文档中包含的类别标识匹配一致,即在文件加载中仅加载转换目标文档所需要的值索引池,对于目标文档的类别标识没有提示的值索引池可以无需加载,由此可以降低加载的数据量。
在本实施例中,上述目标文档和值索引池可以包含在同一文件(如第一文件)中。具体的,该多个值索引池和目标文档可以分别包含在第一文件的不同子文件中,当加载第一文件后,从第一文件的不同子文件中获取上述多个值索引池和目标文档,在此方式下将目标文档和转换目标文档需要的值索引池存储在同一文件下,可以减少文件加载过程中对目标文档匹配值索引池的步骤,降低目标文档匹配值索引池可能带来的资源消耗;进一步,在目标文档和值索引池包含在同一文件的方式下,目标文档和值索引池可以包含在同一列表中。当然上述目标文档和值索引池也可以分别包含在不同的文件中,包含值索引池和目标文档的各个文件可以同步或者一异步加载到内存中。
在本实施例中,加载的上述目标文档的数量可以为多个,在加载值索引池时,各个目标文档所需的值索引池可以与目标文档包含在同一文件中;或者各个目标文档所需的值索引池与目标文档包含在不同的文件中。其中,当值索引池和目标文档不包含在同一文件时,可以获取加载的各个目标文档中的目标索引值包含的类别标识,然后加载与各个目标文档中的类别标识匹配一致的值索引池。在此方式下,多个目标文档共用值索引池,不仅可以对多个目标文档并发进行反序列化,而且能够降低内存加载的数据量。
步骤S403:当接收到检索请求时,在目标文档中确定与检索请求匹配的目标索引值。
步骤S404:根据确定出的目标索引值包含的类别标识,从加载的多个值索引池中确定第一索引池。
步骤S405:从第一索引池中检索与目标索引值包含的各项索引匹配一致的对象索引值,并根据检索出的对象索引值所对应的对象生成检索结果。
本实施例中,不同类型对象存储在不同值索引池中,不仅可以实现不同类型数据的隔离,而且在进行反序列化时仅需要在所属类别的值索引池中检索能够降低数据检索量。
图5为本说明书文件加载方法再一个实施例的流程图。图5所示方法应用于制裁引擎加载制裁名单的具体场景中,其中,制裁引擎是用于实时搜索制裁名单并给出匹配结果的搜索引擎。制裁名单是一份符合国际通用标准的名单文件,文件记录了全球各类制裁对象的信息。当制裁引擎启动时将制裁名单加载到内存中,并在接收到检索请求时,对于检索请求匹配的名单条目反序列化和建立索引。如图5所示,制裁名单中包含值索引池和名单条目,可选的,制裁名单中还可以包含名单类型、名单日期等,具体的,名单文件可以采用二进制方式存储。进一步,在值索引池中包含索引池标识、字符串对象和对象索引,如图6所示,在名单条目中包含字段和字段值,所述字段值中存储索引,所述索引用于在值索引池中对字符串进行定位,在图6中,P/E表示人或实体具有的字段索引池,P表示仅人具有的字段索引池,A表示仅地址具有的字段索引池,0x00~0x0F表示索引池的ID。在一个示例中,字段值存储的索引中包含值索引池标识和偏移量。制裁引擎启动时,将值索引池和名单条目加载到内存中,加载到内存中的值索引池和名单条目仍可以采用二进制方式存储;当制裁引擎接收到检索请求时,根据检索请求在名单条目中确定目标索引值,并基于确定出的目标索引值在值索引池中确定匹配一致的对象索引值和对象,并且将确定出的对象和对象索引值进行组装并动态转换成检索结果进行输出。
上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下,在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外,在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中,多任务处理和并行处理也是可以的或者可能是有利的。
图7为本说明书文件加载装置一个实施例的结构示意图,如图7所示,上述文件加载装置可以包括:加载模块71、检索模块72和转换模块73,其中:
加载模块71,用于加载值索引池,所述值索引池中存储对象和对象索引值;
加载模块71,还用于加载目标文档,所述目标文档中存储目标索引值;
检索模块72,用于当接收到检索请求时,在所述目标文档中确定与所述检索请求匹配的目标索引值,从所述值索引池中检索与确定出的所述目标索引值匹配一致的对象索引值,基于检索出的所述对象索引值所对应的对象生成检索结果。
图7所示实施例提供的文件加载装置可用于执行本说明书图1所示方法实施例的技术方案,其实现原理和技术效果可以进一步参考方法实施例中的相关描述。
在本实施例中,所述加载模块71,具体用于加载第一文件,从所述第一文件中获取所述值索引池和所述目标文档。
在本实施例中,所述值索引池和所述目标文档包含在同一列表中。
在本实施例中,所述值索引池基于对象类别分为不同的值索引池。
在本实施例中,所述加载模块71,具体用于加载与所述目标索引值包含的类别标识匹配一致的值索引池。
在本实施例中,所述目标文档的数量为多个;相应的,所述加载模块71,具体用于获取加载的各个所述目标文档中的目标索引值包含的类别标识;加载与各个目标文档中的所述类别标识匹配一致的值索引池。
在本实施例中,所述检索模块72,具体用于根据目标索引值包含的类别标识,从加载的值索引池中确定第一索引池;从所述第一索引池中检索与所述目标索引值包含的各项索引匹配一致的对象索引值。
本实施例提供的上述文件加载装置可用于执行本申请图1~图6所示方法实施例的技术方案,其实现原理和技术效果可以进一步参考方法实施例中的相关描述。
图8为本说明书电子设备一个实施例的结构示意图,如图8所示,上述电子设备可以包括至少一个处理器;以及与上述处理器通信连接的至少一个存储器,其中:存储器存储有可被处理器执行的程序指令,上述处理器调用上述程序指令能够执行本说明书图1~图6所示实施例提供的文件加载方法。
其中,上述电子设备可以为用于支持搜索引擎加载文件的本地终端设备,如用户的计算机设备、便携处理设备等,另外上述电子设备也可以为云端处理设备,如云服务器等,以通过云端处理设备支持文件加载。本说明书实施例对上述电子设备的具体形式不作限定,可以理解的是,这里的电子设备即为方法实施例中相关方法步骤的执行主体。
图8示出了适于用来实现本说明书实施方式的示例性电子设备的框图。图8示出的电子设备仅仅是一个示例,不应对本说明书实施例的功能和使用范围带来任何限制。
如图8所示,电子设备以通用计算设备的形式表现。电子设备的组件可以包括但不限于:一个或者多个处理器410,存储器430,连接不同系统组件(包括存储器430和处理单元410)的通信总线440。
通信总线440表示几类总线结构中的一种或多种,包括存储器总线或者存储器控制器,外围总线,图形加速端口,处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说,这些体系结构包括但不限于工业标准体系结构(Industry StandardArchitecture;以下简称:ISA)总线,微通道体系结构(Micro Channel Architecture;以下简称:MAC)总线,增强型ISA总线、视频电子标准协会(Video Electronics StandardsAssociation;以下简称:VESA)局域总线以及外围组件互连(Peripheral ComponentInterconnection;以下简称:PCI)总线。
电子设备典型地包括多种计算机系统可读介质。这些介质可以是任何能够被电子设备访问的可用介质,包括易失性和非易失性介质,可移动的和不可移动的介质。
存储器430可以包括易失性存储器形式的计算机系统可读介质,例如随机存取存储器(Random Access Memory;以下简称:RAM)和/或高速缓存存储器。电子设备可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。存储器430可以包括至少一个程序产品,该程序产品具有一组(例如至少一个)程序模块,这些程序模块被配置以执行本说明书各实施例的功能。
具有一组(至少一个)程序模块的程序/实用工具,可以存储在存储器430中,这样的程序模块包括——但不限于——操作系统、一个或者多个应用程序、其它程序模块以及程序数据,这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块通常执行本说明书所描述的实施例中的功能和/或方法。
处理器410通过运行存储在存储器430中的程序,从而执行各种功能应用以及数据处理,例如实现本说明书图1~图6所示实施例提供的文件加载方法。
本说明书实施例提供一种非暂态计算机可读存储介质,所述非暂态计算机可读存储介质存储计算机指令,所述计算机指令使所述计算机执行本说明书图1~图6所示实施例提供的文件加载方法。
上述非暂态计算机可读存储介质可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(Read Only Memory;以下简称:ROM)、可擦式可编程只读存储器(ErasableProgrammableRead Only Memory;以下简称:EPROM)或闪存、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式,包括——但不限于——电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质,该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
在本说明书的描述中,参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本说明书的至少一个实施例或示例中。在本说明书中,对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且,描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外,在不相互矛盾的情况下,本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
此外,术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本说明书的描述中,“多个”的含义是至少两个,例如两个,三个等,除非另有明确具体的限定。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为,表示包括一个或更多个用于实现定制逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分,并且本说明书的优选实施方式的范围包括另外的实现,其中可以不按所示出或讨论的顺序,包括根据所涉及的功能按基本同时的方式或按相反的顺序,来执行功能,这应被本说明书的实施例所属技术领域的技术人员所理解。
在本说明书所提供的几个实施例中,应该理解到,所揭露的系统、装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如,多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
另外,在本说明书各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用硬件加软件功能单元的形式实现。
上述以软件功能单元的形式实现的集成的单元,可以存储在一个计算机可读取存储介质中。上述软件功能单元存储在一个存储介质中,包括若干指令用以使得一台计算机装置(可以是个人计算机,服务器,或者网络装置等)或处理器(Processor)执行本说明书各个实施例所述方法的部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(Read-Only Memory;以下简称:ROM)、随机存取存储器(Random Access Memory;以下简称:RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅为本说明书的较佳实施例而已,并不用以限制本说明书,凡在本说明书的精神和原则之内,所做的任何修改、等同替换、改进等,均应包含在本说明书保护的范围之内。

Claims (16)

1.一种文件加载方法,其特征在于,包括:
加载值索引池,所述值索引池中存储对象和对象索引值;
加载目标文档,所述目标文档中存储目标索引值;
其中,当接收到检索请求时,在所述目标文档中确定与所述检索请求匹配的目标索引值,从所述值索引池中检索与确定出的所述目标索引值匹配一致的对象索引值,基于检索出的所述对象索引值所对应的对象生成检索结果。
2.根据权利要求1所述的方法,其特征在于,加载所述值索引池和所述目标文档,包括:
加载第一文件,从所述第一文件中获取所述值索引池和所述目标文档。
3.根据权利要求2所述的方法,其特征在于,所述值索引池和所述目标文档包含在同一列表中。
4.根据权利要求1所述的方法,其特征在于,所述值索引池基于对象类别分为不同的值索引池。
5.根据权利要求4所述的方法,其特征在于,加载所述值索引池,包括:
加载与所述目标索引值包含的类别标识匹配一致的值索引池。
6.根据权利要求5所述的方法,其特征在于,所述目标文档的数量为多个;加载与所述目标索引值包含的类别标识匹配一致的值索引池,包括:
获取加载的各个所述目标文档中的目标索引值包含的类别标识;
加载与各个目标文档中的所述类别标识匹配一致的值索引池。
7.根据权利要求4所述的方法,其特征在于,从所述值索引池中检索与确定出的所述目标索引值匹配一致的对象索引值,包括:
根据目标索引值包含的类别标识,从加载的值索引池中确定第一索引池;
从所述第一索引池中检索与所述目标索引值包含的各项索引匹配一致的对象索引值。
8.一种文件加载装置,其特征在于,包括:
加载模块,用于加载值索引池,所述值索引池中存储对象和对象索引值;
所述加载模块,还用于加载目标文档,所述目标文档中存储目标索引值;
检索模块,用于当接收到检索请求时,在所述目标文档中确定与所述检索请求匹配的目标索引值,从所述值索引池中检索与确定出的所述目标索引值匹配一致的对象索引值,基于检索出的所述对象索引值所对应的对象生成检索结果。
9.根据权利要求8所述的装置,其特征在于,
所述加载模块,具体用于加载第一文件,从所述第一文件中获取所述值索引池和所述目标文档。
10.根据权利要求9所述的装置,其特征在于,所述值索引池和所述目标文档包含在同一列表中。
11.根据权利要求8所述的装置,其特征在于,所述值索引池基于对象类别分为不同的值索引池。
12.根据权利要求11所述的装置,其特征在于,
所述加载模块,具体用于加载与所述目标索引值包含的类别标识匹配一致的值索引池。
13.根据权利要求12所述的方法,其特征在于,所述目标文档的数量为多个;
所述加载模块,具体用于获取加载的各个所述目标文档中的目标索引值包含的类别标识;加载与各个目标文档中的所述类别标识匹配一致的值索引池。
14.根据权利要求11所述的装置,其特征在于,
所述检索模块,具体用于根据目标索引值包含的类别标识,从加载的值索引池中确定第一索引池;从所述第一索引池中检索与所述目标索引值包含的各项索引匹配一致的对象索引值。
15.一种电子设备,其特征在于,包括:
至少一个处理器;以及
与所述处理器通信连接的至少一个存储器,其中:
所述存储器存储有可被所述处理器执行的程序指令,所述处理器调用所述程序指令能够执行如权利要求1至7任一所述的方法。
16.一种非暂态计算机可读存储介质,其特征在于,所述非暂态计算机可读存储介质存储计算机指令,所述计算机指令使所述计算机执行如权利要求1至7任一所述的方法。
CN202010366453.1A 2020-04-30 2020-04-30 文件加载方法、装置和电子设备 Active CN111580881B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010366453.1A CN111580881B (zh) 2020-04-30 2020-04-30 文件加载方法、装置和电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010366453.1A CN111580881B (zh) 2020-04-30 2020-04-30 文件加载方法、装置和电子设备

Publications (2)

Publication Number Publication Date
CN111580881A true CN111580881A (zh) 2020-08-25
CN111580881B CN111580881B (zh) 2023-06-16

Family

ID=72115209

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010366453.1A Active CN111580881B (zh) 2020-04-30 2020-04-30 文件加载方法、装置和电子设备

Country Status (1)

Country Link
CN (1) CN111580881B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112241473A (zh) * 2020-09-07 2021-01-19 上海连尚网络科技有限公司 一种用于为应用配置数据的方法与设备
CN115374298A (zh) * 2022-09-20 2022-11-22 支付宝(杭州)信息技术有限公司 基于索引的虚拟形象数据处理方法及装置

Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040006562A1 (en) * 2002-07-08 2004-01-08 International Business Machines Corporation Method, system and program product for automatically retrieving documents
CN1716255A (zh) * 2004-07-01 2006-01-04 微软公司 通过使用页类别信息分散搜索引擎结果
CN101211365A (zh) * 2006-12-28 2008-07-02 国际商业机器公司 用于建立搜索索引的方法和系统
US20130170749A1 (en) * 2011-12-29 2013-07-04 Konica Minolta Laboratory U.S.A., Inc. Method and apparatus for document image indexing and retrieval using multi-level document image structure and local features
US20130198221A1 (en) * 2012-01-27 2013-08-01 Microsoft Corporation Indexing structures using synthetic document summaries
CN103455631A (zh) * 2013-09-22 2013-12-18 广州中国科学院软件应用技术研究所 一种数据处理方法、装置及系统
CN104298690A (zh) * 2013-07-19 2015-01-21 国际商业机器公司 为关系数据库表建立索引结构并进行查询的方法和装置
CN105095320A (zh) * 2014-05-23 2015-11-25 邓寅生 基于关系叠加组合的文档的标识、关联、搜索及展现的系统
CN105279278A (zh) * 2015-11-13 2016-01-27 珠海市君天电子科技有限公司 文件的搜索方法及装置
CN107180113A (zh) * 2017-06-16 2017-09-19 成都亿橙科技有限公司 一种大数据检索平台
CN107451280A (zh) * 2017-08-07 2017-12-08 北京小度信息科技有限公司 数据打通方法、装置及电子设备
CN108563762A (zh) * 2018-04-18 2018-09-21 小草数语(北京)科技有限公司 倒排索引方法及装置
CN109564568A (zh) * 2017-02-13 2019-04-02 赛思研究所 分布式数据集索引
US20190236102A1 (en) * 2018-01-29 2019-08-01 Planet Data Solutions System and method for differential document analysis and storage
CN110309251A (zh) * 2018-03-12 2019-10-08 北京京东尚科信息技术有限公司 文本数据的处理方法、装置和计算机可读存储介质

Patent Citations (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040006562A1 (en) * 2002-07-08 2004-01-08 International Business Machines Corporation Method, system and program product for automatically retrieving documents
CN1716255A (zh) * 2004-07-01 2006-01-04 微软公司 通过使用页类别信息分散搜索引擎结果
CN101211365A (zh) * 2006-12-28 2008-07-02 国际商业机器公司 用于建立搜索索引的方法和系统
US20080162425A1 (en) * 2006-12-28 2008-07-03 International Business Machines Corporation Global anchor text processing
US20130170749A1 (en) * 2011-12-29 2013-07-04 Konica Minolta Laboratory U.S.A., Inc. Method and apparatus for document image indexing and retrieval using multi-level document image structure and local features
US20130198221A1 (en) * 2012-01-27 2013-08-01 Microsoft Corporation Indexing structures using synthetic document summaries
CN104298690A (zh) * 2013-07-19 2015-01-21 国际商业机器公司 为关系数据库表建立索引结构并进行查询的方法和装置
CN103455631A (zh) * 2013-09-22 2013-12-18 广州中国科学院软件应用技术研究所 一种数据处理方法、装置及系统
CN105095320A (zh) * 2014-05-23 2015-11-25 邓寅生 基于关系叠加组合的文档的标识、关联、搜索及展现的系统
US20170124075A1 (en) * 2014-05-23 2017-05-04 Yinsheng DENG System for identifying, associating, searching and presenting documents based on relation combination
CN105279278A (zh) * 2015-11-13 2016-01-27 珠海市君天电子科技有限公司 文件的搜索方法及装置
CN109564568A (zh) * 2017-02-13 2019-04-02 赛思研究所 分布式数据集索引
CN107180113A (zh) * 2017-06-16 2017-09-19 成都亿橙科技有限公司 一种大数据检索平台
CN107451280A (zh) * 2017-08-07 2017-12-08 北京小度信息科技有限公司 数据打通方法、装置及电子设备
US20190236102A1 (en) * 2018-01-29 2019-08-01 Planet Data Solutions System and method for differential document analysis and storage
CN110309251A (zh) * 2018-03-12 2019-10-08 北京京东尚科信息技术有限公司 文本数据的处理方法、装置和计算机可读存储介质
CN108563762A (zh) * 2018-04-18 2018-09-21 小草数语(北京)科技有限公司 倒排索引方法及装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
叶伟明;梁伟建;刘刚;: "基于台标特征的图像内容识别技术", 电视技术, no. 1 *
张敏;: "基于本体的垂直搜索引擎的研究", 软件导刊, no. 02 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112241473A (zh) * 2020-09-07 2021-01-19 上海连尚网络科技有限公司 一种用于为应用配置数据的方法与设备
CN115374298A (zh) * 2022-09-20 2022-11-22 支付宝(杭州)信息技术有限公司 基于索引的虚拟形象数据处理方法及装置

Also Published As

Publication number Publication date
CN111580881B (zh) 2023-06-16

Similar Documents

Publication Publication Date Title
US11210131B2 (en) Method and apparatus for assigning computing task
CN109558525B (zh) 一种测试数据集的生成方法、装置、设备和存储介质
CN110795399B (zh) 一种为应用产生机器id的方法、装置和系统
CN111580881B (zh) 文件加载方法、装置和电子设备
CN111143446A (zh) 数据对象的数据结构转换处理方法、装置及电子设备
CN110652728B (zh) 一种游戏资源管理方法、装置、电子设备及存储介质
CN107633080B (zh) 一种用户任务处理方法及装置
CN110888972A (zh) 一种基于Spark Streaming的敏感内容识别方法及装置
CN110580212B (zh) 应用程序的数据导出方法、装置、电子设备及存储介质
CN108776665B (zh) 一种数据处理方法及装置
US9201937B2 (en) Rapid provisioning of information for business analytics
CN109800273A (zh) 一种数据处理的方法、装置、计算机存储介质及终端
CN113204706B (zh) 基于MapReduce的数据筛选抽取方法及系统
CN112818129B (zh) 图谱建模系统及其方法
CN113656830B (zh) 数据库脱敏语法解析方法、系统、计算机及可读存储介质
CN112130860B (zh) Json对象解析方法、装置、电子设备及存储介质
CN110688223B (zh) 数据处理方法及相关产品
CN110471708B (zh) 基于可重用组件的配置项获取的方法及装置
CN113988313A (zh) 用户数据的删除方法、装置和电子设备
CN113468258A (zh) 一种异构数据的转换方法、装置及存储介质
CN108845953B (zh) 接口测试的方法及装置
CN112764802A (zh) 一种业务逻辑定制方法、装置、电子设备和存储介质
CN111104369A (zh) 一种检索数据库构建方法及装置
CN116804915B (zh) 基于存储器的数据交互方法、处理器、设备以及介质
CN112818103B (zh) 智能对话的交互方法、装置和电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant