CN110399451B - 一种基于非易失性内存的全文检索引擎缓存方法，系统，设备及可读存储介质 - Google Patents

一种基于非易失性内存的全文检索引擎缓存方法，系统，设备及可读存储介质 Download PDF

Info

Publication number
CN110399451B
CN110399451B CN201910580993.7A CN201910580993A CN110399451B CN 110399451 B CN110399451 B CN 110399451B CN 201910580993 A CN201910580993 A CN 201910580993A CN 110399451 B CN110399451 B CN 110399451B
Authority
CN
China
Prior art keywords
document
retrieval
full
cache
memory
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910580993.7A
Other languages
English (en)
Other versions
CN110399451A (zh
Inventor
胡德鹏
刘兵
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suzhou Inspur Intelligent Technology Co Ltd
Original Assignee
Suzhou Inspur Intelligent Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suzhou Inspur Intelligent Technology Co Ltd filed Critical Suzhou Inspur Intelligent Technology Co Ltd
Priority to CN201910580993.7A priority Critical patent/CN110399451B/zh
Publication of CN110399451A publication Critical patent/CN110399451A/zh
Application granted granted Critical
Publication of CN110399451B publication Critical patent/CN110399451B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/31—Indexing; Data structures therefor; Storage structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/3331—Query processing
    • G06F16/334—Query execution
    • G06F16/3346—Query execution using probabilistic model

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明提供一种基于非易失性内存的全文检索引擎缓存方法，系统，设备及可读存储介质，在全文检索引擎中配置储存装置；配置储存装置容量；统计预设时间段内检索每个文档的检索频率；统计储存装置中文档检索频率；将预设时间段内检索次数超过第一阈值的文档移至储存装置中，并配置映射表。基于非易失性内存的全文检索引擎缓存方法解决用户检索响应时间的问题，用户检索的映射和目标文档由原来磁盘到目前存储在非易失性内存中，数据读取时间也得降低，降低全文检索引擎用户响应时间。将映射表保存到储存装置中提升了检索效率。解决高并发检索请求的问题，使用非易失性内存增大了全文检索引擎缓存，可以提高所支持全文检索引擎的用户并发数量。

Description

一种基于非易失性内存的全文检索引擎缓存方法，系统，设备 及可读存储介质
技术领域
本发明涉及大数据技术领域，尤其涉及一种基于非易失性内存的全文检索引擎缓存方法，系统，设备及可读存储介质。
背景技术
由于互联网、物联网应用的发展，数据量也在逐步的扩大，如何检索海量数据，成为技术发展挑战，传统的关系型数据库，能够满足关系型数据的检索需要，但是当前非结构化数据的增长已经超出了结构化关系型数据，为解决海量数据、非结构化数据的全文检索需求，如何解决高效、快速全文检索引擎技术成为当前的技术热点。
为了能够解决高效、快速全文检索，目前采用较多的方式是全文检索引擎，全文检索引擎是使用Java编写基于Lucene的全文检索引擎，其对外提供一套简单一致的RESTfulAPI。全文检索引擎可以实时文档存储，每个字段可以被索引与搜索。可以实时分析搜索引擎。能胜任上百个服务节点的分布式扩展，并支持PB级别的结构化或者非结构化数据。
但是现在全文检索引擎使用了过滤器缓存、字段数据缓存、查询分片缓存、circuit breaker等缓存相关技术，但是受限于内存资源的总量，在提高全文检索引擎的性能上作用有限。
而且，映射表存储在磁盘上，由于磁盘读写性能限制了映射表读取数据的效率；另一方面，由于映射表数据量的增大，映射表需要切分为多个分段文件，在进入内存时无法一次全部读入内存。
发明内容
为了克服上述现有技术中的不足，本发明提供的基于非易失性内存的全文检索引擎缓存方法，提高全文检索引擎性能，满足高并发，且提高了缓存容量。
根据本发明实施例的第一方面，提供了一种基于非易失性内存的全文检索引擎缓存方法，方法包括：
在全文检索引擎中配置储存装置；
配置储存装置容量；
统计预设时间段内检索每个文档的检索频率；
统计储存装置中文档检索频率；
将预设时间段内检索次数超过第一阈值的文档移至储存装置中，并配置映射表。
进一步需要说明的是，在全文检索引擎中配置内存及文档缓存；
分别配置内存容量和文档缓存容量；
统计预设时间段内检索每个文档的频率；
统计文档缓存中文档检索频率；
将预设时间段内检索次数超过第一阈值的文档储存至文档缓存中，并配置文档缓存映射表；
将预设时间段内检索次数低于第一阈值，高于第二阈值的文档移至内存中；
将所述文档缓存清除的文档存储至内存中，并配置内存映射表；
在所述内存中的文档的存储时长大于预设时长时，将所述文档删除。
进一步需要说明的是，步骤分别配置内存容量和文档缓存容量之后还包括：
获取用户提交的搜索文档请求信息，在缓存映射表中搜索所述文档ID：
如果在缓存映射表中查找到所述文档ID，则根据所述文档ID在文档缓存中查找文档；
如果在缓存映射表中未所述文档ID，则到磁盘映射表中查找所述文档ID。
进一步需要说明的是，步骤基于信息缓存模块配置热点文档缓存容量之后还包括：
如果在缓存映射表中未所述文档ID，则到内存映射表中查找所述文档ID：
如果查找到所述文档ID，则根据所述文档ID在内存中查找文档；
如果在内存映射表中未所述文档ID，则到磁盘映射表中查找所述文档ID。
进一步需要说明的是，配置多检索通道指针；基于检索通道指针接收用户提交的搜索文档请求信息；
根据用户提交的搜索文档请求信息，开启检索通道指针，根据检索后的完成信息关闭检索通道指针。
进一步需要说明的是，开启检索通道指针后，配置检索规则；
基于索引规则进行文档检索。
进一步需要说明的是，在内存中，配置实时检索缓存；
收集并记录每个检索通道指针所检索的目标文档ID至实时检索缓存中；
实时记录每个检索通道指针所检索的文档ID；
当任一检索通道指针所指的文档ID与文档ID至实时检索缓存中的目标文档ID相符时，显示检索完成信息，并将检索完成信息发送至对应的用户。
根据本发明实施例的第二方面，提供了一种基于非易失性内存的全文检索引擎缓存系统，包括：储存装置配置模块，信息缓存模块以及映射表配置模块；
储存装置配置模块用于在全文检索引擎中配置储存装置；
信息缓存模块用于配置储存装置容量；统计预设时间段内检索每个文档的检索频率；统计储存装置中文档检索频率；将预设时间段内检索次数超过第一阈值的文档移至储存装置中；
映射表配置模块用于在储存装置配置映射表，映射表信息为基于存储在储存装置中的文档信息。
根据本发明实施例的第三方面，提供了一种实现基于非易失性内存的全文检索引擎缓存方法的设备，包括：存储器，用于存储计算机程序及基于非易失性内存的全文检索引擎缓存方法；处理器，用于执行所述计算机程序及基于非易失性内存的全文检索引擎缓存方法，以实现基于非易失性内存的全文检索引擎缓存方法的步骤。
根据本发明实施例的第四方面，提供了一种具有基于非易失性内存的全文检索引擎缓存方法的计算机可读存储介质，计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行以实现基于非易失性内存的全文检索引擎缓存方法的步骤。
从以上技术方案可以看出，本发明具有以下优点：
基于非易失性内存的全文检索引擎缓存方法解决用户检索响应时间的问题，用户检索的映射和目标文档由原来磁盘到目前存储在非易失性内存中，数据读取时间也得降低，降低全文检索引擎用户响应时间。
将映射表保存到储存装置中提升了检索效率。解决高并发检索请求的问题，使用非易失性内存增大了全文检索引擎缓存，可以提高所支持全文检索引擎的用户并发数量。
附图说明
为了更清楚地说明本发明的技术方案，下面将对描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为基于非易失性内存的全文检索引擎缓存方法流程图；
图2为基于非易失性内存的全文检索引擎缓存方法实施例流程图；
图3为基于非易失性内存的全文检索引擎缓存系统示意图；
图4为基于非易失性内存的全文检索引擎缓存系统实施例示意图。
具体实施方式
为使得本发明的发明目的、特征、优点能够更加的明显和易懂，下面将运用具体的实施例及附图，对本发明保护的技术方案进行清楚、完整地描述，显然，下面所描述的实施例仅仅是本发明一部分实施例，而非全部的实施例。基于本专利中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本专利保护的范围。
附图中所示的方框图仅仅是功能实体，不一定必须与物理上独立的实体相对应。即，可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。
本发明所描述的技术可以实现在硬件，软件，固件或它们的任何组合。所述的各种特征为模块，单元或组件可以一起实现在集成逻辑装置或分开作为离散的但可互操作的逻辑器件或其他硬件设备。在一些情况下，电子电路的各种特征可以被实现为一个或多个集成电路器件，诸如集成电路芯片或芯片组。
附图中所示的流程图仅是示例性说明，不是必须包括所有的内容和操作/ 步骤，也不是必须按所描述的顺序执行。例如，有的操作/步骤还可以分解，而有的操作/步骤可以合并或部分合并，因此实际执行的顺序有可能根据实际情况改变。
本发明中涉及的储存装置为数据的计算机可读介质可以包括计算机存储介质，诸如随机存取存储器(RAM)，只读存储器(ROM)，非易失性随机存取存储器(NVRAM)，电可擦可编程只读存储器(EEPROM)，闪存，磁或光学数据存储介质，非易失性内存，和类似物。在一些实施例中，一种制造产品可包括一个或多个计算机可读存储媒体。
本发明一是在全文检索引擎中开发基于非易失性内存的接口，替换原有内存缓存部分，将过滤器缓存、字段数据缓存、查询分片缓存、circuit breaker 等缓存调整到非易失性内存中；二是全文检索引擎中增加非易失性内存热点文档缓存功能模块，主要实现方法为如图1所示，
步骤S1，在全文检索引擎中配置储存装置；
步骤S2，配置储存装置容量；
步骤S3，统计预设时间段内检索每个文档的检索频率；
步骤S4，统计储存装置中文档检索频率；
步骤S5，将预设时间段内检索次数超过第一阈值的文档移至储存装置中，并配置映射表。
在全文检索引擎中配置储存装置，可以基于用户的需求指令来进行配置。也可以基于用户的检索指令来进行配置。用户在使用后可以将储存装置进行释放，也可以始终保留。
还可以基于用户登录的使用身份来进行有针对性的配置储存装置及相对应的储存装置容量。可以基于用户以往检索每个文档的频率来将全文检索引擎中的文档转入至储存装置中。系统会在一预设时间段，或预设时间点来对储存装置中的文档进行管理，执行清除或增加，并修改配置映射表。
以下对图2所示实施例中的各个步骤的具体实施方式进行详细阐述。在示例性的实施例中，
步骤S11，在全文检索引擎中配置内存及文档缓存；
步骤S12，分别配置内存容量和文档缓存容量；
步骤S13，统计预设时间段内检索每个文档的频率；
步骤S14，统计文档缓存中文档检索频率；
步骤S15，将预设时间段内检索次数超过第一阈值的文档储存至文档缓存中，并配置文档缓存映射表；
步骤S16，将预设时间段内检索次数低于第一阈值，高于第二阈值的文档移至内存中；
将预设时间段内检索次数超过第一阈值的文档替换文档缓存中，以实现对所述文档缓存中低于第一阈值的文档进行清除；
步骤S17，将所述文档缓存清除的文档存储至内存中，并配置内存映射表；
步骤S18，在所述内存中的文档的存储时长大于预设时长时，将所述文档删除。
这里基于全文检索引擎中配置的储存装置，分为内存及文档缓存。可以基于文档检索频率将文档分别匹配到内存及文档缓存中，再配置相应的映射表。
在示例性的实施例中，基于上述实施例步骤分别配置内存容量和文档缓存容量之后还包括：基于检索储存装置的顺序为：
获取用户提交的搜索文档请求信息，在缓存映射表中搜索所述文档ID：
如果在缓存映射表中查找到所述文档ID，则根据所述文档ID在文档缓存中查找文档；
如果在缓存映射表中未所述文档ID，则到磁盘映射表中查找所述文档ID。
相当于先在缓存映射表中搜索，再到磁盘映射表中查找所述文档ID。
在示例性的实施例中，如果在缓存映射表中未所述文档ID，则到内存映射表中查找所述文档ID：
如果查找到所述文档ID，则根据所述文档ID在内存中查找文档；
如果在内存映射表中未所述文档ID，则到磁盘映射表中查找所述文档ID。
内存作为文档缓存与磁盘中间储存介质，这样基于不同检索频率来把文档进行了细化分割。其中映射表中的文档信息，是以文档ID来作为储存，检索过程即为对映射表中文档ID来进行检索查收文档。在文档缓存，或内存中缓存文档，便于提取，提升系统储存效率。
在示例性的实施例中，系统中配置多检索通道指针；基于检索通道指针接收用户提交的搜索文档请求信息；
获取用户检索指令后，配置用户通信检索通道，通信检索通道配置指针，基于检索通道指针接收用户提交的搜索文档请求信息；
根据用户提交的搜索文档请求信息，开启检索通道指针，根据检索后的完成信息关闭检索通道指针。
也就是检索通道指针是基于检索指令来进行配置，检索完成后，关闭检索通道指针，不再占用系统资源。
其中，开启检索通道指针后，配置检索规则；
基于索引规则进行文档检索。
检索规则包括：按照缓存映射表中文档ID信息的排序进行正向索引，或按照缓存映射表中文档ID信息的排序进行逆向索引；以及
按照内存映射表中文档ID信息的排序进行正向索引，或按照内存映射表中文档ID信息的排序进行逆向索引；
在其中一个实施例中，在内存中，配置实时检索缓存；
收集并记录每个检索通道指针所检索的目标文档ID至实时检索缓存中；
实时记录每个检索通道指针所检索的文档ID；
当任一检索通道指针所指的文档ID与文档ID至实时检索缓存中的目标文档ID相符时，显示检索完成信息，并将检索完成信息发送至对应的用户。
也就是全文检索引擎能够接收多个用户同时访问，进行检索。在进行同时多用户访问时，开启了多个检索通道指针，收集并记录每个检索通道指针所检索的目标文档ID至实时检索缓存中；这里是将每个检索通道指针所检索的目标文档ID进行记录，记录到检索缓存中，一旦出现某一用户需要检索的目标文档ID，即触发查找文档指令，在相应的储存区域查找文档，并提供给用户。这样将检索通道指针所查找的文档进行统一整理，提升了检索效率。
在上述实施例中，检索文件包括目录关联源文件、分词器、索引信息和拼音信息存放储存装置中至少一种。其中，映射表用于将每台服务主机的文件目录映射到执行主机的目录，能够同时提供多个服务；文档ID可以是按规则配置文档所包含的所有关键字；索引配置信息根据系统取出的关键字。确定关键字方式包括用户基于文档的功能，用途，创建时间，等等属性来进行配置，可以为文档ID进行新建，修改，合并或删除。
在上述实施例涉及的方法中，还配置了基于非易失性内存的全文检索引擎缓存系统，如图3和图4所示，包括：储存装置配置模块1，信息缓存模块 2以及映射表配置模块3；
储存装置配置模块1用于在全文检索引擎中配置储存装置；信息缓存模块2用于配置储存装置容量；统计预设时间段内检索每个文档的检索频率；统计储存装置中文档检索频率；将预设时间段内检索次数超过第一阈值的文档移至储存装置中；映射表配置模块3用于在储存装置配置映射表，映射表信息为基于存储在储存装置中的文档信息。
本发明中还涉及一种实现基于非易失性内存的全文检索引擎缓存方法的设备，包括：存储器，用于存储计算机程序及基于非易失性内存的全文检索引擎缓存方法；处理器，用于执行所述计算机程序及基于非易失性内存的全文检索引擎缓存方法，以实现基于非易失性内存的全文检索引擎缓存方法的步骤。
计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库等等硬件。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储全量地址资源数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种多通道文件索引方法。
上述实施例中，还涉及一种具有基于非易失性内存的全文检索引擎缓存方法的计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行以实现基于非易失性内存的全文检索引擎缓存方法的步骤。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (7)

1.一种基于非易失性内存的全文检索引擎缓存方法，其特征在于，方法包括：
在全文检索引擎中配置储存装置；
配置储存装置容量；
统计预设时间段内检索每个文档的检索频率；
统计储存装置中文档检索频率；
将预设时间段内检索次数超过第一阈值的文档移至储存装置中，并配置映射表；
方法还包括：
在全文检索引擎中配置内存及文档缓存；
分别配置内存容量和文档缓存容量；
获取用户提交的搜索文档请求信息，在缓存映射表中搜索所述文档ID：
如果在缓存映射表中查找到所述文档ID，则根据所述文档ID在文档缓存中查找文档；
如果在缓存映射表中未查找到所述文档ID，则到内存映射表中查找所述文档ID：
如果查找到所述文档ID，则根据所述文档ID在内存中查找文档；
如果在内存映射表中未查找到所述文档ID，则到磁盘映射表中查找所述文档ID；
方法中，统计预设时间段内检索每个文档的频率；
统计文档缓存中文档检索频率；
将预设时间段内检索次数超过第一阈值的文档储存至文档缓存中，并配置文档缓存映射表；
将预设时间段内检索次数低于第一阈值，高于第二阈值的文档移至内存中；
将所述文档缓存清除的文档存储至内存中，并配置内存映射表；
在所述内存中的文档的存储时长大于预设时长时，将所述文档删除。
2.根据权利要求1所述的方法，其特征在于，方法还包括：
配置多检索通道指针；基于检索通道指针接收用户提交的搜索文档请求信息；
根据用户提交的搜索文档请求信息，开启检索通道指针，根据检索后的完成信息关闭检索通道指针。
3.根据权利要求2所述的方法，其特征在于，方法还包括：
开启检索通道指针后，配置检索规则；
基于索引规则进行文档检索。
4.根据权利要求3所述的方法，其特征在于，方法还包括：
在内存中，配置实时检索缓存；
收集并实时记录每个检索通道指针所检索的目标文档ID至实时检索缓存中；
当任一检索通道指针所指的文档ID与实时检索缓存中的目标文档ID相符时，显示检索完成信息，并将检索完成信息发送至对应的用户。
5.一种基于非易失性内存的全文检索引擎缓存系统，其特征在于，系统采用如权利要求1至4任意一项所述的基于非易失性内存的全文检索引擎缓存方法；
系统包括：储存装置配置模块，信息缓存模块以及映射表配置模块；
储存装置配置模块用于在全文检索引擎中配置储存装置；
信息缓存模块用于配置储存装置容量；统计预设时间段内检索每个文档的检索频率；统计储存装置中文档检索频率；将预设时间段内检索次数超过第一阈值的文档移至储存装置中；
映射表配置模块用于在储存装置配置映射表，映射表信息为基于存储在储存装置中的文档信息。
6.一种实现基于非易失性内存的全文检索引擎缓存方法的设备，其特征在于，包括：
存储器，用于存储计算机程序及基于非易失性内存的全文检索引擎缓存方法；
处理器，用于执行所述计算机程序及基于非易失性内存的全文检索引擎缓存方法，以实现如权利要求1至4任意一项所述基于非易失性内存的全文检索引擎缓存方法的步骤。
7.一种具有基于非易失性内存的全文检索引擎缓存方法的计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行以实现如权利要求1至4任意一项所述基于非易失性内存的全文检索引擎缓存方法的步骤。
CN201910580993.7A 2019-06-29 2019-06-29 一种基于非易失性内存的全文检索引擎缓存方法，系统，设备及可读存储介质 Active CN110399451B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910580993.7A CN110399451B (zh) 2019-06-29 2019-06-29 一种基于非易失性内存的全文检索引擎缓存方法，系统，设备及可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910580993.7A CN110399451B (zh) 2019-06-29 2019-06-29 一种基于非易失性内存的全文检索引擎缓存方法，系统，设备及可读存储介质

Publications (2)

Publication Number Publication Date
CN110399451A CN110399451A (zh) 2019-11-01
CN110399451B true CN110399451B (zh) 2021-11-26

Family

ID=68323625

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910580993.7A Active CN110399451B (zh) 2019-06-29 2019-06-29 一种基于非易失性内存的全文检索引擎缓存方法，系统，设备及可读存储介质

Country Status (1)

Country Link
CN (1) CN110399451B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112527210A (zh) * 2020-12-22 2021-03-19 南京中兴力维软件有限公司 全量数据的存储方法、装置以及计算机可读存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106873912A (zh) * 2017-02-16 2017-06-20 郑州云海信息技术有限公司 Tlc芯片固态硬盘的动态分区存储方法及装置、系统
CN109656978A (zh) * 2018-12-24 2019-04-19 泰华智慧产业集团股份有限公司 近实时搜索服务的优化方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3115913B1 (en) * 2011-05-10 2018-03-14 Uber Technologies, Inc. Systems and methods for performing search and retrieval of electronic documents using a big index

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106873912A (zh) * 2017-02-16 2017-06-20 郑州云海信息技术有限公司 Tlc芯片固态硬盘的动态分区存储方法及装置、系统
CN109656978A (zh) * 2018-12-24 2019-04-19 泰华智慧产业集团股份有限公司 近实时搜索服务的优化方法

Also Published As

Publication number Publication date
CN110399451A (zh) 2019-11-01

Similar Documents

Publication Publication Date Title
CN108255958B (zh) 数据查询方法、装置和存储介质
US8977623B2 (en) Method and system for search engine indexing and searching using the index
US10452691B2 (en) Method and apparatus for generating search results using inverted index
CN108319654B (zh) 计算系统、冷热数据分离方法及装置、计算机可读存储介质
WO2014169672A1 (en) Method, apparatus and system for pushing micro-blogs
CN105760395A (zh) 一种数据处理的方法、装置及系统
CN105468644B (zh) 一种用于在数据库中进行查询的方法与设备
CN112148736B (zh) 缓存数据的方法、设备及存储介质
CN105808773A (zh) 一种新闻推送方法及装置
US20080071992A1 (en) Method and Apparatus for Space Efficient Identification of Candidate Objects for Eviction from a Large Cache
CN111831691B (zh) 一种数据读写方法及装置、电子设备、存储介质
US10628305B2 (en) Determining a data layout in a log structured storage system
CN110399451B (zh) 一种基于非易失性内存的全文检索引擎缓存方法，系统，设备及可读存储介质
CN108763458B (zh) 内容特征查询方法、装置、计算机设备及存储介质
CN111858581B (zh) 一种分页查询的方法、装置、存储介质和电子设备
CN111625600B (zh) 数据存储的处理方法、系统、计算机设备及存储介质
CN112540986A (zh) 一种用于电力大数据快速组合查询的动态索引方法及系统
CN110825953A (zh) 数据查询方法、装置和设备
KR101744017B1 (ko) 실시간 검색을 위한 데이터 인덱싱 방법 및 장치
CN109002446A (zh) 一种智能排序方法、终端与计算机可读存储介质
US20100077147A1 (en) Methods for caching directory structure of a file system
CN112667682A (zh) 数据处理方法、装置、计算机设备和存储介质
CN110678854B (zh) 数据查询的方法和装置
CN111723266A (zh) 海量数据处理方法和装置
CN112463886B (zh) 一种数据处理方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant