CN114443910A - 数据存储方法、搜索方法、装置和电子设备 - Google Patents

数据存储方法、搜索方法、装置和电子设备 Download PDF

Info

Publication number
CN114443910A
CN114443910A CN202210110779.7A CN202210110779A CN114443910A CN 114443910 A CN114443910 A CN 114443910A CN 202210110779 A CN202210110779 A CN 202210110779A CN 114443910 A CN114443910 A CN 114443910A
Authority
CN
China
Prior art keywords
data
target
identifier
data storage
target fragment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210110779.7A
Other languages
English (en)
Inventor
李晓东
武云峰
王頔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Baidu Netcom Science and Technology Co Ltd
Original Assignee
Beijing Baidu Netcom Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Baidu Netcom Science and Technology Co Ltd filed Critical Beijing Baidu Netcom Science and Technology Co Ltd
Priority to CN202210110779.7A priority Critical patent/CN114443910A/zh
Publication of CN114443910A publication Critical patent/CN114443910A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/901—Indexing; Data structures therefor; Storage structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/903—Querying
    • G06F16/90335—Query processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0646—Horizontal data movement in storage systems, i.e. moving data in between storage devices or systems
    • G06F3/0647—Migration mechanisms

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Human Computer Interaction (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本公开提供了一种数据存储方法、搜索方法、装置和电子设备，涉及数据处理领域，尤其涉及数据存储领域。具体实现方案为：数据存储方法，应用于服务器，服务器包括数据存储单元，数据存储单元包括至少两个数据存储分片，所述方法包括：获取第一目标分片的第一标识，其中，第一目标分片为至少两个数据存储分片中的一个数据存储分片，第一标识用于表征第一目标分片所存储的数据的数据类型；在第一标识表征第一目标分片用于存储冷热类型数据，且获取到第一目标分片的第二标识的情况下，将第一目标分片中所存储的数据迁移至对象存储系统，所述第二标识用于表征所述第一目标分片中的数据满足预设制冷条件。本公开可以提高数据存储效果。

Description

数据存储方法、搜索方法、装置和电子设备
技术领域
本公开涉及数据处理领域，尤其涉及数据存储领域。具体涉及一种数据存储方法、搜索方法、装置和电子设备。
背景技术
现有的服务器通常包括数据存储单元，例如，所述数据存储单元可以是固态硬盘。所述数据存储单元用于存储在所述服务器提供服务过程中的所需数据。当服务器接收到数据查询情况下时，可以从所述数据存储单元查询与所述数据查询请求相对于的数据，并输出所查询得到的数据。
发明内容
本公开提供了一种数据存储方法、搜索方法、装置和电子设备。
根据本公开的第一方面，提供了一种数据存储方法，应用于服务器，所述服务器包括数据存储单元，所述数据存储单元包括至少两个数据存储分片，所述方法包括：
获取第一目标分片的第一标识，其中，所述第一目标分片为所述至少两个数据存储分片中的一个数据存储分片，所述第一标识用于表征所述第一目标分片所存储的数据的数据类型；
在所述第一标识表征所述第一目标分片用于存储冷热类型数据，且获取到所述第一目标分片的第二标识的情况下，将所述第一目标分片中所存储的数据迁移至对象存储系统，所述第二标识用于表征所述第一目标分片中的数据满足预设制冷条件。
根据本公开的第二方面，提供了一种搜索方法，应用于服务器，所述方法包括：
接收查询词；
基于所述查询词在所述服务器的数据存储单元进行查询；
在未查询到与所述查询词相对应的查询结果的情况下，将所述查询词发送至对象存储系统，以使所述对象存储系统基于所述查询词进行查询，其中，所述对象存储系统包括从目标分片迁移且满足预设制冷条件的数据，所述目标分片为所述数据存储单元中的数据存储分片；
在接收到所述对象存储系统发送的与所述查询词相对应的查询结果的情况下，输出所述查询结果。
根据本公开的第三方面，提供了一种数据存储装置，所述数据存储装置包括数据存储单元，所述数据存储单元包括至少两个数据存储分片，所述装置包括：
获取模块，用于获取第一目标分片的第一标识，其中，所述第一目标分片为所述至少两个数据存储分片中的一个数据存储分片，所述第一标识用于表征所述第一目标分片所存储的数据的数据类型；
迁移模块，用于在所述第一标识表征所述第一目标分片用于存储冷热类型数据，且获取到所述第一目标分片的第二标识的情况下，将所述第一目标分片中所存储的数据迁移至对象存储系统，所述第二标识用于表征所述第一目标分片中的数据满足预设制冷条件。
根据本公开的第四方面，提供了一种搜索装置，所述方法包括：
第二接收模块，用于接收查询词；
查询模块，用于基于所述查询词在所述搜索装置的数据存储单元进行查询；
发送模块，用于在未查询到与所述查询词相对应的查询结果的情况下，将所述查询词发送至对象存储系统，以使所述对象存储系统基于所述查询词进行查询，其中，所述对象存储系统包括从目标分片迁移且满足预设制冷条件的数据，所述目标分片为所述数据存储单元中的数据存储分片；
输出模块，用于在接收到所述对象存储系统发送的与所述查询词相对应的查询结果的情况下，输出所述查询结果。
根据本公开的第五方面，提供了一种电子设备，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行第一方面或第二方面所述的方法。
根据本公开的第六方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行第一方面或第二方面所述的方法。
根据本公开的第七方面，提供了一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现第一方面或第二方面所述的方法。
本公开实施例中，通过将服务器的数据存储单元存储的数据中，满足预设制冷条件的冷热类型数据迁移至对象存储系统，这样，有利于缓解数据存储单元中的数据存储压力，从而提高数据存储效果。
附图说明
附图用于更好地理解本方案，不构成对本公开的限定。其中：
图1是本公开实施例提供的一种数据存储方法的流程图；
图2是本公开实施例提供的一种搜索方法的流程图；
图3是本公开实施例提供的一种数据存储装置的结构示意图；
图4是本公开实施例提供的一种搜索装置的结构示意图；
图5是本公开实施例提供的用于实现数据存储方法或搜索方法的电子设备的框图。
具体实施方式
以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
请参见图1，为本公开实施例提供的一种数据存储方法，所述数据存储方法应用于服务器，所述服务器包括数据存储单元，所述数据存储单元包括至少两个数据存储分片，所述数据存储方法包括以下步骤：
步骤S101、获取第一目标分片的第一标识，其中，所述第一目标分片为所述至少两个数据存储分片中的一个数据存储分片，所述第一标识用于表征所述第一目标分片所存储的数据的数据类型；
步骤S102、在所述第一标识表征所述第一目标分片用于存储冷热类型数据，且获取到所述第一目标分片的第二标识的情况下，将所述第一目标分片中所存储的数据迁移至对象存储系统，所述第二标识用于表征所述第一目标分片中的数据满足预设制冷条件。
上述服务器可以是各种服务平台中的服务器，例如，可以是用于分布式全文检索(Elasticsearch，ES)系统中的服务器。上述数据存储单元可以是所述服务器的本地磁盘所形成的存储单元。所述至少两个数据存储分片中的不同数据存储分片可以分别用于存储不同类型的数据。在创建所述数据存储分片时，可以为所述数据存储分片设置第一标识，所述第一标识用于表征所述数据存储分片所存储的数据的数据类型。
其中，所述数据类型可以包括热数据和冷热类型数据，所述热数据可以是访问频次需求大、且效率要求高的数据，而所述冷热类型数据可以是访问频次较低、且效率要求慢的数据。由于所述热数据的访问频次需求大、且效率要求高，因此，可以使所述热数据始终存储于所述数据存储单元的其中一个数据存储分片。而由于所述冷热类型数据的访问频次较低、且效率要求慢，因此，可以先将所述冷热类型数据存储于所述数据存储单元的其中一个数据存储分片，待所述冷热类型数据满足预设制冷条件的情况下，可以将所述冷热类型数据迁移至所述对象存储系统。
具体地，在所述第一目标分片为用于存储冷热类型数据的数据存储分片的情况下，可以每隔预设时长将第一目标分片中的数据迁移至所述对象存储系统。例如，当所述第一目标分片距离上一次数据迁移的时间间隔达到所述预设时长时，可以为所述第一目标分片设置第二标识，此时，由于服务器可以获取到所述第一目标分片的第二标识，因此，可以将所述第一目标分片中所存储的数据迁移至对象存储系统。即所述预设制冷条件可以是：所述第一目标分片距离上一次数据迁移的时间间隔达到所述预设时长。
在对所述第一目标分片所存储的数据进行迁移的过程中，可以遍历所述第一目标分片中的所有数据，并为所述第一目标分片中的每个数据文件生成一个对象id，以便于后续基于对象id查询对应的数据，然后，将数据文件迁移至所述对象存储系统。在完成对所述第一目标分片中的所有数据的迁移之后，可以将所述第一目标分片的所述第二标识修改为第三标识，其中，所述第三标识用于表征所述第一目标分片中的数据已完成迁移。在所述第一目标分片具有所述第三标识时，所述服务器可以向所述第一目标分片写入新的冷热类型数据。在经过所述预设时长之后，再次将所述第一目标分片的所述第三标识修改为所述第二标识，以便于进行下一次数据迁移。其中，所述预设时长的取值可以根据实际需要进行修改。
其中，所述第一标识、第二标识和第三标识可以存储于数据存储分片的索引文件中。这样，服务器仅需遍历各个数据存储分片的索引文件，即可确定各个数据存储分片中所包含的标识。
可以理解的是，上述对象存储系统可以包括多个数据分片，且所述存储系统中的任意一个数据分片可以对应所述数据存储单元中的一个用于存储冷热类型数据的分片。例如，当所述第一目标分片为用于存储冷热类型数据的数据存储分片时，所述对象存储系统中包括一个与所述第一目标分片对应的一个第一分片，当所述第一目标分片中的数据满足预设制冷条件时，可以将所述第一目标分片中的数据迁移至所述对象存储系统的所述第一分片。
相关技术中，将服务器中的所有数据存储于服务器的本地磁盘时，由于服务器的本地磁盘通常为高性能磁盘，因此，数据存储成本相对较高。在ES系统中，当需要对服务器的本地磁盘进行扩容时，通常需要重启ES 数据节点，导致扩容过程对用户有感。此外，当ES系统包括多台服务器时，由于每台服务器仅能够调用自身磁盘节点中的数据，因此，可能会出现同一份数据需要存储于多个服务器的本地磁盘的现象，导致磁盘空间的浪费。同时，服务器本地磁盘的存储空间通常远小于对象存储系统的存储空间，导致能够存储的数据的数量存储限制的问题。
基于此，本公开实施例中，通过采样对象存储系统存储ES系统中的冷热类型数据，由于对象存储系统的数据存储成本相对较低，因此，可以降低数据存储的成本。且在对象存储系统进行扩容过程中，无需重启ES 节点，因此，可以实现扩容过程对用户无感。由于ES系统中的多台服务器可以共用一个对象存储系统，因此，相同的数据仅需在对象存储系统中存储一份，即可供各个服务器仅需调用，从而有利于避免数据冗余的问题。此外，对象存储系统支持ES级别的数据存储，存储容量更高，因此，相对于现有技术的存储方案而言，可以存储更多的数据。
该实施方式中，通过将服务器的数据存储单元存储的数据中，满足预设制冷条件的冷热类型数据迁移至对象存储系统，这样，有利于缓解数据存储单元中的数据存储压力，从而提高数据存储效果。
可选地，所述方法还包括：
接收目标数据；
在未获取到第二目标分片的所述第二标识的情况下，将所述目标数据写入所述第二目标分片；
在获取到所述第二目标分片的所述第二标识的情况下，拒绝将所述目标数据写入所述第二目标分片；
其中，所述第二目标分片所存储的数据的数据类型与所述目标数据的数据类型相匹配。
上述目标数据可以是所述服务器的各种写入数据，具体可以是所述服务器主动获取的数据，也可以是相关人员导入的数据。即在所述服务器接收到写入的目标数据时，可以先在所述数据存储单元中确定所述第二目标分片，然后，获取所述第二目标分片的第二标识，在获取到所述第二标识的情况下，即所述第二目标分片满足预设制冷条件的情况下，说明所述第二目标分片当前可能正在进行数据迁移。而若在进行数据迁移过程中，不断向所述第二目标分片写入新数据，将可能导致所述第二目标分片的数据迁移过程始终无法完成，进而导致无法对其他分片的冷热类型数据进行迁移的问题。因此，本公开实施例中，在获取到所述第二标识的情况下，可以拒绝将所述目标数据写入所述第二目标分片，同时，可以在所述第二目标分片的数据迁移完成之后，将所述目标数据写入所述第二目标分片。
相应地，在未获取到第二目标分片的所述第二标识的情况下，则说明所述第二目标分片当前不满足预设制冷条件，此时，所述第二目标分片中的数据并未处于数据迁移状态，因此，可以解析所述目标数据，然后，将所述目标数据写入所述第二目标分片。
上述所述第二目标分片所存储的数据的数据类型与所述目标数据的数据类型相匹配可以是指：所述第二目标分片所存储的数据的数据类型与所述目标数据的数据类型相同。
该实施方式中，在接收到写入的目标数据时，通过基于第二标识判断第二目标分片当前是否处于数据迁移状态，若属于数据迁移状态，则拒绝将所述目标数据写入所述第二目标分片，如此，可以确保所述第二目标分片的数据正常完成数据迁移过程。
可选地，所述在未获取到第二目标分片的所述第二标识的情况下，将所述目标数据写入所述第二目标分片之前，所述方法还包括：
在所述至少两个数据存储分片中不包括所述第二目标分片的情况下，在所述数据存储单元中创建所述第二目标分片。
具体地，在接收到所述目标数据之后，可以先判断所述至少两个数据存储分片中是否包括与所述目标数据的数据类型相匹配的第二目标分片，若存在，则直接获取所述第二目标分片的第二标识，以判断是否能够成功获取到所述第二标识。若不存在，则可以先在所述数据存储单元中创建所述第二目标分片以及第二目标分片的索引文件，可以理解的是，在创建所述第二目标分片的索引文件时，可以在所述索引文件中设置所述第二目标分片的第一标识，所述第一标识可以人为设置，也可以基于预先配置的规则由服务器自动设置。然后，再获取所述第二目标分片的第二标识，以判断是否能够成功获取到所述第二标识。
该实施方式中，通过在所述至少两个数据存储分片中不包括所述第二目标分片的情况下，在所述数据存储单元中创建所述第二目标分片，这样，有利于确保所述目标数据能够正常存入所述数据存储单元。
可选地，所述在所述数据存储单元中创建所述第二目标分片之后，所述方法还包括：
获取所述第二目标分片的所述第一标识；
在所述第二目标分片的所述第一标识表征所述第二目标分片用于存储冷热类型数据的情况下，创建所述第二目标分片与所述对象存储系统之间的数据映射文件，所述服务器用于基于所述数据映射文件将所述述第二目标分片中所存储的数据迁移至所述对象存储系统。
其中，所述数据映射文件可以是metaState.json文件。数据映射文件可以包括下表中的属性内容：
序号 属性 描述
1 cluster_uuid 集群id
2 cluster_name 集群名称
3 index_name 索引名称
4 index_uuid 索引id
5 shard_id 分片id
6 shard_version 分片版本
7 path_uid 对象存储系统存储数据的路径前缀
由于所述数据映射文件包括上表中的属性内容，这样，可以基于所述数据映射文件将所述第二目标分片中的数据迁移至所述对象存储系统中的对应位置。
该实施方式中，通过创建所述第二目标分片与所述对象存储系统之间的数据映射文件，从而方便将所述第二目标分片中的数据迁移至所述对象存储系统中的对应位置。
可选地，所述将所述第一目标分片中所存储的数据迁移至对象存储系统之后，所述方法还包括：
将所述第一目标分片中所存储的数据删除，并将所述第一目标分片的所述第二标识更新为第三标识，其中，所述第三标识用于表征所述第一目标分片中的数据已完成迁移。
该实施方式中，在将所述第一目标分片中所存储的数据迁移至对象存储系统之后，通过将所述第一目标分片中所存储的数据删除，以便于释放所述第一目标分片中的存储空间，当服务器需要调用所述第一目标分片的数据时，可以从所述对象存储系统获取。同时，通过将所述第一目标分片的所述第二标识更新为第三标识，以便于使得所述第一目标分片能够接收新写入的数据。
可选地，所述将所述第一目标分片的所述第二标识更新为第三标识之后，所述方法还包括：
在间隔预设时长之后，将所述第一目标分片的所述第三标识更新为所述第二标识。
该实施方式中，通过在在间隔预设时长之后，将所述第一目标分片的所述第三标识更新为所述第二标识，以便于服务器能够获取到所述第一目标分片的第二标识，从而再次将所述第一目标分片的数据迁移至所述对象存储系统，以实现定期将所述第一目标分片中的数据迁移至所述对象存储系统的目的。
可选地，所述数据存储分片具有预设编码，所述至少两个数据存储分片的所述预设编码按照预设顺序排列，所述获取第一目标分片的第一标识之后，所述方法还包括：
在所述第一目标分片的所述第一标识表征所述第一目标分片用于存储非冷热类型数据的情况下，获取第三目标分片的所述第一标识，所述第三目标分片为：按照所述预设顺序排列的所述至少两个数据存储分片中，所述第一目标分片的下一个数据存储分片；
在所述第三目标分片的所述第一标识表征所述第三目标分片用于存储冷热类型数据，且获取到所述第三目标分片的所述第二标识的情况下，将所述第三目标分片中所存储的数据迁移至所述对象存储系统。
该实施方式中，所述服务器可以每隔预设时长，按照所述预设顺序遍历所述数据存储单元的各个数据存储分片。当所述数据存储分片用于存储非冷热类型数据时，即该分片的数据无需迁移至所述对象存储系统时，则跳过该数据存储分片，并获取下一个数据存储分片的第一标识，以进一步判断该数据存储分片是否用于存储冷热类型数据，直至遍历所述数据存储单元的所有数据存储分片，从而完成一次数据迁移的过程。
可选地，所述将所述第一目标分片中所存储的数据迁移至对象存储系统之后，所述方法还包括：
获取所述第三目标分片的所述第一标识；
在所述第三目标分片的所述第一标识表征所述第三目标分片用于存储冷热类型数据，且获取到所述第三目标分片的所述第二标识的情况下，将所述第三目标分片中所存储的数据迁移至对象存储系统。
该实施方式中，所述服务器在按照上述预设顺序遍历所述数据存储单元的各个数据存储分片的过程中，当完成一个数据存储分片之后，则获取下一个数据存储分片的第一标识，以进一步判断该数据存储分片是否用于存储冷热类型数据，直至遍历所述数据存储单元的所有数据存储分片，从而完成一次数据迁移的过程。
请参见图2，为本公开实施例提供的一种搜索方法，所述搜索方法包括以下步骤：
步骤S201、接收查询词；
步骤S202、基于所述查询词在所述服务器的数据存储单元进行查询；
步骤S203、在未查询到与所述查询词相对应的查询结果的情况下，将所述查询词发送至对象存储系统，以使所述对象存储系统基于所述查询词进行查询，其中，所述对象存储系统包括从目标分片迁移且满足预设制冷条件的数据，所述目标分片为所述数据存储单元中的数据存储分片；
步骤S204、在接收到所述对象存储系统发送的与所述查询词相对应的查询结果的情况下，输出所述查询结果。
可以理解的是，在基于所述查询词在所述服务器的数据存储单元进行查询，并查询到与所述查询词相对应的查询结果的情况下，则可以直接输出所述查询结果。
具体地，所述服务器中的查询服务在接收到查询请求时，获取所述查询请求中的查询词，然后将所述查询词转化为一组底层索引文件的查询命令。然后遍历所述查询命令，若在所述数据存储单元中查询到对应的操作文件或文件夹，则将各索引文件的查询结果汇总，进行组装，返回查询结果。相应地，若在所述数据存储单元无法查询到所述操作文件或文件夹，则按块将文件从远端对象存储系统下载到本地完成查询操作，并将各索引文件的查询结果汇总，进行组装，返回查询结果。
该实施方式中，通过先基于查询词在服务器本地的数据存储单元进行查询，在未查询到与所述查询词相对应的查询结果的情况下，再基于所述对象存储系统进行查询，以确保数据查询过程正常进行。
请参见图3，图3为本公开实施例提供的一种数据存储装置300的结构示意图，所述数据存储装置300包括数据存储单元，所述数据存储单元包括至少两个数据存储分片，所述装置包括：
获取模块301，用于获取第一目标分片的第一标识，其中，所述第一目标分片为所述至少两个数据存储分片中的一个数据存储分片，所述第一标识用于表征所述第一目标分片所存储的数据的数据类型；
迁移模块302，用于在所述第一标识表征所述第一目标分片用于存储冷热类型数据，且获取到所述第一目标分片的第二标识的情况下，将所述第一目标分片中所存储的数据迁移至对象存储系统，所述第二标识用于表征所述第一目标分片中的数据满足预设制冷条件。
可选地，所述装置还包括：
第一接收模块，用于接收目标数据；
写入模块，用于在未获取到第二目标分片的所述第二标识的情况下，将所述目标数据写入所述第二目标分片；
所述写入模块，还用于在获取到所述第二目标分片的所述第二标识的情况下，拒绝将所述目标数据写入所述第二目标分片；
其中，所述第二目标分片所存储的数据的数据类型与所述目标数据的数据类型相匹配。
可选地，所述装置还包括：
创建模块，用于在所述至少两个数据存储分片中不包括所述第二目标分片的情况下，在所述数据存储单元中创建所述第二目标分片。
可选地，所述获取模块301，还用于获取所述第二目标分片的所述第一标识；
所述创建模块，还用于在所述第二目标分片的所述第一标识表征所述第二目标分片用于存储冷热类型数据的情况下，创建所述第二目标分片与所述对象存储系统之间的数据映射文件，所述数据存储装置300用于基于所述数据映射文件将所述述第二目标分片中所存储的数据迁移至所述对象存储系统。
可选地，所述装置还包括：
处理模块，用于将所述第一目标分片中所存储的数据删除，并将所述第一目标分片的所述第二标识更新为第三标识，其中，所述第三标识用于表征所述第一目标分片中的数据已完成迁移。
可选地，所述装置还包括：
更新模块，用于在间隔预设时长之后，将所述第一目标分片的所述第三标识更新为所述第二标识。
可选地，所述数据存储分片具有预设编码，所述至少两个数据存储分片的所述预设编码按照预设顺序排列，所述获取模块301，还用于在所述第一目标分片的所述第一标识表征所述第一目标分片用于存储非冷热类型数据的情况下，获取第三目标分片的所述第一标识，所述第三目标分片为：按照所述预设顺序排列的所述至少两个数据存储分片中，所述第一目标分片的下一个数据存储分片；
所述迁移模块302，还用于在所述第三目标分片的所述第一标识表征所述第三目标分片用于存储冷热类型数据，且获取到所述第三目标分片的所述第二标识的情况下，将所述第三目标分片中所存储的数据迁移至所述对象存储系统。
可选地，所述获取模块301，还用于获取所述第三目标分片的所述第一标识；
所述迁移模块302，还用于在所述第三目标分片的所述第一标识表征所述第三目标分片用于存储冷热类型数据，且获取到所述第三目标分片的所述第二标识的情况下，将所述第三目标分片中所存储的数据迁移至对象存储系统。
需要说明地，本实施例提供的数据存储装置300可以为上述实施例中的服务器，且所述数据存储装置300能够实现上述数据存储方法实施例的全部技术方案，因此至少能够实现上述全部技术效果，此处不再赘述。
请参见图4，图4是本公开实施例提供的一种搜索装置400的结构示意图，所述搜索装置400，所述方法包括：
第二接收模块401，用于接收查询词；
查询模块402，用于基于所述查询词在所述搜索装置的数据存储单元进行查询；
发送模块403，用于在未查询到与所述查询词相对应的查询结果的情况下，将所述查询词发送至对象存储系统，以使所述对象存储系统基于所述查询词进行查询，其中，所述对象存储系统包括从目标分片迁移且满足预设制冷条件的数据，所述目标分片为所述数据存储单元中的数据存储分片；
输出模块404，用于在接收到所述对象存储系统发送的与所述查询词相对应的查询结果的情况下，输出所述查询结果。
需要说明地，本实施例提供的搜索装置400可以为上述实施例中的服务器，且所述搜索装置能够实现上述搜索方法实施例的全部技术方案，因此至少能够实现上述全部技术效果，此处不再赘述。
本公开的技术方案中，所涉及的用户个人信息的获取，存储和应用等，均符合相关法律法规的规定，且不违背公序良俗。
根据本公开的实施例，本公开还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。
图5示出了可以用来实施本公开的实施例的示例电子设备500的示意性框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。
如图5所示，电子设备500包括计算单元501，其可以根据存储在只读存储器(ROM)502中的计算机程序或者从存储单元508加载到随机访问存储器(RAM)503中的计算机程序，来执行各种适当的动作和处理。在RAM 503中，还可存储设备500操作所需的各种程序和数据。计算单元501、ROM 502以及RAM 503通过总线504彼此相连。输入/输出(I/O) 接口505也连接至总线504。
电子设备500中的多个部件连接至I/O接口505，包括：输入单元506，例如键盘、鼠标等；输出单元507，例如各种类型的显示器、扬声器等；存储单元508，例如磁盘、光盘等；以及通信单元509，例如网卡、调制解调器、无线通信收发机等。通信单元509允许设备500通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
计算单元501可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元501的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元501执行上文所描述的各个方法和处理，例如数据存储方法，或者，搜索方法。例如，在一些实施例中，数据存储方法，或者，搜索方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元508。在一些实施例中，计算机程序的部分或者全部可以经由ROM 502和/或通信单元509而被载入和/或安装到设备500上。当计算机程序加载到RAM 503并由计算单元501执行时，执行上文描述的数据存储方法，或者，搜索方法的一个或多个步骤。备选地，在其他实施例中，计算单元501可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行数据存储方法，或者，被配置为执行搜索方法。
本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/ 或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入) 来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，也可以为分布式系统的服务器，或者是结合了区块链的服务器。
应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开公开的技术方案所期望的结果，本文在此不进行限制。
上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等，均应包含在本公开保护范围之内。

Claims (21)

1.一种数据存储方法，应用于服务器，所述服务器包括数据存储单元，所述数据存储单元包括至少两个数据存储分片，所述方法包括：
获取第一目标分片的第一标识，其中，所述第一目标分片为所述至少两个数据存储分片中的一个数据存储分片，所述第一标识用于表征所述第一目标分片所存储的数据的数据类型；
在所述第一标识表征所述第一目标分片用于存储冷热类型数据，且获取到所述第一目标分片的第二标识的情况下，将所述第一目标分片中所存储的数据迁移至对象存储系统，所述第二标识用于表征所述第一目标分片中的数据满足预设制冷条件。
2.根据权利要求1所述的方法，其中，所述方法还包括：
接收目标数据；
在未获取到第二目标分片的所述第二标识的情况下，将所述目标数据写入所述第二目标分片；
在获取到所述第二目标分片的所述第二标识的情况下，拒绝将所述目标数据写入所述第二目标分片；
其中，所述第二目标分片所存储的数据的数据类型与所述目标数据的数据类型相匹配。
3.根据权利要求2所述的方法，其中，所述在未获取到第二目标分片的所述第二标识的情况下，将所述目标数据写入所述第二目标分片之前，所述方法还包括：
在所述至少两个数据存储分片中不包括所述第二目标分片的情况下，在所述数据存储单元中创建所述第二目标分片。
4.根据权利要求3所述的方法，其中，所述在所述数据存储单元中创建所述第二目标分片之后，所述方法还包括：
获取所述第二目标分片的所述第一标识；
在所述第二目标分片的所述第一标识表征所述第二目标分片用于存储冷热类型数据的情况下，创建所述第二目标分片与所述对象存储系统之间的数据映射文件，所述服务器用于基于所述数据映射文件将所述述第二目标分片中所存储的数据迁移至所述对象存储系统。
5.根据权利要求1所述的方法，其中，所述将所述第一目标分片中所存储的数据迁移至对象存储系统之后，所述方法还包括：
将所述第一目标分片中所存储的数据删除，并将所述第一目标分片的所述第二标识更新为第三标识，其中，所述第三标识用于表征所述第一目标分片中的数据已完成迁移。
6.根据权利要求1所述的方法，其中，所述将所述第一目标分片的所述第二标识更新为第三标识之后，所述方法还包括：
在间隔预设时长之后，将所述第一目标分片的所述第三标识更新为所述第二标识。
7.根据权利要求1所述的方法，其中，所述数据存储分片具有预设编码，所述至少两个数据存储分片的所述预设编码按照预设顺序排列，所述获取第一目标分片的第一标识之后，所述方法还包括：
在所述第一目标分片的所述第一标识表征所述第一目标分片用于存储非冷热类型数据的情况下，获取第三目标分片的所述第一标识，所述第三目标分片为：按照所述预设顺序排列的所述至少两个数据存储分片中，所述第一目标分片的下一个数据存储分片；
在所述第三目标分片的所述第一标识表征所述第三目标分片用于存储冷热类型数据，且获取到所述第三目标分片的所述第二标识的情况下，将所述第三目标分片中所存储的数据迁移至所述对象存储系统。
8.根据权利要求7所述的方法，其中，所述将所述第一目标分片中所存储的数据迁移至对象存储系统之后，所述方法还包括：
获取所述第三目标分片的所述第一标识；
在所述第三目标分片的所述第一标识表征所述第三目标分片用于存储冷热类型数据，且获取到所述第三目标分片的所述第二标识的情况下，将所述第三目标分片中所存储的数据迁移至对象存储系统。
9.一种搜索方法，应用于服务器，所述方法包括：
接收查询词；
基于所述查询词在所述服务器的数据存储单元进行查询；
在未查询到与所述查询词相对应的查询结果的情况下，将所述查询词发送至对象存储系统，以使所述对象存储系统基于所述查询词进行查询，其中，所述对象存储系统包括从目标分片迁移且满足预设制冷条件的数据，所述目标分片为所述数据存储单元中的数据存储分片；
在接收到所述对象存储系统发送的与所述查询词相对应的查询结果的情况下，输出所述查询结果。
10.一种数据存储装置，所述数据存储装置包括数据存储单元，所述数据存储单元包括至少两个数据存储分片，所述装置包括：
获取模块，用于获取第一目标分片的第一标识，其中，所述第一目标分片为所述至少两个数据存储分片中的一个数据存储分片，所述第一标识用于表征所述第一目标分片所存储的数据的数据类型；
迁移模块，用于在所述第一标识表征所述第一目标分片用于存储冷热类型数据，且获取到所述第一目标分片的第二标识的情况下，将所述第一目标分片中所存储的数据迁移至对象存储系统，所述第二标识用于表征所述第一目标分片中的数据满足预设制冷条件。
11.根据权利要求10所述的装置，其中，所述装置还包括：
第一接收模块，用于接收目标数据；
写入模块，用于在未获取到第二目标分片的所述第二标识的情况下，将所述目标数据写入所述第二目标分片；
所述写入模块，还用于在获取到所述第二目标分片的所述第二标识的情况下，拒绝将所述目标数据写入所述第二目标分片；
其中，所述第二目标分片所存储的数据的数据类型与所述目标数据的数据类型相匹配。
12.根据权利要求11所述的装置，其中，所述装置还包括：
创建模块，用于在所述至少两个数据存储分片中不包括所述第二目标分片的情况下，在所述数据存储单元中创建所述第二目标分片。
13.根据权利要求12所述的装置，其中，所述获取模块，还用于获取所述第二目标分片的所述第一标识；
所述创建模块，还用于在所述第二目标分片的所述第一标识表征所述第二目标分片用于存储冷热类型数据的情况下，创建所述第二目标分片与所述对象存储系统之间的数据映射文件，所述数据存储装置用于基于所述数据映射文件将所述述第二目标分片中所存储的数据迁移至所述对象存储系统。
14.根据权利要求10所述的装置，其中，所述装置还包括：
处理模块，用于将所述第一目标分片中所存储的数据删除，并将所述第一目标分片的所述第二标识更新为第三标识，其中，所述第三标识用于表征所述第一目标分片中的数据已完成迁移。
15.根据权利要求10所述的装置，其中，所述装置还包括：
更新模块，用于在间隔预设时长之后，将所述第一目标分片的所述第三标识更新为所述第二标识。
16.根据权利要求10所述的装置，其中，所述数据存储分片具有预设编码，所述至少两个数据存储分片的所述预设编码按照预设顺序排列，所述获取模块，还用于在所述第一目标分片的所述第一标识表征所述第一目标分片用于存储非冷热类型数据的情况下，获取第三目标分片的所述第一标识，所述第三目标分片为：按照所述预设顺序排列的所述至少两个数据存储分片中，所述第一目标分片的下一个数据存储分片；
所述迁移模块，还用于在所述第三目标分片的所述第一标识表征所述第三目标分片用于存储冷热类型数据，且获取到所述第三目标分片的所述第二标识的情况下，将所述第三目标分片中所存储的数据迁移至所述对象存储系统。
17.根据权利要求16所述的装置，其中，所述获取模块，还用于获取所述第三目标分片的所述第一标识；
所述迁移模块，还用于在所述第三目标分片的所述第一标识表征所述第三目标分片用于存储冷热类型数据，且获取到所述第三目标分片的所述第二标识的情况下，将所述第三目标分片中所存储的数据迁移至对象存储系统。
18.一种搜索装置，所述方法包括：
第二接收模块，用于接收查询词；
查询模块，用于基于所述查询词在所述搜索装置的数据存储单元进行查询；
发送模块，用于在未查询到与所述查询词相对应的查询结果的情况下，将所述查询词发送至对象存储系统，以使所述对象存储系统基于所述查询词进行查询，其中，所述对象存储系统包括从目标分片迁移且满足预设制冷条件的数据，所述目标分片为所述数据存储单元中的数据存储分片；
输出模块，用于在接收到所述对象存储系统发送的与所述查询词相对应的查询结果的情况下，输出所述查询结果。
19.一种电子设备，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-8中任一项所述的数据存储方法，或者，执行权利要求9所述的搜索方法。
20.一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行权利要求1-8中任一项所述的数据存储方法，或者，执行权利要求9所述的搜索方法。
21.一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现权利要求1-8中任一项所述的数据存储方法，或者，实现权利要求9所述的搜索方法。
CN202210110779.7A 2022-01-29 2022-01-29 数据存储方法、搜索方法、装置和电子设备 Pending CN114443910A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210110779.7A CN114443910A (zh) 2022-01-29 2022-01-29 数据存储方法、搜索方法、装置和电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210110779.7A CN114443910A (zh) 2022-01-29 2022-01-29 数据存储方法、搜索方法、装置和电子设备

Publications (1)

Publication Number Publication Date
CN114443910A true CN114443910A (zh) 2022-05-06

Family

ID=81372555

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210110779.7A Pending CN114443910A (zh) 2022-01-29 2022-01-29 数据存储方法、搜索方法、装置和电子设备

Country Status (1)

Country Link
CN (1) CN114443910A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116431523A (zh) * 2023-06-12 2023-07-14 建信金融科技有限责任公司 一种测试数据管理方法、装置、设备、存储介质及产品

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116431523A (zh) * 2023-06-12 2023-07-14 建信金融科技有限责任公司 一种测试数据管理方法、装置、设备、存储介质及产品
CN116431523B (zh) * 2023-06-12 2023-08-29 建信金融科技有限责任公司 一种测试数据管理方法、装置、设备及存储介质

Similar Documents

Publication Publication Date Title
CN107480205B (zh) 一种进行数据分区的方法和装置
CN107704202B (zh) 一种数据快速读写的方法和装置
CN114116613A (zh) 基于分布式文件系统的元数据查询方法、设备和存储介质
CN113961510A (zh) 一种文件处理方法、装置、设备及存储介质
CN107609192A (zh) 一种搜索引擎的补充搜索方法和装置
CN112528067A (zh) 图数据库的存储方法、读取方法、装置及设备
CN114443910A (zh) 数据存储方法、搜索方法、装置和电子设备
CN113868434A (zh) 图数据库的数据处理方法、设备和存储介质
CN116226150A (zh) 基于分布式数据库的数据处理方法、装置、设备和介质
CN110795419A (zh) 动态分库路由的方法和装置
CN116521816A (zh) 一种数据处理方法、检索方法、装置、设备以及存储介质
EP4092544A1 (en) Method, apparatus and storage medium for deduplicating entity nodes in graph database
CN112887426B (zh) 信息流的推送方法、装置、电子设备以及存储介质
CN115617800A (zh) 数据读取方法、装置、电子设备及存储介质
CN115454971A (zh) 数据迁移方法、装置、电子设备及存储介质
CN112711572B (zh) 适用于分库分表的在线扩容方法和装置
CN113326038A (zh) 用于提供服务的方法、装置、设备、存储介质及程序产品
CN115794876A (zh) 针对业务数据包的分片处理方法、装置、设备及存储介质
CN115586871B (zh) 面向云计算场景的数据追加写方法、装置、设备以及介质
CN113569144B (zh) 推广内容的检索方法、装置、设备、存储介质及程序产品
US20230132173A1 (en) Data reading method, device and storage medium
CN113360689B (zh) 图像检索系统、方法、相关装置及计算机程序产品
CN115905213A (zh) 报表存储方法、装置及电子设备
CN115617801A (zh) 基于分布式系统的数据检索方法、装置、设备及介质
CN115756715A (zh) 图形化页面数据的确定方法、装置、设备及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination