CN115617799A - 一种数据存储的方法、装置、设备及存储介质 - Google Patents

一种数据存储的方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN115617799A
CN115617799A CN202211274661.4A CN202211274661A CN115617799A CN 115617799 A CN115617799 A CN 115617799A CN 202211274661 A CN202211274661 A CN 202211274661A CN 115617799 A CN115617799 A CN 115617799A
Authority
CN
China
Prior art keywords
data
block
stored
identifier
identification
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211274661.4A
Other languages
English (en)
Inventor
李孟宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alipay Hangzhou Information Technology Co Ltd
Original Assignee
Alipay Hangzhou Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alipay Hangzhou Information Technology Co Ltd filed Critical Alipay Hangzhou Information Technology Co Ltd
Priority to CN202211274661.4A priority Critical patent/CN115617799A/zh
Publication of CN115617799A publication Critical patent/CN115617799A/zh
Priority to US18/489,446 priority patent/US20240126465A1/en
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0638—Organizing or formatting or addressing of data
    • G06F3/064—Management of blocks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22—Indexing; Data structures therefor; Storage structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/23—Updating
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/28—Databases characterised by their database models, e.g. relational or object models
    • G06F16/284—Relational databases
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0604—Improving or facilitating administration, e.g. storage management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/0671—In-line storage system
    • G06F3/0673—Single storage device
    • G06F3/0679—Non-volatile semiconductor memory device, e.g. flash memory, one time programmable memory [OTP]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本说明书公开了一种数据存储的方法、装置、设备及存储介质，可以通过对数据大小超过预设阈值的待存储数据进行拆分，并通过将拆分得到的各数据分块的分块标识与待存储数据的标识进行对应存储的方式，将待存储数据存储到图数据库中。

Description

一种数据存储的方法、装置、设备及存储介质
技术领域
本说明书涉及数据库技术领域，尤其涉及一种数据存储的方法、装置、设备及存储介质。
背景技术
图数据库是目前被广泛使用的一种数据库，可以在图数据库中保存实体之间依赖关系，并可以基于保存的实体依赖关系进行数据查询，从而提高数据查询的效率。
但是，目前的图数据库不能支持较大数据的存储。
发明内容
本说明书提供一种数据存储的方法、装置、设备及存储介质，以部分的解决现有技术存在的问题。
本说明书采用下述技术方案：
本说明书提供了一种数据存储的方法，包括：
接收待存储数据，所述待存储数据中包括多个字段对应的数据；
判断所述待存储数据的大小是否超过预设阈值；
若是，则将所述待存储数据中包含的部分数据进行拆分，得到各数据分块；
根据各数据分块在所述待存储数据中的先后顺序，确定各数据分块的分块标识；
将所述待存储数据的数据标识与所述各数据分块的分块标识进行对应存储，以及将各分块标识以及各数据分块进行对应存储。
可选地，将所述待存储数据中包含的部分数据进行拆分，得到各数据分块，具体包括：
从所述待存储数据中包含的各字段中，确定出目标字段；
对所述目标字段对应的数据进行拆分，得到各数据分块。
可选地，根据各数据分块在所述待存储数据中的先后顺序，确定各数据分块的分块标识，具体包括：
根据各数据分块在所述待存储数据中的先后顺序，确定每个数据分块对应的分块序号；
针对每个数据分块，根据该数据分块的分块序号以及所述待存储数据的数据标识，确定该数据分块的分块标识。
可选地，将所述待存储数据的数据标识与所述各数据分块的分块标识进行对应存储，具体包括：
将所述待存储数据的数据标识作为键，以及将所述各数据分块的分块标识的取值范围作为值进行对应存储；
将各分块标识以及各数据分块进行对应存储，具体包括：
针对每个数据分块，将该数据分块对应的分块标识作为键，以及将该数据分块作为值进行对应存储。
可选地，所述方法还包括：
接收查询指定字段对应数据的查询请求；
判断所述指定字段是否为所述目标字段；
若是，则根据所述查询请求中携带的所述数据标识，从所述图数据库中查询出与所述数据标识对应的分块标识，作为目标分块标识；
查询出所述目标分块标识对应的数据分块，并根据查询出的数据分块，查询出所述指定字段对应的数据。
可选地，所述方法还包括：
接收数据添加请求，所述数据添加请求用于在所述待存储数据包含的字段中添加数据；
根据所述数据添加请求中携带的待添加数据，生成待添加数据分块；
根据所述数据添加请求中携带的所述数据标识，从所述图数据库中查询出与所述数据标识对应的分块标识；
根据查询出的分块标识，确定所述待添加数据分块的分块标识；
将所述数据标识与所述待添加数据分块的分块标识进行对应存储，以及将所述待添加数据分块的分块标识与所述待添加数据分块对应存储。
本说明书提供了一种数据存储的装置，包括：
接收模块，用于接收待存储数据，所述待存储数据中包括多个字段对应的数据；
判断模块，用于判断所述待存储数据的大小是否超过预设阈值；
拆分模块，用于在确定所述待存储数据大小超过预设阈值时，则将所述待存储数据中包含的部分数据进行拆分，得到各数据分块；
确定模块，用于根据各数据分块在所述待存储数据中的先后顺序，确定各数据分块的分块标识；
存储模块，用于将所述待存储数据的数据标识与所述各数据分块的分块标识进行对应存储，以及将各分块标识以及各数据分块进行对应存储。
可选地，所述拆分模块具体用于，从所述待存储数据中包含的各字段中，确定出目标字段；对所述目标字段对应的数据进行拆分，得到各数据分块。
可选地，所述确定模块具体用于，根据各数据分块在所述待存储数据中的先后顺序，确定每个数据分块对应的分块序号；针对每个数据分块，根据该数据分块的分块序号以及所述待存储数据的数据标识，确定该数据分块的分块标识。
可选地，所述存储模块具体用于，将所述待存储数据的数据标识作为键，以及将所述各数据分块的分块标识的取值范围作为值进行对应存储；针对每个数据分块，将该数据分块对应的分块标识作为键，以及将该数据分块作为值进行对应存储。
可选地，所述装置还包括：查询模块；
所述查询模块具体用于，接收查询指定字段对应数据的查询请求；判断所述指定字段是否为所述目标字段；若是，则根据所述查询请求中携带的所述数据标识，从图数据库中查询出与所述数据标识对应的分块标识，作为目标分块标识；查询出所述目标分块标识对应的数据分块，并根据查询出的数据分块，查询出所述指定字段对应的数据。
可选地，所述装置还包括：添加模块；
所述添加模块具体用于，接收数据添加请求，所述数据添加请求用于在所述待存储数据包含的字段中添加数据；根据所述数据添加请求中携带的待添加数据，生成待添加数据分块；根据所述数据添加请求中携带的所述数据标识，从图数据库中查询出与所述数据标识对应的分块标识；根据查询出的分块标识，确定所述待添加数据分块的分块标识；将所述数据标识与所述待添加数据分块的分块标识进行对应存储，以及将所述待添加数据分块的分块标识与所述待添加数据分块对应存储。
本说明书提供了一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述数据存储的方法。
本说明书提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述数据存储的方法。
本说明书采用的上述至少一个技术方案能够达到以下有益效果：
在本说明书提供的数据存储的方法，首先接收待存储数据，在待存储数据中包括多个字段对应的数据，判断待存储数据的大小是否超过预设阈值，若是，则将待存储数据中包含的部分数据进行拆分，得到各数据分块，根据各数据分块在待存储数据中的先后顺序，确定各数据分块的分块标识，将待存储数据的数据标识与各数据分块的分块标识进行对应存储，以及将各分块标识以及各数据分块进行对应存储。
从上述方法中可以看出，可以通过对数据大小超过预设阈值的待存储数据进行拆分，并通过将拆分得到的各数据分块的分块标识与待存储数据的标识进行对应存储的方式，将待存储数据存储到图数据库中。
附图说明
此处所说明的附图用来提供对本说明书的进一步理解，构成本说明书的一部分，本说明书的示意性实施例及其说明用于解释本说明书，并不构成对本说明书的不当限定。在附图中：
图1为本说明书中提供的一种数据存储的方法的流程示意图；
图2为本说明书中提供的待存储数据对应的键值对的示意图；
图3为本说明书提供的一种数据存储的装置的示意图；
图4为本说明书提供的一种对应于图1的电子设备的示意图。
具体实施方式
为使本说明书的目的、技术方案和优点更加清楚，下面将结合本说明书具体实施例及相应的附图对本说明书技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本说明书一部分实施例，而不是全部的实施例。基于本说明书中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本说明书保护的范围。
以下结合附图，详细说明本说明书各实施例提供的技术方案。
图1为本说明书中提供的一种数据存储的方法的流程示意图，包括以下步骤：
S100：接收待存储数据，所述待存储数据中包括多个字段对应的数据。
在本说明书中，用户可以通过预设的操作指令，将需要保存的数据保存到图数据库中，而在此之前，用户可以将需要存储的数据上传到业务平台中，以使业务平台将用户需要存储的数据保存到图数据库中。
具体地，业务平台可以接收用户上传的需要存储到图数据库中的数据，作为待存储数据，进而可以将待存储数据存储到图数据库中，这里的待存储数据中包含有多个字段对应的数据。这里的字段是指一个类(类是用于形容一类事物的特征的集合)的一个属性对应的变量，例如：针对用户类，该类中有用户名、用户编码、用户年龄、用户地址等属性，其中，每个属性都对应一个字段，如：用户名，即为一个字段，用户编码，即为一个字段等。
在本说明书中，用于实现数据存储的方法的执行主体，可以是指服务器等设置于业务平台的指定设备，也可以是指诸如台式电脑、笔记本电脑等终端设备，为了便于描述，下面仅以服务器是执行主体为例，对本说明书提供的数据存储的方法进行说明。
S102：判断所述待存储数据的大小是否超过预设阈值。
S104：若是，则将所述待存储数据中包含的部分数据进行拆分，得到各数据分块。
在本说明书中，服务器在接收到用户上传的待存储数据后，可以判断待存储数据的大小是否超过预设阈值，若是，则可以对待存储数据中包含的部分数据进行拆分，得到各数据分块，其中，这里的阈值可以是超过4G大小的值。
具体地，服务器可以从待存储数据中包含的各字段中，确定出目标字段，进而可以按照指定数据大小对目标字段对应的数据进行拆分，得到各数据分块。例如：假设目标字段为用户的备注，目标字段对应的数据为“爱吃苹果，想去旅游，喜欢音乐。”，则可以将其拆分为“爱吃苹果，”，“想去旅游，”，“喜欢音乐。”这三个数据分块。
需要说明的是，在图数据库中，由于数字和字符串的提取方式是不同的，因此，为了便于对数据进行管理，图数据库使用Schema来定义不同字段的数据的类型，即数据类型，例如：由于用户名这个字段通常是由一组字符串组成的，因此，可以用char类型，char类型是用于存储字符(如：‘a’)的一种数据类型。再例如：由于用户年龄这个字段通常是由一个数字组成，因此，可以用int类型存储，int类型是用于存储整数数字(如：128)的一种数据类型。
而在各数据类型中，存在一种数据类型TEXT，这种数据类型是一种可变长数据类型，即，可以根据用户输入的数据的多少来改变占用内存的大小，因此，TEXT数据类型的字段可以用来存储较大的数据，而上述的int和char是固定内存大小，并且int和char数据类型的字段占用的内容通常较小，因此，在对字段的数据类型进行定义时，若不能明确的知道该字段所需要存储的数据的大小，则可以使用TEXT数据类型对字段进行定义。
基于此，上述的目标字段可以是指指定数据类型的字段，这里的指定数据类型可以是：TEXT、TinyTEXT、MediumTEXT、LongTEXT等可能会占用较大内存的数据对应的数据类型。
进一步地，服务器可以针对待存储数据中包含的每个字段，判断该字段对应的数据类型是否属于指定数据类型，若是，则可以将该字段作为目标字段，例如：假设待存储数据有用户名、用户编码、用户年龄、用户备注几个字段，而由于用户备注这个字段中可能会保存较大的数据，并且，用户的备注需要根据实际需要来不断添加，因此，可以将该字段的数据类型设置为TEXT，并可以确定用户的备注这个字段为目标字段。
服务器在确定出目标字段后，可以将目标字段中存储的数据按照指定数据大小进行拆分，得到各数据分块。
例如：假设待存储数据的目标字段中存储的数据大小为4GB，指定数据大小可以为2MB，进而可以将待存储数据按照2MB进行拆分，从而得到2048个数据分块。
S106：根据各数据分块在所述待存储数据中的先后顺序，确定各数据分块的分块标识。
进一步地，服务器可以根据各数据分块在待存储数据中的先后顺序，确定每个数据分块对应的分块序号，进而针对每个数据分块，根据该数据分块的分块序号以及待存储数据的数据标识，确定该数据分块的分块标识。
例如：假设待存储数据的目标字段中存储的数据可以拆分为2048个数据分块，假设待存储数据的数据标识为1111 user，其中，“1111”为待存储数据的唯一标识，“user”为待存储数据所对应的类名，而每个数据分块中的第一个数据分块对应的分块序号可以是0，最后一个数据分块对应的分块序号可以为2047，依此类推，进而可以根据每个数据分块对应的分块序号和待存储数据的数据标识，确定出第一个数据分块的分块标识为“1111 user0”，最后一个数据分块的分块标识为“1111 user 2047”。
S108：将所述待存储数据的数据标识与所述各数据分块的分块标识进行对应存储，以及将各分块标识以及各数据分块进行对应存储。
进一步地，服务器可以将待存储数据的数据标识与各数据分块的分块标识进行对应存储，以及将各分块标识以及各数据分块进行对应存储。
具体地，服务器可以将待存储数据的数据标识作为键值对中的键(即key)，以及将各数据分块的分块标识的取值范围，作为键值对的值(即value)进行对应存储。例如：假设待存储数据对应的数据分块为2048块，则，可以确定出数据分块的分块标识的取值范围为0～为2047，进而可以将0～2047作为键值对的值进行对应存储。当然也可以直接存储2047，用以表示0～2047这个取值范围。
需要说明的是，上述内容中，各数据分块的分块标识的取值范围是作为键值对中的部分键值进行存储的，而不是作为全部键值，如图2所示。
图2为本说明书中提供的待存储数据对应的键值对的示意图。
从图2中可以看出，待存储数据有用户名、用户年龄、用户备注几个字段，其中，每个字段以“字段名：字段值”的形式保存在待存储数据对应的键值对的键值中，即，图2中的待存储数据对应的键值对中的键为“1111 user”，待存储数据对应的键值对中的值为“用户名：张三、用户年龄：18、用户备注：2047”，这里的“用户名”即为字段名，这里的“张三”即为字段值，而上述的各数据分块的分块标识的取值范围是作为“用户备注”这个字段对应的字段值进行保存的，也就是字段名“用户备注”对应的字段值为“2047”。
进一步地，服务器可以针对每个数据分块，将该数据分块对应的分块标识作为键值对的键，以及将该数据分块作为键值对的值进行对应存储，如图2中的第一个数据分块对应的键值对的键为“1111 user 0”，第一个数据分块对应的键值对的值为“爱吃西瓜”，最后一个数据分块对应的键值对的键为“1111 user 2047”，最后一个数据分块对应的键值对的值为“获得过校级荣誉”。
另外，在数据库中，为了保存对数据库中存储的数据进行增删改查等操作的持久性和原子性，在对数据库中存储的数据进行增删改查等操作时，需要先将增删改查等操作记录到数据库提供的预写日志(Write Ahead Log，WAL)中，这样可以使得在设备突然断电，以及出现其他异常时，可以根据WAL日志，对数据库中保存的数据进行恢复。
基于此，服务器还可以针对每个将键值对进行存储的存储操作，生成该存储操作对应的日志信息并保存，若在待存储数据存储完成后，所述图数据库出现异常时，根据将存储的日志信息，恢复该每个键值对中存储的数据。
进一步地，服务器还可以接收查询指定字段对应数据的查询请求，判断指定字段是否为目标字段，若是，则可以根据查询请求中携带的数据标识，从图数据库中查询出与数据标识对应的分块标识，作为目标分块标识，查询出目标分块标识对应的数据分块，并根据查询出的数据分块，查询出指定字段对应的数据。
进一步地，在查询出目标分块标识对应的数据分块之后，服务器还可以接收用户的更新操作指令，对查询出的数据分块进行更新，具体地，服务器可以根据接收到的更新操作指令中携带的新数据，生成新的数据分块，并使用新的数据分块将查询出的与用户的目标分块标识对应的数据分块进行替换，从而完成数据更新。
在实际应用中，用户可能在进行待存储数据存储后的一段时间内，再次对目标字段中的数据进行补充添加，因此，服务器还可以接收用户发送的数据添加请求(这里的添加请求用于在待存储数据包含的字段中添加数据)，根据数据添加请求中携带的待添加数据，生成待添加数据分块，根据数据添加请求中携带的数据标识，从图数据库中查询出与该数据标识对应的分块标识，根据查询出的分块标识，确定待添加数据分块的分块标识(例如：假设查询出的分块标识为2047，则可以确定待添加数据分块的分块标识为2048)，将数据标识与待添加数据分块的分块标识进行对应存储，以及将待添加数据分块的分块标识与待添加数据分块对应存储。
需要说明的是，当添加数据请求用于在除目标字段的其他字段中添加数据时，可以直接将需要添加的数据直接添加到该字段原本的数据后面，也可以通过上述的方法将该字段原本的数据拆分为数据分块，并需要添加的数据作为待添加数据分块，添加后该短短原本的数据拆分后得到的数据分块中。
除此之外，在实际应用中，用户所处的数据传输环境可能会存在一些异常，例如：网络环境不稳定等。在此时，用户如果一次上传大小较大的待存储数据时，可能会由于网络环境不稳定的问题导致上传失败，而在用户每次上传失败时，都需要用户再次将待存储数据全部重新上传，进而降低了用户的体验。
基于此，服务器在通过上述的方法进行数据存储时，可以支持用户将需要上传的待存储数据分割为若干个小的待存储数据进行上传，服务器在接收到用户上传的小的待存储数据时，可以通过上述的方法，将每个小的待存储数据进行保存，从而实现断点续传的效果。
从上述内容中可以看出，服务器可以将用户输入的待存储数据中，数据大小较大的字段进行拆分，得到各数据分块，从而可以将通过对数据分块进行存储，以实现体积较大的数据的存储，并且可以支持断点续传，以避免对用户在不稳定的网络环境下，上传待存储数据时断时续而导致待存储数据上传失败的问题，以及，可以在实现在用户已经存储完成数据的基础上，根据用户的实际需要对追加的数据进行追加存储。
以上为本说明书的一个或多个实施例提供的数据存储的方法，基于同样的思路，本说明书还提供了相应的数据存储的装置，如图3所示。
图3为本说明书提供的一种数据存储的装置的示意图，包括：
接收模块301，用于接收待存储数据，所述待存储数据中包括多个字段对应的数据；
判断模块302，用于判断所述待存储数据的大小是否超过预设阈值；
拆分模块303，用于在确定所述待存储数据大小超过预设阈值时，则将所述待存储数据中包含的部分数据进行拆分，得到各数据分块；
确定模块304，用于根据各数据分块在所述待存储数据中的先后顺序，确定各数据分块的分块标识；
存储模块305，用于将所述待存储数据的数据标识与所述各数据分块的分块标识进行对应存储，以及将各分块标识以及各数据分块进行对应存储。
可选地，所述拆分模块303具体用于，从所述待存储数据中包含的各字段中，确定出目标字段；对所述目标字段对应的数据进行拆分，得到各数据分块。
可选地，所述确定模块304具体用于，根据各数据分块在所述待存储数据中的先后顺序，确定每个数据分块对应的分块序号；针对每个数据分块，根据该数据分块的分块序号以及所述待存储数据的数据标识，确定该数据分块的分块标识。
可选地，所述存储模块305具体用于，将所述待存储数据的数据标识作为键，以及将所述各数据分块的分块标识的取值范围作为值进行对应存储；针对每个数据分块，将该数据分块对应的分块标识作为键，以及将该数据分块作为值进行对应存储。
可选地，所述装置还包括：查询模块306；
所述查询模块306具体用于，接收查询指定字段对应数据的查询请求；判断所述指定字段是否为所述目标字段；若是，则根据所述查询请求中携带的所述数据标识，从所述图数据库中查询出与所述数据标识对应的分块标识，作为目标分块标识；查询出所述目标分块标识对应的数据分块，并根据查询出的数据分块，查询出所述指定字段对应的数据。
可选地，所述装置还包括：添加模块307；
所述添加模块307具体用于，接收数据添加请求，所述数据添加请求用于在所述待存储数据包含的字段中添加数据；根据所述数据添加请求中携带的待添加数据，生成待添加数据分块；根据所述数据添加请求中携带的所述数据标识，从所述图数据库中查询出与所述数据标识对应的分块标识；根据查询出的分块标识，确定所述待添加数据分块的分块标识；将所述数据标识与所述待添加数据分块的分块标识进行对应存储，以及将所述待添加数据分块的分块标识与所述待添加数据分块对应存储。
本说明书还提供了一种计算机可读存储介质，该存储介质存储有计算机程序，计算机程序可用于执行上述图1提供的一种数据存储的方法。
本说明书还提供了图4所示的一种对应于图1的电子设备的示意结构图。如图4，在硬件层面，该电子设备包括处理器、内部总线、网络接口、内存以及非易失性存储器，当然还可能包括其他业务所需要的硬件。处理器从非易失性存储器中读取对应的计算机程序到内存中然后运行，以实现上述图1的数据存储的方法。当然，除了软件实现方式之外，本说明书并不排除其他实现方式，比如逻辑器件抑或软硬件结合的方式等等，也就是说以下处理流程的执行主体并不限定于各个逻辑单元，也可以是硬件或逻辑器件。
在20世纪90年代，对于一个技术的改进可以很明显地区分是硬件上的改进(例如，对二极管、晶体管、开关等电路结构的改进)还是软件上的改进(对于方法流程的改进)。然而，随着技术的发展，当今的很多方法流程的改进已经可以视为硬件电路结构的直接改进。设计人员几乎都通过将改进的方法流程编程到硬件电路中来得到相应的硬件电路结构。因此，不能说一个方法流程的改进就不能用硬件实体模块来实现。例如，可编程逻辑器件(Programmable Logic Device,PLD)(例如现场可编程门阵列(Field Programmable GateArray，FPGA))就是这样一种集成电路，其逻辑功能由用户对器件编程来确定。由设计人员自行编程来把一个数字系统“集成”在一片PLD上，而不需要请芯片制造厂商来设计和制作专用的集成电路芯片。而且，如今，取代手工地制作集成电路芯片，这种编程也多半改用“逻辑编译器(logic compiler)”软件来实现，它与程序开发撰写时所用的软件编译器相类似，而要编译之前的原始代码也得用特定的编程语言来撰写，此称之为硬件描述语言(Hardware Description Language，HDL)，而HDL也并非仅有一种，而是有许多种，如ABEL(Advanced Boolean Expression Language)、AHDL(Altera Hardware DescriptionLanguage)、Confluence、CUPL(Cornell University Programming Language)、HDCal、JHDL(Java Hardware Description Language)、Lava、Lola、MyHDL、PALASM、RHDL(RubyHardware Description Language)等，目前最普遍使用的是VHDL(Very-High-SpeedIntegrated Circuit Hardware Description Language)与Verilog。本领域技术人员也应该清楚，只需要将方法流程用上述几种硬件描述语言稍作逻辑编程并编程到集成电路中，就可以很容易得到实现该逻辑方法流程的硬件电路。
控制器可以按任何适当的方式实现，例如，控制器可以采取例如微处理器或处理器以及存储可由该(微)处理器执行的计算机可读程序代码(例如软件或固件)的计算机可读介质、逻辑门、开关、专用集成电路(Application Specific Integrated Circuit，ASIC)、可编程逻辑控制器和嵌入微控制器的形式，控制器的例子包括但不限于以下微控制器：ARC625D、Atmel AT91SAM、Microchip PIC18F26K20以及Silicone Labs C8051F320，存储器控制器还可以被实现为存储器的控制逻辑的一部分。本领域技术人员也知道，除了以纯计算机可读程序代码方式实现控制器以外，完全可以通过将方法步骤进行逻辑编程来使得控制器以逻辑门、开关、专用集成电路、可编程逻辑控制器和嵌入微控制器等的形式来实现相同功能。因此这种控制器可以被认为是一种硬件部件，而对其内包括的用于实现各种功能的装置也可以视为硬件部件内的结构。或者甚至，可以将用于实现各种功能的装置视为既可以是实现方法的软件模块又可以是硬件部件内的结构。
上述实施例阐明的系统、装置、模块或单元，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。一种典型的实现设备为计算机。具体的，计算机例如可以为个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任何设备的组合。
为了描述的方便，描述以上装置时以功能分为各种单元分别描述。当然，在实施本说明书时可以把各单元的功能在同一个或多个软件和/或硬件中实现。
本领域内的技术人员应明白，本说明书的实施例可提供为方法、系统、或计算机程序产品。因此，本说明书可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本说明书可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本说明书是参照根据本说明书实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。
本领域技术人员应明白，本说明书的实施例可提供为方法、系统或计算机程序产品。因此，本说明书可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本说明书可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本说明书可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本说明书，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
以上仅为本说明书的实施例而已，并不用于限制本说明书。对于本领域技术人员来说，本说明书可以有各种更改和变化。凡在本说明书的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本说明书的权利要求范围之内。

Claims (14)

1.一种数据存储的方法，所述方法应用于图数据库，所述方法包括：
接收待存储数据，所述待存储数据中包括多个字段对应的数据；
判断所述待存储数据的大小是否超过预设阈值；
若是，则将所述待存储数据中包含的部分数据进行拆分，得到各数据分块；
根据各数据分块在所述待存储数据中的先后顺序，确定各数据分块的分块标识；
将所述待存储数据的数据标识与所述各数据分块的分块标识进行对应存储，以及将各分块标识以及各数据分块进行对应存储。
2.如权利要求1所述的方法，将所述待存储数据中包含的部分数据进行拆分，得到各数据分块，具体包括：
从所述待存储数据中包含的各字段中，确定出目标字段；
对所述目标字段对应的数据进行拆分，得到各数据分块。
3.如权利要求1所述的方法，根据各数据分块在所述待存储数据中的先后顺序，确定各数据分块的分块标识，具体包括：
根据各数据分块在所述待存储数据中的先后顺序，确定每个数据分块对应的分块序号；
针对每个数据分块，根据该数据分块的分块序号以及所述待存储数据的数据标识，确定该数据分块的分块标识。
4.如权利要求1所述的方法，将所述待存储数据的数据标识与所述各数据分块的分块标识进行对应存储，具体包括：
将所述待存储数据的数据标识作为键，以及将所述各数据分块的分块标识的取值范围作为值进行对应存储；
将各分块标识以及各数据分块进行对应存储，具体包括：
针对每个数据分块，将该数据分块对应的分块标识作为键，以及将该数据分块作为值进行对应存储。
5.如权利要求2所述的方法，所述方法还包括：
接收查询指定字段对应数据的查询请求；
判断所述指定字段是否为所述目标字段；
若是，则根据所述查询请求中携带的所述数据标识，从所述图数据库中查询出与所述数据标识对应的分块标识，作为目标分块标识；
查询出所述目标分块标识对应的数据分块，并根据查询出的数据分块，查询出所述指定字段对应的数据。
6.如权利要求1所述的方法，所述方法还包括：
接收数据添加请求，所述数据添加请求用于在所述待存储数据包含的字段中添加数据；
根据所述数据添加请求中携带的待添加数据，生成待添加数据分块；
根据所述数据添加请求中携带的所述数据标识，从所述图数据库中查询出与所述数据标识对应的分块标识；
根据查询出的分块标识，确定所述待添加数据分块的分块标识；
将所述数据标识与所述待添加数据分块的分块标识进行对应存储，以及将所述待添加数据分块的分块标识与所述待添加数据分块对应存储。
7.一种数据存储的装置，包括：
接收模块，用于接收待存储数据，所述待存储数据中包括多个字段对应的数据；
判断模块，用于判断所述待存储数据的大小是否超过预设阈值；
拆分模块，用于在确定所述待存储数据大小超过预设阈值时，则将所述待存储数据中包含的部分数据进行拆分，得到各数据分块；
确定模块，用于根据各数据分块在所述待存储数据中的先后顺序，确定各数据分块的分块标识；
存储模块，用于将所述待存储数据的数据标识与所述各数据分块的分块标识进行对应存储，以及将各分块标识以及各数据分块进行对应存储。
8.如权利要求7所述的装置，所述拆分模块具体用于，从所述待存储数据中包含的各字段中，确定出目标字段；对所述目标字段对应的数据进行拆分，得到各数据分块。
9.如权利要求7所述的装置，所述确定模块具体用于，根据各数据分块在所述待存储数据中的先后顺序，确定每个数据分块对应的分块序号；针对每个数据分块，根据该数据分块的分块序号以及所述待存储数据的数据标识，确定该数据分块的分块标识。
10.如权利要求7所述的装置，所述存储模块具体用于，将所述待存储数据的数据标识作为键，以及将所述各数据分块的分块标识的取值范围作为值进行对应存储；针对每个数据分块，将该数据分块对应的分块标识作为键，以及将该数据分块作为值进行对应存储。
11.如权利要求8所述的装置，所述装置还包括：查询模块；
所述查询模块具体用于，接收查询指定字段对应数据的查询请求；判断所述指定字段是否为所述目标字段；若是，则根据所述查询请求中携带的所述数据标识，从图数据库中查询出与所述数据标识对应的分块标识，作为目标分块标识；查询出所述目标分块标识对应的数据分块，并根据查询出的数据分块，查询出所述指定字段对应的数据。
12.如权利要求7所述的装置，所述装置还包括：添加模块；
所述添加模块具体用于，接收数据添加请求，所述数据添加请求用于在所述待存储数据包含的字段中添加数据；根据所述数据添加请求中携带的待添加数据，生成待添加数据分块；根据所述数据添加请求中携带的所述数据标识，从图数据库中查询出与所述数据标识对应的分块标识；根据查询出的分块标识，确定所述待添加数据分块的分块标识；将所述数据标识与所述待添加数据分块的分块标识进行对应存储，以及将所述待添加数据分块的分块标识与所述待添加数据分块对应存储。
13.一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述权利要求1～6任一项所述的方法。
14.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述权利要求1～6任一项所述的方法。
CN202211274661.4A 2022-10-18 2022-10-18 一种数据存储的方法、装置、设备及存储介质 Pending CN115617799A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202211274661.4A CN115617799A (zh) 2022-10-18 2022-10-18 一种数据存储的方法、装置、设备及存储介质
US18/489,446 US20240126465A1 (en) 2022-10-18 2023-10-18 Data storage methods, apparatuses, devices, and storage media

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211274661.4A CN115617799A (zh) 2022-10-18 2022-10-18 一种数据存储的方法、装置、设备及存储介质

Publications (1)

Publication Number Publication Date
CN115617799A true CN115617799A (zh) 2023-01-17

Family

ID=84862259

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211274661.4A Pending CN115617799A (zh) 2022-10-18 2022-10-18 一种数据存储的方法、装置、设备及存储介质

Country Status (2)

Country Link
US (1) US20240126465A1 (zh)
CN (1) CN115617799A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116089434A (zh) * 2023-04-10 2023-05-09 北京奥星贝斯科技有限公司 一种数据存储方法、装置、存储介质及电子设备
CN117591625A (zh) * 2024-01-18 2024-02-23 之江实验室 一种数据存储方法、装置、存储介质及电子设备

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116089434A (zh) * 2023-04-10 2023-05-09 北京奥星贝斯科技有限公司 一种数据存储方法、装置、存储介质及电子设备
CN116089434B (zh) * 2023-04-10 2023-06-13 北京奥星贝斯科技有限公司 一种数据存储方法、装置、存储介质及电子设备
CN117591625A (zh) * 2024-01-18 2024-02-23 之江实验室 一种数据存储方法、装置、存储介质及电子设备
CN117591625B (zh) * 2024-01-18 2024-04-12 之江实验室 一种数据存储方法、装置、存储介质及电子设备

Also Published As

Publication number Publication date
US20240126465A1 (en) 2024-04-18

Similar Documents

Publication Publication Date Title
CN107526777B (zh) 一种基于版本号对文件进行处理的方法及设备
CN115617799A (zh) 一种数据存储的方法、装置、设备及存储介质
CN108848244B (zh) 一种分页显示的方法及装置
CN107038041B (zh) 数据处理方法、错误码动态兼容方法、装置和系统
CN109344348B (zh) 一种资源更新方法及装置
CN105989015B (zh) 一种数据库扩容方法和装置以及访问数据库的方法和装置
CN110263050B (zh) 数据处理方法、装置、设备及存储介质
CN115328924B (zh) 一种创建表空间的方法、装置、存储介质及电子设备
CN115374117A (zh) 一种数据处理方法、装置、可读存储介质及电子设备
CN107451204B (zh) 一种数据查询方法、装置及设备
CN109656946B (zh) 一种多表关联查询方法、装置及设备
CN106156050B (zh) 一种数据处理方法及装置
CN113326288A (zh) 数据处理方法、装置、电子设备
CN111382179A (zh) 数据处理方法、装置及电子设备
CN116010419A (zh) 一种创建唯一索引和优化逻辑删除的方法及装置
CN115391426A (zh) 一种数据查询方法、装置、存储介质及电子设备
CN111339117B (zh) 数据处理方法、装置及设备
CN107239270B (zh) 代码处理方法和装置
CN108428189B (zh) 一种社交资源处理方法、设备以及可读介质
CN112596780A (zh) 一种业务执行的方法以及装置
CN110955653A (zh) 一种数据页面的处理方法、装置、设备及计算机系统
CN110704733B (zh) 一种发送数据的方法及装置
CN116644090B (zh) 一种数据查询方法、装置、设备及介质
CN116737367B (zh) 一种基于Minio的数据保鲜方法、设备及介质
CN114676132A (zh) 一种数据表关联方法、装置、存储介质及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination