CN109165208A - 一种用于将数据加载到数据库中的方法及系统 - Google Patents

一种用于将数据加载到数据库中的方法及系统 Download PDF

Info

Publication number
CN109165208A
CN109165208A CN201810831294.0A CN201810831294A CN109165208A CN 109165208 A CN109165208 A CN 109165208A CN 201810831294 A CN201810831294 A CN 201810831294A CN 109165208 A CN109165208 A CN 109165208A
Authority
CN
China
Prior art keywords
data
request
tenant
distributed
storage system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810831294.0A
Other languages
English (en)
Other versions
CN109165208B (zh
Inventor
刘聪玲
赵文银
约翰·格力高
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Foshan electronic government science and Technology Co.,Ltd.
Original Assignee
Foshan Tianmu Chain Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Foshan Tianmu Chain Technology Co Ltd filed Critical Foshan Tianmu Chain Technology Co Ltd
Priority to CN201810831294.0A priority Critical patent/CN109165208B/zh
Publication of CN109165208A publication Critical patent/CN109165208A/zh
Application granted granted Critical
Publication of CN109165208B publication Critical patent/CN109165208B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种用于将数据加载到数据库中的方法及系统，该方法包括：接收将数据导入计算环境的请求，该计算环境至少具有分布式数据存储系统以提供非关系数据存储，该数据通过应用程序编程接口(API)从外部源导入；分析请求的一个或多个特征，以确定请求是否对应于导入大数据负载的请求；如果请求是针对大数据负载，则导致数据暂存；创建一个或多个数据管理作业以使分阶段数据存储在分布式数据存储系统的一个或多个节点中；将一个或多个数据管理作业发送到分布式数据存储系统中的一个或多个相应节点；使一个或多个作业异步执行以使分阶段数据存储在一个或多个节点中。

Description

一种用于将数据加载到数据库中的方法及系统
技术领域
本发明涉及数据处理技术领域，具体而言，涉及一种用于将数据加载到数据库中的方法及系统。
背景技术
当个人/组织具有大量数据时，通常将数据存储在属于不同环境的设备上。例如，组织可以在决定切换到基于云的环境之前，在较长时间内构建大量数据。此数据将迁移到基于云的环境，在该环境中可以更好地利用数据。但是，使用传统技术迁移数据涉及许多复杂性，导致迁移障碍。
为了解决数据具体如何迁移，现有技术中针对大量数据的处理普遍存在速度较慢或者没有针对大量数据与少量数据进行区别对待，存在资源没有有效利用的问题。
发明内容
本发明提出了一种用于将数据加载到数据库中的方法，该方法包括：
接收将数据导入计算环境的请求，该计算环境至少具有分布式数据存储系统以提供非关系数据存储，该数据通过应用程序编程接口(API)从外部源导入；
分析请求的一个或多个特征，以确定请求是否对应于导入大数据负载的请求；
如果请求是针对大数据负载，则导致数据暂存；
创建一个或多个数据管理作业以使分阶段数据存储在分布式数据存储系统的一个或多个节点中；
将一个或多个数据管理作业发送到分布式数据存储系统中的一个或多个相应节点；
使一个或多个作业异步执行以使分阶段数据存储在一个或多个节点中。
所述的方法，还包括对所述分阶段数据执行一个或多个验证检查，其中所述验证检查包括将所述导入数据与包括一个或多个字段级安全性的创建的租户可配置数据规则进行比较中的一个或多个。读取，更新，删除授权。
所述的方法，还包括通过标准数据库查询逐个记录地提供错误记录。
所述的方法，还包括：
序列化与租户相对应的元数据子集；和
将序列化数据与要在自定义处理程序扩展中使用的分布式数据库作业的配置信息捆绑在一起，以验证导入的数据是否违反了租户数据规则。
所述的方法，其中所述租户数据规则包括数据类型匹配和正确字段长度中的一个或多个。
所述的方法，还包括：
确定性地将数据分成两个或多个块；
为每个块分配标识符；
为相应块重新使用分配的标识符，用于与相应块相关联的任何重试次数。
一种用于将数据加载到数据库中的方法的系统，该系统包括：
物理存储设备；
一个或多个硬件处理器，与物理存储设备耦合，一个或多个硬件处理器可配置为接收将数据导入计算环境的请求，该计算环境至少具有分布式数据存储系统，以提供非关系数据存储，导入数据从外部源通过应用程序编程接口(API)，分析请求的一个或多个特征，以确定请求是否对应于导入大数据负载的请求，以便在请求用于请求时暂存数据大数据加载，以创建一个或多个数据管理作业以使分阶段数据存储在分布式数据存储系统的一个或多个节点中，以将一个或多个数据管理作业发送到一个或多个相应的节点。分布式数据存储系统，并使一个或多个作业异步执行，以使分级数据存储在一个或多个节点中。
所述的系统，其中所述一个或多个硬件处理器还可配置为对所述分阶段数据执行一个或多个验证检查，其中所述验证检查包括将所导入的数据与包括一个的租户可配置数据规则进行比较中的一个或多个。或更多字段级安全性，创建，读取，更新，删除授权。
所述的系统，其特征在于，所述一个或多个硬件处理器还可配置为通过标准数据库查询逐个记录地提供错误记录。
所述的系统，其中，所述一个或多个硬件处理器还可配置为序列化对应于租户的元数据的子集，并将所述序列化数据与用于在自定义处理程序扩展中使用的分布式数据库作业的配置信息捆绑在一起。验证导入的数据是否违反了租户数据规则。
所述的系统，其中所述租户数据规则包括数据类型匹配和正确字段长度中的一个或多个。
所述的系统，其中，所述一个或多个硬件处理器还可配置为确定性地将所述数据分成两个或更多个块，为每个块分配标识符，并为任何块重用所分配的标识符。与相应块关联的重试次数。
附图说明
从以下结合附图的描述可以进一步理解本发明。图中的部件不一定按比例绘制，而是将重点放在示出实施例的原理上。在图中，在不同的视图中，相同的附图标记指定对应的部分。
图1是本发明的用于将数据加载到数据库中的方法的示意图。
具体实施方式
为了使得本发明的目的、技术方案及优点更加清楚明白，以下结合其实施例，对本发明进行进一步详细说明；应当理解，此处所描述的具体实施例仅用于解释本发明，并不用于限定本发明。对于本领域技术人员而言，在查阅以下详细描述之后，本实施例的其它系统、方法和/或特征将变得显而易见。旨在所有此类附加的系统、方法、特征和优点都包括在本说明书内、包括在本发明的范围内，并且受所附权利要求书的保护。在以下详细描述描述了所公开的实施例的另外的特征，并且这些特征根据以下将详细描述将是显而易见的。
实施例一：
如图1所示，为本发明一种用于将数据加载到数据库中的方法的示意图，该方法包括：
接收将数据导入计算环境的请求，该计算环境至少具有分布式数据存储系统以提供非关系数据存储，该数据通过应用程序编程接口(API)从外部源导入；
分析请求的一个或多个特征，以确定请求是否对应于导入大数据负载的请求；
如果请求是针对大数据负载，则导致数据暂存；
创建一个或多个数据管理作业以使分阶段数据存储在分布式数据存储系统的一个或多个节点中；
将一个或多个数据管理作业发送到分布式数据存储系统中的一个或多个相应节点；
使一个或多个作业异步执行以使分阶段数据存储在一个或多个节点中。
所述的方法，还包括对所述分阶段数据执行一个或多个验证检查，其中所述验证检查包括将所述导入数据与包括一个或多个字段级安全性的创建的租户可配置数据规则进行比较中的一个或多个。读取，更新，删除授权。
所述的方法，还包括通过标准数据库查询逐个记录地提供错误记录。
所述的方法，还包括：
序列化与租户相对应的元数据子集；和
将序列化数据与要在自定义处理程序扩展中使用的分布式数据库作业的配置信息捆绑在一起，以验证导入的数据是否违反了租户数据规则。
所述的方法，其中所述租户数据规则包括数据类型匹配和正确字段长度中的一个或多个。
所述的方法，还包括：
确定性地将数据分成两个或多个块；
为每个块分配标识符；
为相应块重新使用分配的标识符，用于与相应块相关联的任何重试次数。
实施例二：
一种非暂时性计算机可读介质，其上存储有指令，当由一个或多个处理器执行时，所述指令可配置为使得所述一个或多个处理器：
接收将数据导入计算环境的请求，该计算环境至少具有分布式数据存储系统以提供非关系数据存储，该数据通过应用程序编程接口(API)从外部源导入；
分析请求的一个或多个特征，以确定请求是否对应于导入大数据负载的请求；
如果请求是针对大数据负载，则导致数据暂存；
创建一个或多个数据管理作业，以使分阶段数据存储在分布式数据存储系统的一个或多个节点中；
将一个或多个数据管理作业发送到分布式数据存储系统中的一个或多个相应节点；
使一个或多个作业异步执行，以使分阶段数据存储在一个或多个节点中。
所述的非暂时性计算机可读介质，还包括指令，当由所述一个或多个处理器执行时，所述指令可配置为使所述一个或多个处理器对所述分阶段数据执行一个或多个验证检查，其中验证检查包括将导入的数据与租户可配置的数据规则进行比较中的一个或多个，所述数据规则包括字段级安全性，创建，读取，更新，删除授权中的一个或多个。
所述的非暂时性计算机可读介质，还包括指令，所述指令在由所述一个或多个处理器执行时可配置为使得所述一个或多个处理器能够在逐个记录的基础上制作可用的错误记录。标准数据库查询。
所述的非暂时性计算机可读介质，还包括指令，当由所述一个或多个处理器执行时，所述指令可配置为使得所述一个或多个处理器：
序列化与租户相对应的元数据子集；和
将序列化数据与要在自定义处理程序扩展中使用的分布式数据库作业的配置信息捆绑在一起，以验证导入的数据是否违反了租户数据规则。
所述的非暂时性计算机可读介质，其中所述租户数据规则包括数据类型匹配和正确字段长度中的一个或多个。
所述的非暂时性计算机可读介质，还包括指令，当由所述一个或多个处理器执行时，所述指令可配置为使得所述一个或多个处理器：
将数据确定性地分成两个或更多个块；
为每个块分配一个标识符；
对于与相应块相关联的任何数量的重试，重用相应块的分配标识符。
实施例三：
一种用于将数据加载到数据库中的方法的系统，该系统包括：
物理存储设备；
一个或多个硬件处理器，与物理存储设备耦合，一个或多个硬件处理器可配置为接收将数据导入计算环境的请求，该计算环境至少具有分布式数据存储系统，以提供非关系数据存储，导入数据从外部源通过应用程序编程接口(API)，分析请求的一个或多个特征，以确定请求是否对应于导入大数据负载的请求，以便在请求用于请求时暂存数据大数据加载，以创建一个或多个数据管理作业以使分阶段数据存储在分布式数据存储系统的一个或多个节点中，以将一个或多个数据管理作业发送到一个或多个相应的节点。分布式数据存储系统，并使一个或多个作业异步执行，以使分级数据存储在一个或多个节点中。
所述的系统，其中所述一个或多个硬件处理器还可配置为对所述分阶段数据执行一个或多个验证检查，其中所述验证检查包括将所导入的数据与包括一个的租户可配置数据规则进行比较中的一个或多个。或更多字段级安全性，创建，读取，更新，删除授权。
所述的系统，所述一个或多个硬件处理器还可配置为通过标准数据库查询逐个记录地提供错误记录。
所述的系统，其中，所述一个或多个硬件处理器还可配置为序列化对应于租户的元数据的子集，并将所述序列化数据与用于在自定义处理程序扩展中使用的分布式数据库作业的配置信息捆绑在一起。验证导入的数据是否违反了租户数据规则。
所述的系统，其中所述租户数据规则包括数据类型匹配和正确字段长度中的一个或多个。
所述的系统，其中，所述一个或多个硬件处理器还可配置为确定性地将所述数据分成两个或更多个块，为每个块分配标识符，并为任何块重用所分配的标识符。与相应块关联的重试次数。
虽然上面已经参考各种实施例描述了本发明，但是应当理解，在不脱离本发明的范围的情况下，可以进行许多改变和修改。也就是说上面讨论的方法，系统或设备等均是示例。各种配置可以适当地省略，替换或添加各种过程或组件。例如，在替代配置中，可以以与所描述的顺序不同的顺序执行方法，和/或可以添加，省略和/或组合各种阶段。而且，关于某些配置描述的特征可以以各种其他配置组合。可以以类似的方式组合配置的不同方面和元素。此外，随着技术的发展许多元素仅是示例而不限制本公开或权利要求的范围。
在说明书中给出了具体细节以提供对包括实现的示例性配置的透彻理解。然而，可以在没有这些具体细节的情况下实践配置例如，已经示出了众所周知的电路、过程、算法、结构和技术而没有不必要的细节，以避免模糊配置。该描述仅提供示例配置，并且不限制权利要求的范围，适用性或配置。相反，前面对配置的描述将为本领域技术人员提供用于实现所描述的技术的使能描述。在不脱离本公开的精神或范围的情况下，可以对元件的功能和布置进行各种改变。
此外，尽管每个操作可以将操作描述为顺序过程，但是许多操作可以并行或同时执行。另外，可以重新排列操作的顺序。一个过程可能有其他步骤。此外，可以通过硬件、软件、固件、中间件、代码、硬件描述语言或其任何组合来实现方法的示例。当在软件、固件、中间件或代码中实现时，用于执行必要任务的程序代码或代码段可以存储在诸如存储介质的非暂时性计算机可读介质中，并通过处理器执行所描述的任务。
综上，其旨在上述详细描述被认为是例示性的而非限制性的，并且应当理解，所述权利要求(包括所有等同物)旨在限定本发明的精神和范围。以上这些实施例应理解为仅用于说明本发明而不用于限制本发明的保护范围。在阅读了本发明的记载的内容之后，技术人员可以对本发明作各种改动或修改，这些等效变化和修饰同样落入本发明权利要求所限定的范围。

Claims (10)

1.一种用于将数据加载到数据库中的方法，其特征在于，该方法包括：
接收将数据导入计算环境的请求，该计算环境至少具有分布式数据存储系统以提供非关系数据存储，该数据通过应用程序编程接口(API)从外部源导入；
分析请求的一个或多个特征，以确定请求是否对应于导入大数据负载的请求；
如果请求是针对大数据负载，则导致数据暂存；
创建一个或多个数据管理作业以使分阶段数据存储在分布式数据存储系统的一个或多个节点中；
将一个或多个数据管理作业发送到分布式数据存储系统中的一个或多个相应节点；
使一个或多个作业异步执行以使分阶段数据存储在一个或多个节点中。
2.如权利要求1所述的方法，其特征在于，还包括对所述分阶段数据执行一个或多个验证检查，其中所述验证检查包括将所述导入数据与包括一个或多个字段级安全性的创建的租户可配置数据规则进行比较中的一个或多个。读取，更新，删除授权。
3.如权利要求2所述的方法，其特征在于，还包括通过标准数据库查询逐个记录地提供错误记录。
4.如权利要求1所述的方法，其特征在于，还包括：
序列化与租户相对应的元数据子集；和
将序列化数据与要在自定义处理程序扩展中使用的分布式数据库作业的配置信息捆绑在一起，以验证导入的数据是否违反了租户数据规则。
5.如权利要求4所述的方法，其特征在于，所述租户数据规则包括数据类型匹配和正确字段长度中的一个或多个。
6.如权利要求1所述的方法，其特征在于，还包括：确定性地将数据分成两个或多个块；为每个块分配标识符；为相应块重新使用分配的标识符，用于与相应块相关联的任何重试次数。
7.一种用于将数据加载到数据库中的方法的系统，其特征在于，该系统包括：
物理存储设备；
一个或多个硬件处理器，与物理存储设备耦合，一个或多个硬件处理器可配置为接收将数据导入计算环境的请求，该计算环境至少具有分布式数据存储系统，以提供非关系数据存储，导入数据从外部源通过应用程序编程接口(API)，分析请求的一个或多个特征，以确定请求是否对应于导入大数据负载的请求，以便在请求用于请求时暂存数据大数据加载，以创建一个或多个数据管理作业以使分阶段数据存储在分布式数据存储系统的一个或多个节点中，以将一个或多个数据管理作业发送到一个或多个相应的节点。分布式数据存储系统，并使一个或多个作业异步执行，以使分级数据存储在一个或多个节点中。
8.如权利要求7所述的系统，其特征在于，所述一个或多个硬件处理器还可配置为对所述分阶段数据执行一个或多个验证检查，其中所述验证检查包括将所导入的数据与包括一个的租户可配置数据规则进行比较中的一个或多个。或更多字段级安全性，创建，读取，更新，删除授权；所述一个或多个硬件处理器还可配置为通过标准数据库查询逐个记录地提供错误记录。
9.如权利要求8所述的系统，其特征在于，所述一个或多个硬件处理器还可配置为序列化对应于租户的元数据的子集，并将所述序列化数据与用于在自定义处理程序扩展中使用的分布式数据库作业的配置信息捆绑在一起，验证导入的数据是否违反了租户数据规则；所述租户数据规则包括数据类型匹配和正确字段长度中的一个或多个。
10.如权利要求13所述的系统，其特征在于，所述一个或多个硬件处理器还可配置为确定性地将所述数据分成两个或更多个块，为每个块分配标识符，并为任何块重用所分配的标识符，与相应块关联的重试次数。
CN201810831294.0A 2018-07-26 2018-07-26 一种用于将数据加载到数据库中的方法及系统 Active CN109165208B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810831294.0A CN109165208B (zh) 2018-07-26 2018-07-26 一种用于将数据加载到数据库中的方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810831294.0A CN109165208B (zh) 2018-07-26 2018-07-26 一种用于将数据加载到数据库中的方法及系统

Publications (2)

Publication Number Publication Date
CN109165208A true CN109165208A (zh) 2019-01-08
CN109165208B CN109165208B (zh) 2020-12-15

Family

ID=64898235

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810831294.0A Active CN109165208B (zh) 2018-07-26 2018-07-26 一种用于将数据加载到数据库中的方法及系统

Country Status (1)

Country Link
CN (1) CN109165208B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109165218A (zh) * 2018-08-07 2019-01-08 佛山市苔藓云链科技有限公司 一种用于将数据加载到数据库的方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104272274A (zh) * 2013-12-31 2015-01-07 华为技术有限公司 一种分布式文件存储系统中的数据处理方法及设备
CN104598495A (zh) * 2013-10-31 2015-05-06 南京中兴新软件有限责任公司 基于分布式文件系统的分级存储方法及系统
CN105069149A (zh) * 2015-08-24 2015-11-18 电子科技大学 一种面向结构化列式数据的分布式并行数据导入方法
US20160019276A1 (en) * 2014-07-15 2016-01-21 Informatica Corporation Exporting Subset of a Database
CN105279175A (zh) * 2014-07-01 2016-01-27 腾讯科技（北京）有限公司 数据传输的方法和装置
CN105760459A (zh) * 2016-02-04 2016-07-13 四川嘉宝资产管理集团股份有限公司 一种分布式数据处理系统及方法
CN107315843A (zh) * 2017-07-27 2017-11-03 南方电网科学研究院有限责任公司 海量结构化数据的存储方法和系统

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104598495A (zh) * 2013-10-31 2015-05-06 南京中兴新软件有限责任公司 基于分布式文件系统的分级存储方法及系统
CN104272274A (zh) * 2013-12-31 2015-01-07 华为技术有限公司 一种分布式文件存储系统中的数据处理方法及设备
CN105279175A (zh) * 2014-07-01 2016-01-27 腾讯科技（北京）有限公司 数据传输的方法和装置
US20160019276A1 (en) * 2014-07-15 2016-01-21 Informatica Corporation Exporting Subset of a Database
CN105069149A (zh) * 2015-08-24 2015-11-18 电子科技大学 一种面向结构化列式数据的分布式并行数据导入方法
CN105760459A (zh) * 2016-02-04 2016-07-13 四川嘉宝资产管理集团股份有限公司 一种分布式数据处理系统及方法
CN107315843A (zh) * 2017-07-27 2017-11-03 南方电网科学研究院有限责任公司 海量结构化数据的存储方法和系统

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109165218A (zh) * 2018-08-07 2019-01-08 佛山市苔藓云链科技有限公司 一种用于将数据加载到数据库的方法

Also Published As

Publication number Publication date
CN109165208B (zh) 2020-12-15

Similar Documents

Publication Publication Date Title
EP3678346B1 (en) Blockchain smart contract verification method and apparatus, and storage medium
CN112256558B (zh) 一种测试用例的生成方法、装置、计算机设备及存储介质
US11005850B2 (en) Access control for database
CN110188103A (zh) 数据对账方法、装置、设备和存储介质
US9514170B1 (en) Priority queue using two differently-indexed single-index tables
CN104778179B (zh) 一种数据迁移测试方法和系统
CN112905437B (zh) 一种测试用例的方法、装置及存储介质
CN112037058B (zh) 数据验证方法、装置及存储介质
CN110706101A (zh) 在区块链中并发执行交易的方法和装置
CN112905630A (zh) 数据操作方法、服务器和计算机可读介质
CN109690571A (zh) 基于学习的组标记系统和方法
CN110457396A (zh) 一种基于区块链科研数据处理方法、装置、设备和存储介质
US11853284B2 (en) In-place updates with concurrent reads in a decomposed state
CN115237444A (zh) 基于版本号的并发控制方法、装置、设备及存储介质
CN109165208A (zh) 一种用于将数据加载到数据库中的方法及系统
CN115309334A (zh) 磁盘管理方法、装置、设备及存储介质
CN116401229A (zh) 数据库的数据校验方法、装置及设备
CN115576947A (zh) 一种数据管理方法、装置、组合库、电子设备及存储介质
CN109165218A (zh) 一种用于将数据加载到数据库的方法
CN111371818B (zh) 一种数据请求的验证方法、装置及设备
US10620946B1 (en) Dynamic modeling for opaque code during static analysis
CN113419964A (zh) 一种测试案例生成方法、装置、计算机设备及存储介质
CN113824806B (zh) 设备识别方法、装置及电子设备
US11340811B2 (en) Determining reclaim information for a storage block based on data length and matching write and delete parameters
CN116340430A (zh) 一种数据同步校验方法及相关设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20201126

Address after: 13 / F, Jihua building, No. 22, Jihua fifth road, Chancheng District, Foshan City, Guangdong Province

Applicant after: Foshan electronic government science and Technology Co.,Ltd.

Address before: 528500 Taihe Road 454, Ho Cheng street, Gaoming District, Foshan, Guangdong

Applicant before: FOSHAN TIANMU LIANKE TECHNOLOGY Co.,Ltd.

GR01 Patent grant
GR01 Patent grant