CN113918996B - 分布式数据处理方法、装置、计算机设备和存储介质 - Google Patents
分布式数据处理方法、装置、计算机设备和存储介质 Download PDFInfo
- Publication number
- CN113918996B CN113918996B CN202111406160.2A CN202111406160A CN113918996B CN 113918996 B CN113918996 B CN 113918996B CN 202111406160 A CN202111406160 A CN 202111406160A CN 113918996 B CN113918996 B CN 113918996B
- Authority
- CN
- China
- Prior art keywords
- data
- distributed database
- module
- auditing
- target table
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003672 processing method Methods 0.000 title abstract description 20
- 238000000034 method Methods 0.000 claims abstract description 37
- 230000000007 visual effect Effects 0.000 claims abstract description 37
- 238000012550 audit Methods 0.000 claims abstract description 25
- 238000012800 visualization Methods 0.000 claims description 23
- 238000012545 processing Methods 0.000 claims description 22
- 238000004590 computer program Methods 0.000 claims description 19
- 230000004048 modification Effects 0.000 claims description 11
- 238000012986 modification Methods 0.000 claims description 11
- 238000005065 mining Methods 0.000 claims description 8
- 238000010276 construction Methods 0.000 claims 1
- 238000010586 diagram Methods 0.000 description 9
- 238000004891 communication Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000004927 fusion Effects 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- OKTJSMMVPCPJKN-UHFFFAOYSA-N Carbon Chemical compound [C] OKTJSMMVPCPJKN-UHFFFAOYSA-N 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 229910021389 graphene Inorganic materials 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 230000007935 neutral effect Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/60—Protecting data
- G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
- G06F21/6218—Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/21—Design, administration or maintenance of databases
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/242—Query formulation
- G06F16/2433—Query languages
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/26—Visual data mining; Browsing structured data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/28—Databases characterised by their database models, e.g. relational or object models
- G06F16/284—Relational databases
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/60—Protecting data
- G06F21/604—Tools and structures for managing or administering access control systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2221/00—Indexing scheme relating to security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F2221/21—Indexing scheme relating to G06F21/00 and subgroups addressing additional information or applications relating to security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F2221/2141—Access rights, e.g. capability lists, access control lists, access tables, access matrices
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- General Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Computer Security & Cryptography (AREA)
- Computer Hardware Design (AREA)
- Bioethics (AREA)
- Health & Medical Sciences (AREA)
- Automation & Control Theory (AREA)
- Mathematical Physics (AREA)
- Computational Linguistics (AREA)
- Computing Systems (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本公开涉及一种分布式数据处理方法、装置、计算机设备和存储介质。所述方法包括：通过接收在分布式数据库的可视化界面中对表进行操作的操作数据，基于所述操作数据确定第一目标表，将第一目标表中的数据信息提交至角色审核节点。当确定所述角色审核节点对所述第一目标表中的数据信息的审核结果为通过时，对所述数据信息进行结构化查询语言组装。执行所述组装后的结构化查询语言，得到更新后的分布式数据库，能够使得分布式数据库可视化、可以通过角色控制权限并且对数据增加审核流程，使得分布式数据库的数据安全性能更高。
Description
技术领域
本公开涉及数据处理技术领域，特别是涉及一种分布式数据处理方法、装置、计算机设备和存储介质。
背景技术
随着数据处理技术的发展，出现了分布式数据库，分布式数据库是一款同时支持在线事务处理与在线分析处理的融合型分布式数据库产品，具备高扩张高可用等特性。
在传统的技术中，分布式数据库缺少流程化，规范化，对用户的权限把控以及数据安全性的支持度不高。如何对用户进行权限控制，提高分布式数据库的数据安全性支持是一件急需解决的问题。
发明内容
基于此，有必要针对上述技术问题，提供一种能够使得分布式数据库可视化、可以通过角色控制权限并且对数据增加审核流程的分布式数据处理方法、装置、计算机设备和存储介质。
第一方面，本公开提供了一种分布式数据处理方法。所述方法包括：
接收在分布式数据库的可视化界面中对表进行操作的操作数据，所述操作包括表的新建和/或修改；
基于所述操作数据确定第一目标表，将第一目标表中的数据信息提交至角色审核节点；
当确定所述角色审核节点对所述第一目标表中的数据信息的审核结果为通过时，对所述数据信息进行结构化查询语言组装；
执行所述组装后的结构化查询语言，得到更新后的分布式数据库。
在其中一个实施例中，所述接收在分布式数据库的可视化界面中对表进行操作的操作数据之前，所述方法还包括：
将符合预设条件的合法账户添加至轻量目录访问协议，所述轻量目录访问协议中的账户为允许在所述可视化界面中对表进行操作的合法账户。
在其中一个实施例中，所述方法还包括：
接收添加至分布式数据库采编模块的原始表，所述采编模块包括通过可视化界面操作分布式数据库的模块；
在所述采编模块中设置所述原始表，接收在分布式数据库的可视化界面中对所述设置后的原始表进行操作的数据，根据所述数据确定第二目标表；
将所述第二目标表中的数据提交至角色审核节点；
当确定所述角色审核节点对所述第二目标表中的数据的审核结果为通过时，根据所述审核后第二目标表中的数据更新分布式数据库。
在其中一个实施例中，所述当确定所述角色审核节点对所述第二目标表中的数据的审核结果为通过时之后，所述方法还包括：
将第二目标表以Kafka的形式推送至分布式数据库的可视化界面。
在其中一个实施例中，所述接收在分布式数据库的可视化界面中对表进行操作的操作数据包括：数据定义语言操作和数据操纵语言操作。
在其中一个实施例中，所述操作包括表的新建和/或修改包括：
在不同的业务下新建和/或修改表。
第二方面，本公开还提供了一种分布式数据处理装置。所述装置包括：
操作表模块，用于接收在分布式数据库的可视化界面中对表进行操作的操作数据，所述操作包括表的新建和/或修改；
提交模块，用于基于所述操作数据确定第一目标表，将第一目标表中的数据信息提交至角色审核节点；
审核模块，用于当确定所述角色审核节点对所述第一目标表中的数据信息的审核结果为通过时，对所述数据信息进行结构化查询语言组装；
更新模块，用于执行所述组装后的结构化查询语言，得到更新后的分布式数据库。
在其中一个实施例中，所述接收在分布式数据库的可视化界面中对表进行操作的操作数据之前，所述装置还包括：
账户添加模块，用于将符合预设条件的合法账户添加至轻量目录访问协议，所述轻量目录访问协议中的账户为允许在所述可视化界面中对表进行操作的合法账户。
在其中一个实施例中，所述装置还包括：
原始表添加模块，用于接收添加至分布式数据库采编模块的原始表，所述采编模块包括通过可视化界面操作分布式数据库的模块；
设置模块，用于在所述采编模块中设置所述原始表，接收在分布式数据库的可视化界面中对所述设置后的原始表进行操作的数据，根据所述数据确定第二目标表；
角色审核模块，用于将所述第二目标表中的数据提交至角色审核节点；
审核更新模块，用于当确定所述角色审核节点对所述第二目标表中的数据的审核结果为通过时，根据所述审核后第二目标表中的数据更新分布式数据库。
在其中一个实施例中，所述审核更新模块还用于将第二目标表以Kafka的形式推送至分布式数据库的可视化界面。
在其中一个实施例中，所述接收在分布式数据库的可视化界面中对表进行操作的操作数据包括：数据定义语言操作和数据操纵语言操作。
在其中一个实施例中，所述操作包括表的新建和/或修改包括：
在不同的业务下新建和/或修改表。
第三方面，本公开还提供了一种计算机设备。所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现本公开任一项实施例所述的方法。
第四方面，本公开还提供了一种计算机可读存储介质。所述计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现本公开任一项实施例所述的方法。
第五方面，本公开还提供了一种计算机程序产品。所述计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现本公开任一项实施例所述的方法。
上述分布式数据处理方法、装置、计算机设备和存储介质，通过接收在分布式数据库的可视化界面中对表进行操作的操作数据，基于所述操作数据确定第一目标表，将第一目标表中的数据信息提交至角色审核节点。当确定所述角色审核节点对所述第一目标表中的数据信息的审核结果为通过时，对所述数据信息进行结构化查询语言组装。执行所述组装后的结构化查询语言，得到更新后的分布式数据库，能够使得分布式数据库可视化、可以通过角色控制权限并且对数据增加审核流程，使得分布式数据库的数据安全性能更高。
附图说明
为了更清楚地说明本说明书实施方式或现有技术中的技术方案，下面将对实施方式或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本说明书中记载的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为一个实施例中分布式数据处理方法的应用环境图；
图2为一个实施例中分布式数据处理方法的流程示意图；
图3为一个实施例中分布式数据处理方法的流程示意图；
图4为一个实施例中分布式数据处理方法的流程示意图；
图5为一个实施例中分布式数据处理方法的流程示意图；
图6为一个实施例中分布式数据处理方法的流程示意图；
图7为一个实施例中分布式数据处理装置的结构框图；
图8为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本公开的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本公开进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本公开，并不用于限定本公开。
本公开实施例提供的分布式数据处理方法，可以应用于如图1所示的应用环境中。其中，终端102通过网络与服务器104进行通信。在终端102中的分布式数据库的可视化界面进行表的新建和修改等表的操作，得到第一目标表。将第一目标表提交至角色审核节点，确定角色审核的审核结果为通过时，对所述数据信息进行结构化查询语言组装，在终端102中执行所述组装后的结构化查询语言，得到更新后的分布式数据库。其中，终端102可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑、物联网设备和便携式可穿戴设备，物联网设备可为智能音箱、智能电视、智能空调、智能车载设备等。便携式可穿戴设备可为智能手表、智能手环、头戴设备等。服务器104可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
在一个实施例中，如图2所示，提供了一种分布式数据处理方法，以该方法应用于图1中的终端为例进行说明，包括以下步骤：
S202、接收在分布式数据库的可视化界面中对表进行操作的操作数据，所述操作包括表的新建和/或修改。
其中，分布式数据库可以包括通常使用较小的计算机系统，每台计算机可以单独放在一个地方，每台计算机中具有自己局部的数据库，位于不同地点的许多计算机通过网络互相连接，共同组成一个完整的、全局的逻辑上集中、物理上分布的大型数据库。分布式数据库还可以包括TiDB，TiDB可以包括一款开源分布式关系型数据库，是一款同时支持在线事务处理与在线分析处理的融合型分布式数据库产品，具备水平扩容或者缩容、金融级高可用、实时HTAP(Hybrid Transactional and Aanlytical Processing)、云原生的分布式数据库。可视化界面可以包括利用计算机图形学和图像处理技术，将数据转换成图形或图像在屏幕上显示出来，并进行交互处理的理论、方法和技术。
具体地，可以通过接收在分布式数据库的可视化界面中对表进行操作的操作数据。在一些实施方式中，可以通过接收在分布式数据库的可视化界面中对表进行新建和/或修改操作的操作数据。
S204、基于所述操作数据确定第一目标表，将第一目标表中的数据信息提交至角色审核节点。
其中，数据信息可以包括在进行表的新建和/或修改等表的操作时，所修改的表中的数据。角色可以包括能够完成特定任务的所有用户，角色审核这一项工作流是为了防止人员请假或者离职导致整个流程失败而增加的不以人而是以角色为审核者的流程。
具体地，可以通过表的新建和/或修改等表的操作确定第一目标表，得到第一目标表后，将第一目标表中的数据信息提交至角色审核节点。
S206、当确定所述角色审核节点对所述第一目标表中的数据信息的审核结果为通过时，对所述数据信息进行结构化查询语言组装。
其中，结构化查询语言可以包括SQL(Structured Query Language)，也可以包括一种特殊目的的编程语言，还可以包括一种数据库查询和程序设计语言，可以用于存储数据以及查询、更新和管理关系数据库系统。结构化查询语言可以是高级的非过程化编辑语言，允许用户在高层数据结构上工作。结构化查询语言不要求用户指定对数据的存放方法，也不需要用户了解具体的数据存放方式，所以具有完全不同底层结构的不同数据库系统，也可以使用相同的结构化查询语言作为数据输入与管理的接口。结构化查询语言的语句可以嵌套，这使得它具有极大的灵活性和强大的功能。
具体地，当确定所述角色审核节点对所述第一目标表中的数据信息的审核结果为通过时，对所述数据信息进行结构化查询语言组装。在一些实施方式中，当确定所述角色审核节点对所述第一目标表中的数据信息的审核结果为通过时，对所述数据信息进行SQL(Structured Query Language)组装。
S208、执行所述组装后的结构化查询语言，得到更新后的分布式数据库。
其中，执行所述组装后的结构化查询语言可以包括利用组装后的结构化查询语言对分布式数据库进行操作。
具体地，可以通过执行组装后的结构化查询语言，得到更新后的分布式数据库。
上述分布式数据处理方法中，通过接收在分布式数据库的可视化界面中对表进行操作的操作数据，基于所述操作数据确定第一目标表，将第一目标表中的数据信息提交至角色审核节点。当确定所述角色审核节点对所述第一目标表中的数据信息的审核结果为通过时，对所述数据信息进行结构化查询语言组装。执行所述组装后的结构化查询语言，得到更新后的分布式数据库，能够使得分布式数据库可视化、可以通过角色控制权限并且对数据增加审核流程，使得分布式数据库的数据安全性能更高。
在一个实施例中，如图3所示，所述接收在分布式数据库的可视化界面中对表进行操作的操作数据之前，所述方法还包括：
S302、将符合预设条件的合法账户添加至轻量目录访问协议，所述轻量目录访问协议中的账户为允许在所述可视化界面中对表进行操作的合法账户。
其中，添加可以包括利用应用平台将符合预设条件的合法账户添加至轻量目录访问协议。轻量目录访问协议可以包括LDAP(Lightweight Directory Access Protocol)。轻量目录访问协议可以包括一个开放的，中立的工业标准的应用协议，通过IP(InternetProtocol)协议提供访问控制和维护分布式信息的目录信息。
具体地，可以将符合预设条件的合法账户添加至轻量目录访问协议。在一些实施方式中，符合预设条件的合法账户可以包括应用平台中的账户，应用平台可以包括网络应用平台、短信应用平台、手机应用平台等。
本实施例中，在接收在分布式数据库的可视化界面中对表进行操作的操作数据之前，通过将符合预设条件的合法账户添加至轻量目录访问协议，能够使得分布式数据库可视化、分布式数据库的数据安全性能更高。
在一个实施例中，如图4所示，所述方法还包括：
S402、接收添加至分布式数据库采编模块的原始表，所述采编模块包括通过可视化界面操作分布式数据库的模块。
具体地，可以接收添加至分布式数据库采编模块的原始表。在一些实施方式中，原始表可以包括不在分布式数据库中建立而是在其他应用中建立的表。
S404、在所述采编模块中设置所述原始表，接收在分布式数据库的可视化界面中对所述设置后的原始表进行操作的数据，根据所述数据确定第二目标表。
其中，设置可以包括对表中的字段增加新增。设置还可以包括对表中的字段进行编辑、查询等。
具体地，可以通过在所述采编模块中设置所述原始表，接收在分布式数据库的可视化界面中对所述设置后的原始表进行操作的数据，根据所述数据确定第二目标表。在一些实施方式中，可以通过在所述采编模块中设置所述原始表，接收在分布式数据库(TiDB)的可视化界面中对所述设置后的原始表进行操作的数据，根据所述数据确定第二目标表。
S406、将所述第二目标表中的数据提交至角色审核节点。
S408、当确定所述角色审核节点对所述第二目标表中的数据的审核结果为通过时，根据所述审核后第二目标表中的数据更新分布式数据库。
具体地，可以通过将所述第二目标表中的数据提交至角色审核节点，当确定审核结果为通过时，根据所述审核后第二目标表中的数据更新分布式数据库。
本实施例中，通过将所述第二目标表中的数据提交至角色审核节点，当确定审核结果为通过时，根据所述审核后第二目标表中的数据更新分布式数据库。能够使得分布式数据库可视化、分布式数据库的数据安全性能更高。
在一个实施例中，如图5所示，所述当确定所述角色审核节点对所述第二目标表中的数据的审核结果为通过时之后，所述方法还包括：
S502、将第二目标表以Kafka的形式推送至分布式数据库的可视化界面。
其中，Kafka可以包括一个开源流处理平台，可以包括一种高吞吐量的分布式发布订阅消息系统，它可以处理消费者在网站中的所有动作流数据。这种动作可以包括网页浏览、搜索和其他用户的行动，是在现代网络上的许多社会功能的一个关键因素，这些数据通常是由于吞吐量的要求而通过处理日志和日志集合来解决的。
具体地，可以通过将二目标表以Kafka的形式推送至分布式数据库的可视化界面。
本实施例中，通过将第二目标表以Kafka的形式推送至分布式数据库的可视化界面，能够使得分布式数据库可视化、分布式数据库的数据安全性能更高。
在一个实施例中，所述接收在分布式数据库的可视化界面中对表进行操作的操作数据包括：数据定义语言操作和数据操纵语言操作。
其中，数据定义语言可以包括DDL(Data defined language)。数据定义语言可以包括SQL(Structured Query Language)语言集中负责数据结构定义与数据库对象定义的语言。数据操纵语言可以包括DML(Data Manipulation Language)。数据操纵语言可以用于数据库操作，对数据库其中的对象和数据运行访问工作的编程语句，通常是数据库专用编程语言之中的一个子集。
具体地，接收在分布式数据库的可视化界面中对表进行操作的操作数据包括：数据定义语言操作和数据操纵语言操作。
本实施例中，通过数据定义语言操作和数据操纵语言操作实现对数据库的定义和操作，能够使得分布式数据库可视化、分布式数据库的数据安全性能更高。
在一个实施例中，所述操作包括表的新建和/或修改包括：
在不同的业务下新建和/或修改表。
具体地，可以在在不同的业务下新建和/或修改表。在一些实施方式中，可以建立一个“债券”的任务，所有该类型的表都可以放到“债券”这个任务下，也可以包括在“债券”的任务下新建表。
本实施例中，通过在不同的业务下新建表，能够使得分布式数据库的数据安全性能更高。
在一个实施例中，如图6所示，提供了一种分布式数据处理方法，所述方法包括：
S602、将符合预设条件的合法账户添加至轻量目录访问协议，所述轻量目录访问协议中的账户为允许在所述可视化界面中对表进行操作的合法账户。
S604、接收在分布式数据库的可视化界面中对表进行操作的操作数据，所述操作包括表的新建和/或修改。
S606、基于所述操作数据确定第一目标表，将第一目标表中的数据信息提交至角色审核节点。
S608、当确定所述角色审核节点对所述第一目标表中的数据信息的审核结果为通过时，对所述数据信息进行结构化查询语言组装。
S610、执行所述组装后的结构化查询语言，得到更新后的分布式数据库。
S612、接收添加至分布式数据库采编模块的原始表，所述采编模块包括通过可视化界面操作分布式数据库的模块。
S614、在所述采编模块中设置所述原始表，接收在分布式数据库的可视化界面中对所述设置后的原始表进行操作的数据，根据所述数据确定第二目标表。
S616、将所述第二目标表中的数据提交至角色审核节点。
S618、当确定所述角色审核节点对所述第二目标表中的数据的审核结果为通过时，根据所述审核后第二目标表中的数据更新分布式数据库。
应该理解的是，虽然附图2至附图6的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，附图2至附图6中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
基于同样的发明构思，本公开实施例还提供了一种用于实现上述所涉及的分布式数据处理方法的分布式数据处理装置。该装置所提供的解决问题的实现方案与上述方法中所记载的实现方案相似，故下面所提供的一个或多个分布式数据处理装置实施例中的具体限定可以参见上文中对于分布式数据处理方法的限定，在此不再赘述。
在其中一个实施例中，如图7所示，提供了一种分布式数据处理装置700，包括：操作表模块702、提交模块704、审核模块706和更新模块708，其中：
操作表模块702，用于接收在分布式数据库的可视化界面中对表进行操作的操作数据，所述操作包括表的新建和/或修改。
提交模块704，用于基于所述操作数据确定第一目标表，将第一目标表中的数据信息提交至角色审核节点。
审核模块706，用于当确定所述角色审核节点对所述第一目标表中的数据信息的审核结果为通过时，对所述数据信息进行结构化查询语言组装。
更新模块708，用于执行所述组装后的结构化查询语言，得到更新后的分布式数据库。
在其中一个实施例中，所述接收在分布式数据库的可视化界面中对表进行操作的操作数据之前，所述装置还包括：
账户添加模块，用于将符合预设条件的合法账户添加至轻量目录访问协议，所述轻量目录访问协议中的账户为允许在所述可视化界面中对表进行操作的合法账户。
在其中一个实施例中，所述装置还包括：
原始表添加模块，用于接收添加至分布式数据库采编模块的原始表，所述采编模块包括通过可视化界面操作分布式数据库的模块；
设置模块，用于在所述采编模块中设置所述原始表，接收在分布式数据库的可视化界面中对所述设置后的原始表进行操作的数据，根据所述数据确定第二目标表；
角色审核模块，用于将所述第二目标表中的数据提交至角色审核节点；
审核更新模块，用于当确定所述角色审核节点对所述第二目标表中的数据的审核结果为通过时，根据所述审核后第二目标表中的数据更新分布式数据库。
在其中一个实施例中，所述审核更新模块还用于将第二目标表以Kafka的形式推送至分布式数据库的可视化界面。
在其中一个实施例中，所述接收在分布式数据库的可视化界面中对表进行操作的操作数据包括：数据定义语言操作和数据操纵语言操作。
在其中一个实施例中，，所述操作包括表的新建和/或修改包括：
在不同的业务下新建和/或修改表。
上述分布式数据处理装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是终端，其内部结构图可以如图8所示。该计算机设备包括通过系统总线连接的处理器、存储器、通信接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的通信接口用于与外部的终端进行有线或无线方式的通信，无线方式可通过WIFI、移动蜂窝网络、NFC(近场通信)或其他技术实现。该计算机程序被处理器执行时以实现一种分布式数据处理方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解，图8中示出的结构，仅仅是与本公开方案相关的部分结构的框图，并不构成对本公开方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现上述各方法实施例中的步骤。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述各方法实施例中的步骤。
在一个实施例中，提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现上述各方法实施例中的步骤。
需要说明的是，本申请所涉及的用户信息(包括但不限于用户设备信息、用户个人信息等)和数据(包括但不限于用于分析的数据、存储的数据、展示的数据等)，均为经用户授权或者经过各方充分授权的信息和数据。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本公开所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-OnlyMemory，ROM)、磁带、软盘、闪存、光存储器、高密度嵌入式非易失性存储器、阻变存储器(ReRAM)、磁变存储器(Magnetoresistive Random Access Memory，MRAM)、铁电存储器(Ferroelectric Random Access Memory，FRAM)、相变存储器(Phase Change Memory，PCM)、石墨烯存储器等。易失性存储器可包括随机存取存储器(Random Access Memory，RAM)或外部高速缓冲存储器等。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器(Static Random Access Memory，SRAM)或动态随机存取存储器(Dynamic RandomAccess Memory，DRAM)等。本公开所提供的各实施例中所涉及的数据库可包括关系型数据库和非关系型数据库中至少一种。非关系型数据库可包括基于区块链的分布式数据库等，不限于此。本公开所提供的各实施例中所涉及的处理器可为通用处理器、中央处理器、图形处理器、数字信号处理器、可编程逻辑器、基于量子计算的数据处理逻辑器等，不限于此。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本公开的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本公开专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本公开构思的前提下，还可以做出若干变形和改进，这些都属于本公开的保护范围。因此，本公开的保护范围应以所附权利要求为准。
Claims (10)
1.一种分布式数据处理方法，其特征在于，所述方法包括：
接收在分布式数据库的可视化界面中对表进行操作的操作数据，所述操作包括表的新建和/或修改，所述操作包括数据定义语言操作和数据操作语言操作；
基于所述操作数据确定第一目标表，将第一目标表中的数据信息提交至角色审核节点，所述数据信息包括所述操作对应的所修改的表中的数据；
当确定所述角色审核节点对所述第一目标表中的数据信息的审核结果为通过时，对所述数据信息进行结构化查询语言组装；
执行所述组装后的结构化查询语言，得到更新后的分布式数据库；
所述方法还包括：
接收添加至分布式数据库采编模块的原始表，所述采编模块包括通过可视化界面操作分布式数据库的模块；
在所述采编模块中设置所述原始表，接收在分布式数据库的可视化界面中对所述设置后的原始表进行操作的数据，根据所述数据确定第二目标表；
将所述第二目标表中的数据提交至角色审核节点；
当确定所述角色审核节点对所述第二目标表中的数据的审核结果为通过时，根据所述审核后第二目标表中的数据更新分布式数据库。
2.根据权利要求1所述的方法，其特征在于，所述接收在分布式数据库的可视化界面中对表进行操作的操作数据之前，所述方法还包括：
将符合预设条件的合法账户添加至轻量目录访问协议，所述轻量目录访问协议中的账户为允许在所述可视化界面中对表进行操作的合法账户。
3.根据权利要求1所述的方法，其特征在于，所述当确定所述角色审核节点对所述第二目标表中的数据的审核结果为通过时之后，所述方法还包括：
将第二目标表以Kafka的形式推送至分布式数据库的可视化界面。
4.根据权利要求1所述的方法，其特征在于，所述操作包括表的新建和/或修改包括：
在不同的业务下新建和/或修改表。
5.一种分布式数据处理装置，其特征在于，所述装置包括：
操作表模块，用于接收在分布式数据库的可视化界面中对表进行操作的操作数据，所述操作包括表的新建和/或修改，所述操作包括数据定义语言操作和数据操作语言操作；
提交模块，用于基于所述操作数据确定第一目标表，将第一目标表中的数据信息提交至角色审核节点，所述数据信息包括所述操作对应的所修改的表中的数据；
审核模块，用于当确定所述角色审核节点对所述第一目标表中的数据信息的审核结果为通过时，对所述数据信息进行结构化查询语言组装；
更新模块，用于执行所述组装后的结构化查询语言，得到更新后的分布式数据库；
所述装置还包括：
原始表添加模块，用于接收添加至分布式数据库采编模块的原始表，所述采编模块包括通过可视化界面操作分布式数据库的模块；
设置模块，用于在所述采编模块中设置所述原始表，接收在分布式数据库的可视化界面中对所述设置后的原始表进行操作的数据，根据所述数据确定第二目标表；
角色审核模块，用于将所述第二目标表中的数据提交至角色审核节点；
审核更新模块，用于当确定所述角色审核节点对所述第二目标表中的数据的审核结果为通过时，根据所述审核后第二目标表中的数据更新分布式数据库。
6.根据权利要求5所述的装置，其特征在于，所述接收在分布式数据库的可视化界面中对表进行操作的操作数据之前，所述装置还包括：
账户添加模块，用于将符合预设条件的合法账户添加至轻量目录访问协议，所述轻量目录访问协议中的账户为允许在所述可视化界面中对表进行操作的合法账户。
7.根据权利要求5所述的装置，其特征在于，所述审核更新模块还用于将第二目标表以Kafka的形式推送至分布式数据库的可视化界面。
8.根据权利要求5所述的装置，其特征在于，所述操作包括表的新建和/或修改包括：
在不同的业务下新建和/或修改表。
9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至4中任一项所述的方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至4中任一项所述的方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111406160.2A CN113918996B (zh) | 2021-11-24 | 2021-11-24 | 分布式数据处理方法、装置、计算机设备和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111406160.2A CN113918996B (zh) | 2021-11-24 | 2021-11-24 | 分布式数据处理方法、装置、计算机设备和存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113918996A CN113918996A (zh) | 2022-01-11 |
| CN113918996B true CN113918996B (zh) | 2024-03-26 |
Family
ID=79248224
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111406160.2A Active CN113918996B (zh) | 2021-11-24 | 2021-11-24 | 分布式数据处理方法、装置、计算机设备和存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113918996B (zh) |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101706803A (zh) * | 2009-11-27 | 2010-05-12 | 天津工业大学 | 一种织造车间生产数据的迁移方法 |
| CN109033123A (zh) * | 2018-05-31 | 2018-12-18 | 康键信息技术（深圳）有限公司 | 基于大数据的查询方法、装置、计算机设备和存储介质 |
| CN110263054A (zh) * | 2019-05-30 | 2019-09-20 | 世纪龙信息网络有限责任公司 | Sql工单的审核系统、审核方法、装置及计算机设备 |
| CN110659327A (zh) * | 2019-08-16 | 2020-01-07 | 平安科技（深圳）有限公司 | 实现异构数据库之间数据交互式查询的方法和相关装置 |
| US10726002B1 (en) * | 2019-08-19 | 2020-07-28 | DLT Global Inc. | Relational data management and organization using DLT |
| CN112035580A (zh) * | 2020-06-30 | 2020-12-04 | 中国民航信息网络股份有限公司 | 一种Oracle数据库的智能审核方法及系统 |
| CN112434059A (zh) * | 2021-01-26 | 2021-03-02 | 腾讯科技（深圳）有限公司 | 数据处理方法、装置、计算机设备和存储介质 |
| CN113127520A (zh) * | 2021-05-11 | 2021-07-16 | 中国电信股份有限公司江西分公司 | 一种基于代理模式的分布式数据库sql审核拦截方法及装置 |
| CN113342821A (zh) * | 2021-06-29 | 2021-09-03 | 深圳前海微众银行股份有限公司 | 报表配置方法、装置、设备及计算机存储介质 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20170169102A1 (en) * | 2015-12-15 | 2017-06-15 | Le Holdings (Beijing) Co., Ltd. | Method and electronic device for controlling data query |
-
2021
- 2021-11-24 CN CN202111406160.2A patent/CN113918996B/zh active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101706803A (zh) * | 2009-11-27 | 2010-05-12 | 天津工业大学 | 一种织造车间生产数据的迁移方法 |
| CN109033123A (zh) * | 2018-05-31 | 2018-12-18 | 康键信息技术（深圳）有限公司 | 基于大数据的查询方法、装置、计算机设备和存储介质 |
| CN110263054A (zh) * | 2019-05-30 | 2019-09-20 | 世纪龙信息网络有限责任公司 | Sql工单的审核系统、审核方法、装置及计算机设备 |
| CN110659327A (zh) * | 2019-08-16 | 2020-01-07 | 平安科技（深圳）有限公司 | 实现异构数据库之间数据交互式查询的方法和相关装置 |
| US10726002B1 (en) * | 2019-08-19 | 2020-07-28 | DLT Global Inc. | Relational data management and organization using DLT |
| CN112035580A (zh) * | 2020-06-30 | 2020-12-04 | 中国民航信息网络股份有限公司 | 一种Oracle数据库的智能审核方法及系统 |
| CN112434059A (zh) * | 2021-01-26 | 2021-03-02 | 腾讯科技（深圳）有限公司 | 数据处理方法、装置、计算机设备和存储介质 |
| CN113127520A (zh) * | 2021-05-11 | 2021-07-16 | 中国电信股份有限公司江西分公司 | 一种基于代理模式的分布式数据库sql审核拦截方法及装置 |
| CN113342821A (zh) * | 2021-06-29 | 2021-09-03 | 深圳前海微众银行股份有限公司 | 报表配置方法、装置、设备及计算机存储介质 |
Non-Patent Citations (3)
| Title |
|---|
| 基于ELK+Kafka的智慧运维大数据分析平台研究与实现;阮晓龙;贺路路;;软件导刊;20200615(第06期);全文 * |
| 开源大数据治理与安全软件综述;王文杰;胡柏青;刘驰;;信息网络安全;20170510(第05期);全文 * |
| 电网保信主站系统海量数据接入方案研究;李现伟;朱俊瑞;杜云朋;崔丽艳;;电工技术;20200510(第09期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113918996A (zh) | 2022-01-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109997126B (zh) | 事件驱动提取、变换、加载（etl）处理 | |
| CN110168522B (zh) | 维护数据沿袭以检测数据事件 | |
| US10394805B2 (en) | Database management for mobile devices | |
| US20130144918A1 (en) | Mobile metadata model repository | |
| CN111858615A (zh) | 数据库表生成方法、系统、计算机系统和可读存储介质 | |
| CN111046237A (zh) | 用户行为数据处理方法、装置、电子设备及可读介质 | |
| CN114115844A (zh) | 页面生成方法、装置、计算机设备和存储介质 | |
| CN103914290A (zh) | 一种操作命令处理方法及装置 | |
| CN115544183B (zh) | 数据可视化方法、装置、计算机设备和存储介质 | |
| US10949409B2 (en) | On-demand, dynamic and optimized indexing in natural language processing | |
| WO2021213154A1 (zh) | 区块链的数据处理方法、系统、终端和计算机可读存储介质 | |
| US11023835B2 (en) | System for decommissioning information technology assets using solution data modelling | |
| CN113918996B (zh) | 分布式数据处理方法、装置、计算机设备和存储介质 | |
| CN116305895A (zh) | 产品模型生成方法、装置、计算机设备和存储介质 | |
| CN115543428A (zh) | 一种基于策略模板的模拟数据生成方法和装置 | |
| US10970406B2 (en) | System for mitigating exposure associated with identified unmanaged devices in a network using solution data modelling | |
| CN115879895B (zh) | 协议准入方法、装置、计算机设备和存储介质 | |
| US20240160611A1 (en) | Consolidating resource data from disparate data sources | |
| CN116775955A (zh) | 数据标签固化方法、装置、计算机设备和存储介质 | |
| US20230351403A1 (en) | Programmable timeline feature for communication systems | |
| CN114817338A (zh) | 数据处理方法、装置、电子设备及计算机可读存储介质 | |
| CN105814559A (zh) | 具有特定于用户的工作集的增强型服务环境 | |
| CN117236875A (zh) | 信息处理方法、装置和电子设备 | |
| CN115510283A (zh) | 一种数据模型构建方法、装置、电子设备和存储介质 | |
| CN117389859A (zh) | 影响范围的确定方法、装置、计算机设备、存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB02 | Change of applicant information |
Country or region after: China Address after: No. 8 Huizhi Street, Suzhou Industrial Park, Suzhou Area, China (Jiangsu) Pilot Free Trade Zone, Suzhou City, Jiangsu Province, 215000 Applicant after: Qichacha Technology Co.,Ltd. Address before: Room 503, 5 / F, C1 building, 88 Dongchang Road, Suzhou Industrial Park, 215000, Jiangsu Province Applicant before: Qicha Technology Co.,Ltd. Country or region before: China |
|
| CB02 | Change of applicant information | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |