CN115510101A - 数据处理方法及装置、电子设备及可读存储介质 - Google Patents

数据处理方法及装置、电子设备及可读存储介质 Download PDF

Info

Publication number
CN115510101A
CN115510101A CN202211109393.0A CN202211109393A CN115510101A CN 115510101 A CN115510101 A CN 115510101A CN 202211109393 A CN202211109393 A CN 202211109393A CN 115510101 A CN115510101 A CN 115510101A
Authority
CN
China
Prior art keywords
target
data
data table
monitoring
partition
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211109393.0A
Other languages
English (en)
Inventor
谢正龙
马敏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhongdian Jinxin Software Co Ltd
Original Assignee
Zhongdian Jinxin Software Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhongdian Jinxin Software Co Ltd filed Critical Zhongdian Jinxin Software Co Ltd
Priority to CN202211109393.0A priority Critical patent/CN115510101A/zh
Publication of CN115510101A publication Critical patent/CN115510101A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2455—Query execution
    • G06F16/24553—Query execution of query operations
    • G06F16/24554—Unary operations; Data partitioning operations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22—Indexing; Data structures therefor; Storage structures
    • G06F16/2282—Tablespace storage structures; Management thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/23—Updating
    • G06F16/2358—Change logging, detection, and notification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2455—Query execution
    • G06F16/24553—Query execution of query operations
    • G06F16/24554—Unary operations; Data partitioning operations
    • G06F16/24556—Aggregation; Duplicate elimination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/54—Interprogram communication
    • G06F9/546—Message passing systems or structures, e.g. queues
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/02—Network architectures or network communication protocols for network security for separating internal from external traffic, e.g. firewalls
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2209/00—Indexing scheme relating to G06F9/00
    • G06F2209/54—Indexing scheme relating to G06F9/54
    • G06F2209/547—Messaging middleware
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2209/00—Indexing scheme relating to G06F9/00
    • G06F2209/54—Indexing scheme relating to G06F9/54
    • G06F2209/548—Queue

Abstract

本发明公开了一种数据处理方法及装置、电子设备及可读存储介质。其中，该方法包括：获取目标数据库中目标数据表的监控数据对应的目标报文；将所述目标报文发送至所述目标数据表对应的目标分区；对所述目标分区的分区数据，以及预设业务对应的外部数据进行聚合，以得到结果数据；将所述结果数据存储至预设服务器集群，以使前端设备通过聚合服务从所述服务器集群中获取所述结果数据。本发明解决了由于现有技术中通过数据中间件访问数据库，而导致数据来源无法聚合外部数据，且内部数据源存在数据安全隐患的技术问题。

Description

数据处理方法及装置、电子设备及可读存储介质
技术领域
本发明涉及大数据技术领域，具体而言，涉及一种数据处理方法及装置、电子设备及可读存储介质。
背景技术
在现有技术中，数据库包括但不限于关系型数据库管理系统MySQL或甲骨文关系数据库Oracle。在前端设备对于数据库中数据的查询过程中，通过数据库中间件访问数据库中的数据，然后对数据库中间件的数据来实现数据聚合，进而反馈到前端设备。其中，数据库中间件包括但不限于数据库中间件Mycat、数据库中间件Sharding-JDBC。
如图1所示，数据库中间件30、数据库中间件32以及数据库中间件30对数据库MySQL以及数据库Oracle的数据进行访问，调用以及查询数据库MySQL和/或数据库Oracle中的数据。然后，通过数据聚合服务20、数据聚合服务22以及数据聚合服务24进行数据聚合，接着，将数据聚合结果返回至WEB前端10以及移动终端12，进而完成对数据库MySQL以及数据库Oracle的数据调用以及查询等执行动作。
然而在现有技术中，数据库的架构是由数据库中间件直接连接多个数据源，相当于将核心的数据源暴露给外部应用，存在一定的数据安全性隐患。
相关技术中针对上述的问题，目前尚未提出有效的解决方案。
发明内容
本发明实施例提供了一种数据处理方法及装置、电子设备及可读存储介质，以至少解决由于现有技术中通过数据中间件访问数据库，而导致数据来源无法聚合外部数据，且内部数据源存在数据安全隐患的技术问题。
根据本发明实施例的一个方面，提供了一种数据处理方法，包括：获取目标数据库中目标数据表的监控数据对应的目标报文；将所述目标报文发送至所述目标数据表对应的目标分000区；对所述目标分区的分区数据，以及预设业务对应的外部数据进行聚合，以得到结果数据；将所述结果数据存储至预设服务器集群，以使前端设备通过聚合服务从所述服务器集群中获取所述结果数据。
进一步地，获取目标数据库中目标数据表的监控数据对应的目标报文，包括：获取所述目标数据表对应的变更数据；将所述变更数据转换为预设格式的所述目标报文。
进一步地，所述目标报文包括以下至少之一：所述变更数据的数据来源、变更类型以及变更内容。
进一步地，所述变更类型包括对目标数据库所进行的执行动作对应的执行动作编码。
进一步地，获取所述目标数据表的变更数据，包括：根据数据监控策略对所述目标数据表中的目标字段进行数据监控；获取所述变更数据。
进一步地，将所述目标报文发送至所述目标数据表对应的目标分区，包括：根据预设路由规则，将所述目标报文发送至所述目标报文对应的消息队列主题以及所述目标分区；其中，所述预设路由规则包括以下之一：将所述目标数据表的所有监控数据路由至同一分区；根据所述目标数据表的ID，将所述目标报文进行哈希路由至不同分区。
进一步地，还包括：接收监控指令，其中，所述监控指令包括所述目标数据表或目标字段的配置信息，以及，所述目标数据表或所述目标字段对应的路由规则；根据所述配置信息确定所述目标数据表或所述目标字段；根据所述路由规则对所述预设路由规则进行更新。
根据本发明实施例的另一方面，还提供了一种数据处理装置，包括：获取模块，用于获取目标数据库中目标数据表的监控数据对应的目标报文；发送模块，用于将所述目标报文发送至所述目标数据表对应的目标分区；处理模块，用于对所述目标分区的分区数据，以及预设业务对应的外部数据进行聚合，以得到结果数据；存储模块，用于将所述结果数据存储至预设服务器集群，以使前端设备通过聚合服务从所述服务器集群中获取所述结果数据。
进一步地，所述获取模块包括：获取子模块，用于获取所述目标数据表对应的变更数据；处理子模块，用于将所述变更数据转换为预设格式的所述目标报文。
进一步地，所述目标报文包括以下至少之一：所述变更数据的数据来源、变更类型以及变更内容。
进一步地，所述变更类型包括对目标数据库所进行的执行动作对应的执行动作编码。
进一步地，所述获取子模块包括：监听单元，用于根据数据监控策略对所述目标数据表中的目标字段进行数据监控；获取单元，获取所述变更数据。
进一步地，所述发送模块包括：发送子模块，用于根据预设路由规则，将所述目标报文发送至所述目标报文对应的消息队列主题以及所述目标分区；其中，所述预设路由规则包括以下之一：将所述目标数据表的所有监控数据路由至同一分区；根据所述目标数据表的ID，将所述目标报文进行哈希路由至不同分区。
进一步地，还包括：接收模块，用于接收监控指令，其中，所述监控指令包括所述目标数据表或目标字段的配置信息，以及，所述目标数据表或所述目标字段对应的路由规则；第一配置模块，用于根据所述配置信息确定所述目标数据表或所述目标字段；第二配置模块，用于根据所述路由规则对所述预设路由规则进行更新。
根据本发明实施例的另一方面，还提供了一种电子设备，包括处理器，存储器及存储在所述存储器上并可在所述处理器上运行的程序或指令，所述程序或指令被所述处理器执行时实现如上所述的数据处理方法的步骤。
根据本发明实施例的另一方面，还提供了一种可读存储介质，所述可读存储介质上存储程序或指令，所述程序或指令被处理器执行时实现如上所述的数据处理方法的步骤。
在本发明实施例中，获取目标数据库中目标数据表的监控数据对应的目标报文；将目标报文发送至目标数据表对应的目标分区；对目标分区的分区数据，以及预设业务对应的外部数据进行聚合，以得到结果数据；将结果数据存储至预设服务器集群，以使前端设备通过聚合服务从服务器集群中获取结果数据。通过将目标数据库中监控数据对应的目标报文发送至目标分区，然后对目标分区的分区数据以及外部数据进行聚合，并将结果数据存储至预设服务器集群，隔离了外部与数据源的直接连接，提高了数据库的数据安全性，达到了支撑更多的业务场景的目的，进而解决了由于现有技术中通过数据中间件访问数据库，而导致数据来源无法聚合外部数据，且内部数据源存在数据安全隐患的技术问题。
附图说明
此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1是根据现有技术的一种通过数据中间件进行数据聚合的示意图；
图2是根据本发明实施例的一种可选的数据处理方法的流程示意图；
图3是根据本发明实施例的一种可选的数据聚合的示意图；
图4是根据本发明实施例的一种可选的数据处理装置的框架示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
实施例1
根据本发明实施例，提供了一种数据处理方法，如图2所示，该方法包括：
S202，获取目标数据库中目标数据表的监控数据对应的目标报文；
在本实施例中，目标数据库为用户指定的数据库，数据库包括但不限于MySQL以及Oracle等。对目标数据库进行监控包括但不限于对目标数据的所有数据表、指定数据表或指定数据表中的指定字段进行监控。
其中，监控数据包括目标数据库中的数据表、字段等产生变化的变更数据。监控数据的数据监控策略包括但不限于对数据来源、变更类型以及字段列表等进行监控。
具体地，监控数据为目标数据库的变更数据，变更数据包括但不限于目标数据库中的动作、数据表名、数据库名称、变更前的数据值以及变更后的数据值。
接下来，为了方便数据的传输，将监控数据转换为统一格式的报文，以进行监控数据的传输。在本实施例中，可以通过目标数据库以及数据处理服务自定义目标报文的报文格式，也可以是通过对现有报文的报文格式进行变更或调整，以得到目标报文。
可选地，在本实施例中，获取目标数据库中目标数据表的监控数据对应的目标报文，包括但不限于：获取目标数据表对应的变更数据；将变更数据转换为预设格式的目标报文。
具体地，在本实施例中，通过获取目标数据库中目标数据表的变更数据。示例性地，若目标数据库为数据库MySQL，可以通过Canal订阅数据库MySQL的二进制日志BinaryLog，来获取数据库MySQL中目标数据表的变更数据；示例性地，若目标数据库为数据库Oracle，可以通过OGG(基于日志的结构化数据复制软件，Oracle Golden Gate)对数据库Oracle的事务日志Transaction Log对目标数据表进行监控，来获取数据库Oracle的变更数据。
接下来，在获取到目标数据库中目标数据表的变更数据之后，将变更数据转换为预设格式的目标报文。
可选地，在本实施例中，目标报文中包括但不限于以下之一：变更数据的数据来源、变更类型以及变更内容等信息。
具体地，目标报文中的数据来源包括但不限于变更数据所属的数据库、数据表以及字段等信息；变更类型包括但不限于对目标数据库所进行的执行动作，例如新增、修改、删除等执行动作以及执行动作组合；变更内容包括执行变更操作前的数据值以及执行变更操作后的数据值。
可选地，目标报文中的变更类型包括但不限于对目标数据库所进行的执行动作对应的执行动作编码。
具体地，执行动作对应的执行动作编码是预先设置好的，通过执行动作编码可以知道变更数据对应的对目标数据库所进行的执行动作以及执行动作组合。
示例性地，如表1所示，目标报文的报文格式包括键值、说明以及取值，其中，键值包括动作Action、数据表Table、数据库Database、变更前Before以及变更后After，每个键值对应一种数据值。
表1
Figure BDA0003843317070000071
通过上述示例，获取目标数据库中目标数据表对应的变更数据；将变更数据转换为预设格式的目标报文，实现了对数据库中目标数据表的变更数据的监控与传输，提升了数据库的数据安全性。
可选地，在本实施例中，获取目标数据库中目标数据表的变更数据，包括但不限于：根据数据监控策略对目标数据表中的目标字段进行数据监控；获取变更数据。
具体地，对目标数据库中目标数据表中的目标字段进行数据监控，例如通过Canal、OGG根据数据监控策略捕获目标字段的变更数据，然后将变更数据转换为统一格式的目标报文。
在本实施例中，数据监控策略包括对目标字段的数据来源、变更类型以及字段列表进行监控。其中，数据来源包括但不限于对目标数据库、目标数据库中的目标数据表、目标字段进行监控。变更数据的变更操作的变更类型包括但不限于新增、修改、删除，需要说明的是，在本实施例中，变更操作可以包括任意组合，例如新增与修改、新增与删除等。字段列表包括但不限于数据表中的字段名。
示例性地，为目标字段的修改示例，其中，变更类型部分中“新增”用1表示，“修改”用2表示，“删除”用4表示，同时监控到“新增”以及“修改”则取值为1+2＝3。字段列表部分中，多个字段使用英文逗号“,”分割，任意字段则使用“-1”表示。表2为配置示例说明：
表2
Figure BDA0003843317070000081
基于上述的数据监控策略对目标数据表或目标字段进行数据监听，其中，目标字段可以是目标数据表中的字段，也可以是其他指定数据表中的字段，具体可以根据实际经验进行设置。
通过上述示例，对目标数据表中的目标字段进行数据监控；在目标数据表或目标字段存在变化时，获取变更数据，使得对数据源的数据监控更加灵活，只采集数据源的变更数据，降低了数据采集难度。
S204，将目标报文发送至目标数据表对应的目标分区；
在本实施例中，在将变更数据转换为统一格式的目标报文之后，将目标报文发送至对应的MQ(消息队列，Message Queue)主题以及目标数据表对应的目标分区中。
在一个例子中，若目标数据表为“信贷”，则将目标数据表对应的目标报文发送至“授信申请”、“出账”以及“收账”等MQ主题，以及所对应的目标分区中。
可选地，在本实施例中，将目标报文发送至目标数据表对应的目标分区，包括但不限于：根据预设路由规则，将目标报文发送至目标报文对应的消息队列主题以及目标分区；其中，预设路由规则包括以下之一：将目标数据表的所有监控数据路由至同一分区；根据目标数据表的ID，将目标报文进行哈希路由至不同分区。
具体地，根据预设路由规则将目标报文发送至目标报文对应的MQ主题以及目标分区，其中，预设路由规则包括以下之一：将目标数据表的所有监控数据路由至同一分区；根据目标数据表的ID，将目标报文进行哈希路由至不同分区。
在一个例子中，若预设路由规则为“customer_info:-1”，则数据表的所有监控数据最终路由到同一个分区；
在另一个例子中，若预设路由规则为“customer_info:ID”，则根据数据表的ID进行哈希hash路由到不同的分区。
通过上述示例，根据预设路由规则将目标报文发送至目标报文对应的MQ主题以及目标分区，保证了数据源数据的安全性。
S206，对目标分区的分区数据，以及预设业务对应的外部数据进行聚合，以得到结果数据；
具体地，在本实施例中，数据加工服务可以根据实际业务场景的需求，调用预设数据仓库、外部应用以及外部系统的数据进行数据聚合，以得到结果数据。
S208，将结果数据存储至预设服务器集群，以使前端设备通过聚合服务从服务器集群中获取结果数据。
在一个示例性地应用场景中，如图3所示，通过Canal订阅数据库MySQL的二进制日志Binary Log，来获取数据库MySQL中目标数据表的变更数据；通过OGG对数据库Oracle的事务日志Transaction Log对目标数据表进行监控，来获取数据库Oracle的变更数据。
然后，将变更数据转换为统一格式的目标报文。通过Canal以及OGG将目标报文发送至Kafka消息队列的存储结构，得到Kafka数据。通过数据加工处理服务，对Kafka数据以及外部数据仓库、外部应用以及外部系统的数据，进行数据聚合加工处理，以得到结果数据。
接下来，在得到结果数据后，将结果数据存储至ES服务器集群，WEB前端以及移动终端可以通过聚合服务从ES服务器集群获取到用户所需要的最终数据，不需要再次进行数据计算等操作。
可选地，在本实施例中，还包括但不限于：接收监控指令，其中，监控指令包括目标数据表或目标字段的配置信息，以及，目标数据表或目标字段对应的路由规则；根据配置信息确定目标数据表或目标字段；根据路由规则对预设路由规则进行更新。
具体地，在本实施例中，首先确定数据监控策略，接收来自用户或管理员发送的监控指令，监控指令包括目标字段的配置信息，该配置信息用于将数据库中的指定数据表设置为目标数据表；或，将数据表中的指定字段设置目标字段。在接收到监控指令之后，根据配置信息设置目标数据表以及目标字段。
然后，监控指令中还包括目标数据表或目标字段对应的路由规则，在接收到监控指令之后，根据配置信息中的路由规则对预设路由规则进行更新。
需要说明的是，根据配置信息确定目标数据表或目标字段，可以是在在根据数据监控策略对目标数据表中的目标字段进行监听之前，也可以是在根据数据监控策略对目标数据表或目标字段进行监听的过程中，添加或删减目标数据表或目标字段，具体可以根据实际经验进行设定。
通过上述示例，接收监控指令，其中，监控指令包括目标数据表中目标字段的配置信息；根据配置信息确定目标数据表或目标字段。可以试试增减数据监控、修改已上线的数据监控策略，使得数据监控更加灵活。
通过本发明实施例，获取目标数据库中目标数据表的监控数据对应的目标报文；将目标报文发送至目标数据表对应的目标分区；对目标分区的分区数据，以及预设业务对应的外部数据进行聚合，以得到结果数据；将结果数据存储至预设服务器集群，以使前端设备通过聚合服务从服务器集群中获取结果数据。通过将目标数据库中监控数据对应的目标报文发送至目标分区，然后对目标分区的分区数据以及外部数据进行聚合，并将结果数据存储至预设服务器集群，提高了数据库的数据安全性，达到了支撑更多的业务场景的目的，进而解决了由于现有技术中通过数据中间件访问数据库，而导致数据来源无法聚合外部数据，且内部数据源存在数据安全隐患的技术问题。
需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明并不受所描述的动作顺序的限制，因为依据本发明，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本发明所必须的。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到根据上述实施例的方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。
实施例2
根据本发明实施例，还提供了一种用于实施上述数据处理方法的数据处理装置，如图4所示，该装置包括：
1)获取模块40，用于获取目标数据库中目标数据表的监控数据对应的目标报文；
2)发送模块42，用于将所述目标报文发送至所述目标数据表对应的目标分区；
3)处理模块44，用于对所述目标分区的分区数据，以及预设业务对应的外部数据进行聚合，以得到结果数据；
4)存储模块46，用于将所述结果数据存储至预设服务器集群，以使前端设备通过聚合服务从所述服务器集群中获取所述结果数据。
可选地，在本实施例中，所述获取模块40包括：
1)获取子模块，用于获取所述目标数据表对应的变更数据；
2)处理子模块，用于将所述变更数据转换为预设格式的所述目标报文。
可选地，在本实施例中，所述目标报文包括以下至少之一：所述变更数据的数据来源、变更类型以及变更内容。
可选地，在本实施例中，所述变更类型包括对目标数据库所进行的执行动作对应的执行动作编码。
可选地，在本实施例中，所述获取子模块包括：
1)监听单元，用于根据数据监控策略对所述目标数据表中的目标字段进行数据监控；
2)获取单元，获取所述变更数据。
可选地，在本实施例中，所述发送模块42包括：
1)发送子模块，用于根据预设路由规则，将所述目标报文发送至所述目标报文对应的消息队列主题以及所述目标分区；
其中，所述预设路由规则包括以下之一：
将所述目标数据表的所有监控数据路由至同一分区；
根据所述目标数据表的ID，将所述目标报文进行哈希路由至不同分区。
可选地，在本实施例中，还包括：
1)接收模块，用于接收监控指令，其中，所述监控指令包括所述目标数据表或目标字段的配置信息，以及，所述目标数据表或所述目标字段对应的路由规则；
2)第一配置模块，用于根据所述配置信息确定所述目标数据表或所述目标字段；
3)第二配置模块，用于根据所述路由规则对所述预设路由规则进行更新。
通过本发明实施例，获取目标数据库中目标数据表的监控数据对应的目标报文；将目标报文发送至目标数据表对应的目标分区；对目标分区的分区数据，以及预设业务对应的外部数据进行聚合，以得到结果数据；将结果数据存储至预设服务器集群，以使前端设备通过聚合服务从服务器集群中获取结果数据。通过将目标数据库中监控数据对应的目标报文发送至目标分区，然后对目标分区的分区数据以及外部数据进行聚合，并将结果数据存储至预设服务器集群，提高了数据库的数据安全性，达到了支撑更多的业务场景的目的，进而解决了由于现有技术中通过数据中间件访问数据库，而导致数据来源无法聚合外部数据，且内部数据源存在数据安全隐患的技术问题。
实施例3
根据本发明实施例，还提供了一种电子设备，包括处理器，存储器及存储在所述存储器上并可在所述处理器上运行的程序或指令，所述程序或指令被所述处理器执行时实现如上所述的数据处理方法的步骤。
可选地，在本实施例中，存储器被设置为存储用于执行以下步骤的程序代码：
S1，获取目标数据库中目标数据表的监控数据对应的目标报文；
S2，将所述目标报文发送至所述目标数据表对应的目标分区；
S3，对所述目标分区的分区数据，以及预设业务对应的外部数据进行聚合，以得到结果数据；
S4，将所述结果数据存储至预设服务器集群，以使前端设备通过聚合服务从所述服务器集群中获取所述结果数据。
可选地，本实施例中的具体示例可以参考上述实施例1中所描述的示例，本实施例在此不再赘述。
实施例4
本发明的实施例还提供了一种可读存储介质，所述可读存储介质上存储程序或指令，所述程序或指令被处理器执行时实现如上所述的数据处理方法的步骤。
可选地，在本实施例中，可读存储介质被设置为存储用于执行以下步骤的程序代码：
S1，获取目标数据库中目标数据表的监控数据对应的目标报文；
S2，将所述目标报文发送至所述目标数据表对应的目标分区；
S3，对所述目标分区的分区数据，以及预设业务对应的外部数据进行聚合，以得到结果数据；
S4，将所述结果数据存储至预设服务器集群，以使前端设备通过聚合服务从所述服务器集群中获取所述结果数据。
可选地，可读存储介质还被设置为存储用于执行上述实施例1中的方法中所包括的步骤的程序代码，本实施例中对此不再赘述。
可选地，在本实施例中，上述可读存储介质可以包括但不限于：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
可选地，本实施例中的具体示例可以参考上述实施例1中所描述的示例，本实施例在此不再赘述。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
上述实施例中的集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在上述计算机可读取的存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在存储介质中，包括若干指令用以使得一台或多台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。
在本发明的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中，应该理解到，所揭露的客户端，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (10)

1.一种数据处理方法，其特征在于，包括：
获取目标数据库中目标数据表的监控数据对应的目标报文；
将所述目标报文发送至所述目标数据表对应的目标分区；
对所述目标分区的分区数据，以及预设业务对应的外部数据进行聚合，以得到结果数据；
将所述结果数据存储至预设服务器集群，以使前端设备通过聚合服务从所述服务器集群中获取所述结果数据。
2.根据权利要求1所述的方法，其特征在于，获取目标数据库中目标数据表的监控数据对应的目标报文，包括：
获取所述目标数据表对应的变更数据；
将所述变更数据转换为预设格式的所述目标报文。
3.根据权利要求2所述的方法，其特征在于，所述目标报文包括以下至少之一：
所述变更数据的数据来源、变更类型以及变更内容。
4.根据权利要求3所述的方法，其特征在于，所述变更类型包括对目标数据库所进行的执行动作对应的执行动作编码。
5.根据权利要求2所述的方法，其特征在于，获取所述目标数据表的变更数据，包括：
根据数据监控策略对所述目标数据表中的目标字段进行数据监控；
获取所述变更数据。
6.根据权利要求1所述的方法，其特征在于，将所述目标报文发送至所述目标数据表对应的目标分区，包括：
根据预设路由规则，将所述目标报文发送至所述目标报文对应的消息队列主题以及所述目标分区；
其中，所述预设路由规则包括以下之一：
将所述目标数据表的所有监控数据路由至同一分区；
根据所述目标数据表的ID，将所述目标报文进行哈希路由至不同分区。
7.根据权利要求6所述的方法，其特征在于，还包括：
接收监控指令，其中，所述监控指令包括所述目标数据表或目标字段的配置信息，以及，所述目标数据表或所述目标字段对应的路由规则；
根据所述配置信息确定所述目标数据表或所述目标字段；
根据所述路由规则对所述预设路由规则进行更新。
8.一种数据处理装置，其特征在于，包括：
获取模块，用于获取目标数据库中目标数据表的监控数据对应的目标报文；
发送模块，用于将所述目标报文发送至所述目标数据表对应的目标分区；
处理模块，用于对所述目标分区的分区数据，以及预设业务对应的外部数据进行聚合，以得到结果数据；
存储模块，用于将所述结果数据存储至预设服务器集群，以使前端设备通过聚合服务从所述服务器集群中获取所述结果数据。
9.一种电子设备，其特征在于，包括处理器，存储器及存储在所述存储器上并可在所述处理器上运行的程序或指令，所述程序或指令被所述处理器执行时实现如权利要求1-5所述的数据处理方法的步骤。
10.一种可读存储介质，其特征在于，所述可读存储介质上存储程序或指令，所述程序或指令被处理器执行时实现如权利要求1-5所述的数据处理方法的步骤。
CN202211109393.0A 2022-09-13 2022-09-13 数据处理方法及装置、电子设备及可读存储介质 Pending CN115510101A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211109393.0A CN115510101A (zh) 2022-09-13 2022-09-13 数据处理方法及装置、电子设备及可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211109393.0A CN115510101A (zh) 2022-09-13 2022-09-13 数据处理方法及装置、电子设备及可读存储介质

Publications (1)

Publication Number Publication Date
CN115510101A true CN115510101A (zh) 2022-12-23

Family

ID=84504180

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211109393.0A Pending CN115510101A (zh) 2022-09-13 2022-09-13 数据处理方法及装置、电子设备及可读存储介质

Country Status (1)

Country Link
CN (1) CN115510101A (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107180116A (zh) * 2017-06-28 2017-09-19 努比亚技术有限公司 一种数据同步处理方法、移动终端以及计算机可读存储介质
CN107783975A (zh) * 2016-08-24 2018-03-09 北京京东尚科信息技术有限公司 分布式数据库同步处理的方法和装置
CN113032419A (zh) * 2021-04-21 2021-06-25 上海微盟企业发展有限公司 一种多源数据聚合搜索方法、装置、设备及存储介质
WO2021169272A1 (zh) * 2020-02-27 2021-09-02 平安科技（深圳）有限公司 数据库表格变更方法、装置、计算机设备及存储介质
CN114722119A (zh) * 2022-03-30 2022-07-08 上海幻电信息科技有限公司 数据同步方法及系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107783975A (zh) * 2016-08-24 2018-03-09 北京京东尚科信息技术有限公司 分布式数据库同步处理的方法和装置
CN107180116A (zh) * 2017-06-28 2017-09-19 努比亚技术有限公司 一种数据同步处理方法、移动终端以及计算机可读存储介质
WO2021169272A1 (zh) * 2020-02-27 2021-09-02 平安科技（深圳）有限公司 数据库表格变更方法、装置、计算机设备及存储介质
CN113032419A (zh) * 2021-04-21 2021-06-25 上海微盟企业发展有限公司 一种多源数据聚合搜索方法、装置、设备及存储介质
CN114722119A (zh) * 2022-03-30 2022-07-08 上海幻电信息科技有限公司 数据同步方法及系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
刘炳桢等: "《云原生应用构建：基于OpenShift》", vol. 1, 西安电子科技大学出版社, pages: 184 - 185 *

Similar Documents

Publication Publication Date Title
CN107943841A (zh) 流式数据处理方法、系统和计算机可读存储介质
CN111740868B (zh) 告警数据的处理方法和装置及存储介质
CN113656194A (zh) 对账结果数据的通知方法、装置、电子装置及存储介质
US11544119B2 (en) Business rules processing framework for implementing new desired functionality in a telecommunication application
CN108154024A (zh) 一种数据检索方法、装置及电子设备
CN115510101A (zh) 数据处理方法及装置、电子设备及可读存储介质
CN111061719B (zh) 数据收集方法、装置、设备和存储介质
CN110493735B (zh) 一种短信处理方法及装置
CN107729579A (zh) 数据库分离设计方法及装置
CN110134547B (zh) 一种基于中间件的重复数据删除方法和相关装置
CN113326333A (zh) 数据处理方法、系统、计算机设备及计算机存储介质
CN112231612B (zh) 配置信息的传输方法及装置、存储介质、电子装置
CN110264383B (zh) 一种电子合同备案方法、装置、可读存储介质及服务器
CN109388546B (zh) 处理应用程序的故障的方法、装置和系统
CN107704557B (zh) 操作互斥数据的处理方法、装置、计算机设备和存储介质
CN113556370A (zh) 一种服务调用方法和装置
CN112788077A (zh) 数据采集方法、装置、计算机设备和计算机可读存储介质
CN113495891A (zh) 一种数据处理方法和装置
CN111163123A (zh) 一种服务请求的处理方法及装置
US20120016900A1 (en) Identification of third party pim repositories storing a user's contact information
CN117294578B (zh) 一种通信方法、系统、计算机设备和存储介质
CN111274203A (zh) 一种话单存储系统及方法
CN113766437B (zh) 一种短信发送方法和装置
CN115114361B (zh) 一种基于容器云平台统一接口的资源检索方法和系统
CN110781370B (zh) 一种移动终端信息查询方法和计算机设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20221223

RJ01 Rejection of invention patent application after publication