CN114911862A - 一种网上国网运营链路大数据传输系统及方法 - Google Patents

一种网上国网运营链路大数据传输系统及方法 Download PDF

Info

Publication number
CN114911862A
CN114911862A CN202210840859.8A CN202210840859A CN114911862A CN 114911862 A CN114911862 A CN 114911862A CN 202210840859 A CN202210840859 A CN 202210840859A CN 114911862 A CN114911862 A CN 114911862A
Authority
CN
China
Prior art keywords
data
network
kafka
big data
synchronized
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210840859.8A
Other languages
English (en)
Other versions
CN114911862B (zh
Inventor
翟千惠
朱萌
钱旭盛
赵磊
何玮
缪猛
张轩城
许高俊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
State Grid Jiangsu Electric Power Co ltd Marketing Service Center
Original Assignee
State Grid Jiangsu Electric Power Co ltd Marketing Service Center
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by State Grid Jiangsu Electric Power Co ltd Marketing Service Center filed Critical State Grid Jiangsu Electric Power Co ltd Marketing Service Center
Priority to CN202210840859.8A priority Critical patent/CN114911862B/zh
Publication of CN114911862A publication Critical patent/CN114911862A/zh
Application granted granted Critical
Publication of CN114911862B publication Critical patent/CN114911862B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25—Integrating or interfacing systems involving database management systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y04—INFORMATION OR COMMUNICATION TECHNOLOGIES HAVING AN IMPACT ON OTHER TECHNOLOGY AREAS
    • Y04S—SYSTEMS INTEGRATING TECHNOLOGIES RELATED TO POWER NETWORK OPERATION, COMMUNICATION OR INFORMATION TECHNOLOGIES FOR IMPROVING THE ELECTRICAL POWER GENERATION, TRANSMISSION, DISTRIBUTION, MANAGEMENT OR USAGE, i.e. SMART GRIDS
    • Y04S10/00—Systems supporting electrical power generation, transmission or distribution
    • Y04S10/50—Systems or methods supporting the power network operation or management, involving a certain degree of interaction with the load-side end user applications

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种网上国网运营链路大数据传输系统及方法，根据运营需同步的表需求确定同步的表数量和结构；按照表信息分类整合到电子表格中；根据电子表格内容在kafka里建立分类的Topic；通过SG‑UEP方式将源端数据传输至对应kafka的Topic里；在数据库中对照电子表格的表信息进行建表；目标端通过OGG抽取复制的方式将kafka里的数据抽取到Oracle数据库；将同步的数据进行整合和挖掘分析，通过分析相关业务逻辑形成对应的数据模型；通过DI工具配置源端和目标端的库信息，每隔一定时间拉取Oracle数据库的数据进行存储并进行前台展示。本发明解决了数据同步过程中无法监控、备份以及及时处理缺失数据的问题，为进行数据分析和制定决策提供了保障。

Description

一种网上国网运营链路大数据传输系统及方法
技术领域
本发明属于大数据环境下的数据挖掘和应用统计等分布式信息传输领域，具体地，涉及一种网上国网运营链路大数据传输系统及方法。
背景技术
一般企业的应用系统，用户在客户端处理的数据量有时比较大，这些比较大的客户端数据需要传输到服务端进行处理或存储。传统的数据传输方式，一般采用一次性传输或者分批同步传输，支持的传输数据量比较小，而且传输性能比较差。一次性传输的方式，占用内存比较大，常出现内存溢出的问题，并且占用网络资源比较大。分批同步传输的方式，传输效率比较低，传输时间比较长。
随着企业信息化建设的不断发展，不同IT系统间的数据交互越来越频繁，常规的解决方案包括：基于服务接口、基于数据库同步、基于数据传输等。
基于服务接口是指在应用层面提供数据访问接口，接口有固定的访问协议、接口名称、参数规格、返回值规格，需要数据交互的源和目标的应用系统均提供相应接口的支持。
基于数据库同步是针对存储于数据库中的数据，通过第三方工具（如 ETL 工具）在源端和目标端传输。
基于数据传输主要是面向直接存储于文件系统中的非结构化数据（如图片、视频、文档等）的传输，一般情况下需要数据交互的源和目标业务系统与第三方传输工具相结合，但常常会由于网络环境、系统异常、服务器宕机等问题造成传输失败，主要体现在传输文件丢失或损坏、缺少传输监控、业务流程不连续等方面。
信息传输已经成为了大数据应用领域解决问题的一个重要途径，频繁地在大数据处理中使用，对于新型的大数据平台MaxCompute更为重要，MaxCompute主要服务于批量结构化数据的存储和计算，可以提供海量数据仓库的解决方案以及针对大数据的分析建模服务。
随着社会数据收集手段的不断丰富及完善，越来越多的行业数据被积累下来，数据规模已经增长到了传统软件行业无法承载的海量数据级别，在分析海量数据场景下，由于单台服务器的处理能力限制，数据分析者通常采用分布式计算模式，但分布式的计算模型对数据分析人员的能力要求较高，且不宜维护，使用分布式模型，数据分析人员不仅需要了解业务需求，同时还需要熟悉底层计算模型。
MaxCompute的目的是为用户提供一种便捷的分析处理海量数据的手段，用户可以不必关心分布式计算细节，从而达到分析大数据的目的。MaxCompute在各个领域目前已经得到大规模的应用。用户使用Tunnel服务向MaxCompute批量上传数据，或者将数据从MaxCompute下载到本地。用户使用DataHub服务实时上传和下载数据，与Tunnel服务不同，通过DataHub上传的数据会即刻在用户数据中体现。
MaxCompute一大重要特性就是低延迟，但是在信息传输过程中，原有的传输方法可能会浪费大量的资源，故采取本专利提出的数据传输方法，以减少数据传输的时间，提供一种合理的数据信息方法。
发明内容
为解决现有技术中存在的不足，本发明的目的在于，提供一种网上国网运营链路大数据传输系统及方法，解决了数据同步过程中无法监控和备份的问题以及及时处理缺失数据的问题，为进行数据分析和制定决策提供了重要保障。
本发明采用如下的技术方案。
一种网上国网运营链路大数据传输方法，所述方法包括步骤：
步骤一，根据运营需同步的表需求确定同步的表数量和结构以及每日的数据增量数；
步骤二，将所涉及的表按照表信息分类整合到电子表格中；
步骤三，根据电子表格内容在kafka里建立分类的主题Topic；
步骤四，通过SG-UEP的方式将源端的数据传输至对应的kafka里的主题Topic里；
步骤五，在数据库中对照电子表格的表信息进行建表；
步骤六，目标端通过Oracle Golden Gate抽取复制的方式将kafka里的数据抽取到Oracle数据库；
步骤七，将步骤六同步的数据进行整合和挖掘分析，通过分析相关业务逻辑，形成对应的数据模型；
步骤八，通过DI工具的方式配置源端和目标端的库信息，每隔一定时间拉取Oracle数据库的数据在MaxCompute组件进行存储，并进行前台展示。
进一步地，步骤一中，按照不同的数据中心分成用户中心，工单中心，账单中心，订单中心，消息中心，支付中心，在不同的中心下面整合需要同步的表信息。
进一步地，步骤三中，在电子表格中将不同的数据表按照类型分别通过kakfa的创建Topic命令在对应的kafka里构建主题Topic；创建带副本的主题Topic进行数据备份。
进一步地，步骤四中，源端将运营需同步的表通过SG-UEP工具中的表输入-文本文件输入的方式将需要同步的表数据信息抽取出来，并通过上传kafka插件将数据文件同步至对应的主题Topic中；
上传至kafka之后，采用SG_UEP中的文件转移插件服务将上传完成的数据文件转移至备份目录，并采用统一更名标准备份。
进一步地，步骤六中，目标端通过Oracle Golden Gate的方式配置抽取进程和复制进程，抽取进程实现的功能是将kafka的对应主题topic的数据抽取成文件，复制进程实现的功能是将kafka里的数据同步到Oracle数据库中。
进一步地，步骤七中，整合相关的统计逻辑，将整合好的逻辑编辑成存储过程，并通过配置定时任务来每天运行存储过程完成搭建该数据模型的要求。
进一步地，步骤八中，将存储的数据写到开发环境中，分析业务过程，对脏数据进行清洗，汇总聚合结果写入生产库以及ADB库中，前台汇总后将对应结果展示。
一种网上国网运营链路大数据传输系统，包括源端和目标端，并于源端和目标端分别构建调度服务集群，源端和目标端均设置有资源库；
调度服务集群用于部署SG_UEP工具以及相关的oracle数据库服务；调度服务集群包括n个整合引擎；
源端使用SG_UEP工具抽取数据同步至目标端的oracle数据库中，相关的抽取流程配置存放在资源库中，SG-UEP工具去读取该资源库可访问抽取数据的流程，数据由源端同步至目标端之后通过存储过程计算方式构建数据模型，然后通过DI工具同步MaxComputer库中并前台展示。
进一步地，还包括调度监控模块，用于实时监控数据同步的进度和状态。
进一步地，所述系统基于阿里云MaxCompute组件技术构建。
一种计算机存储介质，其上存储有计算机数据库，该数据库在存储时实现所述的网上国网运营链路大数据传输方法。
一种计算机同步程序，包括kafka，Oracle Golden Gate的计算机程序，处理器执行所述计算机程序时实现所述的网上国网运营链路大数据传输方法。
本发明的有益效果在于，与现有技术相比，本发明方法在传输文件丢失或损坏、缺少传输监控、业务流程不连续等方面起到了优化的作用。
本发明方法可以有效提高工作效率，既节省了传输信息的时间，又大大提高了信息传输的效率，合理利用资源，实现业务流程与数据传输的无缝衔接，提供了可靠的大数据传输服务。
附图说明
图1是本发明所述的网上国网运营链路大数据传输方法流程图；
图2是本发明所述的网上国网运营链路大数据传输系统架构图；
图3是电子表格记录方式例图；
图4是kafka中Topic信息示例。
具体实施方式
下面结合附图对本申请作进一步描述。以下实施例仅用于更加清楚地说明本发明的技术方案，而不能以此来限制本申请的保护范围。
如图1所示，本发明所述的网上国网运营链路大数据传输方法，包括以下步骤：
步骤一，根据运营需同步的表需求确定同步的表数量和结构以及每日的数据增量数；
按照不同的数据中心分成用户中心，工单中心，账单中心，订单中心，消息中心，支付中心等，在不同的中心下面整合需要同步的表信息。
步骤二，将所涉及的表按照表信息分类整合到电子表格中；
如图3所示，电子表格为不同数据中心需要同步的表名，包含不同的数据表类型。
步骤三，根据电子表格内容分别在kafka里建立分类的主题Topic；
在电子表格中将不同的数据表按照类型分别通过kakfa的创建Topic命令在对应的kafka程序里构建主题Topic；创建带3个副本的Topic，实现数据备份，如图4所示。
步骤四，通过SG-UEP的方式将源端的数据传输至对应的kafka主题Topic里；
源端将运营需同步的表通过SG-UEP工具中的表输入-文本文件输入的方式将需要同步的表数据信息抽取出来，并通过上传kafka插件将数据文件同步至对应的主题Topic中，上传至kafka之后，采用SG_UEP中的文件转移插件服务将上传完成的数据文件转移至备份目录，并采用统一更名标准备份，实现数据备份。
步骤五，在数据库中对照电子表格的表信息进行建表；
步骤六，目标端通过Oracle Golden Gate抽取复制的方式将kafka里的数据抽取到Oracle数据库；
目标端通过Oracle Golden Gate的方式配置OGG的抽取进程和复制进程，抽取进程实现的功能是将kafka的对应主题topic的数据抽取成文件，复制进程实现的功能是将kafka里的数据同步到Oracle数据库中，该数据库为存储源库，该库可以为之后ADB，MaxCompute提供数据保障，提供数据备份的作用。
步骤七，将步骤六同步的数据进行整合和挖掘分析，通过分析相关业务逻辑，形成对应的数据模型；
这里采用的方式为存储过程及定时任务，数据开发人员将同步的所有源端数据进行整合和挖掘开发形成对应的业务数据模型。
例，需要建立每日用户登录业务表模型，第一步：开发人员整合相关的统计逻辑，比如需要的字段信息和相关原表的明细数据；第二步：开发人员将整合好的逻辑编辑成存储过程，并通过配置定时任务来每天运行存储过程完成搭建该数据模型的要求。
步骤八，通过DI工具的方式配置源端和目标的库信息，然后抽取对应库的对应表信息，每隔一定时间拉取Oracle数据库的数据在MaxCompute进行存储；将数据写到开发环境中，分析业务过程，对脏数据进行清洗，最后汇总聚合结果写入生产库以及ADB库中，前台汇总后将对应结果展示。
本发明方法在步骤三，步骤四中解决了传输文件丢失或损坏的问题，步骤四传输过程中增加文件的备份操作也可以解决对缺失表文件及时补数的问题，步骤四和步骤六中采用SG-UEP监控调度页面以及OGG后台进程的方式实现监控缺少传输监控的问题，通过查看OGG同步进程状态可以定位到当前数据表是否有同步延迟和同步断开的问题，出现链路断开或则延迟较高的情况可以及时定位问题，所有的数据同步链路能够同步多个数据库数据并且有备份和监控，对流程不连续等方面起到了优化的作用。
如图2所示，本发明所述的网上国网运营链路大数据传输系统，基于阿里云MaxCompute组件技术构建系统，包括源端和目标端，并于源端和目标端分别构建调度服务集群，调度服务集群包括n个整合引擎，该集群用来部署SG_UEP工具以及相关的oracle数据库服务，该调度服务集群用来进行数据的传输和融合。
源端使用SG_UEP工具抽取数据同步至目标端的oracle数据库中，相关的抽取流程配置存放在资源库中，SG-UEP工具去读取该资源库可访问抽取数据的流程，数据由源端同步至目标端之后通过存储过程计算方式构建数据模型，然后通过DI工具同步MaxComputer库中并前台展示。
在整个数据同步过程中使用SG-UEP调度监控模块用来实时监控数据同步的进度和状态。
本发明还提供一种计算机存储介质，其上存储有计算机数据库，该数据库在存储时实现所述的网上国网运营链路大数据传输方法。
本发明还提供一种计算机同步程序，包括kafka，Oracle Golden Gate的计算机程序，处理器执行所述计算机程序时实现所述的网上国网运营链路大数据传输方法。
本发明的有益效果在于，与现有技术相比，本发明方法在传输文件丢失或损坏、缺少传输监控、业务流程不连续等方面起到了优化的作用。
本发明方法可以有效提高工作效率，既节省了传输信息的时间，又大大提高了信息传输的效率，合理利用资源，实现业务流程与数据传输的无缝衔接，提供了可靠的大数据传输服务。
本发明申请人结合说明书附图对本发明的实施示例做了详细的说明与描述，但是本领域技术人员应该理解，以上实施示例仅为本发明的优选实施方案，详尽的说明只是为了帮助读者更好地理解本发明精神，而并非对本发明保护范围的限制，相反，任何基于本发明的发明精神所作的任何改进或修饰都应当落在本发明的保护范围之内。

Claims (12)

1.一种网上国网运营链路大数据传输方法，其特征在于，所述方法包括步骤：
步骤一，根据运营需同步的表需求确定同步的表数量和结构以及每日的数据增量数；
步骤二，将所涉及的表按照表信息分类整合到电子表格中；
步骤三，根据电子表格内容在kafka里建立分类的主题Topic；
步骤四，通过SG-UEP的方式将源端的数据传输至对应的kafka里的主题Topic里；
步骤五，在数据库中对照电子表格的表信息进行建表；
步骤六，目标端通过Oracle Golden Gate抽取复制的方式将kafka里的数据抽取到Oracle数据库；
步骤七，将步骤六同步的数据进行整合和挖掘分析，通过分析相关业务逻辑，形成对应的数据模型；
步骤八，通过DI工具的方式配置源端和目标端的库信息，每隔一定时间拉取Oracle数据库的数据在MaxCompute组件进行存储，并进行前台展示。
2.根据权利要求1所述的网上国网运营链路大数据传输方法，其特征在于，
步骤一中，按照不同的数据中心分成用户中心，工单中心，账单中心，订单中心，消息中心，支付中心，在不同的中心下面整合需要同步的表信息。
3.根据权利要求1所述的网上国网运营链路大数据传输方法，其特征在于，
步骤三中，在电子表格中将不同的数据表按照类型分别通过kakfa的创建Topic命令在对应的kafka里构建主题Topic；创建带副本的主题Topic进行数据备份。
4.根据权利要求1所述的网上国网运营链路大数据传输方法，其特征在于，
步骤四中，源端将运营需同步的表通过SG-UEP工具中的表输入-文本文件输入的方式将需要同步的表数据信息抽取出来，并通过上传kafka插件将数据文件同步至对应的主题Topic中；
上传至kafka之后，采用SG_UEP中的文件转移插件服务将上传完成的数据文件转移至备份目录，并采用统一更名标准备份。
5.根据权利要求1所述的网上国网运营链路大数据传输方法，其特征在于，
步骤六中，目标端通过Oracle Golden Gate的方式配置抽取进程和复制进程，抽取进程实现的功能是将kafka的对应主题topic的数据抽取成文件，复制进程实现的功能是将kafka里的数据同步到Oracle数据库中。
6.根据权利要求1所述的网上国网运营链路大数据传输方法，其特征在于，
步骤七中，整合相关的统计逻辑，将整合好的逻辑编辑成存储过程，并通过配置定时任务来每天运行存储过程完成搭建该数据模型的要求。
7.根据权利要求1所述的网上国网运营链路大数据传输方法，其特征在于，
步骤八中，将存储的数据写到开发环境中，分析业务过程，对脏数据进行清洗，汇总聚合结果写入生产库以及ADB库中，前台汇总后将对应结果展示。
8.一种网上国网运营链路大数据传输系统，其特征在于，包括源端和目标端，并于源端和目标端分别构建调度服务集群，源端和目标端均设置有资源库；
调度服务集群用于部署SG_UEP工具以及相关的oracle数据库服务；调度服务集群包括n个整合引擎；
源端使用SG_UEP工具抽取数据同步至目标端的oracle数据库中，相关的抽取流程配置存放在资源库中，SG-UEP工具去读取该资源库可访问抽取数据的流程，数据由源端同步至目标端之后通过存储过程计算方式构建数据模型，然后通过DI工具同步MaxComputer库中并前台展示。
9.根据权利要求8所述的网上国网运营链路大数据传输系统，其特征在于，
还包括调度监控模块，用于实时监控数据同步的进度和状态。
10.根据权利要求8所述的网上国网运营链路大数据传输系统，其特征在于，
所述系统基于阿里云MaxCompute组件技术构建。
11.一种计算机存储介质，其上存储有计算机数据库，其特征在于，该数据库在存储时实现如权利要求1-7任一项所述的网上国网运营链路大数据传输方法。
12.一种计算机同步程序，包括kafka，Oracle Golden Gate的计算机程序，其特征在于，处理器执行所述计算机程序时实现如权利要求1-7任一项所述的网上国网运营链路大数据传输方法。
CN202210840859.8A 2022-07-18 2022-07-18 一种网上国网运营链路大数据传输系统及方法 Active CN114911862B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210840859.8A CN114911862B (zh) 2022-07-18 2022-07-18 一种网上国网运营链路大数据传输系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210840859.8A CN114911862B (zh) 2022-07-18 2022-07-18 一种网上国网运营链路大数据传输系统及方法

Publications (2)

Publication Number Publication Date
CN114911862A true CN114911862A (zh) 2022-08-16
CN114911862B CN114911862B (zh) 2022-12-06

Family

ID=82772506

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210840859.8A Active CN114911862B (zh) 2022-07-18 2022-07-18 一种网上国网运营链路大数据传输系统及方法

Country Status (1)

Country Link
CN (1) CN114911862B (zh)

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104346454A (zh) * 2014-10-30 2015-02-11 上海新炬网络技术有限公司 基于Oracle数据库的数据一致性校验方法
CN106446085A (zh) * 2016-09-09 2017-02-22 北京高地信息技术有限公司 一种大数据管理系统
CN106547882A (zh) * 2016-11-03 2017-03-29 国网重庆市电力公司电力科学研究院 一种智能电网中营销大数据的实时处理方法及系统
CN106953901A (zh) * 2017-03-10 2017-07-14 重庆邮电大学 一种提高消息传递性能的集群通信系统及其方法
CN107943979A (zh) * 2017-11-29 2018-04-20 山东鲁能软件技术有限公司 一种数据库之间数据的准实时同步方法及装置
CN109348542A (zh) * 2018-09-17 2019-02-15 深圳市三体科技有限公司 一种基于大数据的数据传输方法、存储介质和移动终端
CN109656999A (zh) * 2018-10-11 2019-04-19 平安科技（深圳）有限公司 大数据量的数据同步方法、设备、存储介质及装置
CN110083579A (zh) * 2019-03-21 2019-08-02 深圳壹账通智能科技有限公司 增量数据同步的方法、装置、计算机设备及计算机存储介质
CN111090698A (zh) * 2019-11-29 2020-05-01 国电南瑞科技股份有限公司 一种面向配网1+n系统集中监控的告警同步方法和装置
CN111125260A (zh) * 2020-01-21 2020-05-08 重庆文理学院 一种基于SQL Server的数据同步方法及系统
CN111723160A (zh) * 2020-08-24 2020-09-29 国网浙江省电力有限公司 一种多源异构增量数据同步方法及系统
CN114004584A (zh) * 2021-10-22 2022-02-01 国网重庆市电力公司电力科学研究院 一种基于数据中台构建用户画像的电力信息管理方法
US20220179873A1 (en) * 2020-12-03 2022-06-09 Boe Technology Group Co., Ltd. Data management platform, intelligent defect analysis system, intelligent defect analysis method, computer-program product, and method for defect analysis

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104346454A (zh) * 2014-10-30 2015-02-11 上海新炬网络技术有限公司 基于Oracle数据库的数据一致性校验方法
CN106446085A (zh) * 2016-09-09 2017-02-22 北京高地信息技术有限公司 一种大数据管理系统
CN106547882A (zh) * 2016-11-03 2017-03-29 国网重庆市电力公司电力科学研究院 一种智能电网中营销大数据的实时处理方法及系统
CN106953901A (zh) * 2017-03-10 2017-07-14 重庆邮电大学 一种提高消息传递性能的集群通信系统及其方法
CN107943979A (zh) * 2017-11-29 2018-04-20 山东鲁能软件技术有限公司 一种数据库之间数据的准实时同步方法及装置
CN109348542A (zh) * 2018-09-17 2019-02-15 深圳市三体科技有限公司 一种基于大数据的数据传输方法、存储介质和移动终端
CN109656999A (zh) * 2018-10-11 2019-04-19 平安科技（深圳）有限公司 大数据量的数据同步方法、设备、存储介质及装置
CN110083579A (zh) * 2019-03-21 2019-08-02 深圳壹账通智能科技有限公司 增量数据同步的方法、装置、计算机设备及计算机存储介质
CN111090698A (zh) * 2019-11-29 2020-05-01 国电南瑞科技股份有限公司 一种面向配网1+n系统集中监控的告警同步方法和装置
CN111125260A (zh) * 2020-01-21 2020-05-08 重庆文理学院 一种基于SQL Server的数据同步方法及系统
CN111723160A (zh) * 2020-08-24 2020-09-29 国网浙江省电力有限公司 一种多源异构增量数据同步方法及系统
US20220179873A1 (en) * 2020-12-03 2022-06-09 Boe Technology Group Co., Ltd. Data management platform, intelligent defect analysis system, intelligent defect analysis method, computer-program product, and method for defect analysis
CN114004584A (zh) * 2021-10-22 2022-02-01 国网重庆市电力公司电力科学研究院 一种基于数据中台构建用户画像的电力信息管理方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
刘雪剑 等: "基于国网云平台的数据治理框架研究及分析应用", 《电子技术与软件工程》 *

Also Published As

Publication number Publication date
CN114911862B (zh) 2022-12-06

Similar Documents

Publication Publication Date Title
CN109918349B (zh) 日志处理方法、装置、存储介质和电子装置
CN104462185B (zh) 一种基于混合结构的数字图书馆云存储系统
Vats et al. An independent time optimized hybrid infrastructure for big data analytics
JP2016505930A (ja) 協調的ｃａｘ編集のためのシステム、方法、および装置
CN112148718A (zh) 一种用于城市级数据中台的大数据支撑管理系统
CN108121778B (zh) 一种异构数据交换与清洗系统及方法
CN112181960A (zh) 一种基于AIOps的智能运维框架系统
CN111966677A (zh) 数据报表的处理方法、装置、电子设备及存储介质
CN114218218A (zh) 基于数据仓库的数据处理方法、装置、设备及存储介质
CN116662441A (zh) 一种分布式数据血缘构建及展现方法
CN112100227A (zh) 一种基于多级异构数据存储的大数据处理方法
CN115309749A (zh) 一种用于科技服务的大数据实验系统
CN113486095A (zh) 一种民航空管跨网安全数据交换管理平台
CN102722368A (zh) 一种基于文档树和消息泵的插件式软件设计方法
CN107193245A (zh) 煤矿生产工业网信息与办公互联网信息融合的方法
CN114911862B (zh) 一种网上国网运营链路大数据传输系统及方法
CN101968747B (zh) 一种机群应用管理系统及其应用管理方法
CN100486177C (zh) 一种网管对网元进行同步操作的方法及其系统
CN116303814A (zh) 数仓系统、数据处理方法、装置、介质及设备
CN114925042A (zh) 一种基于图形数据库的元数据关系的构建方法
Racka Apache Nifi As A Tool For Stream Processing Of Measurement Data
CN111090676A (zh) 面向流式数据的分布式自动处理方法及系统
CN116610531B (zh) 基于代码探针采集数据埋点及请求图片上传数据的方法
CN116644039B (zh) 一种基于大数据的在线能力运营日志自动采集分析的方法
Johnson et al. Big data processing using Hadoop MapReduce programming model

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant