CN113641750A - 一种企业大数据分析平台 - Google Patents
一种企业大数据分析平台 Download PDFInfo
- Publication number
- CN113641750A CN113641750A CN202110960228.5A CN202110960228A CN113641750A CN 113641750 A CN113641750 A CN 113641750A CN 202110960228 A CN202110960228 A CN 202110960228A CN 113641750 A CN113641750 A CN 113641750A
- Authority
- CN
- China
- Prior art keywords
- data
- component
- layer
- storage layer
- analysis platform
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000007405 data analysis Methods 0.000 title claims abstract description 13
- 238000012545 processing Methods 0.000 claims abstract description 33
- 238000013500 data storage Methods 0.000 claims abstract description 31
- 238000007726 management method Methods 0.000 claims abstract description 7
- 238000004458 analytical method Methods 0.000 claims abstract description 5
- 238000004140 cleaning Methods 0.000 claims abstract description 5
- 238000007619 statistical method Methods 0.000 claims description 4
- 230000000903 blocking effect Effects 0.000 claims description 3
- 238000000638 solvent extraction Methods 0.000 claims description 3
- 238000012163 sequencing technique Methods 0.000 claims 1
- 230000006870 function Effects 0.000 abstract description 3
- 238000000034 method Methods 0.000 description 6
- 230000005540 biological transmission Effects 0.000 description 4
- 230000008569 process Effects 0.000 description 3
- 230000004044 response Effects 0.000 description 3
- 239000003795 chemical substances by application Substances 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000008676 import Effects 0.000 description 2
- 238000005192 partition Methods 0.000 description 2
- 230000001960 triggered effect Effects 0.000 description 2
- 230000004931 aggregating effect Effects 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000013075 data extraction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/26—Visual data mining; Browsing structured data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/18—File system types
- G06F16/182—Distributed file systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/22—Indexing; Data structures therefor; Storage structures
- G06F16/2282—Tablespace storage structures; Management thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/25—Integrating or interfacing systems involving database management systems
- G06F16/254—Extract, transform and load [ETL] procedures, e.g. ETL data flows in data warehouses
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/28—Databases characterised by their database models, e.g. relational or object models
- G06F16/284—Relational databases
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
- G06Q10/063—Operations research, analysis or management
- G06Q10/0635—Risk analysis of enterprise or organisation activities
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Business, Economics & Management (AREA)
- Human Resources & Organizations (AREA)
- Economics (AREA)
- Entrepreneurship & Innovation (AREA)
- Strategic Management (AREA)
- Educational Administration (AREA)
- Tourism & Hospitality (AREA)
- General Business, Economics & Management (AREA)
- Quality & Reliability (AREA)
- Operations Research (AREA)
- Software Systems (AREA)
- Marketing (AREA)
- Game Theory and Decision Science (AREA)
- Development Economics (AREA)
- Computing Systems (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种企业大数据分析平台，所述数据采集层用于将数据由各个关系型数据库抽取至所述数据存储层，所述数据存储层用于接收所述数据采集层以及所述数据处理层传输的数据，所述数据处理层用于对所述数据存储层对数据进行清洗和转换，并存储在所述数据存储层，所述数据应用层用于将所述数据处理层处理后的数据进行可视化输出展示，本发明可为业务员解决数据使用不方便、方法繁琐、手工报表多等问题，提高业务员工作效率；帮助企业经营者随时随地了解公司经营情况；为企业运营者精细化管理提供数据支持；从海量数据中挖掘有价值的数据，帮助业务发现/分析问题、寻找规律、预测信息、风险管控等功能。
Description
技术领域
本发明涉及数据处理技术领域，具体领域为一种企业大数据分析平台。
背景技术
现有的产品，是运用传统的数据处理方法实现，相关技术人员直接编写存储过程从业务平台查询数据，最后将数据渲染到网页。但现有产品存在以下缺点：1. 随时企业的发展，数据体量急剧增长，根据现有技术无法满足当前数据量的处理能力，存在处理速度慢、数据存储等问题；2. 企业目前处在发展数据字化阶段，业务平台随之增多，现有技术无法将所有平台的数据进行集中管理、关联起来，存在信息数据孤岛现象。
发明内容
本发明的目的在于提供一种企业大数据分析平台，以解决上述背景技术中提出的问题。
为实现上述目的，本发明提供如下技术方案：一种企业大数据分析平台，包括数据采集层、数据存储层、数据处理层以及数据应用层，所述数据采集层用于将数据由各个关系型数据库抽取至所述数据存储层，所述数据存储层用于接收所述数据采集层以及所述数据处理层传输的数据，所述数据处理层用于对所述数据存储层对数据进行清洗和转换，并存储在所述数据存储层，所述数据应用层用于将所述数据处理层处理后的数据进行可视化输出展示。
优选的，所述数据采集层包括sqoop组件和flume组件，所述sqoop组件根据用户指定的sal或阻断参数，从数据库中读取数据，所述flume组件接收采集到的数据并进行临时存储，最终将数据发送至指定位置。
优选的，所述数据存储层包括hdfs组件、hbase组件以及kafka组件，所述hdfs组件用于文件上传以及文件获取，所述hbase组件用于文件的读写，所述kafka组件用于消息处理。
优选的，所述数据处理层包括mapreduce组件、spark组件以及hive组件，所述mapreduce组件用于对输入的文件进行分区和排序，所述spark组件基于内存计算框架进行实时数据处理，所述hive组件用于数据仓库的统计分析。
优选的，所述数据应用层包括报表应用、运营分析以及风险管控等方式。
与现有技术相比，本发明的有益效果是：一种企业大数据分析平台，通过分别设置数据采集层、数据存储层、数据处理层以及数据应用层，加快了数据的传输速度，批处理方式进行数据传输；打通了大数据存储组件与RDBMS之间的数据导入导出；可以分布式存储大文件、大批量文件；为各类分布式运算框架提供数据存储服务，从而可为业务员解决数据使用不方便、方法繁琐、手工报表多等问题，提高业务员工作效率；帮助企业经营者随时随地了解公司经营情况；为企业运营者精细化管理提供数据支持；从海量数据中挖掘有价值的数据，帮助业务发现/分析问题、寻找规律、预测信息、风险管控等功能。
附图说明
图1为本发明的工作原理示意图。
图中：1-数据采集层、2-数据存储层、3-数据处理层、4-数据应用层。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参阅图1，本发明提供一种技术方案：一种企业大数据分析平台，包括数据采集层1、数据存储层2、数据处理层3以及数据应用层4，所述数据采集层1用于将数据由各个关系型数据库抽取至所述数据存储层2，所述数据存储层2用于接收所述数据采集层1以及所述数据处理层3传输的数据，所述数据处理层3用于对所述数据存储层2对数据进行清洗和转换，并存储在所述数据存储层2，所述数据应用层4用于将所述数据处理层3处理后的数据进行可视化输出展示。
具体而言，所述数据采集层1包括sqoop组件和flume组件，sqoop组件为从关系型数据库(mysql)数据导入hdfs、hive等组件的工具或者从hdfs、hive导入到关系型数据库中；所述sqoop组件根据用户指定的sal或阻断参数，从数据库中读取数据，从而加快了数据的传输速度，批处理方式进行数据传输；并打通了大数据存储组件与RDBMS之间的数据导入导出，flume组件是一个分布式、高可靠、高可用的服务，用于分布式的海量日志的高效收集、聚合、移动系统。其核心就是一个agent，这个agent对外有两个进行交互的地方，一个是接受数据的输入——source，一个是数据的输出sink，sink负责将数据发送到外部指定的目的地。source接收到数据之后，将数据发送给channel，chanel作为一个数据缓冲区会临时存放这些数据，随后sink会将channel中的数据发送到指定的地方。
具体而言，所述数据存储层2包括hdfs组件、hbase组件以及kafka组件，所述hdfs组件用于文件上传以及文件获取，其中文件上传时，客户端发起写文件请求，namenode检查上传文件的命名空间是否存在，创建者是否有权操作，最后返回状态告知客户端是否可以上传数据；客户端按照分块配置大小将文件块，然后请求namenode需要上传文件块，副本数是3个；namenode检测自己管理下的datanode是否满足要求，然后返回给客户端三台DateNode节点信息；Client端根据返回的DataNode信息选择datenode进行存储数据。进行文件获取时，Client发起hadoop fs –get请求；NameNode检查该文件信息，文件的分块信息和每个块所对应哪个DateNode以及备份信息和备份信息所在位置；根据nameNode信息，请求各个文件块对应的DataNode节点获取文件；合并下载的数据块，形成完整文件。所述hbase组件用于文件的读写，所述hbase组件的写工作原理：
Client通过zookeeper的调度，向HRegionServer发出写数据请求，在HRegion中写数据；数据被写入HRegion的MemStore,直到MemStore；MemStore中的数据被Flush成一个StoreFile；随着StoreFile文件的不断增多，当其数量增长到一定阈值后，触发Compact合并操作，将多个StoreFile合并成一个StoreFile，通是进行版本合并和数据删除；StoreFile通过不断的Compact合并操作，逐步形成越来越大的StoreFile；单个StoreFile大小超过一定阈值后，触发Split操作，把当前HRegion Split成2个新的HRegion。父HRegion会下线，新Split出的2个子HRegion会被HMaster分配到相应的HRegionServer 上，使得原先1个HRegion的压力得以分流到2个HRegion上。
读工作原理：
Client访问Zookeeper，查找-ROOT-表，获取.META表信息；从.META表查找，获取存放目标数据的HRgion信息，从而找到对应的HRegionServer；通过HRegionServer获取需要查找的数据；HRegionserver的内存分为MemStore和BlockCache两部分，MemStore主要用于写数据，BlockCache主要用于读数据。读请求先到MemStore中查数据，查不到就到BlockCache中查，再查不到就会到StoreFile上读，并把读的结果放入BlockCache；
所述kafka组件用于消息处理，kafka是一个分布式、支持分区的（partition）、多副本的（replica），基于zookeeper协调的分布式消息系统，它的最大的特性就是可以实时的处理大量数据以满足各种需求场景；
生产者客户端应用程序产生消息：
客户端连接对象将消息包装到请求中发送到服务端；服务端的入口也有一个连接对象负责接收请求，并将消息以文件的形式存储起来；服务端返回响应结果给生产者客户端。
消费者客户端应用程序消费消息：
客户端连接对象将消费信息也包装到请求中发送给服务端；服务端从文件存储系统中取出消息；服务端返回响应结果给消费者客户端；客户端将响应结果还原成消息并开始处理消息。
所述kafka组件具有高吞吐量、低延迟；可扩展性；持久性、可靠性；容错性；高并发等特点。
具体而言，所述数据处理层3包括mapreduce组件、spark组件以及hive组件，所述mapreduce工作时，输入的文件会被切分成多个块，每一块都有一个maptask，map阶段的输出结果会先写到内存缓冲区写到磁盘，然后由缓冲区写到磁盘上。默认的缓冲区默认的缓冲区大小是100M，溢出的百分比是0.8，也就是说当缓冲区中达到80M的时候就会往磁盘上写。如果map计算完成后的中间结果没有达到80M，最终也是要写到磁盘上的，因为它最终还是要形成文件。那么，在往磁盘上写的时候会进行分区和排序。一个map的输出可能有多个这个的文件，这些文件最终会合并成一个，这就是这个map的输出文件。从而可以分布式处理大批量数据，处理速度快；
Spark是快速、通用、可扩展性的分布式计算引擎；
通过ActorSystem创建MasterActor，启动定时器，定时检查与接收Worker节点的发送消息；Worker节点主动向Master发送注册消息；Master接收Worker的注册请求，然后将注册信息保存起来，并向Worker返回一个注册成功的消息；Worker接收到Master注册成功的消息后，启用定时器，定时向master发送心跳报活，Master接收到Worker发送来的心跳消息后，更新Worker上一次的心跳时间；先创建TaskScheduler即TaskSchedulerImpl接着又创建SparkDeploySchedulerBackend对资源参数创建AppClient与Master注册Application，并替每个TaskSet创建TaskManager负责监控此TaskSet中任务的执行情况；
Master接收到ClientActor的任务描述之后，将任务描述信息保存起来，然后ClientActor返回消息，告知ClientActor任务注册成功，接下来Master进行资源调度；Master跟Worker通信，然后让Worker启动Executor；Executor向Driver发送注册消息，Driver接收到Executor注册消息后，响应注册成功的消息；Executor接收到Driver注册成功的消息后，本进程中创建Executor的引用对象；Driver中TaskSchedulerImp向Executor发送LaunchTask消息，Executor将创建一个线程池作为所提交的Task任务的容器；
Task接收到launchTask消息后，准备运行文件初始化与反序列化，就绪后，调用Task的run方法，其中每个Task所执行的函数是应用在RDD中的一个独立分区上；Task运行完成，向TaskManager汇报情况，并且释放线程资源；所有Task运行结束之后，Executor向Worker注销自身，释放资源。
所述hive组件用于数据仓库的统计分析，Hive是建立在 Hadoop 上的数据仓库基础构架。它提供了一系列的工具，可以用来进行数据提取转化加载（ETL），这是一种可以存储、查询和分析存储在 Hadoop 中的大规模数据的机制。用户提交查询等任务给Driver。编译器获得该用户的任务Plan。编译器Compiler根据用户任务去MetaStore中获取需要的Hive的元数据信息。编译器Compiler得到元数据信息，对任务进行编译，先将HiveQL转换为抽象语法树，然后将抽象语法树转换成查询块，将查询块转化为逻辑的查询计划，重写逻辑查询计划，将逻辑计划转化为物理的计划（MapReduce）, 最后选择最佳的策略。将最终的计划提交给Driver。Driver将计划Plan转交给ExecutionEngine去执行，获取元数据信息，提交给JobTracker或者SourceManager执行该任务，任务会直接读取HDFS中文件进行相应的操作。 获取执行的结果。取得并返回执行结果；
hive可以通过SQL语句快速实现简单的MapReduce统计，不必开发专门的MapReduce应用开发程序，更适合数据仓库的统计分析。
具体而言，所述数据应用层4包括报表应用、运营分析以及风险管控等方式，通过各种方式将处理过后的数据进行展示。
工作原理：本发明使用时，数据采集层1用于将数据由各个关系型数据库抽取至数据存储层2，数据存储层2用于接收数据采集层1以及数据处理层3传输的数据，数据处理层3用于对数据存储层2对数据进行清洗和转换，并存储在数据存储层2，数据应用层4用于将数据处理层1处理后的数据进行可视化输出展示。
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。
Claims (5)
1.一种企业大数据分析平台，其特征在于：包括数据采集层（1）、数据存储层（2）、数据处理层（3）以及数据应用层（4），所述数据采集层（1）用于将数据由各个关系型数据库抽取至所述数据存储层（2），所述数据存储层（2）用于接收所述数据采集层（1）以及所述数据处理层（3）传输的数据，所述数据处理层（3）用于对所述数据存储层（2）对数据进行清洗和转换，并存储在所述数据存储层（2），所述数据应用层（4）用于将所述数据处理层（3）处理后的数据进行可视化输出展示。
2.根据权利要求1所述的一种企业大数据分析平台，其特征在于：所述数据采集层（1）包括sqoop组件和flume组件，所述sqoop组件根据用户指定的sal或阻断参数，从数据库中读取数据，所述flume组件接收采集到的数据并进行临时存储，最终将数据发送至指定位置。
3.根据权利要求2所述的一种企业大数据分析平台，其特征在于：所述数据存储层（2）包括hdfs组件、hbase组件以及kafka组件，所述hdfs组件用于文件上传以及文件获取，所述hbase组件用于文件的读写，所述kafka组件用于消息处理。
4.根据权利要求3所述的一种企业大数据分析平台，其特征在于：所述数据处理层（3）包括mapreduce组件、spark组件以及hive组件，所述mapreduce组件用于对输入的文件进行分区和排序，所述spark组件基于内存计算框架进行实时数据处理，所述hive组件用于数据仓库的统计分析。
5.根据权利要求1所述的一种企业大数据分析平台，其特征在于：所述数据应用层（4）包括报表应用、运营分析以及风险管控等方式。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110960228.5A CN113641750A (zh) | 2021-08-20 | 2021-08-20 | 一种企业大数据分析平台 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110960228.5A CN113641750A (zh) | 2021-08-20 | 2021-08-20 | 一种企业大数据分析平台 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113641750A true CN113641750A (zh) | 2021-11-12 |
Family
ID=78423082
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110960228.5A Pending CN113641750A (zh) | 2021-08-20 | 2021-08-20 | 一种企业大数据分析平台 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113641750A (zh) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20140351001A1 (en) * | 2013-05-22 | 2014-11-27 | Chandra P. Agrawal | Business enterprise sales and operations planning through a big data and big memory computational architecture |
| CN104915793A (zh) * | 2015-06-30 | 2015-09-16 | 北京西塔网络科技股份有限公司 | 基于大数据分析挖掘的公共信息智能分析平台 |
| CN105138661A (zh) * | 2015-09-02 | 2015-12-09 | 西北大学 | 一种基于Hadoop的网络安全日志k-means聚类分析系统及方法 |
| CN107515927A (zh) * | 2017-08-24 | 2017-12-26 | 深圳市云房网络科技有限公司 | 一种房地产用户行为分析平台 |
| CN111126852A (zh) * | 2019-12-25 | 2020-05-08 | 江苏三六五网络股份有限公司 | 一种基于大数据建模的bi应用系统 |
-
2021
- 2021-08-20 CN CN202110960228.5A patent/CN113641750A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20140351001A1 (en) * | 2013-05-22 | 2014-11-27 | Chandra P. Agrawal | Business enterprise sales and operations planning through a big data and big memory computational architecture |
| CN104915793A (zh) * | 2015-06-30 | 2015-09-16 | 北京西塔网络科技股份有限公司 | 基于大数据分析挖掘的公共信息智能分析平台 |
| CN105138661A (zh) * | 2015-09-02 | 2015-12-09 | 西北大学 | 一种基于Hadoop的网络安全日志k-means聚类分析系统及方法 |
| CN107515927A (zh) * | 2017-08-24 | 2017-12-26 | 深圳市云房网络科技有限公司 | 一种房地产用户行为分析平台 |
| CN111126852A (zh) * | 2019-12-25 | 2020-05-08 | 江苏三六五网络股份有限公司 | 一种基于大数据建模的bi应用系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11347761B1 (en) | System and methods for distributed database query engines | |
| CN107038162B (zh) | 基于数据库日志的实时数据查询方法和系统 | |
| CN105045820B (zh) | 一种处理海量级数据的视频图像信息的方法及数据库系统 | |
| CN111400326B (zh) | 一种智慧城市数据管理系统及其方法 | |
| CN110908641B (zh) | 基于可视化的流计算平台、方法、设备和存储介质 | |
| CN106126601A (zh) | 一种社保大数据分布式预处理方法及系统 | |
| CN109656963B (zh) | 元数据获取方法、装置、设备及计算机可读存储介质 | |
| CN111324610A (zh) | 一种数据同步的方法及装置 | |
| WO2020238597A1 (zh) | 基于Hadoop的数据更新方法、装置、系统及介质 | |
| CN108073696B (zh) | 基于分布式内存数据库的gis应用方法 | |
| CN111400288A (zh) | 数据质量检查方法及系统 | |
| CN113360581A (zh) | 数据处理方法、装置及存储介质 | |
| CN113641750A (zh) | 一种企业大数据分析平台 | |
| CN115237924A (zh) | 数据处理方法、系统、设备、介质和程序产品 | |
| CN111881154A (zh) | 一种etl任务处理方法、装置及相关设备 | |
| CN117390040B (zh) | 基于实时宽表的业务请求处理方法、设备及存储介质 | |
| CN118260358A (zh) | 数据捕获组件、同步数据的方法以及电子设备、存储介质 | |
| Xie et al. | Performance analysis of hadoop distributed file system writing file process | |
| CN114969139A (zh) | 大数据运维管理方法、系统、装置及存储介质 | |
| CN115185995A (zh) | 一种企业开工率评估方法、系统、设备和介质 | |
| CN117331992A (zh) | 一种工业大数据处理方法 | |
| CN116245468A (zh) | 用于搅拌站生产数据的处理方法、存储介质及处理器 | |
| CN113342536A (zh) | 一种基于数据云统一数据采集工具的应用数据处理系统 | |
| CN116756248A (zh) | 一种湖仓一体化系统的数据处理方法及装置 | |
| CN116610739A (zh) | 一种数据处理方法、装置及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |