CN112181965A - 一种基于mysql大数据清洗系统及其写入瓶颈的方法 - Google Patents

一种基于mysql大数据清洗系统及其写入瓶颈的方法 Download PDF

Info

Publication number
CN112181965A
CN112181965A CN202011050133.1A CN202011050133A CN112181965A CN 112181965 A CN112181965 A CN 112181965A CN 202011050133 A CN202011050133 A CN 202011050133A CN 112181965 A CN112181965 A CN 112181965A
Authority
CN
China
Prior art keywords
data
kafka
cleaning
mysql
fragments
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011050133.1A
Other languages
English (en)
Inventor
任毅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sichuan Business Easy Co ltd
Original Assignee
Chengdu Shangtong Digital Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chengdu Shangtong Digital Technology Co ltd filed Critical Chengdu Shangtong Digital Technology Co ltd
Priority to CN202011050133.1A priority Critical patent/CN112181965A/zh
Publication of CN112181965A publication Critical patent/CN112181965A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/21—Design, administration or maintenance of databases
    • G06F16/215—Improving data quality; Data cleansing, e.g. de-duplication, removing invalid entries or correcting typographical errors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/28—Databases characterised by their database models, e.g. relational or object models
    • G06F16/284—Relational databases
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/02—Protocols based on web technology, e.g. hypertext transfer protocol [HTTP]

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Quality & Reliability (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种基于MYSQL大数据清洗系统及其写入瓶颈的方法，包括：基于MYSQL的Web应用服务器，Web应用服务器通过DispatcherServlet分配为多个一级分布式Kafka数据分片，多个所述一级分布式Kafka数据分片内分配多个分页清洗Job，多个所述分页清洗Job内有进行批量更新与插入的二级分布式Kafka数据分片；其中，DispatcherServlet内有将分散在各个Kafka中的相同数据切割的AOP,将一级分布式Kafka数据分片的数据横向切割到独立的Kafka数据分片中；个分页清洗Job对一级分布式Kafka数据进行批量更新与插入清洗，根据清洗数据的大小分配至分页清洗Job的二级分布式Kafka数据分片中。基于MYSQL的Web应用服务器以分级的形式进行分级优化，并且每个阶级同步进行独立对清洗数据、数据插入的方式进行瓶颈优化，快速的进行完成优化。

Description

一种基于MYSQL大数据清洗系统及其写入瓶颈的方法
技术领域
本发明涉及大数据技术领域，具体是一种基于MYSQL大数据清洗系统及其写入瓶颈的方法。
背景技术
MySQL是一个关系型数据库管理系统，由瑞典MySQL AB公司开发，目前属于Oracle旗下产品。MySQL是最流行的关系型数据库管理系统(RDBMS)之一，MySQL使用的核心线程是完全多线程，支持多处理器。
今年来，随着互联网技术的不断发展，企业应用应用系统所产生的数据呈爆炸性增长，大数据如浪潮般席卷全球，深刻改变了人们的生活、工作和思维方式，我们所指的大数据不同与过去传统的数据，其产生方式、存储载体、访问方式、表现形式、来源特点等都同传统数据不同。大数据更接近于某个群体行为数据，它是全面的数据、准确的数据、有价值的数据。大数据已经成了当今社会企业管理的模式。
在数据产生和挖掘的过程中，数据量呈大幅度增长。在增长的过程中，数据量的叠加造成了大量数据重复，存在许多垃圾数据或无用数据。大数据在叠加的过程中容易出现瓶颈，因此，需要根据不同业务方向和类型，从现有的大数据量中清洗出对应的数据。
但是在目前在对叠加的大数据瓶颈优化时，原始方案不仅等待的时间长有时候甚至耗时几天。
发明内容
本发明的目的在于提供一种基于MYSQL大数据清洗系统及其写入瓶颈的方法，以解决目前在对叠加的大数据瓶颈优化时，原始方案不仅等待的时间长有时候甚至耗时几天的问题。
为实现上述目的，本发明提供如下技术方案：一种基于MYSQL大数据清洗系统，包括：
基于MYSQL的Web应用服务器，Web应用服务器通过DispatcherServlet分配为多个一级分布式Kafka数据分片，多个所述一级分布式Kafka数据分片内分配多个分页清洗Job，多个所述分页清洗Job内有进行批量更新与插入的二级分布式Kafka数据分片，并且通过一级分布式Kafka数据分片与二级分布式Kafka数据分片为母片进行分割N个子分布式Kafka数据分片；
其中，DispatcherServlet内有将分散在各个Kafka中的相同数据切割的AOP,将一级分布式Kafka数据分片的数据横向切割到独立的Kafka数据分片中；
个分页清洗Job对一级分布式Kafka数据进行批量更新与插入清洗，根据清洗数据的大小分配至分页清洗Job的二级分布式Kafka数据分片中；
在于MYSQL的Web应用服务器中增加数据时，一级分布式Kafka数据分片与二级分布式Kafka数据分片同步通过分页清洗Job将之前数据分页批量更新与插，并同步通过AOP进行切割。
通过上述技术方案：将基于MYSQL的Web应用服务器以分级的形式进行分级优化，并且每个阶级同步进行独立对清洗数据、数据插入的方式进行瓶颈优化，进而可快速的进行完成优化。
作为本发明再进一步的方案：二级分布式Kafka数同步设置有数据切割的AOP，当MYSQL的Web应用服务器中数据持续增加时，二级分布式Kafka内的AOP会进行二次切割数据分配至单独的Kafka数据分片中。
通过上述技术方案：通过二级分布式Kafka内的AOP会进行二次切割数据分配，进而增加了数据叠加优化空间。
作为本发明再进一步的方案：一级分布式Kafka数据分片与二级分布式Kafka数据分片内设置有批量数据转化反馈单片，批量数据转化反馈单片。
通过上述技术方案：通过批量数据转化反馈单片鸡儿增加了数据的查看。
作为本发明再进一步的方案：批量数据转化反馈单片可将表格、图片、文字及数据中的一种或多种进行批量数据转化。
通过上述技术方案：批量数据转化反馈单片以表格、图片、文字及数据进行反馈，进而起到有序的反馈。
作为本发明再进一步的方案：该系统还包括格式化单片，格式化单片与多个分页清洗Job数据化连接，用于对在清洗一级分布式Kafka数据分片时存在相同的数据，通过格式化单片进行将相同的数据格式化。
通过上述技术方案：格式化单片内设解析重复数据单片，解析重复数据单片可解析相同表格、图片、文字及数据，通过格式化单片进而增加了空间。
作为本发明再进一步的方案：格式化单片内设解析重复数据单片，解析重复数据单片可解析相同表格、图片、文字及数据。
通过上述技术方案：进而防止数据混乱。
作为本发明再进一步的方案：该系统还包括监控模块，分别对一级分布式Kafka数据分片与二级分布式Kafka数据分片清洗时进行监控，并将监控的实时数据通过批量数据转化反馈单片反馈至下一级Kafka数据分片。
通过上述技术方案：通过监控模块有效的实施监控数据，防止数据优化混乱。
作为本发明再进一步的方案：一种基于MYSQL大数据清洗写入瓶颈的方法，
S1、基于MYSQL的Web应用服务器的数据增加时，首先通过DispatcherServlet分配为多个一级分布式Kafka数据分片；
S2、在数据持续增加到第一瓶颈时，通过每个一级分布式Kafka数据分片中的分页清洗Job进行对每个一级分布式Kafka数据分片进行清洗，并将清洗后的数据批量更新与插入二级分布式Kafka数据分片；
其中，通过分页清洗Job清洗时，可通过格式化单片对相同数据进行格式化；
S3、在数据增加到第二瓶颈时，在基于S2上进行对二级分布式Kafka数据分片依次清洗。
与现有技术相比，本发明的有益效果是：
在大数据的叠加下，基于MYSQL的Web应用服务器很容易到达瓶颈，因此需要不断的对大数据叠加进行优化，将基于MYSQL的Web应用服务器以分级的形式进行分级优化，并且每个阶级同步进行独立对清洗数据、数据插入的方式进行瓶颈优化，进而可快速的进行完成优化。
附图说明
图1为实施例一种基于MYSQL大数据清洗系统及其写入瓶颈的方法的流程示意图；
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行说明、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例一、
请参阅图1，本发明实施例中，一种基于MYSQL大数据清洗系统，包括：基于MYSQL的Web应用服务器，Web应用服务器通过DispatcherServlet分配为多个一级分布式Kafka数据分片，多个所述一级分布式Kafka数据分片内分配多个分页清洗Job，多个所述分页清洗Job内有进行批量更新与插入的二级分布式Kafka数据分片，并且通过一级分布式Kafka数据分片与二级分布式Kafka数据分片为母片进行分割N个子分布式Kafka数据分片。
在大数据的叠加下，基于MYSQL的Web应用服务器很容易到达瓶颈，因此需要不断的对大数据叠加进行优化，将基于MYSQL的Web应用服务器以分级的形式进行分级优化，并且每个阶级同步进行独立对清洗数据、数据插入的方式进行瓶颈优化，进而可快速的进行完成优化。
其中，DispatcherServlet内有将分散在各个Kafka中的相同数据切割的AOP,将一级分布式Kafka数据分片的数据横向切割到独立的Kafka数据分片中。
在对基于MYSQL的Web应用服务器的数据进行优化时，存在数据分散，并通过AOP进行对数据横向切割到独立的Kafka数据分片中，进而在分级的同时，可多进行切割独立的Kafka数据分片，进而增大了数据叠加的空间，进而节省了优化时间。
多个分页清洗Job对一级分布式Kafka数据进行批量更新与插入清洗，根据清洗数据的大小分配至分页清洗Job的二级分布式Kafka数据分片中。
其中，多个分页清洗Job进行对一级分布式Kafka数据进行批量更新与插入清洗时，可进行批量清洗，同时可以逐条清洗。
在于MYSQL的Web应用服务器中增加数据时，一级分布式Kafka数据分片与二级分布式Kafka数据分片同步通过分页清洗Job将之前数据分页批量更新与插，并同步通过AOP进行切割。
其中，DispatcherServlet是Spring MVC的前端Servlet，用于接收客户端的数据，并进行分配为多个一级分布式Kafka数据分片。
二级分布式Kafka数同步设置有数据切割的AOP，当MYSQL的Web应用服务器中数据持续增加时，二级分布式Kafka内的AOP会进行二次切割数据分配至单独的Kafka数据分片中。
实施例二、
请参阅图1，一种基于MYSQL大数据清洗系统，包括：基于MYSQL的Web应用服务器，Web应用服务器通过DispatcherServlet分配为多个一级分布式Kafka数据分片，多个所述一级分布式Kafka数据分片内分配多个分页清洗Job，多个所述分页清洗Job内有进行批量更新与插入的二级分布式Kafka数据分片，并且通过一级分布式Kafka数据分片与二级分布式Kafka数据分片为母片进行分割N个子分布式Kafka数据分片。
其中，DispatcherServlet内有将分散在各个Kafka中的相同数据切割的AOP,将一级分布式Kafka数据分片的数据横向切割到独立的Kafka数据分片中。
个分页清洗Job对一级分布式Kafka数据进行批量更新与插入清洗，根据清洗数据的大小分配至分页清洗Job的二级分布式Kafka数据分片中。
在于MYSQL的Web应用服务器中增加数据时，一级分布式Kafka数据分片与二级分布式Kafka数据分片同步通过分页清洗Job将之前数据分页批量更新与插，并同步通过AOP进行切割。
其中，DispatcherServlet是Spring MVC的前端Servlet，用于接收客户端的数据，并进行分配为多个一级分布式Kafka数据分片。
二级分布式Kafka数同步设置有数据切割的AOP，当MYSQL的Web应用服务器中数据持续增加时，二级分布式Kafka内的AOP会进行二次切割数据分配至单独的Kafka数据分片中。
一级分布式Kafka数据分片与二级分布式Kafka数据分片内设置有批量数据转化反馈单片，批量数据转化反馈单片。
批量数据转化反馈单片可将表格、图片、文字及数据中的一种或多种进行批量数据转化。
在本实施例中，在每一级通过批量数据转化反馈单片可对其数据进行批量的转化，并将转化后的数据反馈至Kafka，其中，批量数据转化反馈单片是由多个单元队列分布，对应表格、图片、文字及数据，并且是以相对应的单元队列反馈至Kafka中。
该系统还包括格式化单片，格式化单片与多个分页清洗Job数据化连接，用于对在清洗一级分布式Kafka数据分片时存在相同的数据，通过格式化单片进行将相同的数据格式化。
格式化单片内设解析重复数据单片，解析重复数据单片可解析相同表格、图片、文字及数据，通过格式化单片进而增加了空间。
该系统还包括监控模块，分别对一级分布式Kafka数据分片与二级分布式Kafka数据分片清洗时进行监控，并将监控的实时数据通过批量数据转化反馈单片反馈至下一级Kafka数据分片。
实施例三、
结合实施例一与实施例二，如图1，基于MYSQL的Web应用服务器，Web应用服务器通过DispatcherServlet分配为多个一级分布式Kafka数据分片，多个所述一级分布式Kafka数据分片内分配多个分页清洗Job，多个所述分页清洗Job内有进行批量更新与插入的二级分布式Kafka数据分片，并且通过一级分布式Kafka数据分片与二级分布式Kafka数据分片为母片进行分割N个子分布式Kafka数据分片。
其中，DispatcherServlet内有将分散在各个Kafka中的相同数据切割的AOP,将一级分布式Kafka数据分片的数据横向切割到独立的Kafka数据分片中。
个分页清洗Job对一级分布式Kafka数据进行批量更新与插入清洗，根据清洗数据的大小分配至分页清洗Job的二级分布式Kafka数据分片中。
在于MYSQL的Web应用服务器中增加数据时，一级分布式Kafka数据分片与二级分布式Kafka数据分片同步通过分页清洗Job将之前数据分页批量更新与插，并同步通过AOP进行切割。
二级分布式Kafka数同步设置有数据切割的AOP，当MYSQL的Web应用服务器中数据持续增加时，二级分布式Kafka内的AOP会进行二次切割数据分配至单独的Kafka数据分片中。
一级分布式Kafka数据分片与二级分布式Kafka数据分片内设置有批量数据转化反馈单片，批量数据转化反馈单片。
批量数据转化反馈单片可将表格、图片、文字及数据中的一种或多种进行批量数据转化。
该系统还包括格式化单片，格式化单片与多个分页清洗Job数据化连接，用于对在清洗一级分布式Kafka数据分片时存在相同的数据，通过格式化单片进行将相同的数据格式化。
格式化单片内设解析重复数据单片，解析重复数据单片可解析相同表格、图片、文字及数据。
该系统还包括监控模块，分别对一级分布式Kafka数据分片与二级分布式Kafka数据分片清洗时进行监控，并将监控的实时数据通过批量数据转化反馈单片反馈至下一级Kafka数据分片。
与实施例一与实施例二的不同之处在于：一种基于MYSQL大数据清洗写入瓶颈的方法，
S1、基于MYSQL的Web应用服务器的数据增加时，首先通过DispatcherServlet分配为多个一级分布式Kafka数据分片；
S2、在数据持续增加到第一瓶颈时，通过每个一级分布式Kafka数据分片中的分页清洗Job进行对每个一级分布式Kafka数据分片进行清洗，并将清洗后的数据批量更新与插入二级分布式Kafka数据分片；
其中，通过分页清洗Job清洗时，可通过格式化单片对相同数据进行格式化；
S3、在数据增加到第二瓶颈时，在基于S2上进行对二级分布式Kafka数据分片依次清洗。
综上，在大数据的叠加下，基于MYSQL的Web应用服务器很容易到达瓶颈，因此需要不断的对大数据叠加进行优化，将基于MYSQL的Web应用服务器以分级的形式进行分级优化，并且每个阶级同步进行独立对清洗数据、数据插入的方式进行瓶颈优化，进而可快速的进行完成优化。
对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明专利。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。
此外，应当理解，虽然本说明书按照实施方式加以描述，但并非每个实施方式仅包含一个独立的技术方案，说明书的这种叙述方式仅仅是为清楚起见，本领域技术人员应当将说明书作为一个整体，各实施例中的技术方案也可以经适当组合，形成本领域技术人员可以理解的其他实施方式。

Claims (8)

1.一种基于MYSQL大数据清洗系统，其特征在于，包括：
基于MYSQL的Web应用服务器，Web应用服务器通过DispatcherServlet分配为多个一级分布式Kafka数据分片，多个所述一级分布式Kafka数据分片内分配多个分页清洗Job，多个所述分页清洗Job内有进行批量更新与插入的二级分布式Kafka数据分片，并且通过一级分布式Kafka数据分片与二级分布式Kafka数据分片为母片进行分割N个子分布式Kafka数据分片；
其中，DispatcherServlet内有将分散在各个Kafka中的相同数据切割的AOP,将一级分布式Kafka数据分片的数据横向切割到独立的Kafka数据分片中；
个分页清洗Job对一级分布式Kafka数据进行批量更新与插入清洗，根据清洗数据的大小分配至分页清洗Job的二级分布式Kafka数据分片中；
在于MYSQL的Web应用服务器中增加数据时，一级分布式Kafka数据分片与二级分布式Kafka数据分片同步通过分页清洗Job将之前数据分页批量更新与插，并同步通过AOP进行切割。
2.根据权利要求1所述的一种基于MYSQL大数据清洗系统，其特征在于，二级分布式Kafka数同步设置有数据切割的AOP，当MYSQL的Web应用服务器中数据持续增加时，二级分布式Kafka内的AOP会进行二次切割数据分配至单独的Kafka数据分片中。
3.根据权利要求1所述的一种基于MYSQL大数据清洗系统，其特征在于，一级分布式Kafka数据分片与二级分布式Kafka数据分片内设置有批量数据转化反馈单片，批量数据转化反馈单片。
4.根据权利要求3所述的一种基于MYSQL大数据清洗系统，其特征在于，批量数据转化反馈单片可将表格、图片、文字及数据中的一种或多种进行批量数据转化。
5.根据权利要求1所述的一种基于MYSQL大数据清洗系统，其特征在于，该系统还包括格式化单片，格式化单片与多个分页清洗Job数据化连接，用于对在清洗一级分布式Kafka数据分片时存在相同的数据，通过格式化单片进行将相同的数据格式化。
6.根据权利要求6所述的一种基于MYSQL大数据清洗系统，其特征在于，格式化单片内设解析重复数据单片，解析重复数据单片可解析相同表格、图片、文字及数据。
7.根据权利要求3所述的一种基于MYSQL大数据清洗系统，其特征在于，该系统还包括监控模块，分别对一级分布式Kafka数据分片与二级分布式Kafka数据分片清洗时进行监控，并将监控的实时数据通过批量数据转化反馈单片反馈至下一级Kafka数据分片。
8.根据权利要求1-6中任选一项所述的一种基于MYSQL大数据清洗写入瓶颈的方法，其特征在于，
S1、基于MYSQL的Web应用服务器的数据增加时，首先通过DispatcherServlet分配为多个一级分布式Kafka数据分片；
S2、在数据持续增加到第一瓶颈时，通过每个一级分布式Kafka数据分片中的分页清洗Job进行对每个一级分布式Kafka数据分片进行清洗，并将清洗后的数据批量更新与插入二级分布式Kafka数据分片；
其中，通过分页清洗Job清洗时，可通过格式化单片对相同数据进行格式化；
S3、在数据增加到第二瓶颈时，在基于S2上进行对二级分布式Kafka数据分片依次清洗。
CN202011050133.1A 2020-09-29 2020-09-29 一种基于mysql大数据清洗系统及其写入瓶颈的方法 Pending CN112181965A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011050133.1A CN112181965A (zh) 2020-09-29 2020-09-29 一种基于mysql大数据清洗系统及其写入瓶颈的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011050133.1A CN112181965A (zh) 2020-09-29 2020-09-29 一种基于mysql大数据清洗系统及其写入瓶颈的方法

Publications (1)

Publication Number Publication Date
CN112181965A true CN112181965A (zh) 2021-01-05

Family

ID=73945948

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011050133.1A Pending CN112181965A (zh) 2020-09-29 2020-09-29 一种基于mysql大数据清洗系统及其写入瓶颈的方法

Country Status (1)

Country Link
CN (1) CN112181965A (zh)

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105976242A (zh) * 2016-04-21 2016-09-28 中国农业银行股份有限公司 一种基于实时流数据分析的交易欺诈检测方法及系统
CN106599043A (zh) * 2016-11-09 2017-04-26 中国科学院计算技术研究所 用于多级数据库的中间件和多级数据库系统
CN108052542A (zh) * 2017-11-22 2018-05-18 链家网（北京）科技有限公司 一种基于presto的数据的多维数据的分析方法
CN108182237A (zh) * 2017-12-27 2018-06-19 金蝶软件（中国）有限公司 一种大数据的展示方法、系统及相关装置
CN109522742A (zh) * 2018-10-26 2019-03-26 贵州斯曼特信息技术开发有限责任公司 一种计算机大数据的批处理方法
CN110019008A (zh) * 2017-11-03 2019-07-16 北京金山安全软件有限公司 一种数据存储方法及装置
CN110109906A (zh) * 2019-05-08 2019-08-09 上海泰豪迈能能源科技有限公司 数据存储系统及方法
CN110147407A (zh) * 2017-09-29 2019-08-20 华为技术有限公司 一种数据处理方法、装置及数据库管理服务器
CN111061715A (zh) * 2019-12-16 2020-04-24 北京邮电大学 基于Web和Kafka的分布式数据集成系统及方法
CN111339103A (zh) * 2020-03-13 2020-06-26 河南安冉云网络科技有限公司 一种基于全量分片和增量日志解析的数据交换方法及系统
CN111475483A (zh) * 2019-01-24 2020-07-31 阿里巴巴集团控股有限公司 数据库迁移方法、装置及计算设备

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105976242A (zh) * 2016-04-21 2016-09-28 中国农业银行股份有限公司 一种基于实时流数据分析的交易欺诈检测方法及系统
CN106599043A (zh) * 2016-11-09 2017-04-26 中国科学院计算技术研究所 用于多级数据库的中间件和多级数据库系统
CN110147407A (zh) * 2017-09-29 2019-08-20 华为技术有限公司 一种数据处理方法、装置及数据库管理服务器
CN110019008A (zh) * 2017-11-03 2019-07-16 北京金山安全软件有限公司 一种数据存储方法及装置
CN108052542A (zh) * 2017-11-22 2018-05-18 链家网（北京）科技有限公司 一种基于presto的数据的多维数据的分析方法
CN108182237A (zh) * 2017-12-27 2018-06-19 金蝶软件（中国）有限公司 一种大数据的展示方法、系统及相关装置
CN109522742A (zh) * 2018-10-26 2019-03-26 贵州斯曼特信息技术开发有限责任公司 一种计算机大数据的批处理方法
CN111475483A (zh) * 2019-01-24 2020-07-31 阿里巴巴集团控股有限公司 数据库迁移方法、装置及计算设备
CN110109906A (zh) * 2019-05-08 2019-08-09 上海泰豪迈能能源科技有限公司 数据存储系统及方法
CN111061715A (zh) * 2019-12-16 2020-04-24 北京邮电大学 基于Web和Kafka的分布式数据集成系统及方法
CN111339103A (zh) * 2020-03-13 2020-06-26 河南安冉云网络科技有限公司 一种基于全量分片和增量日志解析的数据交换方法及系统

Similar Documents

Publication Publication Date Title
US6622138B1 (en) Method and apparatus for optimizing computation of OLAP ranking functions
US6430550B1 (en) Parallel distinct aggregates
CN109669949A (zh) 一种基于数据模型的动态报表生成方法和系统实现
CN108241627A (zh) 一种异构数据存储查询方法和系统
CN103810173B (zh) 分页数据处理方法和系统
CN109299154A (zh) 一种大数据的数据存储系统及方法
CN114218218A (zh) 基于数据仓库的数据处理方法、装置、设备及存储介质
US10255583B2 (en) Nested hierarchical rollups by level using a normalized table
CN112818015A (zh) 基于数据血缘分析的数据追踪方法、系统及存储介质
CN108519994A (zh) 基于Pregel的分布式起源保障正则路径查询算法
CN108256080A (zh) 一种利用python语法语义构建复杂sql语句的方法及系统
CN111858569A (zh) 基于流式计算的海量数据清洗的方法
CN113810466B (zh) 用于多源异构数据的中间件、应用该中间件的系统和方法
CN112860899B (zh) 标签生成方法、装置、计算机设备和计算机可读存储介质
CN112181965A (zh) 一种基于mysql大数据清洗系统及其写入瓶颈的方法
CN111104441A (zh) 一种数据采集方法及系统
CN108399251A (zh) 一种多层数据展现的智能生成器和数据展现方法
CN114077652A (zh) 一种基于多维数据立方体的数据处理方法及电子装置
CN110175917B (zh) 参数图形化处理的装置及方法
CN116257594A (zh) 一种数据重构方法及系统
CN115794804A (zh) 基于大数据技术的工程内控数据可视化处理系统及方法
Zhang et al. Hybrid Subgraph Matching Framework Powered by Sketch Tree for Distributed Systems
CN109408567A (zh) 一种大数据处理平台网络架构
CN113886472A (zh) 一种数据接入系统、接入方法、计算机设备和存储介质
CN112434010A (zh) 一种用电信息采集系统主站数据库的交互方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20220509

Address after: No. 36 and 37, 11th floor, Seattle business building, No. 69, Xi'an south road, Jinniu District, Chengdu, Sichuan 610000

Applicant after: SICHUAN BUSINESS EASY CO.,LTD.

Address before: No. 1506, 15th floor, unit 1, building 2, No. 1537, middle section of Jiannan Avenue, high tech Zone, Chengdu, Sichuan 610000

Applicant before: Chengdu Shangtong Digital Technology Co.,Ltd.

TA01 Transfer of patent application right