CN109753531A - 一种大数据统计方法、系统、计算机设备及存储介质 - Google Patents
一种大数据统计方法、系统、计算机设备及存储介质 Download PDFInfo
- Publication number
- CN109753531A CN109753531A CN201811600921.6A CN201811600921A CN109753531A CN 109753531 A CN109753531 A CN 109753531A CN 201811600921 A CN201811600921 A CN 201811600921A CN 109753531 A CN109753531 A CN 109753531A
- Authority
- CN
- China
- Prior art keywords
- data
- message queue
- log
- statistical
- business datum
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本申请实施例公开了一种大数据统计方法、系统、计算机设备及存储介质。本申请实施例方法包括：通过读取Mysql数据库的binlog日志，将日志记录按顺序放入消息队列；通过ETL服务对消息队列进行消费，对所述消息队列中的日志记录进行抽取、清洗、转换及装载处理得到对应的业务数据并加载到对应的数据仓库中；通过Spark分布式查询引擎对所述业务数据做实时分析、聚合、查询及离线计算得到对应的统计结果；将数据通过增量方式导入仓库，数据仓库进行数据清洗，清洗后存起来，通过离线计算，将统计数据提前算好，等到业务系统使用的时候直接取统计后的数据，提高统计速度，减轻数据库统计的压力。
Description
技术领域
本申请涉及大数据技术领域，尤其涉及一种大数据统计方法、系统、计算机设备及存储介质。
背景技术
目前，随着互联网的爆发式增长，数据量急剧增长，数据库的损耗越来越大，一些统计等操作容易导致数据库的锁表、卡死等现象，数据库主从部署会大量的占用服务器IO，特别是对数据库文件比较大的主从复制，系统很容易卡死。刚开始数据业务不多，压力不大，一台数据库服务器就可以满足需求。随着业务的快速发展，数据越来越多，这个时候需要把DB、Web Server等服务分开部署了。但是随着用户量的不断增长，一些报表统计越来越多，会发现数据库不行了，速度很慢，有时候还会宕掉。这个时候就得利用读写分离，有一个Master Server(主服务器)专门负责收集数据，另外的几个Salve Server(从服务器)专门进行读取，这时候压力会减轻点。但是随着用户数量的继续增多，容易导致服务器IO占用过大，导致数据库卡死，数据报表统计慢，无法展示正确数据。
发明内容
本申请实施例提供了一种大数据统计方法、系统、计算机设备及存储介质，用于解决现有技术中数据量多统计等操作会导致数据库的资源占用变大，导致数据统计不出来的问题。
本申请实施例提供的大数据统计方法，包括：
读取Mysql数据库的binlog日志，将日志记录按顺序放入消息队列；
通过ETL服务对消息队列进行消费，对所述消息队列中的日志记录进行抽取、清洗、转换及装载处理得到对应的业务数据并加载到对应的数据仓库中；
通过Spark分布式查询引擎对所述业务数据做实时分析、聚合、查询及离线计算得到对应的统计结果。
可选地，所述读取Mysql数据库的binlog日志，将日志记录按顺序放入消息队列，包括：
Mysql数据库开启binlog；
开启同步服务，定时拉取binlog日志，解析binlog日志；
同步服务将binlog日志发送给消息队列。
可选地，所述通过ETL服务对消息队列进行消费，对所述消息队列中的日志记录进行抽取、清洗、转换及装载处理得到对应的业务数据并加载到对应的数据仓库中，包括：
开启ETL服务；
通过ETL服务对消息队列进行消费；
根据业务需求对消息队列中的日志记录进行抽取、清洗、转换及装载处理得到对应的业务数据；
按照预先定义好的数据仓库模型，将不同业务数据加载到对应的数据仓库中。
可选地，所述数据仓库为有且仅有一个多字段复合索引的存储引擎。
可选地，所述通过Spark分布式查询引擎对所述业务数据做实时分析、聚合、查询及离线计算得到对应的统计结果，包括：
通过用Spark分布式查询引擎做实时分析、聚合、查询及离线计算，得到对应的统计结果；所述Spark是专为大规模数据处理而设计的快速通用的计算引擎，通过在统一框架下支持不同计算把各种处理流程整合。
可选地，所述通过Spark分布式查询引擎对所述业务数据做实时分析、聚合、查询及离线计算得到对应的统计结果之前，还包括：
将查询信息通过网关服务接入到存储层以对所述数据仓库中的业务数据进行查询和数据统计。
可选地，所述通过Spark分布式查询引擎对所述业务数据做实时分析、聚合、查询及离线计算得到对应的统计结果之后，还包括：
通过网关服务实现负载均衡、认证授权及统一管理API，以实现统计数据的统计结果输出；
通过API方式进行数据获取，根据不同的业务需求获取对应的统计结果并展示。
本申请实施例提供的大数据统计系统，包括：
日志读取模块，用于读取Mysql数据库的binlog日志，将日志记录按顺序放入消息队列；
数据存储模块，用于通过ETL服务对消息队列进行消费，对所述消息队列中的日志记录进行抽取、清洗、转换及装载处理得到对应的业务数据并加载到对应的数据仓库中；
统计结果模块，用于通过Spark分布式查询引擎对所述业务数据做实时分析、聚合、查询及离线计算得到对应的统计结果。
本申请实施例提供的计算机设备，包括存储器、处理器及存储在所述存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上所述的大数据统计方法的步骤。
本申请实施例提供的计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上所述的大数据统计方法的步骤。
从上述技术方案可以看出，本申请实施例具有以下优点：
本实施例中，通过读取Mysql数据库的binlog日志，将日志记录按顺序放入消息队列；通过ETL服务对消息队列进行消费，对所述消息队列中的日志记录进行抽取、清洗、转换及装载处理得到对应的业务数据并加载到对应的数据仓库中；通过Spark分布式查询引擎对所述业务数据做实时分析、聚合、查询及离线计算得到对应的统计结果；将数据通过增量方式导入仓库，数据仓库进行数据清洗，清洗后存起来，通过离线计算，将统计数据提前算好，等到业务系统使用的时候直接取统计后的数据，提高统计速度，减轻数据库统计的压力。
附图说明
图1为本申请实施例中大数据统计方法的一个实施例示意图；
图2为本申请实施例中大数据统计方法的应用实施例示意图；
图3为本申请实施例中大数据统计系统的一个实施例示意图；
图4为本申请实施例中计算机设备的结构示意图。
具体实施方式
本申请实施例提供了一种大数据统计方法、系统、计算机设备及存储介质，为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图对本发明的具体实施方式做详细的说明。在下面的描述中阐述了很多具体细节以便于充分理解本发明。但是本发明能够以很多不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本发明内涵的情况下做类似改进，因此本发明不受下面公开的具体实施的限制。
除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中在本发明的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本发明。以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
下面对本申请实施例中的具体流程进行描述，请参阅图1，本申请实施例中大数据统计方法的一个实施例包括：
110、读取Mysql数据库的binlog日志，将日志记录按顺序放入消息队列；
120、通过ETL服务对消息队列进行消费，对所述消息队列中的日志记录进行抽取、清洗、转换及装载处理得到对应的业务数据并加载到对应的数据仓库中；
130、通过Spark分布式查询引擎对所述业务数据做实时分析、聚合、查询及离线计算得到对应的统计结果。
本实施例中，通过拉取binlog日志方式实现每日数据的同步,binlog是Mysqlsever层维护的一种二进制日志，其主要是用来记录对mysql数据更新或潜在发生更新的SQL语句，并以"事务"的形式保存在磁盘中，利用binlog的工作机制实现数据增量同步。读取Mysql数据库的binlog日志，对binlog日志进行解析，解析出有过变更的数据，这部分数据就是增量数据。然后将这部分增量数据发送到消息队列，从而实现增量同步。请一并参阅图2，图2为本申请实施例中大数据统计方法的应用实施例示意图，读取binlog日志后，将日志记录按顺序放入消息队列，具体为kafka队列，kafka是一个为处理实时数据提供一个统一、高吞吐、低延迟的平台。是分布式发布-订阅消息系统，是一个分布式的，可划分的，冗余备份的持久性的日志服务。
然后，通过ETL服务对消息队列进行消费，对所述消息队列中的日志记录进行抽取、清洗、转换及装载处理得到对应的业务数据并加载到对应的数据仓库中。具体来说，ETL是英文Extract-Transform-Load的缩写，用来描述将数据从来源端经过抽取(extract)、交互转换(transform)、加载(load)至目的端的过程，此乃数据仓库技术常见技术名词。处理层的ETL服务负责消费kafka，再由ETL服务对数据进行抽取、清洗、转换、装载。根据业务进行数据清洗、数据聚合,最终按照预先定义好的数据仓库模型，将不同业务数据加载到对应的数据仓库(HBase)中去，HBase的是一个有且仅有一个多字段复合索引的存储引擎。
最后，通过Spark分布式查询引擎对所述业务数据做实时分析、聚合、查询及离线计算得到对应的统计结果。具体来说，利用spark分布式查询引擎做实时分析聚合查询、离线计算。Spark是专为大规模数据处理而设计的快速通用的计算引擎，Spark适用于各种各样原先需要多种不同的分布式平台的场景，包括批处理、迭代算法、交互式查询、流处理。通过在一个统一的框架下支持这些不同的计算，Spark使我们可以简单而低耗地把各种处理流程整合在一起。
进一步地，所述读取Mysql数据库的binlog日志，将日志记录按顺序放入消息队列，包括：
Mysql数据库开启binlog；
开启同步服务，定时拉取binlog日志，解析binlog日志；
同步服务将binlog日志发送给消息队列。
进一步地，所述通过ETL服务对消息队列进行消费，对所述消息队列中的日志记录进行抽取、清洗、转换及装载处理得到对应的业务数据并加载到对应的数据仓库中，包括：
开启ETL服务；
通过ETL服务对消息队列进行消费；
根据业务需求对消息队列中的日志记录进行抽取、清洗、转换及装载处理得到对应的业务数据；
按照预先定义好的数据仓库模型，将不同业务数据加载到对应的数据仓库中，其中，所述数据仓库为有且仅有一个多字段复合索引的存储引擎。
进一步地，所述通过Spark分布式查询引擎对所述业务数据做实时分析、聚合、查询及离线计算得到对应的统计结果，包括：
通过用Spark分布式查询引擎做实时分析、聚合、查询及离线计算，得到对应的统计结果；所述Spark是专为大规模数据处理而设计的快速通用的计算引擎，通过在统一框架下支持不同计算把各种处理流程整合。
在实际应用时，所述通过Spark分布式查询引擎对所述业务数据做实时分析、聚合、查询及离线计算得到对应的统计结果之前，还包括：
将查询信息通过网关服务接入到存储层以对所述数据仓库中的业务数据进行查询和数据统计。
进一步地，所述通过Spark分布式查询引擎对所述业务数据做实时分析、聚合、查询及离线计算得到对应的统计结果之后，还包括：
通过网关服务实现负载均衡、认证授权及统一管理API，以实现统计数据的统计结果输出；
通过API方式进行数据获取，根据不同的业务需求获取对应的统计结果并展示。
具体来说，本申请通过spring cloud gateway(网关)实现负载均衡、认证授权、统一管理api，实现统计数据计算结果输出。业务系统通过api的方式进行数据获取，根据不同的业务需求获取展示数据。
本申请的数据库通过binlog数据和kafka队列实现数据的快速增量同步，且利用Spark Structured Streaming流式计算引擎，实现对Hbase的高速查询引入了数据集仓库，将数据通过增量方式导入仓库，数据仓库进行数据清洗，清洗后存起来，通过离线计算，将统计数据提前算好，等到业务系统使用的时候直接取统计后的数据，提高了统计速度，减轻了数据库统计的压力。
上面对本申请实施例中的大数据统计方法进行了描述，下面对本申请实施例中的大数据统计系统进行描述：
请参阅图3，本申请实施例中大数据统计系统的一个实施例包括：
日志读取模块10，用于读取Mysql数据库的binlog日志，将日志记录按顺序放入消息队列；
数据存储模块20，用于通过ETL服务对消息队列进行消费，对所述消息队列中的日志记录进行抽取、清洗、转换及装载处理得到对应的业务数据并加载到对应的数据仓库中；
统计结果模块30，用于通过Spark分布式查询引擎对所述业务数据做实时分析、聚合、查询及离线计算得到对应的统计结果。
上面从模板化功能实体的角度对本申请实施例中的大数据统计系统进行描述，具体可参照上述的大数据统计方法对应的步骤，下面从硬件处理的角度对本申请实施例中的计算机设备控制进行描述。
请参阅图4，本申请实施例中的计算机设备可包括输入接口310、输出接口320、处理器330和存储器340。本申请实施例中的输入接口310和输出接口320可以是多种规格的现有接口。存储器340可以包括只读存储器和随机存取存储器，并向处理器330提供指令和数据。存储器340的一部分还可以包括非易失性随机存取存储器(non-volatile randomaccess memory，NVRAM)。存储器340存储了如下的元素，可执行模块或者数据结构，或者它们的子集，或者它们的扩展集:操作指令：包括各种操作指令，用于实现各种操作。操作系统：包括各种系统程序，用于实现各种基础业务以及处理基于硬件的任务。
本发明实施例中处理器330用于：
读取Mysql数据库的binlog日志，将日志记录按顺序放入消息队列；
通过ETL服务对消息队列进行消费，对所述消息队列中的日志记录进行抽取、清洗、转换及装载处理得到对应的业务数据并加载到对应的数据仓库中；
通过Spark分布式查询引擎对所述业务数据做实时分析、聚合、查询及离线计算得到对应的统计结果。
处理器330还可以称为中央处理单元(central processing unit，CPU)。存储器340可以包括只读存储器和随机存取存储器，并向处理器330提供指令和数据。存储器340的一部分还可以包括NVRAM。具体的应用中，计算机设备的各个组件通过总线系统350耦合在一起，其中总线系统350除包括数据总线之外，还可以包括电源总线、控制总线和状态信号总线等。但是为了清楚说明起见，在图中将各种总线都标为总线系统350。
上述本发明实施例揭示的大数据统计方法可以应用于处理器330中，或者由处理器330实现。处理器330可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器330中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器330可以是通用处理器、数字信号处理器(digital signal processing，DSP)、专用集成电路(application specific integrated circuit，ASIC)、现成可编程门阵列(field－programmable gate array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件、单片机。可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本发明实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器340，处理器330读取存储器340中的信息，结合其硬件完成所述大数据统计方法的步骤。
图4的相关描述可以参阅图1方法部分的相关描述和效果进行理解，本处不做过多赘述。所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。所述的计算机设备在实际应用时可为车载终端或云服务器等。
在本发明所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述大数据统计方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(read-only memory，ROM)、随机存取存储器(random access memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。
Claims (10)
1.一种大数据统计方法，其特征在于，包括：
读取Mysql数据库的binlog日志，将日志记录按顺序放入消息队列；
通过ETL服务对消息队列进行消费，对所述消息队列中的日志记录进行抽取、清洗、转换及装载处理得到对应的业务数据并加载到对应的数据仓库中；
通过Spark分布式查询引擎对所述业务数据做实时分析、聚合、查询及离线计算得到对应的统计结果。
2.根据权利要求1所述的方法，其特征在于，所述读取Mysql数据库的binlog日志，将日志记录按顺序放入消息队列，包括：
Mysql数据库开启binlog；
开启同步服务，定时拉取binlog日志，解析binlog日志；
同步服务将binlog日志发送给消息队列。
3.根据权利要求1所述的方法，其特征在于，所述通过ETL服务对消息队列进行消费，对所述消息队列中的日志记录进行抽取、清洗、转换及装载处理得到对应的业务数据并加载到对应的数据仓库中，包括：
开启ETL服务；
通过ETL服务对消息队列进行消费；
根据业务需求对消息队列中的日志记录进行抽取、清洗、转换及装载处理得到对应的业务数据；
按照预先定义好的数据仓库模型，将不同业务数据加载到对应的数据仓库中。
4.根据权利要求3所述的方法，其特征在于，所述数据仓库为有且仅有一个多字段复合索引的存储引擎。
5.根据权利要求1所述的方法，其特征在于，所述通过Spark分布式查询引擎对所述业务数据做实时分析、聚合、查询及离线计算得到对应的统计结果，包括：
通过用Spark分布式查询引擎做实时分析、聚合、查询及离线计算，得到对应的统计结果；所述Spark是专为大规模数据处理而设计的快速通用的计算引擎，通过在统一框架下支持不同计算把各种处理流程整合。
6.根据权利要求1所述的方法，其特征在于，所述通过Spark分布式查询引擎对所述业务数据做实时分析、聚合、查询及离线计算得到对应的统计结果之前，还包括：
将查询信息通过网关服务接入到存储层以对所述数据仓库中的业务数据进行查询和数据统计。
7.根据权利要求6所述的方法，其特征在于，所述通过Spark分布式查询引擎对所述业务数据做实时分析、聚合、查询及离线计算得到对应的统计结果之后，还包括：
通过网关服务实现负载均衡、认证授权及统一管理API，以实现统计数据的统计结果输出；
通过API方式进行数据获取，根据不同的业务需求获取对应的统计结果并展示。
8.一种大数据统计系统，其特征在于，包括：
日志读取模块，用于读取Mysql数据库的binlog日志，将日志记录按顺序放入消息队列；
数据存储模块，用于通过ETL服务对消息队列进行消费，对所述消息队列中的日志记录进行抽取、清洗、转换及装载处理得到对应的业务数据并加载到对应的数据仓库中；
统计结果模块，用于通过Spark分布式查询引擎对所述业务数据做实时分析、聚合、查询及离线计算得到对应的统计结果。
9.一种计算机设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至7任意一项所述大数据统计方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任意一项所述大数据统计方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811600921.6A CN109753531A (zh) | 2018-12-26 | 2018-12-26 | 一种大数据统计方法、系统、计算机设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811600921.6A CN109753531A (zh) | 2018-12-26 | 2018-12-26 | 一种大数据统计方法、系统、计算机设备及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN109753531A true CN109753531A (zh) | 2019-05-14 |
Family
ID=66404198
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811600921.6A Pending CN109753531A (zh) | 2018-12-26 | 2018-12-26 | 一种大数据统计方法、系统、计算机设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109753531A (zh) |
Cited By (59)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110134648A (zh) * | 2019-05-22 | 2019-08-16 | 中国联合网络通信集团有限公司 | 日志处理方法、装置、设备、系统及计算机可读存储介质 |
| CN110232097A (zh) * | 2019-06-21 | 2019-09-13 | 北京奇艺世纪科技有限公司 | 一种数据同步方法及装置 |
| CN110321273A (zh) * | 2019-07-09 | 2019-10-11 | 政采云有限公司 | 一种业务统计方法及装置 |
| CN110335069A (zh) * | 2019-06-19 | 2019-10-15 | 中国平安财产保险股份有限公司 | 一种统计首拨进度的方法、装置、计算机设备及存储介质 |
| CN110457320A (zh) * | 2019-08-06 | 2019-11-15 | 深圳萨摩耶互联网金融服务有限公司 | 数据的实时存储方法与装置、存储介质及计算机设备 |
| CN110570097A (zh) * | 2019-08-15 | 2019-12-13 | 中国平安人寿保险股份有限公司 | 基于大数据的业务人员风险识别方法、装置及存储介质 |
| CN110597914A (zh) * | 2019-09-18 | 2019-12-20 | 北京思维造物信息科技股份有限公司 | 数据传输系统、方法、装置及设备 |
| CN110704484A (zh) * | 2019-09-09 | 2020-01-17 | 华迪计算机集团有限公司 | 一种对海量实时数据流进行处理的方法及系统 |
| CN110704000A (zh) * | 2019-10-10 | 2020-01-17 | 北京字节跳动网络技术有限公司 | 数据处理方法、装置、电子设备及存储介质 |
| CN110716984A (zh) * | 2019-10-10 | 2020-01-21 | 北京字节跳动网络技术有限公司 | 数据处理方法、装置、电子设备及存储介质 |
| CN110825820A (zh) * | 2019-09-27 | 2020-02-21 | 中国平安财产保险股份有限公司 | 实时数据标签获取方法、装置、计算机设备和存储介质 |
| CN110909063A (zh) * | 2019-11-28 | 2020-03-24 | 蜂助手股份有限公司 | 一种用户行为的分析方法、装置、应用服务器及存储介质 |
| CN110955722A (zh) * | 2019-11-05 | 2020-04-03 | 北京天元创新科技有限公司 | 数据同步方法及装置 |
| CN110990476A (zh) * | 2019-12-17 | 2020-04-10 | 腾讯科技（深圳）有限公司 | 数据导入方法、装置、服务器及存储介质 |
| CN111008244A (zh) * | 2019-11-22 | 2020-04-14 | 厦门安胜网络科技有限公司 | 一种用于数据库的同步和分析方法及系统 |
| CN111008246A (zh) * | 2019-11-26 | 2020-04-14 | 中盈优创资讯科技有限公司 | 数据库日志同步方法、装置、计算机设备及可读存储介质 |
| CN111078980A (zh) * | 2019-12-24 | 2020-04-28 | 深圳市信联征信有限公司 | 基于征信大数据的管理方法、装置、设备及存储介质 |
| CN111090670A (zh) * | 2019-12-31 | 2020-05-01 | 杭州依图医疗技术有限公司 | 一种数据预聚合的方法、系统、计算设备及存储介质 |
| CN111159268A (zh) * | 2019-12-19 | 2020-05-15 | 武汉达梦数据库有限公司 | 一种ETL流程在Spark集群中运行的方法和装置 |
| CN111198806A (zh) * | 2019-12-17 | 2020-05-26 | 航天信息股份有限公司 | 一种基于服务开放平台的服务调用数据统计分析方法及系统 |
| CN111292015A (zh) * | 2020-03-10 | 2020-06-16 | 北京意锐新创科技有限公司 | 一种收款数据的统计方法和装置 |
| CN111339175A (zh) * | 2020-02-28 | 2020-06-26 | 成都运力科技有限公司 | 数据处理方法、装置、电子设备及可读存储介质 |
| CN111339073A (zh) * | 2020-02-24 | 2020-06-26 | 天津满运软件科技有限公司 | 实时数据处理方法、装置、电子设备及可读存储介质 |
| CN111400407A (zh) * | 2020-04-10 | 2020-07-10 | 浙江大华技术股份有限公司 | 数据的同步方法及装置、存储介质及电子装置 |
| CN111414363A (zh) * | 2020-03-13 | 2020-07-14 | 上海银赛计算机科技有限公司 | 适用于MySQL中客户数据的并行异构方法、系统、介质及设备 |
| CN111522805A (zh) * | 2020-04-23 | 2020-08-11 | 中国银行股份有限公司 | 分布式批量数据清理方法及系统 |
| CN111522832A (zh) * | 2020-05-09 | 2020-08-11 | 深圳市铭墨科技有限公司 | 一种大数据实时更新方法、系统、设备和存储介质 |
| CN111652476A (zh) * | 2020-05-14 | 2020-09-11 | 上海卓越睿新数码科技有限公司 | 一种在线学习平台检测刷课作弊的技术 |
| CN111754268A (zh) * | 2020-06-29 | 2020-10-09 | 深圳市酷开软件技术有限公司 | 基于ott大数据的用户标签生成方法、管理系统及存储介质 |
| CN111797087A (zh) * | 2020-07-08 | 2020-10-20 | 深圳天顺智慧能源科技有限公司 | 流式处理电表数据的聚合统计方法、装置、设备及介质 |
| CN111930760A (zh) * | 2020-07-21 | 2020-11-13 | 银盛支付服务股份有限公司 | 一种交易流水分布式批量处理方法及其系统 |
| CN111984433A (zh) * | 2020-07-31 | 2020-11-24 | 五八有限公司 | 业务数据处理方法、展示方法、装置、电子设备及介质 |
| CN112000737A (zh) * | 2020-08-14 | 2020-11-27 | 苏州浪潮智能科技有限公司 | 基于多云管理的数据同步方法、系统、终端及存储介质 |
| CN112039968A (zh) * | 2020-08-25 | 2020-12-04 | 中央广播电视总台 | 一种数据处理系统 |
| CN112035531A (zh) * | 2020-09-02 | 2020-12-04 | 中国平安人寿保险股份有限公司 | 敏感数据处理方法、装置、设备及介质 |
| CN112162904A (zh) * | 2020-09-25 | 2021-01-01 | 同程网络科技股份有限公司 | 订单变更过程整合方法、提取方法、整合装置和提取装置 |
| CN112256734A (zh) * | 2020-10-20 | 2021-01-22 | 中国农业银行股份有限公司 | 一种大数据处理方法、装置、系统、设备和存储介质 |
| CN112256523A (zh) * | 2020-09-23 | 2021-01-22 | 贝壳技术有限公司 | 业务数据处理方法及装置 |
| WO2021047506A1 (zh) * | 2019-09-11 | 2021-03-18 | 中兴通讯股份有限公司 | 数据统计分析系统、方法及计算机可读存储介质 |
| CN112527945A (zh) * | 2021-02-10 | 2021-03-19 | 中关村科学城城市大脑股份有限公司 | 一种地理空间大数据处理方法及装置 |
| CN112613892A (zh) * | 2020-12-25 | 2021-04-06 | 北京知因智慧科技有限公司 | 基于业务系统的数据处理方法、装置以及电子设备 |
| CN112632266A (zh) * | 2019-10-09 | 2021-04-09 | 上海哔哩哔哩科技有限公司 | 数据写入方法、装置、计算机设备及可读存储介质 |
| CN112788074A (zh) * | 2019-11-07 | 2021-05-11 | 中兴通讯股份有限公司 | 数据发送方法、处理方法、接收方法及其设备、存储介质 |
| CN112825069A (zh) * | 2019-11-21 | 2021-05-21 | 阿里巴巴集团控股有限公司 | 数据库数据的分析方法、设备、系统及存储介质 |
| CN112948378A (zh) * | 2021-02-04 | 2021-06-11 | 上海中通吉网络技术有限公司 | 基于HBase的数据处理方法、装置和设备 |
| CN113094342A (zh) * | 2021-04-02 | 2021-07-09 | 上海中通吉网络技术有限公司 | 数据持久化的方法、装置及设备、存储介质 |
| CN113222223A (zh) * | 2021-04-24 | 2021-08-06 | 上海钢银科技发展有限公司 | 实时数仓的风控联动预警方法、系统、设备及存储介质 |
| CN113220707A (zh) * | 2021-04-26 | 2021-08-06 | 深圳市云网万店科技有限公司 | 实时合并多种业务指标数据的方法、装置和计算机设备 |
| CN113360554A (zh) * | 2020-03-06 | 2021-09-07 | 深圳法大大网络科技有限公司 | 一种数据抽取、转换和加载etl的方法和设备 |
| CN114037244A (zh) * | 2021-11-02 | 2022-02-11 | 上海中通吉网络技术有限公司 | 快递设备操作风控方法及装置 |
| CN114168624A (zh) * | 2021-12-08 | 2022-03-11 | 掌阅科技股份有限公司 | 数据分析方法、计算设备及存储介质 |
| CN114238258A (zh) * | 2021-11-30 | 2022-03-25 | 企查查科技有限公司 | 数据库数据处理方法、装置、计算机设备、存储介质 |
| CN114265883A (zh) * | 2021-12-27 | 2022-04-01 | 浪潮卓数大数据产业发展有限公司 | 一种实时数据治理的方法、设备、存储介质 |
| CN114448680A (zh) * | 2022-01-04 | 2022-05-06 | 浪潮软件股份有限公司 | 无侵入式的政务服务数据共享方法、系统、装置及介质 |
| CN114547199A (zh) * | 2022-02-23 | 2022-05-27 | 阿维塔科技(重庆)有限公司 | 数据库增量同步响应方法、装置及计算机可读存储介质 |
| CN114841570A (zh) * | 2022-05-07 | 2022-08-02 | 金腾科技信息(深圳)有限公司 | 用于客户关系管理系统的数据处理方法、装置、设备及介质 |
| CN116132540A (zh) * | 2023-04-13 | 2023-05-16 | 北京东大正保科技有限公司 | 一种多业务系统数据处理方法和装置 |
| WO2023109806A1 (zh) * | 2021-12-14 | 2023-06-22 | 天翼物联科技有限公司 | 物联网设备的活跃数据处理方法、装置及存储介质 |
| CN117555541A (zh) * | 2024-01-11 | 2024-02-13 | 南京研利科技有限公司 | 数据页面展示方法、装置、设备及存储介质 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20150213100A1 (en) * | 2012-10-18 | 2015-07-30 | Tencent Technology (Shenzhen) Company Limited | Data synchronization method and system |
| US20170075964A1 (en) * | 2015-09-11 | 2017-03-16 | International Business Machines Corporation | Transforming and loading data utilizing in-memory processing |
| CN107229639A (zh) * | 2016-03-24 | 2017-10-03 | 上海宝信软件股份有限公司 | 分布式实时数据库的存储系统 |
| CN107330003A (zh) * | 2017-06-12 | 2017-11-07 | 上海藤榕网络科技有限公司 | 数据同步方法、系统、存储器及数据同步设备 |
| CN107463610A (zh) * | 2017-06-27 | 2017-12-12 | 北京小度信息科技有限公司 | 一种数据入库方法及装置 |
| CN107943841A (zh) * | 2017-10-30 | 2018-04-20 | 深圳前海微众银行股份有限公司 | 流式数据处理方法、系统和计算机可读存储介质 |
| CN108108445A (zh) * | 2017-12-26 | 2018-06-01 | 苏州蜗牛数字科技股份有限公司 | 一种智能数据处理方法和系统 |
| CN108763234A (zh) * | 2018-02-01 | 2018-11-06 | 宝付网络科技（上海）有限公司 | 一种数据实时同步方法及系统 |
-
2018
- 2018-12-26 CN CN201811600921.6A patent/CN109753531A/zh active Pending
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20150213100A1 (en) * | 2012-10-18 | 2015-07-30 | Tencent Technology (Shenzhen) Company Limited | Data synchronization method and system |
| US20170075964A1 (en) * | 2015-09-11 | 2017-03-16 | International Business Machines Corporation | Transforming and loading data utilizing in-memory processing |
| CN107229639A (zh) * | 2016-03-24 | 2017-10-03 | 上海宝信软件股份有限公司 | 分布式实时数据库的存储系统 |
| CN107330003A (zh) * | 2017-06-12 | 2017-11-07 | 上海藤榕网络科技有限公司 | 数据同步方法、系统、存储器及数据同步设备 |
| CN107463610A (zh) * | 2017-06-27 | 2017-12-12 | 北京小度信息科技有限公司 | 一种数据入库方法及装置 |
| CN107943841A (zh) * | 2017-10-30 | 2018-04-20 | 深圳前海微众银行股份有限公司 | 流式数据处理方法、系统和计算机可读存储介质 |
| CN108108445A (zh) * | 2017-12-26 | 2018-06-01 | 苏州蜗牛数字科技股份有限公司 | 一种智能数据处理方法和系统 |
| CN108763234A (zh) * | 2018-02-01 | 2018-11-06 | 宝付网络科技（上海）有限公司 | 一种数据实时同步方法及系统 |
Non-Patent Citations (1)
| Title |
|---|
| 师金钢，郑艳: "《实时数据仓库技术》", 31 May 2018 * |
Cited By (86)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110134648A (zh) * | 2019-05-22 | 2019-08-16 | 中国联合网络通信集团有限公司 | 日志处理方法、装置、设备、系统及计算机可读存储介质 |
| CN110335069A (zh) * | 2019-06-19 | 2019-10-15 | 中国平安财产保险股份有限公司 | 一种统计首拨进度的方法、装置、计算机设备及存储介质 |
| CN110232097A (zh) * | 2019-06-21 | 2019-09-13 | 北京奇艺世纪科技有限公司 | 一种数据同步方法及装置 |
| CN110321273A (zh) * | 2019-07-09 | 2019-10-11 | 政采云有限公司 | 一种业务统计方法及装置 |
| CN110321273B (zh) * | 2019-07-09 | 2023-10-03 | 政采云有限公司 | 一种业务统计方法及装置 |
| CN110457320A (zh) * | 2019-08-06 | 2019-11-15 | 深圳萨摩耶互联网金融服务有限公司 | 数据的实时存储方法与装置、存储介质及计算机设备 |
| CN110570097A (zh) * | 2019-08-15 | 2019-12-13 | 中国平安人寿保险股份有限公司 | 基于大数据的业务人员风险识别方法、装置及存储介质 |
| CN110704484A (zh) * | 2019-09-09 | 2020-01-17 | 华迪计算机集团有限公司 | 一种对海量实时数据流进行处理的方法及系统 |
| WO2021047506A1 (zh) * | 2019-09-11 | 2021-03-18 | 中兴通讯股份有限公司 | 数据统计分析系统、方法及计算机可读存储介质 |
| CN110597914A (zh) * | 2019-09-18 | 2019-12-20 | 北京思维造物信息科技股份有限公司 | 数据传输系统、方法、装置及设备 |
| CN110825820A (zh) * | 2019-09-27 | 2020-02-21 | 中国平安财产保险股份有限公司 | 实时数据标签获取方法、装置、计算机设备和存储介质 |
| CN112632266B (zh) * | 2019-10-09 | 2022-12-23 | 上海哔哩哔哩科技有限公司 | 数据写入方法、装置、计算机设备及可读存储介质 |
| CN112632266A (zh) * | 2019-10-09 | 2021-04-09 | 上海哔哩哔哩科技有限公司 | 数据写入方法、装置、计算机设备及可读存储介质 |
| CN110716984A (zh) * | 2019-10-10 | 2020-01-21 | 北京字节跳动网络技术有限公司 | 数据处理方法、装置、电子设备及存储介质 |
| CN110704000B (zh) * | 2019-10-10 | 2023-05-30 | 北京字节跳动网络技术有限公司 | 数据处理方法、装置、电子设备及存储介质 |
| CN110716984B (zh) * | 2019-10-10 | 2023-06-20 | 北京字节跳动网络技术有限公司 | 数据处理方法、装置、电子设备及存储介质 |
| CN110704000A (zh) * | 2019-10-10 | 2020-01-17 | 北京字节跳动网络技术有限公司 | 数据处理方法、装置、电子设备及存储介质 |
| CN110955722A (zh) * | 2019-11-05 | 2020-04-03 | 北京天元创新科技有限公司 | 数据同步方法及装置 |
| CN112788074B (zh) * | 2019-11-07 | 2024-05-31 | 中兴通讯股份有限公司 | 数据发送方法、处理方法、接收方法及其设备、存储介质 |
| CN112788074A (zh) * | 2019-11-07 | 2021-05-11 | 中兴通讯股份有限公司 | 数据发送方法、处理方法、接收方法及其设备、存储介质 |
| CN112825069B (zh) * | 2019-11-21 | 2024-05-24 | 阿里巴巴集团控股有限公司 | 数据库数据的分析方法、设备、系统及存储介质 |
| CN112825069A (zh) * | 2019-11-21 | 2021-05-21 | 阿里巴巴集团控股有限公司 | 数据库数据的分析方法、设备、系统及存储介质 |
| CN111008244A (zh) * | 2019-11-22 | 2020-04-14 | 厦门安胜网络科技有限公司 | 一种用于数据库的同步和分析方法及系统 |
| CN111008246B (zh) * | 2019-11-26 | 2024-04-19 | 中盈优创资讯科技有限公司 | 数据库日志同步方法、装置、计算机设备及可读存储介质 |
| CN111008246A (zh) * | 2019-11-26 | 2020-04-14 | 中盈优创资讯科技有限公司 | 数据库日志同步方法、装置、计算机设备及可读存储介质 |
| CN110909063A (zh) * | 2019-11-28 | 2020-03-24 | 蜂助手股份有限公司 | 一种用户行为的分析方法、装置、应用服务器及存储介质 |
| CN110990476B (zh) * | 2019-12-17 | 2023-04-07 | 腾讯科技（深圳）有限公司 | 数据导入方法、装置、服务器及存储介质 |
| CN111198806A (zh) * | 2019-12-17 | 2020-05-26 | 航天信息股份有限公司 | 一种基于服务开放平台的服务调用数据统计分析方法及系统 |
| CN111198806B (zh) * | 2019-12-17 | 2024-04-05 | 航天信息股份有限公司 | 基于服务开放平台的服务调用数据统计分析方法及系统 |
| CN110990476A (zh) * | 2019-12-17 | 2020-04-10 | 腾讯科技（深圳）有限公司 | 数据导入方法、装置、服务器及存储介质 |
| CN111159268A (zh) * | 2019-12-19 | 2020-05-15 | 武汉达梦数据库有限公司 | 一种ETL流程在Spark集群中运行的方法和装置 |
| CN111159268B (zh) * | 2019-12-19 | 2022-01-04 | 武汉达梦数据库股份有限公司 | 一种ETL流程在Spark集群中运行的方法和装置 |
| CN111078980A (zh) * | 2019-12-24 | 2020-04-28 | 深圳市信联征信有限公司 | 基于征信大数据的管理方法、装置、设备及存储介质 |
| CN111090670B (zh) * | 2019-12-31 | 2023-08-04 | 杭州依图医疗技术有限公司 | 一种数据预聚合的方法、系统、计算设备及存储介质 |
| CN111090670A (zh) * | 2019-12-31 | 2020-05-01 | 杭州依图医疗技术有限公司 | 一种数据预聚合的方法、系统、计算设备及存储介质 |
| CN111339073A (zh) * | 2020-02-24 | 2020-06-26 | 天津满运软件科技有限公司 | 实时数据处理方法、装置、电子设备及可读存储介质 |
| CN111339175A (zh) * | 2020-02-28 | 2020-06-26 | 成都运力科技有限公司 | 数据处理方法、装置、电子设备及可读存储介质 |
| CN111339175B (zh) * | 2020-02-28 | 2023-08-11 | 成都运力科技有限公司 | 数据处理方法、装置、电子设备及可读存储介质 |
| CN113360554B (zh) * | 2020-03-06 | 2023-06-23 | 深圳法大大网络科技有限公司 | 一种数据抽取、转换和加载etl的方法和设备 |
| CN113360554A (zh) * | 2020-03-06 | 2021-09-07 | 深圳法大大网络科技有限公司 | 一种数据抽取、转换和加载etl的方法和设备 |
| CN111292015A (zh) * | 2020-03-10 | 2020-06-16 | 北京意锐新创科技有限公司 | 一种收款数据的统计方法和装置 |
| CN111414363A (zh) * | 2020-03-13 | 2020-07-14 | 上海银赛计算机科技有限公司 | 适用于MySQL中客户数据的并行异构方法、系统、介质及设备 |
| CN111414363B (zh) * | 2020-03-13 | 2023-04-14 | 上海银赛计算机科技有限公司 | 适用于MySQL中客户数据的并行异构方法、系统、介质及设备 |
| CN111400407A (zh) * | 2020-04-10 | 2020-07-10 | 浙江大华技术股份有限公司 | 数据的同步方法及装置、存储介质及电子装置 |
| CN111400407B (zh) * | 2020-04-10 | 2023-09-26 | 浙江大华技术股份有限公司 | 数据的同步方法及装置、存储介质及电子装置 |
| CN111522805B (zh) * | 2020-04-23 | 2023-05-02 | 中国银行股份有限公司 | 分布式批量数据清理方法及系统 |
| CN111522805A (zh) * | 2020-04-23 | 2020-08-11 | 中国银行股份有限公司 | 分布式批量数据清理方法及系统 |
| CN111522832A (zh) * | 2020-05-09 | 2020-08-11 | 深圳市铭墨科技有限公司 | 一种大数据实时更新方法、系统、设备和存储介质 |
| CN111522832B (zh) * | 2020-05-09 | 2024-04-19 | 深圳市铭墨科技有限公司 | 一种大数据实时更新方法、系统、设备和存储介质 |
| CN111652476A (zh) * | 2020-05-14 | 2020-09-11 | 上海卓越睿新数码科技有限公司 | 一种在线学习平台检测刷课作弊的技术 |
| CN111754268A (zh) * | 2020-06-29 | 2020-10-09 | 深圳市酷开软件技术有限公司 | 基于ott大数据的用户标签生成方法、管理系统及存储介质 |
| CN111797087A (zh) * | 2020-07-08 | 2020-10-20 | 深圳天顺智慧能源科技有限公司 | 流式处理电表数据的聚合统计方法、装置、设备及介质 |
| CN111930760A (zh) * | 2020-07-21 | 2020-11-13 | 银盛支付服务股份有限公司 | 一种交易流水分布式批量处理方法及其系统 |
| CN111984433A (zh) * | 2020-07-31 | 2020-11-24 | 五八有限公司 | 业务数据处理方法、展示方法、装置、电子设备及介质 |
| CN112000737A (zh) * | 2020-08-14 | 2020-11-27 | 苏州浪潮智能科技有限公司 | 基于多云管理的数据同步方法、系统、终端及存储介质 |
| CN112000737B (zh) * | 2020-08-14 | 2022-05-31 | 苏州浪潮智能科技有限公司 | 基于多云管理的数据同步方法、系统、终端及存储介质 |
| CN112039968A (zh) * | 2020-08-25 | 2020-12-04 | 中央广播电视总台 | 一种数据处理系统 |
| CN112035531A (zh) * | 2020-09-02 | 2020-12-04 | 中国平安人寿保险股份有限公司 | 敏感数据处理方法、装置、设备及介质 |
| CN112035531B (zh) * | 2020-09-02 | 2023-11-28 | 中国平安人寿保险股份有限公司 | 敏感数据处理方法、装置、设备及介质 |
| CN112256523B (zh) * | 2020-09-23 | 2023-01-06 | 贝壳技术有限公司 | 业务数据处理方法及装置 |
| CN112256523A (zh) * | 2020-09-23 | 2021-01-22 | 贝壳技术有限公司 | 业务数据处理方法及装置 |
| CN112162904B (zh) * | 2020-09-25 | 2024-06-18 | 同程网络科技股份有限公司 | 订单变更过程整合方法、提取方法、整合装置和提取装置 |
| CN112162904A (zh) * | 2020-09-25 | 2021-01-01 | 同程网络科技股份有限公司 | 订单变更过程整合方法、提取方法、整合装置和提取装置 |
| CN112256734A (zh) * | 2020-10-20 | 2021-01-22 | 中国农业银行股份有限公司 | 一种大数据处理方法、装置、系统、设备和存储介质 |
| CN112613892B (zh) * | 2020-12-25 | 2024-03-15 | 北京知因智慧科技有限公司 | 基于业务系统的数据处理方法、装置以及电子设备 |
| CN112613892A (zh) * | 2020-12-25 | 2021-04-06 | 北京知因智慧科技有限公司 | 基于业务系统的数据处理方法、装置以及电子设备 |
| CN112948378A (zh) * | 2021-02-04 | 2021-06-11 | 上海中通吉网络技术有限公司 | 基于HBase的数据处理方法、装置和设备 |
| CN112527945A (zh) * | 2021-02-10 | 2021-03-19 | 中关村科学城城市大脑股份有限公司 | 一种地理空间大数据处理方法及装置 |
| CN113094342A (zh) * | 2021-04-02 | 2021-07-09 | 上海中通吉网络技术有限公司 | 数据持久化的方法、装置及设备、存储介质 |
| CN113222223B (zh) * | 2021-04-24 | 2023-02-21 | 上海钢银科技发展有限公司 | 实时数仓的风控联动预警方法、系统、设备及存储介质 |
| CN113222223A (zh) * | 2021-04-24 | 2021-08-06 | 上海钢银科技发展有限公司 | 实时数仓的风控联动预警方法、系统、设备及存储介质 |
| CN113220707A (zh) * | 2021-04-26 | 2021-08-06 | 深圳市云网万店科技有限公司 | 实时合并多种业务指标数据的方法、装置和计算机设备 |
| CN114037244A (zh) * | 2021-11-02 | 2022-02-11 | 上海中通吉网络技术有限公司 | 快递设备操作风控方法及装置 |
| CN114238258A (zh) * | 2021-11-30 | 2022-03-25 | 企查查科技有限公司 | 数据库数据处理方法、装置、计算机设备、存储介质 |
| CN114238258B (zh) * | 2021-11-30 | 2024-02-20 | 企查查科技股份有限公司 | 数据库数据处理方法、装置、计算机设备、存储介质 |
| CN114168624A (zh) * | 2021-12-08 | 2022-03-11 | 掌阅科技股份有限公司 | 数据分析方法、计算设备及存储介质 |
| WO2023109806A1 (zh) * | 2021-12-14 | 2023-06-22 | 天翼物联科技有限公司 | 物联网设备的活跃数据处理方法、装置及存储介质 |
| CN114265883B (zh) * | 2021-12-27 | 2024-06-14 | 浪潮卓数大数据产业发展有限公司 | 一种实时数据治理的方法、设备、存储介质 |
| CN114265883A (zh) * | 2021-12-27 | 2022-04-01 | 浪潮卓数大数据产业发展有限公司 | 一种实时数据治理的方法、设备、存储介质 |
| CN114448680A (zh) * | 2022-01-04 | 2022-05-06 | 浪潮软件股份有限公司 | 无侵入式的政务服务数据共享方法、系统、装置及介质 |
| CN114547199A (zh) * | 2022-02-23 | 2022-05-27 | 阿维塔科技(重庆)有限公司 | 数据库增量同步响应方法、装置及计算机可读存储介质 |
| CN114841570A (zh) * | 2022-05-07 | 2022-08-02 | 金腾科技信息(深圳)有限公司 | 用于客户关系管理系统的数据处理方法、装置、设备及介质 |
| CN116132540B (zh) * | 2023-04-13 | 2023-08-01 | 北京东大正保科技有限公司 | 一种多业务系统数据处理方法和装置 |
| CN116132540A (zh) * | 2023-04-13 | 2023-05-16 | 北京东大正保科技有限公司 | 一种多业务系统数据处理方法和装置 |
| CN117555541B (zh) * | 2024-01-11 | 2024-04-09 | 南京研利科技有限公司 | 数据页面展示方法、装置、设备及存储介质 |
| CN117555541A (zh) * | 2024-01-11 | 2024-02-13 | 南京研利科技有限公司 | 数据页面展示方法、装置、设备及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109753531A (zh) | 一种大数据统计方法、系统、计算机设备及存储介质 | |
| US10990590B2 (en) | Aggregation framework system architecture and method | |
| US9020802B1 (en) | Worldwide distributed architecture model and management | |
| US9280381B1 (en) | Execution framework for a distributed file system | |
| CN107123047B (zh) | 基于债券交易的数据采集系统及其数据采集方法 | |
| CA2881804C (en) | High performance real-time relational database system and methods for using same | |
| CN104424229B (zh) | 一种多维度拆分的计算方法及系统 | |
| CN104751359B (zh) | 用于支付清算的系统及方法 | |
| CN109710731A (zh) | 一种基于Flink的数据流多向处理系统 | |
| CN108681569B (zh) | 一种数据自动分析系统及其方法 | |
| CN107220310A (zh) | 一种数据库数据管理系统、方法及装置 | |
| CN111339073A (zh) | 实时数据处理方法、装置、电子设备及可读存储介质 | |
| CN111400326A (zh) | 一种智慧城市数据管理系统及其方法 | |
| CN107229730A (zh) | 数据查询方法及装置 | |
| CN108874982A (zh) | 一种基于Spark大数据框架离线实时处理数据的方法 | |
| CN104182898A (zh) | 银行系统对夜模式期间发生的联机交易进行补录的方法 | |
| CN105608188A (zh) | 数据处理方法和数据处理装置 | |
| CN106951552A (zh) | 一种基于Hadoop的用户行为数据处理方法 | |
| CN109739919A (zh) | 一种用于电力系统的前置机和采集系统 | |
| CN104063507A (zh) | 一种图计算方法及引擎 | |
| CN101562664A (zh) | 一种话单处理方法和系统 | |
| CN105989163A (zh) | 数据实时处理方法及系统 | |
| CN107015989A (zh) | 数据处理方法和装置 | |
| CN105608135A (zh) | 一种基于Apriori算法的数据挖掘方法及系统 | |
| CN109903050A (zh) | 交易去重方法、交易构造方法、设备和存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20190514 |