CN110297859A - 处理实时数据的方法和装置 - Google Patents

处理实时数据的方法和装置 Download PDF

Info

Publication number
CN110297859A
CN110297859A CN201910497240.XA CN201910497240A CN110297859A CN 110297859 A CN110297859 A CN 110297859A CN 201910497240 A CN201910497240 A CN 201910497240A CN 110297859 A CN110297859 A CN 110297859A
Authority
CN
China
Prior art keywords
etl
rule
etl rule
memory space
real time
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910497240.XA
Other languages
English (en)
Other versions
CN110297859B (zh
Inventor
彭明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Enyike (beijing) Data Technology Co Ltd
Original Assignee
Enyike (beijing) Data Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Enyike (beijing) Data Technology Co Ltd filed Critical Enyike (beijing) Data Technology Co Ltd
Priority to CN201910497240.XA priority Critical patent/CN110297859B/zh
Publication of CN110297859A publication Critical patent/CN110297859A/zh
Application granted granted Critical
Publication of CN110297859B publication Critical patent/CN110297859B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25—Integrating or interfacing systems involving database management systems
    • G06F16/254—Extract, transform and load [ETL] procedures, e.g. ETL data flows in data warehouses

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本申请公开了一种处理实时数据的方法和装置。所述方法包括：检测外部是否对预先存储的萃取‑转置‑加载ETL规则进行更改；在检测到外部对所述ETL规则发生更改后，获取变更后的ETL规则，并在预先设置的存储空间内保存所述变更后的ETL规则；在接收到实时数据后，利用预先设置的ETL规则库和所述存储空间内的ETL规则，处理实时数据。

Description

处理实时数据的方法和装置
技术领域
本申请涉及信息处理领域，尤指一种处理实时数据的方法和装置。
背景技术
ETL(Extract-Transform-Load，萃取-转置-加载)用来描述将数据从来源端经过萃取(extract)、转置(transform)、加载(load)至目的端的过程。ETL常用在数据仓库，但其对象并不限于数据仓库。
在实时流数据处理过程中，在对数据的清洗及逻辑上的处理时，根据用户需求可能变动会比较频繁，但在这个过程中又希望在改变这种规则后能够快速生效，且减少因为规则变动带来的部署工作及时间成本。
发明内容
为了解决上述技术问题，本申请提供了一种处理实时数据的方法和装置，能够动态更新ETL规则。
为了达到本申请目的，本申请提供了一种处理实时数据的方法，包括：
检测外部是否对预先存储的萃取-转置-加载ETL规则进行更改；
在检测到外部对所述ETL规则发生更改后，获取变更后的ETL规则，并在预先设置的存储空间内保存所述变更后的ETL规则；
在接收到实时数据后，利用预先设置的ETL规则库和所述存储空间内的ETL规则，处理实时数据。
在一个示例性实施例中，所述在预先设置的存储空间内保存所述变更后的ETL规则之后，所述方法还包括：
判断所述变更后的ETL规则是否已成功更新到所述ETL规则库中，得到判断结果；
如果所述判断结果为已成功更新到所述ETL规则库中，则在所述存储空间内删除所述变更后的ETL规则。
在一个示例性实施例中，所述检测外部是否对预先存储的ETL规则进行更改，包括：
按照预先设置的时间策略，获取ETL规则文件的目录信息所在的文件的修改时间；
将获取到的修改时间与上一次获取的修改时间进行比较，得到比较结果；
根据比较结果，确定外部是否对所述ETL规则进行更改。
在一个示例性实施例中，所述利用预先设置的ETL规则库和所述存储空间内的ETL规则，处理实时数据之前，所述方法还包括：
检测所述存储空间内是否存储有ETL规则；
如果检测所述存储空间内存储有ETL规则，再利用预先设置的ETL规则库和所述存储空间内的ETL规则，处理实时数据。
在一个示例性实施例中，所述利用预先设置的ETL规则库和所述存储空间内的ETL规则，处理实时数据，包括：
在根据所述实时数据的数据类型匹配对应的ETL规则时，如果匹配到的ETL规则中存储在ETL规则库中的规则与存储在所述存储空间内的规则冲突时，利用所述存储在存储空间内的规则对所述实时数据进行处理。
为了达到本申请目的，本申请提供了一种处理实时数据的装置，包括处理器和存储器，其中存储器存储有计算机程序，所述处理器调用所述计算机程序以实现如下操作，包括：
检测外部是否对预先存储的ETL规则进行更改；
在检测到外部对所述ETL规则发生更改后，获取变更后的ETL规则，并在预先设置的存储空间内保存所述变更后的ETL规则；
在接收到实时数据后，利用预先设置的ETL规则库和所述存储空间内的ETL规则，处理实时数据。
在一个示例性实施例中，所述处理器调用所述计算机程序以实现在预先设置的存储空间内保存所述变更后的ETL规则的操作之后，所述处理器调用所述计算机程序还实现如下操作，包括：
判断所述变更后的ETL规则是否已成功更新到所述ETL规则库中，得到判断结果；
如果所述判断结果为已成功更新到所述ETL规则库中，则在所述存储空间内删除所述变更后的ETL规则。
在一个示例性实施例中，所述处理器调用所述计算机程序以实现检测外部是否对预先存储的ETL规则进行更改的操作，包括：
按照预先设置的时间策略，获取ETL规则文件的目录信息所在的文件的修改时间；
将获取到的修改时间与上一次获取的修改时间进行比较，得到比较结果；
根据比较结果，确定外部是否对所述ETL规则进行更改。
在一个示例性实施例中，所述处理器调用所述计算机程序以实现利用预先设置的ETL规则库和所述存储空间内的ETL规则，处理实时数据的操作之前，述处理器调用所述计算机程序还实现如下操作，包括：
检测所述存储空间内是否存储有ETL规则；
如果检测所述存储空间内存储有ETL规则，再利用预先设置的ETL规则库和所述存储空间内的ETL规则，处理实时数据。
在一个示例性实施例中，所述处理器调用所述计算机程序以实现利用预先设置的ETL规则库和所述存储空间内的ETL规则，处理实时数据的操作，包括：
在根据所述实时数据的数据类型匹配对应的ETL规则时，如果匹配到的ETL规则中存储在ETL规则库中的规则与存储在所述存储空间内的规则冲突时，利用所述存储在存储空间内的规则对所述实时数据进行处理。
本申请提供的实施例，检测外部是否对预先存储的萃取-转置-加载ETL规则进行更改，并在检测到外部对所述ETL规则发生更改后，获取变更后的ETL规则，并在预先设置的存储空间内保存所述变更后的ETL规则，在接收到实时数据后，利用预先设置的ETL规则库和所述存储空间内的ETL规则，处理实时数据，基于实时流数据的ETL处理中能够不停止服务的前提下，动态的更新ETL规则文件，适配灵活处理流数据的目的。
本申请的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本申请而了解。本申请的目的和其他优点可通过在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。
附图说明
附图用来提供对本申请技术方案的进一步理解，并且构成说明书的一部分，与本申请的实施例一起用于解释本申请的技术方案，并不构成对本申请技术方案的限制。
图1为本申请提供的处理实时数据的方法的流程图；
图2为本申请实施例提供的Flink集群处理实时数据的示例图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚明白，下文中将结合附图对本申请的实施例进行详细说明。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互任意组合。
在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行。并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
图1为本申请实施例提供的处理实时数据的方法的流程图。图1所示方法包括：
步骤101、检测外部是否对预先存储的ETL规则进行更改；
在一个示例性实施例中，在处理实时数据的同时，可以通过预设的接口对ETL规则进行更改；通过对ETL规则的更改的检测，可以保证实时数据能够尽快应用修改后的ETL规则。
步骤102、在检测到外部对所述ETL规则发生更改后，获取变更后的ETL规则，并在预先设置的存储空间内保存所述变更后的ETL规则；
在一个示例性实施例中，加载已修改过的脚本文件并编译好ETL脚本文件对象，放入ETL Cache中，方便后续匹配对应规则，进行调用。其中该存储空间可以为用于存储变更后的ETL规则的缓存空间。
步骤103、在接收到实时数据后，利用预先设置的ETL规则库和所述存储空间内的ETL规则，处理实时数据。
本申请实施例提供的方法，检测外部是否对预先存储的萃取-转置-加载ETL规则进行更改，并在检测到外部对所述ETL规则发生更改后，获取变更后的ETL规则，并在预先设置的存储空间内保存所述变更后的ETL规则，在接收到实时数据后，利用预先设置的ETL规则库和所述存储空间内的ETL规则，处理实时数据，基于实时流数据的ETL处理中能够不停止服务的前提下，动态的更新ETL规则文件，适配灵活处理流数据的目的。
下面对本申请提供的方法作进一步说明：
在一个示例性实施例中，所述在预先设置的存储空间内保存所述变更后的ETL规则之后，所述方法还包括：
判断所述变更后的ETL规则是否已成功更新到所述ETL规则库中，得到判断结果；
如果所述判断结果为已成功更新到所述ETL规则库中，则在所述存储空间内删除所述变更后的ETL规则。
在本示例性实施例中，通过判断变更后的ETL规则是否已经写入到规则库中，来确定是否可以删除存储在所述存储空间内的ETL规则，可以保证ETL规则库中信息的及时和准确性，。
在一个示例性实施例中，所述检测外部是否对预先存储的ETL规则进行更改，包括：
按照预先设置的时间策略，获取ETL规则文件的目录信息所在的文件的修改时间；
将获取到的修改时间与上一次获取的修改时间进行比较，得到比较结果；
根据比较结果，确定外部是否对所述ETL规则进行更改。
在本示例性实施例中，通过选择ETL规则文件的目录信息，借助该目录信息作为ETL规则是否变化的判断条件，实现方法简单，并借助对修改时间的比较，基于文件在发生修改时会变化修改时间的特性，快速判断出ETL规则是否发生变化。
在一个示例性实施例中，所述利用预先设置的ETL规则库和所述存储空间内的ETL规则，处理实时数据之前，所述方法还包括：
检测所述存储空间内是否存储有ETL规则；
如果检测所述存储空间内存储有ETL规则，再利用预先设置的ETL规则库和所述存储空间内的ETL规则，处理实时数据。
在本示例性实施例中，按照预先设置的时间周期，通过查询所述存储空间内是否存储有ETL规则，可以有效规避再次向所述存储空间查询ETL规则的步骤，实现对ETL规则查询操作的精简，提高处理效率。
在一个示例性实施例中，所述利用预先设置的ETL规则库和所述存储空间内的ETL规则，处理实时数据，包括：
在根据所述实时数据的数据类型匹配对应的ETL规则时，如果匹配到的ETL规则中存储在ETL规则库中的规则与存储在所述存储空间内的规则冲突时，利用所述存储在存储空间内的规则对所述实时数据进行处理。
在本示例性实施例中，如果变更后的ETL规则在ETL规则库中已经存在，在匹配ETL规则时，匹配结果有可能将在所述存储空间和所述ETL规则库中均查询到ETL规则，由于所述存储空间存储的ETL规则是最新的规则，则以所述存储空间存储的ETL规则为准，处理实时数据。
下面对本申请实施例提供的方法进行说明：
图2为本申请实施例提供的Flink集群处理实时数据的示例图。如图2所示，处理的方法包括
1:Flink集群启动后会启用周期任务读取存储在HDFS上ETL规则脚本文件，根据文件的修改时间来确定当前脚本是否有被修改来加载已修改过的脚本文件并编译好ETL脚本文件对象，放入ETL Cache中，方便后续匹配对应规则，进行调用。
2:Flink配置从Kafka或者其他平台读取流式数据,并转化为相应的事件对象。
3:根据流数据事件对象中约定好的数据类型获取对应的ETL规则脚本文件编译后的执行对象。
4:将当前流数据事件对象传入ETL规则脚本执行对象中，使其执行ETL规则脚本对象。
5:ETL规则脚本对象执行完成后返回的结果回传到FLink后续处理流程中，将处理后的数据写入Kafka，或者DB中。
6:修改过的ETL规则脚本文件，上传到HDFS上存储ETL规则的目录下面，通过1步骤中自动定时读取功能，加入到执行环境中，达到动态修改与添加ETL规则的目的。
本申请实施例提供的处理方法，基于Flink实时流数据的ETL处理中能够不停服，动态的更新ETL规则文件，适配灵活处理流数据的目的，节省重新部署整体服务的运维成本及时间成本。
本申请实施例提供一种处理实时数据的装置，包括处理器和存储器，其中存储器存储有计算机程序，所述处理器调用所述计算机程序以实现如下操作，包括：
检测外部是否对预先存储的ETL规则进行更改；
在检测到外部对所述ETL规则发生更改后，获取变更后的ETL规则，并在预先设置的存储空间内保存所述变更后的ETL规则；
在接收到实时数据后，利用预先设置的ETL规则库和所述存储空间内的ETL规则，处理实时数据。
在一个示例性实施例中，所述处理器调用所述计算机程序以实现在预先设置的存储空间内保存所述变更后的ETL规则的操作之后，所述处理器调用所述计算机程序还实现如下操作，包括：
判断所述变更后的ETL规则是否已成功更新到所述ETL规则库中，得到判断结果；
如果所述判断结果为已成功更新到所述ETL规则库中，则在所述存储空间内删除所述变更后的ETL规则。
在一个示例性实施例中，所述处理器调用所述计算机程序以实现检测外部是否对预先存储的ETL规则进行更改的操作，包括：
按照预先设置的时间策略，获取ETL规则文件的目录信息所在的文件的修改时间；
将获取到的修改时间与上一次获取的修改时间进行比较，得到比较结果；
根据比较结果，确定外部是否对所述ETL规则进行更改。
在一个示例性实施例中，所述处理器调用所述计算机程序以实现利用预先设置的ETL规则库和所述存储空间内的ETL规则，处理实时数据的操作之前，述处理器调用所述计算机程序还实现如下操作，包括：
检测所述存储空间内是否存储有ETL规则；
如果检测所述存储空间内存储有ETL规则，再利用预先设置的ETL规则库和所述存储空间内的ETL规则，处理实时数据。
在一个示例性实施例中，所述处理器调用所述计算机程序以实现利用预先设置的ETL规则库和所述存储空间内的ETL规则，处理实时数据的操作，包括：
在根据所述实时数据的数据类型匹配对应的ETL规则时，如果匹配到的ETL规则中存储在ETL规则库中的规则与存储在所述存储空间内的规则冲突时，利用所述存储在存储空间内的规则对所述实时数据进行处理。
本申请提供的装置实施例，检测外部是否对预先存储的萃取-转置-加载ETL规则进行更改，并在检测到外部对所述ETL规则发生更改后，获取变更后的ETL规则，并在预先设置的存储空间内保存所述变更后的ETL规则，在接收到实时数据后，利用预先设置的ETL规则库和所述存储空间内的ETL规则，处理实时数据，基于实时流数据的ETL处理中能够不停止服务的前提下，动态的更新ETL规则文件，适配灵活处理流数据的目的。
本领域普通技术人员可以理解，上文中所公开方法中的全部或某些步骤、系统、装置中的功能模块/单元可以被实施为软件、固件、硬件及其适当的组合。在硬件实施方式中，在以上描述中提及的功能模块/单元之间的划分不一定对应于物理组件的划分；例如，一个物理组件可以具有多个功能，或者一个功能或步骤可以由若干物理组件合作执行。某些组件或所有组件可以被实施为由处理器，如数字信号处理器或微处理器执行的软件，或者被实施为硬件，或者被实施为集成电路，如专用集成电路。这样的软件可以分布在计算机可读介质上，计算机可读介质可以包括计算机存储介质(或非暂时性介质)和通信介质(或暂时性介质)。如本领域普通技术人员公知的，术语计算机存储介质包括在用于存储信息(诸如计算机可读指令、数据结构、程序模块或其他数据)的任何方法或技术中实施的易失性和非易失性、可移除和不可移除介质。计算机存储介质包括但不限于RAM、ROM、EEPROM、闪存或其他存储器技术、CD-ROM、数字多功能盘(DVD)或其他光盘存储、磁盒、磁带、磁盘存储或其他磁存储装置、或者可以用于存储期望的信息并且可以被计算机访问的任何其他的介质。此外，本领域普通技术人员公知的是，通信介质通常包含计算机可读指令、数据结构、程序模块或者诸如载波或其他传输机制之类的调制数据信号中的其他数据，并且可包括任何信息递送介质。

Claims (10)

1.一种处理实时数据的方法，其特征在于，包括：
检测外部是否对预先存储的萃取-转置-加载ETL规则进行更改；
在检测到外部对所述ETL规则发生更改后，获取变更后的ETL规则，并在预先设置的存储空间内保存所述变更后的ETL规则；
在接收到实时数据后，利用预先设置的ETL规则库和所述存储空间内的ETL规则，处理实时数据。
2.根据权利要求1所述的方法，其特征在于，所述在预先设置的存储空间内保存所述变更后的ETL规则之后，所述方法还包括：
判断所述变更后的ETL规则是否已成功更新到所述ETL规则库中，得到判断结果；
如果所述判断结果为已成功更新到所述ETL规则库中，则在所述存储空间内删除所述变更后的ETL规则。
3.根据权利要求1或2所述的方法，其特征在于，所述检测外部是否对预先存储的ETL规则进行更改，包括：
按照预先设置的时间策略，获取ETL规则文件的目录信息所在的文件的修改时间；
将获取到的修改时间与上一次获取的修改时间进行比较，得到比较结果；
根据比较结果，确定外部是否对所述ETL规则进行更改。
4.根据权利要求1或2所述的方法，其特征在于，所述利用预先设置的ETL规则库和所述存储空间内的ETL规则，处理实时数据之前，所述方法还包括：
检测所述存储空间内是否存储有ETL规则；
如果检测所述存储空间内存储有ETL规则，再利用预先设置的ETL规则库和所述存储空间内的ETL规则，处理实时数据。
5.根据权利要求1或2所述的方法，其特征在于，所述利用预先设置的ETL规则库和所述存储空间内的ETL规则，处理实时数据，包括：
在根据所述实时数据的数据类型匹配对应的ETL规则时，如果匹配到的ETL规则中存储在ETL规则库中的规则与存储在所述存储空间内的规则冲突时，利用所述存储在存储空间内的规则对所述实时数据进行处理。
6.一种处理实时数据的装置，其特征在于，包括处理器和存储器，其中存储器存储有计算机程序，所述处理器调用所述计算机程序以实现如下操作，包括：
检测外部是否对预先存储的ETL规则进行更改；
在检测到外部对所述ETL规则发生更改后，获取变更后的ETL规则，并在预先设置的存储空间内保存所述变更后的ETL规则；
在接收到实时数据后，利用预先设置的ETL规则库和所述存储空间内的ETL规则，处理实时数据。
7.根据权利要求6所述的装置，其特征在于，所述处理器调用所述计算机程序以实现在预先设置的存储空间内保存所述变更后的ETL规则的操作之后，所述处理器调用所述计算机程序还实现如下操作，包括：
判断所述变更后的ETL规则是否已成功更新到所述ETL规则库中，得到判断结果；
如果所述判断结果为已成功更新到所述ETL规则库中，则在所述存储空间内删除所述变更后的ETL规则。
8.根据权利要求6或7所述的装置，其特征在于，所述处理器调用所述计算机程序以实现检测外部是否对预先存储的ETL规则进行更改的操作，包括：
按照预先设置的时间策略，获取ETL规则文件的目录信息所在的文件的修改时间；
将获取到的修改时间与上一次获取的修改时间进行比较，得到比较结果；
根据比较结果，确定外部是否对所述ETL规则进行更改。
9.根据权利要求6或7所述的装置，其特征在于，所述处理器调用所述计算机程序以实现利用预先设置的ETL规则库和所述存储空间内的ETL规则，处理实时数据的操作之前，述处理器调用所述计算机程序还实现如下操作，包括：
检测所述存储空间内是否存储有ETL规则；
如果检测所述存储空间内存储有ETL规则，再利用预先设置的ETL规则库和所述存储空间内的ETL规则，处理实时数据。
10.根据权利要求6或7所述的装置，其特征在于，所述处理器调用所述计算机程序以实现利用预先设置的ETL规则库和所述存储空间内的ETL规则，处理实时数据的操作，包括：
在根据所述实时数据的数据类型匹配对应的ETL规则时，如果匹配到的ETL规则中存储在ETL规则库中的规则与存储在所述存储空间内的规则冲突时，利用所述存储在存储空间内的规则对所述实时数据进行处理。
CN201910497240.XA 2019-06-10 2019-06-10 处理实时数据的方法和装置 Active CN110297859B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910497240.XA CN110297859B (zh) 2019-06-10 2019-06-10 处理实时数据的方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910497240.XA CN110297859B (zh) 2019-06-10 2019-06-10 处理实时数据的方法和装置

Publications (2)

Publication Number Publication Date
CN110297859A true CN110297859A (zh) 2019-10-01
CN110297859B CN110297859B (zh) 2021-07-06

Family

ID=68027812

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910497240.XA Active CN110297859B (zh) 2019-06-10 2019-06-10 处理实时数据的方法和装置

Country Status (1)

Country Link
CN (1) CN110297859B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112558995A (zh) * 2020-12-24 2021-03-26 恩亿科(北京)数据科技有限公司 一种基于TBDS Hadoop的Flink集成方法和系统
CN117251500A (zh) * 2023-11-20 2023-12-19 深圳市雁联计算系统有限公司 一种数据库动态读写分离的系统及方法

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101763261A (zh) * 2009-12-28 2010-06-30 山东中创软件商用中间件股份有限公司 数据抽取、转换和加载方法、系统及装置
CN101958987A (zh) * 2009-07-14 2011-01-26 中国电信股份有限公司 电信业务数据动态转换的方法及其系统
CN104239417A (zh) * 2014-08-19 2014-12-24 天津南大通用数据技术股份有限公司 一种分布式数据库数据分片后动态调整方法及装置
CN105550288A (zh) * 2015-12-10 2016-05-04 百度在线网络技术（北京）有限公司 数据库系统的更新方法和管理系统
CN107451151A (zh) * 2016-05-31 2017-12-08 北京京东尚科信息技术有限公司 基于分布式数据源的数据集中系统和方法
CN108376064A (zh) * 2016-11-24 2018-08-07 阿里巴巴集团控股有限公司 规则引擎系统及规则引擎的相关方法
CN109345377A (zh) * 2018-09-28 2019-02-15 北京九章云极科技有限公司 一种数据实时处理系统及数据实时处理方法
CN109783151A (zh) * 2017-11-10 2019-05-21 北京京东尚科信息技术有限公司 规则变更的方法和装置
CN109815221A (zh) * 2018-12-20 2019-05-28 中科曙光南京研究院有限公司 一种准实时流式数据清洗方法和清洗系统

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101958987A (zh) * 2009-07-14 2011-01-26 中国电信股份有限公司 电信业务数据动态转换的方法及其系统
CN101763261A (zh) * 2009-12-28 2010-06-30 山东中创软件商用中间件股份有限公司 数据抽取、转换和加载方法、系统及装置
CN104239417A (zh) * 2014-08-19 2014-12-24 天津南大通用数据技术股份有限公司 一种分布式数据库数据分片后动态调整方法及装置
CN105550288A (zh) * 2015-12-10 2016-05-04 百度在线网络技术（北京）有限公司 数据库系统的更新方法和管理系统
CN107451151A (zh) * 2016-05-31 2017-12-08 北京京东尚科信息技术有限公司 基于分布式数据源的数据集中系统和方法
CN108376064A (zh) * 2016-11-24 2018-08-07 阿里巴巴集团控股有限公司 规则引擎系统及规则引擎的相关方法
CN109783151A (zh) * 2017-11-10 2019-05-21 北京京东尚科信息技术有限公司 规则变更的方法和装置
CN109345377A (zh) * 2018-09-28 2019-02-15 北京九章云极科技有限公司 一种数据实时处理系统及数据实时处理方法
CN109815221A (zh) * 2018-12-20 2019-05-28 中科曙光南京研究院有限公司 一种准实时流式数据清洗方法和清洗系统

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112558995A (zh) * 2020-12-24 2021-03-26 恩亿科(北京)数据科技有限公司 一种基于TBDS Hadoop的Flink集成方法和系统
CN117251500A (zh) * 2023-11-20 2023-12-19 深圳市雁联计算系统有限公司 一种数据库动态读写分离的系统及方法
CN117251500B (zh) * 2023-11-20 2024-02-09 深圳市雁联计算系统有限公司 一种数据库动态读写分离的方法

Also Published As

Publication number Publication date
CN110297859B (zh) 2021-07-06

Similar Documents

Publication Publication Date Title
CN109117169B (zh) 用于修复内核漏洞的方法和装置
US10977062B2 (en) System for starting virtual machine using mirror image file stored in units of a distributed block storage system mapped to units of a logical volume
US10380103B2 (en) Object data updating method and apparatus in an object storage system
CN108287708B (zh) 一种数据处理方法、装置、服务器及计算机可读存储介质
CN105446794A (zh) 一种基于虚拟机的磁盘操作方法、装置及系统
CN110297859A (zh) 处理实时数据的方法和装置
US20210157513A1 (en) Data reading method, apparatus, and system, and distributed system
CN105260639A (zh) 一种脸部识别系统的数据更新的方法及装置
CN104881454A (zh) 参数的更新方法及系统
CN109829678B (zh) 一种回滚处理方法、装置以及电子设备
US10387887B2 (en) Bloom filter driven data synchronization
CN112148709A (zh) 数据迁移方法、系统及存储介质
CN107665142B (zh) 一种检测应用程序业务流程中断的方法、终端及计算机可读存储介质
CN109471802A (zh) 一种Python网页中的异常处理的方法及装置
CN109286532A (zh) 云计算系统中告警信息的管理方法和装置
CN106528658B (zh) 应用文件的查找方法及装置
CN106557385B (zh) 数据快照方法和存储设备
CN105260132B (zh) 一种热加载磁盘过滤驱动的方法与设备
CN109635040B (zh) 实时数据迁移方法、装置及存储介质
CN109347896B (zh) 一种信息处理方法、设备和计算机可读存储介质
CN106933913B (zh) 数据处理方法和装置
CN112231290A (zh) 一种本地日志的处理方法、装置、设备及存储介质
CN109428915B (zh) 数据获取方法及装置
CN112947846B (zh) 对象存储系统的批处理任务执行方法、装置及电子设备
CN111124882B (zh) 一种实现应用测试的方法、装置、计算机存储介质及终端

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant