CN110069331A - 一种数据处理方法、装置及电子设备 - Google Patents
一种数据处理方法、装置及电子设备 Download PDFInfo
- Publication number
- CN110069331A CN110069331A CN201910332921.0A CN201910332921A CN110069331A CN 110069331 A CN110069331 A CN 110069331A CN 201910332921 A CN201910332921 A CN 201910332921A CN 110069331 A CN110069331 A CN 110069331A
- Authority
- CN
- China
- Prior art keywords
- water level
- level value
- target
- operator
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/48—Program initiating; Program switching, e.g. by interrupt
- G06F9/4806—Task transfer initiation or dispatching
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
- G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
- G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
- G06F9/5055—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals considering software capabilities, i.e. software resources associated or available to the machine
Landscapes
- Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Testing And Monitoring For Control Systems (AREA)
Abstract
本发明提供一种数据处理方法、装置及电子设备，该数据处理方法包括：获取目标算子的待处理数据；根据所述待处理数据的时间戳，以及所述目标算子的当前水位值，确定所述目标算子的目标水位值；当根据所述目标水位值确定触发数据窗口时，对所述数据窗口中的数据进行处理。本发明的实施例，可以实现基于单算子的局部水位推进方式，即在推进目标算子的水位时，仅考虑流入该算子的数据情况以及该算子目前的水位，不考虑各上游相关算子的水位情况，从而避免各上游相关算子的水位情况影响该算子的水位，避免该算子的水位表现出过快或者过慢的问题，保证数据处理顺利进行。
Description
技术领域
本发明涉及数据处理技术领域，尤其涉及一种数据处理方法、装置及电子设备。
背景技术
流式计算中，水位(watermark)可以标志系统中未完成的数据的最早的时间戳，且是不可回退的。水位被广泛地应用在数据窗口计算的场景，比如多流拼接、聚合计算、水位落盘等。
目前，当基于水位进行数据窗口计算时，通常采用全局水位推进方式确定算子的水位，即在确定某个算子的水位时，该算子的各上游相关算子的水位情况都要考虑。然而，采用全局水位推进方式常常带来水位表现出“过快”或“过慢”的问题，该“过快”是指对于正常数据，百分位水位过快地前进使得其不能参与计算，该“过慢”是指因某些异常数据影响了全局的水位推进。
发明内容
本发明实施例提供一种数据处理方法、装置及电子设备，以解决目前的全局水位推进方式所带来的水位表现出过快或过慢的问题。
为了解决上述技术问题，本发明是这样实现的：
第一方面，本发明实施例提供了一种数据处理方法，包括：
获取目标算子的待处理数据；
根据所述待处理数据的时间戳，以及所述目标算子的当前水位值，确定所述目标算子的目标水位值；
当根据所述目标水位值确定触发数据窗口时，对所述数据窗口中的数据进行处理。
第二方面，本发明实施例提供了一种数据处理装置，包括：
获取模块，用于获取目标算子的待处理数据；
第一确定模块，用于根据所述待处理数据的时间戳，以及所述目标算子的当前水位值，确定所述目标算子的目标水位值；
处理模块，用于当根据所述目标水位值确定触发数据窗口时，对所述数据窗口中的数据进行处理。
第三方面，本发明实施例提供了一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其中，所述计算机程序被所述处理器执行时可实现上述数据处理方法的步骤。
第四方面，本发明实施例提供了一种计算机可读存储介质，其上存储有计算机程序，其中，所述计算机程序被处理器执行时可实现上述数据处理方法的步骤。
本发明实施例中，获取目标算子的待处理数据，根据待处理数据的时间戳，以及目标算子的当前水位值，确定目标算子的目标水位值，当根据目标水位值确定触发数据窗口时，对所述数据窗口中的数据进行处理，可以实现基于单算子的局部水位推进方式，即在推进目标算子的水位时，仅考虑流入该算子的数据情况以及该算子目前的水位，不考虑各上游相关算子的水位情况，从而避免各上游相关算子的水位情况影响该算子的水位，避免该算子的水位表现出过快或者过慢的问题，保证数据处理顺利进行。
附图说明
图1为本发明实施例的数据处理方法的流程图；
图2为本发明具体实例的水位控制示意图；
图3为本发明具体实例的水位控制流程示意图；
图4为本发明实施例的数据处理装置的结构示意图；
图5为本发明实施例的电子设备的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
为了解决目前的全局水位推进方式所带来的水位表现出过快或过慢的问题，本发明实施例中提出了基于单算子的局部水位推进方式，即在确定某个算子的水位时，仅考虑流入该算子的数据情况以及该算子目前的水位，不考虑各上游相关算子的水位情况，从而避免各上游相关算子的水位情况影响该算子的水位，避免该算子的水位表现出过快或者过慢的问题。
请参见图1，图1是本发明实施例提供的一种数据处理方法的流程图，该方法应用于电子设备，如图1所示，该方法包括如下步骤：
步骤101：获取目标算子的待处理数据。
可理解的，本实施例中的目标算子特指某单个算子，是相应场景下进行数据窗口计算的单算子。此待处理数据的类型和表现形式依具体应用场景而定，本发明实施例不对此进行限制。
步骤102：根据待处理数据的时间戳，以及目标算子的当前水位值，确定目标算子的目标水位值。
其中，数据的时间戳对应的时间为数据时间(Event time)，比如数据日志时间。与数据时间相区分的是系统时间(Processing time)，该系统时间比如为数据处理时间。
步骤103：当根据所述目标水位值确定触发数据窗口时，对所述数据窗口中的数据进行处理。
本实施例中，上述数据窗口可选为固定窗口(fixed window)，也可选为滑动窗口(sliding window)。上述数据窗口可以为基于数据时间(Event time)的窗口。且当分配(assign)数据至对应的数据窗口时，可以根据数据的时间戳(timestamp)对应的时间将其分配至对应的数据窗口。
目标算子的水位值(包括当前水位值和目标水位值)可以理解为低水位值(lowwatermark，lwm)。目标算子的水位值可以作为触发源来触发数据窗口，即当目标算子的水位值达到某个数据窗口中数据的上限时间时，确定触发该数据窗口。
需说明的是，上述对数据窗口中数据进行处理的方式是依据具体应用场景而定的，比如可以为聚合、拼接等，本发明实施例不对此进行限制。而本发明实施例适用的场景比如可以为单算子内的聚合、单数据分片的聚合、相关数据分片的拼接等。
本发明实施例的数据处理方法，获取目标算子的待处理数据，根据待处理数据的时间戳，以及目标算子的当前水位值，确定目标算子的目标水位值，当根据目标水位值确定触发数据窗口时，对所述数据窗口中的数据进行处理，可以实现基于单算子的局部水位推进方式，即在推进目标算子的水位时，仅考虑流入该算子的数据情况以及该算子目前的水位，不考虑各上游相关算子的水位情况，从而避免各上游相关算子的水位情况影响该算子的水位，避免该算子的水位表现出过快或者过慢的问题，保证数据处理顺利进行。
本发明实施例中，可选的，上述步骤102可包括：
根据待处理数据的时间戳，计算目标算子的第一水位值；
比较第一水位值和当前水位值的高低；
当第一水位值高于当前水位值时，将第一水位值确定为目标水位值。
进一步的，所述比较第一水位值和当前水位值的高低之后，上述步骤102还可包括：
当第一水位值低于当前水位值时，将当前水位值确定为目标水位值。
这样，通过将第一水位值和当前水位值中的较高者确定为目标水位值，可以保证目标算子的水位不回退，保证数据处理的正常进行。
进一步的，上述根据待处理数据的时间戳，计算目标算子的第一水位值的过程可为：
将所述时间戳对应的时间减去预设延迟时间得到的目标时间，确定为所述第一水位值。
其中，上述预设延迟时间可以基于实际业务需求由业务人员预先设置。比如，若预设延迟时间为30min，算子A的待处理数据的时间戳对应的时间为11:43，则可确定算子A的lwm为11:13。
这样，可以实现基于实际的业务需求来推进水位。
本发明实施例中，为了满足多样的业务需求，可以部署水位控制中心，并借助开启或者关闭水位控制中心来决定采用的水位推进方式。即当开启水位控制中心时，采用全局水位推进方式；或者，当关闭水位控制中心时，采用局部水位推进方式。
可选的，上述步骤102可包括：
判断水位控制中心是否开启；其中，所述水位控制中心用于获取包括所述目标算子在内的各个相关算子的当前水位值，并全局推进所述各个相关算子的水位值；
当所述水位控制中心未开启时，根据所述待处理数据的时间戳，以及所述目标算子的当前水位值，确定所述目标算子的目标水位值。
进一步的，所述判断水位控制中心是否开启之后，所述方法还包括：
当所述水位控制中心开启时，根据所述待处理数据的时间戳，以及所述各个相关算子的当前水位值，确定所述目标算子的目标水位值。
这样，通过部署水位控制中心以及开启或者关闭水位控制中心，可以对水位推进方式进行选择，从而满足多样的业务需求。
需指出的是，本实施例中采用的全局水位推进方式与现有方式相同，在此不再赘述。
下面，结合图2和图3对本发明具体实例中局部水位控制进行说明。
本发明具体实例中，参见图2所示，PA、PB、PC和PD分别为流式计算中的算子，此为逻辑概念，且PA和PB为PC的上游算子，PC为PD的上游算子；实例(processor element)为算子实例，可以理解为一个进程；水位控制中心(watermark center)为各个算子的控制中心，各个算子向其汇报水位；当全局水位推进时，此水位控制中心需开启，而当局部水位推进时，此水位控制中心要关闭。
对于算子实例，如图2所示，可至少包括窗口管理单元(window module)、水位管理单元(watermark module)、函数调用单元(task main)、数据输入单元(data source)和数据输出单元(data sink)。其中，该窗口管理单元负责管理数据窗口，比如数据窗口分配、触发等；该水位管理单元负责推进相应算子的水位；该函数调用单元负责调用用户函数以及保障计算准确性；该数据输入单元负责拉取待处理数据；该数据输出单元负责发送处理结果。
进一步的，以目标算子为PC为例，参见图3所示，本发明具体实例中的数据处理过程可包括如下步骤：
S1：数据输入单元(data source)基于上游算子(比如PA或者PB)的请求，从上游算子拉取待处理数据(tuple数据)。
S2：函数调用单元(task main)调用用户函数f(tuple，lwm)->lwm_new，并基于tuple数据的时间戳，计算PC的lwm即lwm_new，并发送lwm_new给水位管理单元。
S3：水位管理单元基于调用函数update_input_lwm，确定目标lwm，进而推进水位；该目标lwm＝max(当前lwm，lwm_new)。
S4：窗口管理单元将tuple数据分配(assign)到对应的数据窗口。
S5：水位管理单元查询内部lwm即目标lwm。
S6：窗口管理单元根据查询得到的内部lwm，决定触发(trigger)相应数据窗口的处理；
S7：若获得处理结果(new-tuples数据)，数据输出单元缓存该处理结果，并基于下游算子(比如PD)的请求，向下游算子发送处理结果。
比如，在报表的场景下，业务允许数据有30分钟的延迟(即延迟30分钟以上的数据被丢掉)，lwm推进的规则为：lwm＝max(当前lwm，tuple.timestamp-30min)，并且期望每5分钟下发一次数据，此表示数据窗口大小为5分钟。假设目标算子PC的lwm为15:11时，PC接收到一条时间戳为15:43的数据Tuple-1，则PC的lwm将被推进到15:13(即15:43-30min，高于15:11)，且该条数据Tuple-1落到[15:40-15:45)的数据窗口内。当PC接收到时间戳为16:15的数据Tuple-2且此时lwm<15:45时，PC的lwm将被推进到15:45；推进后，数据窗口[15:40-15:45)会被触发，该数据窗口[15:40-15:45)内的数据包括Tuple-1参与计算(比如uv)并且下发。此时，若PB的lwm才到15:00或者99％很早地到了17：00，则不会影响PC的窗口计算，PC的lwm并不会表现出过快或者过慢的问题。
请参见图4，图4是本发明实施例提供的一种数据处理装置的结构示意图，如图4所示，该数据处理装置40包括：
获取模块41，用于获取目标算子的待处理数据；
第一确定模块42，用于根据所述待处理数据的时间戳，以及所述目标算子的当前水位值，确定所述目标算子的目标水位值；
处理模块43，用于当根据所述目标水位值确定触发数据窗口时，对所述数据窗口中的数据进行处理。
本发明实施例的数据处理装置，可以实现基于单算子的局部水位推进方式，即在推进目标算子的水位时，仅考虑流入该算子的数据情况以及该算子目前的水位，不考虑各上游相关算子的水位情况，从而避免各上游相关算子的水位情况影响该算子的水位，避免该算子的水位表现出过快或者过慢的问题，保证数据处理顺利进行。
本发明实施例中，可选的，所述第一确定模块42包括：
计算单元，用于根据所述待处理数据的时间戳，计算所述目标算子的第一水位值；
比较单元，用于比较所述第一水位值和所述当前水位值的高低；
第一确定单元，用于当所述第一水位值高于所述当前水位值时，将所述第一水位值确定为所述目标水位值。
可选的，所述第一确定模块42还包括：
第二确定单元，用于当所述第一水位值低于所述当前水位值时，将所述当前水位值确定为所述目标水位值。
可选的，所述计算单元具体用于：
将所述时间戳对应的时间减去预设延迟时间得到的目标时间，确定为所述第一水位值。
可选的，所述第一确定模块42包括：
判断单元，用于判断水位控制中心是否开启；其中，所述水位控制中心用于获取包括所述目标算子在内的各个相关算子的当前水位值，并全局推进所述各个相关算子的水位值；
第三确定单元，用于当所述水位控制中心未开启时，根据所述待处理数据的时间戳，以及所述目标算子的当前水位值，确定所述目标算子的目标水位值。
可选的，所述装置还包括：
第二确定模块，用于当所述水位控制中心开启时，根据所述待处理数据的时间戳，以及所述各个相关算子的当前水位值，确定所述目标算子的目标水位值。
此外，本发明实施例还提供了一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其中，所述计算机程序被所述处理器执行时可实现上述数据处理方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
参见图5，图5是本发明实施例提供的一种电子设备的结构示意图，如图5所示，电子设备50包括：处理器51、存储器52及存储在所述存储器52上并可在所述处理器上运行的计算机程序，电子设备50中的各个组件通过总线接口53耦合在一起，所述计算机程序被所述处理器51执行时可实现上述应用于电子设备的数据处理方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，其中所述计算机程序被处理器执行时可实现上述数据处理方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体,可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台电子设备(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本发明各个实施例所述的方法。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。
Claims (14)
1.一种数据处理方法，其特征在于，包括：
获取目标算子的待处理数据；
根据所述待处理数据的时间戳，以及所述目标算子的当前水位值，确定所述目标算子的目标水位值；
当根据所述目标水位值确定触发数据窗口时，对所述数据窗口中的数据进行处理。
2.根据权利要求1所述的方法，其特征在于，所述根据所述待处理数据的时间戳，以及所述目标算子的当前水位值，确定所述目标算子的目标水位值，包括：
根据所述待处理数据的时间戳，计算所述目标算子的第一水位值；
比较所述第一水位值和所述当前水位值的高低；
当所述第一水位值高于所述当前水位值时，将所述第一水位值确定为所述目标水位值。
3.根据权利要求2所述的方法，其特征在于，所述比较所述第一水位值和所述当前水位值的高低之后，所述根据所述待处理数据的时间戳，以及所述目标算子的当前水位值，确定所述目标算子的目标水位值，还包括：
当所述第一水位值低于所述当前水位值时，将所述当前水位值确定为所述目标水位值。
4.根据权利要求2所述的方法，其特征在于，所述根据所述待处理数据的时间戳，计算所述目标算子的第一水位值，包括：
将所述时间戳对应的时间减去预设延迟时间得到的目标时间，确定为所述第一水位值。
5.根据权利要求1所述的方法，其特征在于，所述根据所述待处理数据的时间戳，以及所述目标算子的当前水位值，确定所述目标算子的目标水位值，包括：
判断水位控制中心是否开启；其中，所述水位控制中心用于获取包括所述目标算子在内的各个相关算子的当前水位值，并全局推进所述各个相关算子的水位值；
当所述水位控制中心未开启时，根据所述待处理数据的时间戳，以及所述目标算子的当前水位值，确定所述目标算子的目标水位值。
6.根据权利要求5所述的方法，其特征在于，所述判断水位控制中心是否开启之后，所述方法还包括：
当所述水位控制中心开启时，根据所述待处理数据的时间戳，以及所述各个相关算子的当前水位值，确定所述目标算子的目标水位值。
7.一种数据处理装置，其特征在于，包括：
获取模块，用于获取目标算子的待处理数据；
第一确定模块，用于根据所述待处理数据的时间戳，以及所述目标算子的当前水位值，确定所述目标算子的目标水位值；
处理模块，用于当根据所述目标水位值确定触发数据窗口时，对所述数据窗口中的数据进行处理。
8.根据权利要求7所述的装置，其特征在于，所述第一确定模块包括：
计算单元，用于根据所述待处理数据的时间戳，计算所述目标算子的第一水位值；
比较单元，用于比较所述第一水位值和所述当前水位值的高低；
第一确定单元，用于当所述第一水位值高于所述当前水位值时，将所述第一水位值确定为所述目标水位值。
9.根据权利要求8所述的装置，其特征在于，所述第一确定模块还包括：
第二确定单元，用于当所述第一水位值低于所述当前水位值时，将所述当前水位值确定为所述目标水位值。
10.根据权利要求8所述的装置，其特征在于，所述计算单元具体用于：
将所述时间戳对应的时间减去预设延迟时间得到的目标时间，确定为所述第一水位值。
11.根据权利要求7所述的装置，其特征在于，所述第一确定模块包括：
判断单元，用于判断水位控制中心是否开启；其中，所述水位控制中心用于获取包括所述目标算子在内的各个相关算子的当前水位值，并全局推进所述各个相关算子的水位值；
第三确定单元，用于当所述水位控制中心未开启时，根据所述待处理数据的时间戳，以及所述目标算子的当前水位值，确定所述目标算子的目标水位值。
12.根据权利要求11所述的装置，其特征在于，所述装置还包括：
第二确定模块，用于当所述水位控制中心开启时，根据所述待处理数据的时间戳，以及所述各个相关算子的当前水位值，确定所述目标算子的目标水位值。
13.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述计算机程序被所述处理器执行时实现如权利要求1至6中任一项所述的数据处理方法的步骤。
14.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至6中任一项所述的数据处理方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910332921.0A CN110069331A (zh) | 2019-04-24 | 2019-04-24 | 一种数据处理方法、装置及电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910332921.0A CN110069331A (zh) | 2019-04-24 | 2019-04-24 | 一种数据处理方法、装置及电子设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110069331A true CN110069331A (zh) | 2019-07-30 |
Family
ID=67368683
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910332921.0A Pending CN110069331A (zh) | 2019-04-24 | 2019-04-24 | 一种数据处理方法、装置及电子设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110069331A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111478949A (zh) * | 2020-03-25 | 2020-07-31 | 中国建设银行股份有限公司 | 数据处理方法和装置 |
| CN113127512A (zh) * | 2020-01-15 | 2021-07-16 | 百度在线网络技术（北京）有限公司 | 多数据流的数据拼接触发方法、装置、电子设备和介质 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107124329A (zh) * | 2017-04-25 | 2017-09-01 | 济南大学 | 基于低水位滑动时间窗口的离群数据发现方法及系统 |
| US20180069777A1 (en) * | 2015-06-09 | 2018-03-08 | International Business Machines Corporation | Limiting data output from windowing operations |
| CN108683560A (zh) * | 2018-05-15 | 2018-10-19 | 中国科学院软件研究所 | 一种大数据流处理框架的性能基准测试系统及方法 |
-
2019
- 2019-04-24 CN CN201910332921.0A patent/CN110069331A/zh active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20180069777A1 (en) * | 2015-06-09 | 2018-03-08 | International Business Machines Corporation | Limiting data output from windowing operations |
| CN107124329A (zh) * | 2017-04-25 | 2017-09-01 | 济南大学 | 基于低水位滑动时间窗口的离群数据发现方法及系统 |
| CN108683560A (zh) * | 2018-05-15 | 2018-10-19 | 中国科学院软件研究所 | 一种大数据流处理框架的性能基准测试系统及方法 |
Non-Patent Citations (4)
| Title |
|---|
| BETREE_FC: "Flink WaterMark（水位线）分布式执行理解", 《HTTPS://BLOG.CSDN.NET/U013560925/ARTICLE/DETAILS/82499612》 * |
| LMALDS李麦迪: "Flink流计算编程--watermark（水位线）简介", 《HTTPS://BLOG.CSDN.NET/LMALDS/ARTICLE/DETAILS/52704170》 * |
| 写BUG的张小天: "Flink生成Timestamp和Watermark", 《HTTPS://WWW.JIANSHU.COM/P/8C4A1861E49F》 * |
| 金竹: "Apache Flink漫谈系列(03)-Watermark", 《HTTPS://DEVELOPER.ALIYUN.COM/ARTICLE/666056》 * |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113127512A (zh) * | 2020-01-15 | 2021-07-16 | 百度在线网络技术（北京）有限公司 | 多数据流的数据拼接触发方法、装置、电子设备和介质 |
| CN113127512B (zh) * | 2020-01-15 | 2023-09-29 | 百度在线网络技术（北京）有限公司 | 多数据流的数据拼接触发方法、装置、电子设备和介质 |
| CN111478949A (zh) * | 2020-03-25 | 2020-07-31 | 中国建设银行股份有限公司 | 数据处理方法和装置 |
| CN111478949B (zh) * | 2020-03-25 | 2022-05-24 | 中国建设银行股份有限公司 | 数据处理方法和装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN104516806B (zh) | 移动终端的耗电信息的检测结果展示方法及系统 | |
| CN108400927B (zh) | 一种针对高并发消息的消息推送方法及装置 | |
| US9614925B2 (en) | Intelligent file pre-fetch based on access patterns | |
| CN109067890A (zh) | 一种基于docker容器的CDN节点边缘计算系统 | |
| CN110069331A (zh) | 一种数据处理方法、装置及电子设备 | |
| CN108347374B (zh) | 一种阻止非法消息的消息推送方法及装置 | |
| CN109472441B (zh) | 调拨物资的方法、处理装置、设备及存储介质 | |
| US10574786B2 (en) | Methods and systems for controlled wireless distribution of data for use at a location without reliable wireless connectivity | |
| CN109756528A (zh) | 频率控制方法及装置、设备、存储介质、服务器 | |
| CN109803285A (zh) | 一种小区处理方法、装置及网络设备 | |
| US8774031B1 (en) | Network capacity forecasting and maintenance | |
| CN114640599A (zh) | 意图的冲突处理方法、装置、存储介质及计算机程序产品 | |
| CN110071952A (zh) | 服务调用量的控制方法和装置 | |
| Möllering et al. | An optimal critical level policy for inventory systems with two demand classes | |
| CN110673955B (zh) | 优化内存的方法、装置、系统、终端和存储介质 | |
| CN110348856A (zh) | 案件转交处理方法、装置、计算机设备及存储介质 | |
| CN109976896A (zh) | 业务排重处理方法和装置 | |
| US12010263B2 (en) | Phone number list management | |
| CN106534231A (zh) | 一种网络资源的使用限额的控制方法、装置及系统 | |
| US9706414B2 (en) | Method and apparatus for determining data flow rate on service access port | |
| CN103731453A (zh) | 云环境中的服务资源的配额管理方法和装置 | |
| Suhasini et al. | Queueing model with non-homogeneous bulk arrivals having state-dependent service rates | |
| Andonov et al. | Generalized net representations of the causal structure of a queuing system | |
| CN110233941A (zh) | 一种基于马尔科夫模型的热线话务信道预测方法及系统 | |
| CN110348801A (zh) | 数据错误流转更改方法、装置、计算机设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20190730 |
|
| RJ01 | Rejection of invention patent application after publication |