CN111142942A - 窗口数据的处理方法、装置、服务器及存储介质 - Google Patents

窗口数据的处理方法、装置、服务器及存储介质 Download PDF

Info

Publication number
CN111142942A
CN111142942A CN201911363714.8A CN201911363714A CN111142942A CN 111142942 A CN111142942 A CN 111142942A CN 201911363714 A CN201911363714 A CN 201911363714A CN 111142942 A CN111142942 A CN 111142942A
Authority
CN
China
Prior art keywords
window
data
processing
threshold
change rate
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911363714.8A
Other languages
English (en)
Other versions
CN111142942B (zh
Inventor
彭成寒
周晓敏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Envision Innovation Intelligent Technology Co Ltd
Envision Digital International Pte Ltd
Original Assignee
Shanghai Envision Innovation Intelligent Technology Co Ltd
Envision Digital International Pte Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Envision Innovation Intelligent Technology Co Ltd, Envision Digital International Pte Ltd filed Critical Shanghai Envision Innovation Intelligent Technology Co Ltd
Priority to CN201911363714.8A priority Critical patent/CN111142942B/zh
Publication of CN111142942A publication Critical patent/CN111142942A/zh
Application granted granted Critical
Publication of CN111142942B publication Critical patent/CN111142942B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/30—Arrangements for executing machine instructions, e.g. instruction decode
    • G06F9/38—Concurrent instruction execution, e.g. pipeline or look ahead
    • G06F9/3836—Instruction issuing, e.g. dynamic instruction scheduling or out of order instruction execution
    • G06F9/3851—Instruction issuing, e.g. dynamic instruction scheduling or out of order instruction execution from multiple instruction streams, e.g. multistreaming
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本申请实施例公开了一种窗口数据的处理方法、装置、服务器及存储介质，属于计算机领域。该方法包括：当目标数据进入窗口时，对窗口计数器进行加一操作，窗口计数器用于统计窗口中数据的数量；获取窗口计数器的计数器数值，并获取目标数据的时间戳；若计数器数值达到第一数量阈值，或，根据目标数据的时间戳确定目标数据超时，则对窗口内的数据进行处理。本申请实施例中，通过为窗口设置计数器，实现了对流数据的批量处理；并且，还为窗口增设了超时机制，当窗口等待时间到达预定时间时，对窗口内的数据进行处理，避免由于计数器阈值设置不合理等因素，导致窗口内的数据长时间得不到处理，提高了数据处理效率以及及时性。

Description

窗口数据的处理方法、装置、服务器及存储介质
技术领域
本申请实施例涉及计算机领域，特别涉及一种窗口数据的处理方法、装置、服务器及存储介质。
背景技术
流数据是一个随时间延续而无限增长的动态数据集合，需要按时间顺序进行处理，弗林克(Flink)就是一种开源流处理引擎，用于对批量数据和流数据进行数据处理。
相关技术中，通过在数据处理引擎中定义窗口，对流数据进行聚合处理，窗口设置有触发机制，常用的触发机制为计数器，当进入窗口的数据个数达到阈值时，启动计算程序对窗口内的数据进行处理。
然而，相关技术中计数器的阈值为固定值，当阈值设置不合理时，数据不能及时得到处理，会占用系统资源。
发明内容
本申请实施例提供了一种窗口数据的处理方法、装置、服务器及存储介质。
所述技术方案如下：
一方面，本申请实施例提供了一种窗口数据的处理方法，所述方法包括：
当目标数据进入窗口时，对窗口计数器进行加一操作，所述窗口计数器用于统计窗口中数据的数量；
获取所述窗口计数器的计数器数值，并获取所述目标数据的时间戳；
若所述计数器数值达到第一数量阈值，或，根据所述目标数据的时间戳确定所述目标数据超时，则对所述窗口内的数据进行处理，所述第一数量阈值表示所述窗口允许存储所述目标数据的数量。
另一方面，本申请实施例提供了一种窗口数据的处理装置，所述装置包括：
计数模块，用于当目标数据进入窗口时，对窗口计数器进行加一操作，所述窗口计数器用于统计窗口中数据的数量；
第一获取模块，用于获取所述窗口计数器的计数器数值，并获取所述目标数据的时间戳；
处理模块，用于若所述计数器数值达到第一数量阈值，或，根据所述目标数据的时间戳确定所述目标数据超时，则对所述窗口内的数据进行处理。
另一方面，本申请实施例提供了一种服务器，所述服务器包括处理器和存储器，所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现如上述方面所述的窗口数据的处理方法。
另一方面，本申请实施例提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现如上述方面所述的窗口数据的处理方法。
本申请实施例提供的技术方案带来的有益效果至少包括:
本申请实施例中，通过为窗口设置计数器，统计窗口中数据的数量，窗口中每增加一个数据，计数器数值加一，当计数器数值达到计数器的阈值时，启动窗口计算，实现了对流数据的批量处理；并且，还为窗口增设了超时机制，当窗口等待时间到达预定时间，即当前进入窗口的目标数据为超时数据时，对窗口内的数据进行处理，避免由于计数器阈值设置不合理等因素，导致窗口内的数据长时间得不到处理，提高了数据处理效率以及及时性。
附图说明
图1是相关技术中窗口触发过程的示意图；
图2是根据一示例性实施例示出的实施环境的示意图；
图3是根据一示例性实施例示出的窗口数据的处理方法的流程图；
图4是根据另一示例性实施例示出的窗口数据的处理方法的流程图；
图5是根据一示例性实施例示出的数据传输过程和时间节点的示意图；
图6是根据一示例性实施例示出的窗口分布示意图；
图7是根据一示例性实施例示出的窗口数据的处理装置的结构框图；
图8是根据一示例性实施例示出的服务器的结构示意图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施方式作进一步地详细描述。
在本文中提及的“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。
物联网系统中，大量采集设备接入网络，并将产生的数据上传到云端，因此，云端需要具备对大量数据的实时处理能力。一些应用场景下，采集设备产生的是流数据，即顺序、大量、快速、连续到达的数据序列，可被视为随时间延续而无限增长的动态数据集合。相关技术中，通常采用Flink系统提供的基于窗口的计算方法处理流数据。如图1所示，常用的窗口触发机制为计数器触发和时间触发。采用时间触发方式时，在窗口开启时开始计时，数据不断流入窗口中，当到达预定的窗口运行时间(例如1分钟)时，窗口停止接收数据，并对窗口内的数据进行计算处理。采用计数器触发时，首先设置窗口计数器的阈值(例如，图1中计数器阈值为3)，数据不断流入窗口中，当流入窗口的数据的个数达到计数器的阈值时，Flink启动计算任务，对窗口内的数据进行计算处理。
然而，在实际应用场景中，采集设备在不同时间段采集数据的速度、数量会发生变化，因此为窗口计数器设置合理的阈值或为窗口设置合理的运行时长非常困难。例如当阈值设置偏大时，若某一时间段内采集设备采集数据量少，可能导致很长一段时间内窗口无法被启动计算，该段时间的数据得不到及时的处理；当窗口运行时长设置偏小时，每次对窗口内数据进行处理时，由于窗口内的数据量很少，从而造成资源浪费；当窗口运行时长设置偏大时，窗口内的数据等待时间较长，导致窗口内的数据得不到及时处理。
为了解决上述问题，本申请实施例提供了一种窗口数据的处理方法，请参考图2，其示出了本申请一个示例性实施例提供的实施环境的示意图。该实施环境中包括采集设备201和服务器202。
采集设备201是具备数据采集功能的设备，其可以是设置有风速检测仪、温湿度检测仪、光伏传感器等传感器的新能源设备，比如风力发电机、光伏板。如图2所示，多台采集设备201分别采集的数据，并将采集到的数据发送给服务器202，数据中包含有时间戳。
采集设备201与服务器202之间通过有线或无线网络相连，在一种可能的应用场景下，采集设备201通过网关设备向服务器202发送数据。
服务器202用于处理采集设备201发送的数据，其可以是一台服务器，若干台服务器构成的服务器集群或云计算中心。可选的，服务器202获取采集设备201发送的数据，通过窗口从流数据中截取窗口对应范围内的数据，当窗口被触发时，停止接收数据，并对窗口内的数据进行计算处理。
请参考图3，其示出了本申请一个示例性实施例提供的窗口数据的处理方法的流程图。本实施例以该方法用于服务器为例进行说明，该方法包括如下步骤：
步骤301，当目标数据进入窗口时，对窗口计数器进行加一操作，窗口计数器用于统计窗口中数据的数量。
流数据是一个随时间延续、无限增长的数据序列，服务器通过窗口截取数据，实现对流数据的分批处理。
在一种可能的实施方式中，服务器采用计数器的方式控制进入窗口的数据的数量，当目标数据进入窗口时，服务器对窗口计数器进行加一操作，表示窗口内的数据的数量加一。
步骤302，获取窗口计数器的计数器数值，并获取目标数据的时间戳。
窗口计数器加一后，服务器获取此时的计数器数值，该计数器数值等于此时窗口内目标数据的数量。
由于采集设备产生数据的数量、速度是变化的，例如当一段时间内采集设备产生数据的速度很慢，则窗口计数器的数值增长很慢，一直无法触发窗口计算，从而导致窗口内的数据不能及时得到处理，因此，仅靠计数器控制触发窗口计算无法满足实际需求。在一种可能的实施方式中，在有窗口计数器的基础上，为窗口增加时间触发机制。在目标数据进入窗口后，服务器获取该目标数据的时间戳。
步骤303，若计数器数值达到第一数量阈值，或，根据目标数据的时间戳确定目标数据超时，则对窗口内的数据进行处理。
在一种可能的实施方式中，当一个目标数据进入窗口时，计数器数值达到第一数量阈值，或者目标数据为超时数据，则当前窗口停止接收其余数据，并触发窗口计算，对窗口内的数据进行处理。第一数量阈值是当前窗口计数器的计数器阈值，表示窗口允许存储目标数据的最大数量。
示意性的，第一数量阈值为100，窗口允许存储00:00:00至00:10:00之间的数据，若一个目标数据进入窗口后，计数器加一，计数器数值变为99，获取到该目标数据的时间戳为00:10:01，虽然计数器的数值未达到第一数量阈值100，但是由于目标数据超时，因此服务器对窗口内的数据进行处理。
示意性的，第一数量阈值为100，窗口只存储00：10：00之前的数据，若一个目标数据进入窗口后，计数器加一，计数器数值变为100，获取到该目标数据的时间戳为00:09:01，则对窗口内的数据进行处理。
综上所述，本申请实施例中，通过为窗口设置计数器，统计窗口中数据的数量，窗口中每增加一个数据，计数器数值加一，当计数器数值达到计数器的阈值时，启动窗口计算，实现了对流数据的批量处理；并且，还为窗口增设了超时机制，当窗口等待时间到达预定时间，即当前进入窗口的目标数据为超时数据时，对窗口内的数据进行处理，避免由于计数器阈值设置不合理等因素，导致窗口内的数据长时间得不到处理，提高了数据处理效率以及及时性。
请参考图4，其示出了本申请另一个示例性实施例提供的窗口数据的处理方法的流程图。本实施例以该方法用于服务器为例进行说明，该方法包括如下步骤：
步骤401，当目标数据进入窗口时，对窗口计数器进行加一操作，窗口计数器用于统计窗口中数据的数量。
步骤401的实施方式可以参考上述步骤201，本实施例在此不再赘述。
步骤402，获取目标数据的水印以及窗口对应的窗口时间戳。
可选的，如图5所示，事件时间(EventTime)表示采集设备501采集到目标数据的时间，数据本身携带事件时间戳，服务器可以从目标数据的事件时间戳中直接获取事件时间。
可选的，提取时间(IngestionTime)是目标数据发送至服务器的时间，即服务器的系统时间。
可选的，处理时间(ProcessingTime)表示数据进入窗口的时间，即服务器的系统时间，数据携带有处理时间戳，服务器可以直接从目标数据的处理时间戳中获取处理时间。
可选的，由于数据在传送至服务器之前，通常会进行预处理，因此数据产生与数据传输之间有一定的延迟，水印(Watermarks)根据数据的事件时间和预定延迟时间确定，即事件时间加预定延迟时间为数据的水印，用于指示允许目标数据进入窗口的最晚时间。
示意性的，采集设备501在00:00:01时刻采集到一个数据，经过预处理后在00:00:03时刻通过消息队列502发送至服务器，00:00:04时刻该数据进入窗口503，采集设备501允许数据发送的最大延迟时间为3秒，则该数据的水印为00:00:04，事件时间为00:00:01，提取时间为00:00:03，处理时间为00:00:04。
在一种可能的实施方式中，服务器为窗口设置窗口时间戳，窗口时间戳是窗口允许存储数据的最大时间戳。
示意性的，上一窗口运行周期内，窗口的窗口时间戳为00:00:00，当前窗口运行周期内，窗口的窗口时间戳为00:00:10，即当前窗口接收00:00:00至00:00:10之间的数据。
由于水印比数据的事件时间更晚，如果目标数据的水印没有超过窗口时间戳，则事件时间必然没有超过窗口时间戳，该目标数据在进入窗口时一定没有超时，因此以水印为准判断目标数据是否超时更保险。目标数据进入窗口并且计数器加一后，服务器获取该目标数据的水印和当前窗口的窗口时间戳，并进行比较。
步骤403，若水印小于窗口时间戳，则根据窗口时间戳注册定时器。
若目标数据的水印小于窗口时间戳，则说明该目标数据没有超时，服务器以窗口时间戳的时间注册定时器；若目标数据的水印大于窗口时间戳，则该目标数据可能超时，此时不必注册定时器。
示意性的，当前窗口的窗口时间戳为00:10:00，有一个水印为00:09:01的目标数据进入窗口，则服务器以00:10:00注册定时器。
步骤404，获取窗口计数器的计数器数值，并获取目标数据的时间戳。步骤404的实施方式可以参考上述步骤202，本实施例在此不再赘述。
步骤405，若计数器数值达到第一数量阈值，则对窗口内的数据进行处理。
在一种可能的实施方式中，当一个目标数据进入窗口时，若计数器数值达到第一数量阈值，则窗口停止接收其余数据，服务器触发窗口计算，对窗口内的数据进行处理。
步骤406，若事件时间戳大于定时器的定时器时间戳，或，处理时间戳大于定时器的定时器时间戳，则确定目标数据超时，对窗口内的数据进行处理。
可选的，目标数据的时间戳为事件时间戳或处理时间戳中的至少一种，用户可以根据实际需求预先设置目标数据的时间戳类型。例如，如果窗口以事件时间为准判断目标数据是否超时，则服务器将定时器时间戳与目标数据的事件时间戳比较，若目标数据的事件时间戳大于定时器时间戳，则该目标数据为超时数据，窗口停止接收其余数据，服务器对当前窗口内的目标数据进行处理；类似的，如果窗口以处理时间为准判断目标数据是否超时，则服务器将定时器时间戳与目标数据的处理时间戳比较，若目标数据的处理时间戳大于定时器时间戳，则该目标数据为超时数据，窗口停止接收其余数据，服务器对当前窗口内的目标数据进行处理。
示意性的，用户设置窗口定时器为基于事件时间的定时器，且定时器时间戳为00:10:00，服务器获取当前进入窗口的目标数据的事件时间戳为00:11:00，则确定该目标数据超时。
由于采集设备产生数据的速度和数量会随着时间发生变化，因此，数据流入窗口的速度也会改变，阈值固定的计数器无法满足实际需求，在一种可能的实施方式中，服务器通过计算不同时间段内窗口获取目标数据的数量和运行时间，计算并推测合适的计数器阈值。
步骤407，获取当前窗口处理周期和上一窗口处理周期内窗口的窗口运行时间以及数据处理量。
在一种可能的实施方式中，当采用分布式处理时，服务器中通常会同时运行有多个窗口，因此服务器需要根据多个窗口运行的变化情况动态调整计数器阈值。
在一种可能的实施方式中，服务器获取当前窗口处理周期和上一窗口处理周期的窗口运行时间和数据处理量，如图6所示，多台采集设备601发送的数据被写入不同窗口中。当前窗口处理周期对应第一窗口，上一窗口处理周期对应第二窗口，窗口运行时间和数据处理量为平均值，即上一窗口处理周期内，窗口A1、B1、C1运行时间的平均值和数据处理量的平均值，以及当前窗口处理周期内，窗口A2、B2、C2运行时间的平均值和数据处理量的平均值。服务器获取上述信息，经过计算得出下一窗口运行周期内，窗口A3、B3、C3的计数器阈值。
步骤408，根据窗口运行时间和数据处理量，确定窗口在单位时间内处理数据的变化率。
在一种可能的实施方式中，本步骤可以包括如下步骤：
一、根据第一数据处理量和第二数据处理量确定数量差值，并根据第一窗口运行时间和第二窗口运行时间确定时间差值。
求窗口在单位时间内处理数据的变化率，首先需要求出窗口处理数据的变化量，即第一数据处理量和第二数据处理量的数量差值C1-C0，和第一窗口运行时间和第二窗口运行时间的时间差值T1-T0，其中，C1是当前窗口处理周期的第一数据处理量，C0是上一窗口处理周期的第二数据处理量，T1是当前窗口处理周期的第一窗口运行时间，T0是上一窗口处理周期的第二窗口运行时间。
二、根据数量差值、时间差值、第二窗口运行时间和第二数据处理量，确定变化率。
服务器得到数量差值、时间差值、第二窗口运行时间和第二数据处理量后，以上一窗口运行周期的第二窗口运行时间和第二数据处理量为准，计算单位时间内处理数据的变化率K。
服务器得到两个窗口处理周期内的窗口运行时间和数据处理量后，可以求出窗口在单位时间内处理数据的变化率，其公式为：
Figure BDA0002337853880000081
其中，K是窗口在单位时间内处理数据的变化率，C1是当前窗口处理周期的第一数据处理量，C0是上一窗口处理周期的第二数据处理量，T1是当前窗口处理周期的第一窗口运行时间，T0是上一窗口处理周期的第二窗口运行时间。
由公式可以看出，服务器先计算数量差值与时间差值的比值，再除以上一窗口处理周期内，单位时间的数据处理量，从而得出变化率。通过这种方式计算，而不是直接比较上一窗口处理周期和当前窗口处理周期的数据处理效率，可以计算出两个窗口处理周期内数据处理量和时间的差值，从而根据数量差值的正负、时间差值的正负以及变化率的数值范围，确定每种情况对应的第二数量阈值计算方法。
步骤409，根据变化率和第一数据处理量确定第二数量阈值。
服务器计算得到窗口在单位时间内处理数据的变化率之后，可以根据该变化率对计数器阈值做出调整，即计算下一窗口运行周期内窗口的计数器阈值。
在一种可能的实施方式中，变化率与计数器阈值的调整关系包括如下几种情况。
一、变化率为正，且数量差值为正，若变化率小于第一变化率阈值，则根据第一放大倍数和第一数据处理量确定第二数量阈值。
当变化率为正，且数量差值为正时，意味着窗口的数据处理量增加，并且窗口运行时间也增加，说明这段时间内采集设备产生数据的数量增多，此时需要适当增大计数器阈值。
可选的，第一变化率阈值小于1，变化率小于第一变化率阈值，说明窗口处理数据的速度变慢了，此时需要将第一数据处理量乘以第一放大倍数得到第二数量阈值。
在一种可能的实施方式中，第一变化率阈值为1-β，其中β是一个接近0的正数。当0<K<1-β时，C＝C1×2，C是第二数量阈值。
示意性的，上一窗口运行周期内，窗口平均10秒钟处理100个目标数据，当前窗口运行周期内，窗口平均12秒钟处理110个目标数据，计算得到窗口在单位时间内处理数据的变化率为0.5，则第二数量阈值为220。
二、变化率为正，且数量差值为正，若变化率大于第二变化率阈值，则根据第二放大倍数和第一数据处理量确定第二数量阈值，其中，第一放大倍数大于第二放大倍数，第一变化率阈值小于第二变化率阈值。
当变化率为正，且数量差值为正时，意味着窗口的数据处理量增加，并且窗口运行时间也增加，此时需要适当增大计数器的阈值。
可选的，第二变化率阈值大于1，若变化率大于第二变化率阈值，则说明窗口处理目标数据的速度增加，若第二数量阈值增加的幅度过大，会使得下一窗口运行周期内窗口存储的数据量过大，窗口内的数据过饱和，从而导致服务器处理数据的效率降低，因此需要将第一数据处理量乘以第二放大倍数得到第二数量阈值，第二放大倍数小于第一放大倍数。
在一种可能的实施方式中，第二变化率阈值为1+β，其中β是一个接近0的正数。当K>1+β时，C＝C1×1.5，C是第二数量阈值。若得到的C不是整数，则采用四舍五入的原则取整。
示意性的，上一窗口运行周期内，窗口平均10秒钟处理100个目标数据，当前窗口运行周期内，窗口平均12秒钟处理150个目标数据，计算得到窗口在单位时间内处理数据的变化率为2.5，则第二数量阈值为150。
三、变化率为正，且数量差值为负，若变化率小于第一变化率阈值，则根据第二放大倍数和第一数据处理量确定第二数量阈值。
当变化率为正，且数量差值为负时，意味着窗口的数据处理量减小，并且窗口运行时间也减小，若计数器阈值不变，则窗口处理的数据量过少，会造成系统资源浪费，应适当增大计数器阈值。
可选的，第一变化率阈值小于1，变化率小于第一变化率阈值说明窗口处理数据的速度减小幅度较大，若计数器阈值增加过多，则会导致窗口内数据等待时间较长，此时需要将第一数据处理量乘以第二放大倍数得到第二数量阈值。
在一种可能的实施方式中，第一变化率阈值为1-β，其中β是一个接近0的正数。当0<K<1-β时，C＝C1×1.5，C是第二数量阈值。若得到的C不是整数，则采用四舍五入的原则取整。
示意性的，上一窗口运行周期内，窗口平均10秒钟处理100个目标数据，当前窗口运行周期内，窗口平均8秒钟处理90个目标数据，计算得到窗口在单位时间内处理数据的变化率为0.5，则第二数量阈值为150。
四、变化率为正，且数量差值为负，若变化率大于第二变化率阈值，则根据第一放大倍数和第一数据处理量确定第二数量阈值。
当变化率为正，且数量差值为负时，意味着窗口的数据处理量减小，并且窗口运行时间也减小，应适当增大计数器阈值。
可选的，第二变化率阈值大于1，变化率大于第二变化率阈值说明窗口处理数据的速度增大，则计数器阈值可以适当增加，且比变化率小于第一变化率阈值时增加的多，此时需要将第一数据处理量乘以第一放大倍数得到第二数量阈值。
在一种可能的实施方式中，第二变化率阈值为1+β，其中β是一个接近0的正数。当K>1+β时，C＝C1×2，C是第二数量阈值。
示意性的，上一窗口运行周期内，窗口平均10秒钟处理100个目标数据，当前窗口运行周期内，窗口平均8秒钟处理50个目标数据，计算得到窗口在单位时间内处理数据的变化率为2.5，则第二数量阈值为200。
五、变化率为负，且数量差值为正，若变化率大于第三变化率阈值，则根据第一缩小倍数和第一数据处理量确定第二数量阈值。
当变化率为负，且数量差值为正时，意味着窗口的数据处理量增大，但窗口运行时间缩短了，即窗口处理目标数据的速度增大，说明这段时间内采集设备产生数据的数量增多速度变快，此时为了不浪费系统资源，加快数据处理速度，需要适当缩减计数器的阈值。
可选的，第三变化率阈值大于-1，变化率大于第三变化率阈值说明窗口处理目标数据的速度增幅较小，此时需要将第一数据处理量乘以第一缩小倍数得到第二数量阈值。
在一种可能的实施方式中，第三变化率阈值为-1+β，其中β是一个接近0的正数。当0>K>-1+β时，C＝C1×0.5，C是第二数量阈值。若得到的C不是整数，则采用四舍五入的原则取整。
示意性的，上一窗口运行周期内，窗口平均10秒钟处理100个目标数据，当前窗口运行周期内，窗口平均8秒钟处理110个目标数据，计算得到窗口在单位时间内处理数据的变化率为-0.5，则第二数量阈值为50。
六、变化率为负，且数量差值为正，若变化率小于第四变化率阈值，则根据第二缩小倍数和第一数据处理量确定第二数量阈值，其中，第一缩小倍数小于第二缩小倍数，第三变化率阈值大于第四变化率阈值。
当变化率为负，且数量差值为正时，意味着窗口的数据处理量增大，但窗口运行时间缩短了，为了不浪费系统资源，加快数据处理速度，需要适当缩减计数器的阈值。
可选的，第四变化率阈值小于-1，变化率小于第四变化率阈值说明该时间段内采集设备产生数据的速度增长幅度较大，因此计数器阈值的缩小倍数不能过小，否则窗口运行时间过短，会造成资源浪费。
在一种可能的实施方式中，第四变化率阈值为-1-β，其中β是一个接近0的正数。当K<-1-β时，C＝C1×0.75，C是第二数量阈值。
示意性的，上一窗口运行周期内，窗口平均10秒钟处理100个目标数据，当前窗口运行周期内，窗口平均8秒钟处理150个目标数据，计算得到窗口在单位时间内处理数据的变化率为-2.5，则第二数量阈值为75。
七、变化率为负，且数量差值为负，若变化率大于第三变化率阈值，则根据第二缩小倍数和第一数据处理量确定第二数量阈值。
当变化率为负，且数量差值为负时，意味着窗口的数据处理量减小，但窗口运行时间变长，此时可能采集设备产生数据的速度变慢，如果阈值不变，可能导致窗口等待时间增加，窗口内的数据不能及时得到处理，占用系统资源，需要适当缩减计数器的阈值。
可选的，第三变化率阈值大于-1，变化率大于第三变化率阈值说明目标数据进入窗口的速度减小的幅度较小，因此计数器阈值的缩小幅度应当小一些，否则窗口内目标数据的数量过小也会导致资源浪费。
在一种可能的实施方式中，第三变化率阈值为-1+β，其中β是一个接近0的正数。当0>K>-1+β时，C＝C1×0.75，C是第二数量阈值。若得到的C不是整数，则采用四舍五入的原则取整。
示意性的，示意性的，上一窗口运行周期内，窗口平均10秒钟处理100个目标数据，当前窗口运行周期内，窗口平均12秒钟处理90个目标数据，计算得到窗口在单位时间内处理数据的变化率为-0.5，则第二数量阈值为75。
八、变化率为负，且数量差值为负，若变化率小于第四变化率阈值，则根据第一缩小倍数和第一数据处理量确定第二数量阈值。
当变化率为负，且数量差值为负时，意味着窗口的数据处理量减小，但窗口运行时间变长，此时可能采集设备产生数据的速度变慢，需要适当缩减计数器的阈值。
可选的，第四变化率阈值小于-1，变化率小于第四变化率阈值说明目标数据进入窗口的速度减小幅度较大，即采集设备产生数据的速度很慢，因此计数器的阈值应当比变化率大于第三变化率阈值时更小。
在一种可能的实施方式中，第四变化率阈值为-1-β，其中β是一个接近0的正数。当K<-1-β时，C＝C1×0.5，C是第二数量阈值。若得到的C不是整数，则采用四舍五入的原则取整。
示意性的，示意性的，上一窗口运行周期内，窗口平均10秒钟处理100个目标数据，当前窗口运行周期内，窗口平均12秒钟处理50个目标数据，计算得到窗口在单位时间内处理数据的变化率为-0.25，则第二数量阈值为50。
步骤410，根据第二数量阈值更新第一数量阈值。
当前窗口运行结束后，服务器需要根据计算得到的第二数量阈值更新下一窗口运行周期内计数器的阈值。但是，当计算得到的第二数量阈值与当前窗口运行周期内窗口的处理量相差不大时，服务器不需要改变计数器的阈值，否则频繁变换计数器阈值也会浪费系统资源，即计数器的阈值仍为第一数量阈值。
在一种可能的实施方式中，若第二数量阈值与第一数据处理量之间的差值大于差值阈值，则将第一数量阈值更新为第二数量阈值。即，当|C-C1|>α×C1时，将第一数量阈值更新为C，并作为下一窗口运行周期内的第一数量阈值，否则第一数量阈值不变，C是计算得到的第二数量阈值，α是用户根据实际需要设置的参数，α×C1为差值阈值。
示意性的，若当前窗口的第一数据处理量C1为100，用户设置α为0.1，当服务器计算得到的第二数量阈值C在90到110之间时，下一窗口运行周期的第一数量阈值不变，与当前窗口运行周期内的第一数量阈值相等；若第二数量阈值C小于90或大于110，则下一窗口运行周期的第一数量阈值等于C。
本申请实施例中，通过为窗口设置定时器，判断目标数据是否超时，当窗口等待时间到达预定时间时，对窗口内的数据进行处理；并且，服务器根据当前窗口处理周期和上一窗口处理周期内的数据处理量和窗口运行时间，重新计算计数器阈值，可以使得计数器阈值随采集设备的数据生成情况进行动态变化，从而避免了由于计数器阈值设置不合理等因素，导致窗口内的数据长时间得不到处理，提高了数据处理效率。
图7是本申请一个示例性实施例提供的窗口数据的处理装置的结构框图，该装置可以设置于上述实施例所述的服务器，如图5所示，该装置包括：
计数模块701，用于当目标数据进入窗口时，对窗口计数器进行加一操作，所述窗口计数器用于统计窗口中数据的数量；
第一获取模块702，用于获取所述窗口计数器的计数器数值，并获取所述目标数据的时间戳；
处理模块703，用于若所述计数器数值达到第一数量阈值，或，根据所述目标数据的时间戳确定所述目标数据超时，则对所述窗口内的数据进行处理，所述第一数量阈值表示所述窗口允许存储所述目标数据的数量。
可选的，所述窗口设置有定时器，且所述目标数据的时间戳包括事件时间戳或处理时间戳中的至少一种，所述处理模块703，包括：
确定单元，若所述事件时间戳大于所述定时器的定时器时间戳，或，所述处理时间戳大于所述定时器的定时器时间戳，则确定所述目标数据超时。
可选的，所述装置还包括：
第二获取模块，用于获取所述目标数据的水印以及所述窗口对应的窗口时间戳，所述水印根据所述事件时间戳和预设延迟时间确定，所述水印用于指示允许所述目标数据进入窗口的最晚时间，所述窗口时间戳是所述窗口允许存储数据的最大时间戳；
注册模块，用于若所述水印小于所述窗口时间戳，则根据所述窗口时间戳注册所述定时器，所述定时器的定时器时间戳为所述窗口时间戳。
可选的，所述装置还包括：
第三获取模块，用于获取当前窗口处理周期和上一窗口处理周期内所述窗口的窗口运行时间以及数据处理量，所述窗口运行时间包括第一窗口运行时间和第二窗口运行时间，所述第一窗口运行时间与所述当前窗口处理周期对应，所述第二窗口运行时间与所述上一窗口处理周期对应，所述数据处理量包括第一数据处理量和第二数据处理量，所述第一数据处理量与所述当前窗口处理周期对应，所述第二数据处理量与所述上一窗口处理周期对应；
第一确定模块，用于根据所述窗口运行时间和所述数据处理量，确定所述窗口在单位时间内处理数据的变化率；
第二确定模块，用于根据所述变化率和所述第一数据处理量确定第二数量阈值；
更新模块，用于根据所述第二数量阈值更新所述第一数量阈值。
可选的，所述第一确定模块，包括：
第一确定单元，用于根据所述第一数据处理量和所述第二数据处理量确定数量差值，并根据所述第一窗口运行时间和所述第二窗口运行时间确定时间差值；
第二确定单元，用于根据所述数量差值、所述时间差值、所述第二窗口运行时间和所述第二数据处理量，确定所述变化率。
可选的，所述变化率为正，且所述数量差值为正，所述第二确定模块，包括第三确定单元，所述第三确定单元用于：
若所述变化率小于第一变化率阈值，则根据第一放大倍数和所述第一数据处理量确定所述第二数量阈值；
若所述变化率大于第二变化率阈值，则根据第二放大倍数和所述第一数据处理量确定所述第二数量阈值，所述第一放大倍数大于所述第二放大倍数，所述第一变化率阈值小于所述第二变化率阈值。
可选的，所述变化率为正，且所述数量差值为负，所述第二确定模块，包括第四确定单元，所述第四确定单元用于：
若所述变化率小于所述第一变化率阈值，则根据所述第二放大倍数和所述第一数据处理量确定所述第二数量阈值；
若所述变化率大于所述第二变化率阈值，则根据所述第一放大倍数和所述第一数据处理量确定所述第二数量阈值。
可选的，所述变化率为负，且所述数量差值为正，所述第二确定模块，包括第五确定单元，所述第五确定单元用于：
若所述变化率大于第三变化率阈值，则根据第一缩小倍数和所述第一数据处理量确定所述第二数量阈值；
若所述变化率小于第四变化率阈值，则根据第二缩小倍数和所述第一数据处理量确定所述第二数量阈值，所述第一缩小倍数小于所述第二缩小倍数，所述第三变化率阈值大于所述第四变化率阈值。
可选的，所述变化率为负，且所述数量差值为负，所述第二确定模块，包括第六确定单元，所述第六确定单元用于：
若所述变化率大于所述第三变化率阈值，则根据所述第二缩小倍数和所述第一数据处理量确定所述第二数量阈值；
若所述变化率小于所述第四变化率阈值，则根据所述第一缩小倍数和所述第一数据处理量确定所述第二数量阈值。
可选的，所述更新模块，包括：
更新单元，用于若所述第二数量阈值与所述第一数据处理量之间的差值大于差值阈值，则将所述第一数量阈值更新为所述第二数量阈值；
若所述第二数量阈值与所述第一数据处理量之间的差值小于等于所述差值阈值，则所述第一数量阈值不变。
请参考图8，其示出了本申请一个示例性实施例提供的服务器的结构示意图。具体来讲：所述服务器800包括中央处理单元(Central Processing Unit，CPU)801、包括随机存取存储器(Random Access Memory，RAM)802和只读存储器(Read-Only Memory，ROM)803的系统存储器804，以及连接系统存储器804和中央处理单元801的系统总线805。所述服务器800还包括帮助服务器内的各个器件之间传输信息的基本输入/输出(Input/Output，I/O)系统806，和用于存储操作系统813、应用程序814和其他程序模块815的大容量存储设备807。
所述基本输入/输出系统806包括有用于显示信息的显示器808和用于用户输入信息的诸如鼠标、键盘之类的输入设备809。其中所述显示器808和输入设备809都通过连接到系统总线805的输入输出控制器810连接到中央处理单元801。所述基本输入/输出系统806还可以包括输入输出控制器810以用于接收和处理来自键盘、鼠标、或电子触控笔等多个其他设备的输入。类似地，输入输出控制器810还提供输出到显示屏、打印机或其他类型的输出设备。
所述大容量存储设备807通过连接到系统总线805的大容量存储控制器(未示出)连接到中央处理单元801。所述大容量存储设备807及其相关联的计算机可读存储介质为服务器800提供非易失性存储。也就是说，所述大容量存储设备807可以包括诸如硬盘或者只读光盘(Compact Disc Read-Only Memory，CD-ROM)驱动器之类的计算机可读存储介质(未示出)。
不失一般性，所述计算机可读存储介质可以包括计算机存储介质和通信介质。计算机存储介质包括以用于存储诸如计算机可读存储指令、数据结构、程序模块或其他数据等信息的任何方法或技术实现的易失性和非易失性、可移动和不可移动介质。计算机存储介质包括RAM、ROM、计算机存储器(Erasable Programmable Read Only Memor，EPROM)、读写存储器(Electrically Erasable Programmable Read Only Memory，EEPROM)、闪存或其他固态存储其技术，CD-ROM、数字通用光盘(Digital Versatile Disc，DVD)或其他光学存储、磁带盒、磁带、磁盘存储或其他磁性存储设备。当然，本领域技术人员可知所述计算机存储介质不局限于上述几种。上述的系统存储器804和大容量存储设备807可以统称为存储器。
存储器存储有一个或多个程序，一个或多个程序被配置成由一个或多个中央处理单元801执行，一个或多个程序包含用于实现上述窗口数据的处理方法的指令，中央处理单元801执行该一个或多个程序实现上述各个方法实施例提供的窗口数据的处理方法。
根据本申请的各种实施例，所述服务器800还可以通过诸如因特网等网络连接到网络上的远程服务器运行。也即服务器800可以通过连接在所述系统总线805上的网络接口单元811连接到网络812，或者说，也可以使用网络接口单元811来连接到其他类型的网络或远程服务器系统(未示出)。
所述存储器还包括一个或者一个以上的程序，所述一个或者一个以上程序存储于存储器中，所述一个或者一个以上程序包含用于进行本申请实施例提供的方法中由服务器所执行的步骤。
本申请实施例还提供了一种计算机可读存储介质，该计算机可读存储介质存储有至少一条指令，所述至少一条指令由所述处理器加载并执行以实现如上各个实施例所述的窗口数据的处理方法。
本申请实施例还提供了一种计算机程序产品，该计算机程序产品存储有至少一条指令，所述至少一条指令由所述处理器加载并执行以实现如上各个实施例所述的窗口数据的处理方法。
本领域技术人员应该可以意识到，在上述一个或多个示例中，本申请实施例所描述的功能可以用硬件、软件、固件或它们的任意组合来实现。当使用软件实现时，可以将这些功能存储在计算机可读存储介质中或者作为计算机可读存储介质上的一个或多个指令或代码进行传输。计算机可读存储介质包括计算机存储介质和通信介质，其中通信介质包括便于从一个地方向另一个地方传送计算机程序的任何介质。存储介质可以是通用或专用计算机能够存取的任何可用介质。
以上所述仅为本申请的可选实施例，并不用以限制本申请，凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (11)

1.一种窗口数据的处理方法，其特征在于，所述方法包括：
当目标数据进入窗口时，对窗口计数器进行加一操作，所述窗口计数器用于统计窗口中数据的数量；
获取所述窗口计数器的计数器数值，并获取所述目标数据的时间戳；
若所述计数器数值达到第一数量阈值，或，根据所述目标数据的时间戳确定所述目标数据超时，则对所述窗口内的数据进行处理，所述第一数量阈值表示所述窗口允许存储所述目标数据的数量。
2.根据权利要求1所述的方法，其特征在于，所述窗口设置有定时器，且所述目标数据的时间戳包括事件时间戳或处理时间戳中的至少一种；
所述根据所述目标数据的时间戳确定所述目标数据超时，包括：
若所述事件时间戳大于所述定时器的定时器时间戳，或，所述处理时间戳大于所述定时器的定时器时间戳，则确定所述目标数据超时。
3.根据权利要求2所述的方法，其特征在于，所述当目标数据进入窗口时，对窗口计数器进行加一操作之后，所述方法还包括：
获取所述目标数据的水印以及所述窗口对应的窗口时间戳，所述水印用于指示允许所述目标数据进入窗口的最晚时间，所述水印根据所述事件时间戳和预设延迟时间确定，所述窗口时间戳是所述窗口允许存储数据的最大时间戳；
若所述水印小于所述窗口时间戳，则根据所述窗口时间戳注册所述定时器，所述定时器的定时器时间戳为所述窗口时间戳。
4.根据权利要求1至3任一所述的方法，其特征在于，所述对所述窗口内的数据进行处理之后，所述方法还包括：
获取当前窗口处理周期和上一窗口处理周期内所述窗口的窗口运行时间以及数据处理量，所述窗口运行时间包括第一窗口运行时间和第二窗口运行时间，所述第一窗口运行时间与所述当前窗口处理周期对应，所述第二窗口运行时间与所述上一窗口处理周期对应，所述数据处理量包括第一数据处理量和第二数据处理量，所述第一数据处理量与所述当前窗口处理周期对应，所述第二数据处理量与所述上一窗口处理周期对应；
根据所述窗口运行时间和所述数据处理量，确定所述窗口在单位时间内处理数据的变化率；
根据所述变化率和所述第一数据处理量确定第二数量阈值；
根据所述第二数量阈值更新所述第一数量阈值。
5.根据权利要求4所述的方法，其特征在于所述根据所述窗口运行时间和所述数据处理量，确定所述窗口在单位时间内处理数据的变化率，包括：
根据所述第一数据处理量和所述第二数据处理量确定数量差值，并根据所述第一窗口运行时间和所述第二窗口运行时间确定时间差值；
根据所述数量差值、所述时间差值、所述第二窗口运行时间和所述第二数据处理量，确定所述变化率。
6.根据权利要求5所述的方法，其特征在于，所述变化率为正，且所述数量差值为正，所述根据所述变化率和所述第一数据处理量确定第二数量阈值，包括：
若所述变化率小于第一变化率阈值，则根据第一放大倍数和所述第一数据处理量确定所述第二数量阈值；
若所述变化率大于第二变化率阈值，则根据第二放大倍数和所述第一数据处理量确定所述第二数量阈值，所述第一放大倍数大于所述第二放大倍数，所述第一变化率阈值小于所述第二变化率阈值；
所述变化率为正，且所述数量差值为负，所述根据所述变化率和所述第一数据处理量确定第二数量阈值，包括：
若所述变化率小于所述第一变化率阈值，则根据所述第二放大倍数和所述第一数据处理量确定所述第二数量阈值；
若所述变化率大于所述第二变化率阈值，则根据所述第一放大倍数和所述第一数据处理量确定所述第二数量阈值。
7.根据权利要求5所述的方法，其特征在于，所述变化率为负，且所述数量差值为正，所述根据所述变化率和所述第一数据处理量确定第二数量阈值，包括：
若所述变化率大于第三变化率阈值，则根据第一缩小倍数和所述第一数据处理量确定所述第二数量阈值；
若所述变化率小于第四变化率阈值，则根据第二缩小倍数和所述第一数据处理量确定所述第二数量阈值，所述第一缩小倍数小于所述第二缩小倍数，所述第三变化率阈值大于所述第四变化率阈值；
所述变化率为负，且所述数量差值为负，所述根据所述变化率和所述第一数据处理量确定第二数量阈值，包括：
若所述变化率大于所述第三变化率阈值，则根据所述第二缩小倍数和所述第一数据处理量确定所述第二数量阈值；
若所述变化率小于所述第四变化率阈值，则根据所述第一缩小倍数和所述第一数据处理量确定所述第二数量阈值。
8.根据权利要求4所述的方法，其特征在于，所述根据所述第二数量阈值更新所述第一数量阈值，包括：
若所述第二数量阈值与所述第一数据处理量之间的差值大于差值阈值，则将所述第一数量阈值更新为所述第二数量阈值；
若所述第二数量阈值与所述第一数据处理量之间的差值小于等于所述差值阈值，则所述第一数量阈值不变。
9.一种窗口数据的处理装置，其特征在于，所述装置包括：
计数模块，用于当目标数据进入窗口时，对窗口计数器进行加一操作，所述窗口计数器用于统计窗口中数据的数量；
第一获取模块，用于获取所述窗口计数器的计数器数值，并获取所述目标数据的时间戳；
处理模块，用于若所述计数器数值达到第一数量阈值，或，根据所述目标数据的时间戳确定所述目标数据超时，则对所述窗口内的数据进行处理，所述第一数量阈值表示所述窗口允许存储所述目标数据的数量。
10.一种服务器，其特征在于，所述服务器包括处理器和存储器，所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现如权利要求1至8任一所述的窗口数据的处理方法。
11.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现如权利要求1至8任一所述的窗口数据的处理方法。
CN201911363714.8A 2019-12-26 2019-12-26 窗口数据的处理方法、装置、服务器及存储介质 Active CN111142942B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911363714.8A CN111142942B (zh) 2019-12-26 2019-12-26 窗口数据的处理方法、装置、服务器及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911363714.8A CN111142942B (zh) 2019-12-26 2019-12-26 窗口数据的处理方法、装置、服务器及存储介质

Publications (2)

Publication Number Publication Date
CN111142942A true CN111142942A (zh) 2020-05-12
CN111142942B CN111142942B (zh) 2023-08-04

Family

ID=70520324

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911363714.8A Active CN111142942B (zh) 2019-12-26 2019-12-26 窗口数据的处理方法、装置、服务器及存储介质

Country Status (1)

Country Link
CN (1) CN111142942B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111966943A (zh) * 2020-08-13 2020-11-20 上海哔哩哔哩科技有限公司 流式数据分发方法和系统
CN112866570A (zh) * 2021-01-08 2021-05-28 北京码牛科技有限公司 一种图码联采、目标对象轨迹生成方法及装置
CN113691457A (zh) * 2021-08-10 2021-11-23 中国银联股份有限公司 限流控制方法、装置、设备及存储介质
CN113806029A (zh) * 2020-06-16 2021-12-17 北京达佳互联信息技术有限公司 任务处理方法、装置、服务器及存储介质
CN116821177A (zh) * 2023-08-31 2023-09-29 杭州义益钛迪信息技术有限公司 设备数据查询方法、装置、电子设备及存储介质

Citations (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08293869A (ja) * 1995-04-24 1996-11-05 Nippon Telegr & Teleph Corp <Ntt> トラヒック観測装置
CN103152285A (zh) * 2013-03-14 2013-06-12 华为技术有限公司 本端网元、对端网元以及发送窗口调整方法
CN106911589A (zh) * 2015-12-22 2017-06-30 阿里巴巴集团控股有限公司 一种数据处理方法和设备
CN107094103A (zh) * 2017-02-09 2017-08-25 北京小度信息科技有限公司 数据采集方法和装置
CN107135230A (zh) * 2017-06-13 2017-09-05 北京溢思得瑞智能科技研究院有限公司 一种基于infigarch模型的网络流量异常检测方法及设备
CN107800642A (zh) * 2016-08-31 2018-03-13 北京金山云网络技术有限公司 一种拥塞控制方法及装置
CN107819799A (zh) * 2016-09-13 2018-03-20 北京百度网讯科技有限公司 用于无人驾驶车辆的数据获取方法和装置
US20180191773A1 (en) * 2017-01-03 2018-07-05 Microsemi Frequency And Time Corporation System and method for mitigating distributed denial of service attacks
CN108460118A (zh) * 2018-02-13 2018-08-28 清华大学 基于近邻的时间序列数据修复方法及装置
CN108521612A (zh) * 2018-04-25 2018-09-11 腾讯科技（深圳）有限公司 视频摘要的生成方法、装置、服务器及存储介质
CN108694074A (zh) * 2017-04-07 2018-10-23 腾讯科技（深圳）有限公司 一种获取计数信息的方法以及服务器
CN108846076A (zh) * 2018-06-08 2018-11-20 山大地纬软件股份有限公司 支持接口适配的海量多源异构数据etl方法及系统
CN108923972A (zh) * 2018-06-30 2018-11-30 平安科技（深圳）有限公司 一种去重流量提示方法、装置、服务器及存储介质
CN109345189A (zh) * 2018-08-24 2019-02-15 中兴飞流信息科技有限公司 一种数据管理方法、相关装置及计算机可读存储介质
CN110008388A (zh) * 2019-03-27 2019-07-12 东北大学 一种基于决策树的流数据分类方法
CN110209685A (zh) * 2019-06-12 2019-09-06 北京九章云极科技有限公司 一种数据实时处理方法及系统
CN110362554A (zh) * 2019-06-24 2019-10-22 平安科技（深圳）有限公司 定时器的设定方法、装置、设备及计算机可读存储介质
CN110471944A (zh) * 2018-05-11 2019-11-19 北京京东尚科信息技术有限公司 指标统计方法、系统、设备及存储介质
CN110569166A (zh) * 2019-08-19 2019-12-13 阿里巴巴集团控股有限公司 异常检测方法、装置、电子设备及介质

Patent Citations (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08293869A (ja) * 1995-04-24 1996-11-05 Nippon Telegr & Teleph Corp <Ntt> トラヒック観測装置
CN103152285A (zh) * 2013-03-14 2013-06-12 华为技术有限公司 本端网元、对端网元以及发送窗口调整方法
CN106911589A (zh) * 2015-12-22 2017-06-30 阿里巴巴集团控股有限公司 一种数据处理方法和设备
CN107800642A (zh) * 2016-08-31 2018-03-13 北京金山云网络技术有限公司 一种拥塞控制方法及装置
CN107819799A (zh) * 2016-09-13 2018-03-20 北京百度网讯科技有限公司 用于无人驾驶车辆的数据获取方法和装置
US20180191773A1 (en) * 2017-01-03 2018-07-05 Microsemi Frequency And Time Corporation System and method for mitigating distributed denial of service attacks
CN107094103A (zh) * 2017-02-09 2017-08-25 北京小度信息科技有限公司 数据采集方法和装置
CN108694074A (zh) * 2017-04-07 2018-10-23 腾讯科技（深圳）有限公司 一种获取计数信息的方法以及服务器
CN107135230A (zh) * 2017-06-13 2017-09-05 北京溢思得瑞智能科技研究院有限公司 一种基于infigarch模型的网络流量异常检测方法及设备
CN108460118A (zh) * 2018-02-13 2018-08-28 清华大学 基于近邻的时间序列数据修复方法及装置
CN108521612A (zh) * 2018-04-25 2018-09-11 腾讯科技（深圳）有限公司 视频摘要的生成方法、装置、服务器及存储介质
CN110471944A (zh) * 2018-05-11 2019-11-19 北京京东尚科信息技术有限公司 指标统计方法、系统、设备及存储介质
CN108846076A (zh) * 2018-06-08 2018-11-20 山大地纬软件股份有限公司 支持接口适配的海量多源异构数据etl方法及系统
CN108923972A (zh) * 2018-06-30 2018-11-30 平安科技（深圳）有限公司 一种去重流量提示方法、装置、服务器及存储介质
CN109345189A (zh) * 2018-08-24 2019-02-15 中兴飞流信息科技有限公司 一种数据管理方法、相关装置及计算机可读存储介质
CN110008388A (zh) * 2019-03-27 2019-07-12 东北大学 一种基于决策树的流数据分类方法
CN110209685A (zh) * 2019-06-12 2019-09-06 北京九章云极科技有限公司 一种数据实时处理方法及系统
CN110362554A (zh) * 2019-06-24 2019-10-22 平安科技（深圳）有限公司 定时器的设定方法、装置、设备及计算机可读存储介质
CN110569166A (zh) * 2019-08-19 2019-12-13 阿里巴巴集团控股有限公司 异常检测方法、装置、电子设备及介质

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113806029A (zh) * 2020-06-16 2021-12-17 北京达佳互联信息技术有限公司 任务处理方法、装置、服务器及存储介质
CN111966943A (zh) * 2020-08-13 2020-11-20 上海哔哩哔哩科技有限公司 流式数据分发方法和系统
CN112866570A (zh) * 2021-01-08 2021-05-28 北京码牛科技有限公司 一种图码联采、目标对象轨迹生成方法及装置
CN112866570B (zh) * 2021-01-08 2022-07-22 北京码牛科技有限公司 一种图码联采、目标对象轨迹生成方法及装置
CN113691457A (zh) * 2021-08-10 2021-11-23 中国银联股份有限公司 限流控制方法、装置、设备及存储介质
CN113691457B (zh) * 2021-08-10 2023-07-18 中国银联股份有限公司 限流控制方法、装置、设备及存储介质
CN116821177A (zh) * 2023-08-31 2023-09-29 杭州义益钛迪信息技术有限公司 设备数据查询方法、装置、电子设备及存储介质
CN116821177B (zh) * 2023-08-31 2023-12-05 杭州义益钛迪信息技术有限公司 设备数据查询方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
CN111142942B (zh) 2023-08-04

Similar Documents

Publication Publication Date Title
CN111142942A (zh) 窗口数据的处理方法、装置、服务器及存储介质
CN110135573B (zh) 一种深度学习模型的训练方法、计算设备以及系统
CN106648904B (zh) 一种流式数据处理自适应速率控制方法
CN109254842B (zh) 分布式流式系统的资源管理方法、装置及可读存储介质
CN102281290B (zh) 一种PaaS云平台的仿真系统及方法
CN110474852B (zh) 一种带宽调度方法及装置
CN110990138B (zh) 资源调度方法、装置、服务器及存储介质
CN112751726B (zh) 一种数据处理方法、装置、电子设备和存储介质
CN103795649B (zh) 一种网络延时抖动平滑方法
CN112463326A (zh) 连续离散混合系统仿真推进方法及装置、设备及介质
CN104734985A (zh) 数据接收流量控制方法及其系统
US20210406086A1 (en) Auto-sizing for stream processing applications
CN109597687B (zh) 数据同步的资源分配方法、装置、存储介质和电子设备
CN112131005A (zh) 一种资源调整策略确定方法和装置
CN106933673B (zh) 调整组件逻辑线程数量的方法及装置
CN115756812A (zh) 一种资源调整方法及装置、存储介质
CN111522845B (zh) 一种基于时间序列预测的流计算系统水印发放方法
CN116055406B (zh) 拥塞窗口预测模型的训练方法及装置
CN114866563A (zh) 扩容方法、装置、系统和存储介质
JP5967322B1 (ja) 情報処理装置および情報処理方法
CN113254190B (zh) 基于负载能力的动态流调度方法、系统和计算机存储介质
JP7420228B2 (ja) 分散処理システムおよび分散処理方法
Olsen et al. Qrp01-5: Quantitative analysis of access strategies to remote information in network services
CN114443716A (zh) 基于事件时间窗口的Gaia平台水位线动态调整方法及装置
CN111275473B (zh) 内容项投放方法、装置、服务器及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant