CN116820825A - 数据丢弃方法、装置、电子设备和计算机可读存储介质 - Google Patents

数据丢弃方法、装置、电子设备和计算机可读存储介质 Download PDF

Info

Publication number
CN116820825A
CN116820825A CN202310804549.5A CN202310804549A CN116820825A CN 116820825 A CN116820825 A CN 116820825A CN 202310804549 A CN202310804549 A CN 202310804549A CN 116820825 A CN116820825 A CN 116820825A
Authority
CN
China
Prior art keywords
data
backlog
amount
discarded
discarding
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310804549.5A
Other languages
English (en)
Inventor
焦凯召
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Topsec Technology Co Ltd
Beijing Topsec Network Security Technology Co Ltd
Beijing Topsec Software Co Ltd
Original Assignee
Beijing Topsec Technology Co Ltd
Beijing Topsec Network Security Technology Co Ltd
Beijing Topsec Software Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Topsec Technology Co Ltd, Beijing Topsec Network Security Technology Co Ltd, Beijing Topsec Software Co Ltd filed Critical Beijing Topsec Technology Co Ltd
Priority to CN202310804549.5A priority Critical patent/CN116820825A/zh
Publication of CN116820825A publication Critical patent/CN116820825A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/07Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/0703Error or fault processing not based on redundancy, i.e. by taking additional measures to deal with the error or fault not making use of redundancy in operation, in hardware, or in data representation
    • G06F11/0751Error or fault detection not based on redundancy
    • G06F11/0754Error or fault detection not based on redundancy by exceeding limits
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/07Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/0703Error or fault processing not based on redundancy, i.e. by taking additional measures to deal with the error or fault not making use of redundancy in operation, in hardware, or in data representation
    • G06F11/0751Error or fault detection not based on redundancy
    • G06F11/0754Error or fault detection not based on redundancy by exceeding limits
    • G06F11/0757Error or fault detection not based on redundancy by exceeding limits by exceeding a time limit, i.e. time-out, e.g. watchdogs
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/07Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/0703Error or fault processing not based on redundancy, i.e. by taking additional measures to deal with the error or fault not making use of redundancy in operation, in hardware, or in data representation
    • G06F11/0793Remedial or corrective actions

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本申请提供一种数据丢弃方法、装置、电子设备和计算机可读存储介质,该方法的一具体实施方式包括:若系统在稳定运行过程中检测到积压数据,则计算当前的积压数据量;在基于积压数据量丢弃数据的过程中,若检测到积压数据量满足第一条件,则基于当前的初始丢弃数据量增加丢弃的数据量;第一条件表征积压数据量不变或者所述积压数据量的变化量小于变化量阈值;以及若检测到积压数据量小于恢复阈值,则基于当前的丢弃数据量减少丢弃的数据量。该方法使系统可以在已经部署好的环境资源下稳定运行,并在稳定运行过程中,通过当前的数据积压量适应性增加或者减少数据的丢弃量,继而可以充分利用已经部署的环境资源,改善资源浪费的情况。

Description

数据丢弃方法、装置、电子设备和计算机可读存储介质
技术领域
本申请涉及数据处理领域,具体而言,涉及一种数据丢弃方法、装置、电子设备和计算机可读存储介质。
背景技术
企业在部署数据分析系统之前,通常会先预估数据分析系统在稳定运行情况下所需要的环境资源,然后基于所部署的环境资源在实际应用场景下处理数据。上述环境资源例如可以包括CPU(中央处理器,Central Processing Unit,简称CPU)、内存以及磁盘等。
相关技术中,由于预估环境资源所使用的数据样本存在随机性,且数据样本的大小分布较为均匀,数据接收量较为平缓,不具备实际应用场景下的数据处理峰谷情况。因此,数据分析系统所预估出的环境资源常常不能满足实际所需。也即,若部署的环境资源较少,数据处理高峰期时采集的数据则会超出其处理能力,继而导致数据分析系统出现异常或者直接宕机。若部署的环境资源较多,虽然能够在数据处理高峰期保证数据分析系统能够稳定运行,但在其他时期却不能得到充分利用,继而导致资源浪费。
相关技术中存在以下能够解决上述问题的技术方案:
(1)数据分析系统自身会对环境资源占用、数据实时接入情况进行监控,当系统的环境资源占用大于资源占用阈值时,会向操作人员发送告警消息。操作人员接收到告警消息之后,手动丢弃数据或减少接入设备的数量。
这样,若操作人员不能及时丢弃数据,则会导致数据分析系统出现异常。并且,若系统的环境资源占用小于资源占用阈值,同样会造成资源浪费。
(2)数据分析系统中设置有数据接收阈值,通过该数据接收阈值限制系统每秒接收的数据量。若当前接收的数据量大于数据接收阈值,则丢弃数据。
这样,由于数据的大小以及数据处理峰谷情况的不确定性,若设置的数据接收阈值过大,存在系统当前接收的数据量还没有到达该数据接收阈值之前,就已经超出其处理能力的问题;若设置的数据接收阈值过小,又不能充分利用系统的处理能力,造成资源浪费。
因此,相关技术中存在所预估的环境资源不能满足实际所需的问题。
发明内容
本申请实施例的目的在于提供一种数据丢弃方法、装置、电子设备和计算机可读存储介质,用以在有限的环境资源下,使系统能够在数据处理高峰期、数据处理低谷期以及数据大小不确定的情况下稳定运行,继而满足了实际所需。
第一方面,本申请实施例提供了一种数据丢弃方法,该方法包括:若系统在稳定运行过程中检测到积压数据,则计算当前的积压数据量;在基于所述积压数据量丢弃数据的过程中,若检测到所述积压数据量满足第一条件,则基于当前的初始丢弃数据量增加丢弃的数据量;所述第一条件表征所述积压数据量不变或者所述积压数据量的变化量小于变化量阈值;以及若检测到所述积压数据量小于恢复阈值,则基于当前的丢弃数据量减少丢弃的数据量。
这样,系统可以在已经部署好的环境资源下稳定运行,并在稳定运行过程中,通过当前的数据积压量适应性增加或者减少数据的丢弃量,继而可以充分利用已经部署的环境资源,改善资源浪费的情况。这样,即便所部署的环境资源有限,系统也能够在数据处理高峰期、数据处理低谷期以及数据大小不确定的情况下稳定运行,继而满足了实际所需。
可选地,所述在基于所述积压数据量丢弃数据的过程中,若检测到所述积压数据量满足第一条件,则基于当前的初始丢弃数据量增加丢弃的数据量,包括:计算数据延时时长;所述数据延时时长表征数据的处理时刻与接收时刻之间的时间差值;若所述数据延时时长大于时长阈值,则判定所述积压数据量满足所述第一条件;在当前丢弃所述初始丢弃数据量对应的初始丢弃速率基础上,以大于所述初始丢弃速率的速率继续丢弃数据。
这样,系统可以通过数据延时时长确定出初始丢弃数据量,继而能够从时间维度去判断所丢弃的数据量,不需要时刻检测数据量,在一定程度上减轻了操作人员的操作负担。另外,通过增大速率增大数据的丢弃量,便于控制以及计算当前的数据丢弃量。
可选地,所述若检测到所述积压数据量小于恢复阈值,则基于当前的丢弃数据量减少丢弃的数据量,包括:若所述数据延时时长小于所述时长阈值,则判定所述积压数据量小于恢复阈值;在当前丢弃所述积压数据量对应的恢复丢弃速率基础上,以小于所述恢复丢弃速率的速率继续丢弃数据。
这样,系统可以通过数据延时时长确定出积压数据量在逐步减少,继而能够从时间维度去判断当前所丢弃的数据量,不需要时刻检测数据量,在一定程度上减轻了操作人员的操作负担。另外,通过减小速率减少数据的丢弃量,便于控制以及计算当前的数据丢弃量。
可选地,在所述若检测到所述积压数据量小于恢复阈值,则基于当前的丢弃数据量减少丢弃的数据量之后,所述方法还包括:若已丢弃的数据量小于数据量丢弃阈值,则在丢弃预设时长之后,重新计算所述数据延时时长;以及重新检测所述数据延时时长与所述时长阈值之间的大小关系。
这样,能够在已丢弃的数据量小于数据量丢弃阈值的情况下,使系统能够基于当前的丢弃速率丢弃预设时长。当预设时长到达时,由于已经丢弃了较多数据,继而已经使系统得到了缓冲。并且,基于当前的数据延时时长与时长阈值之间的大小关系,循环往复确定出当前的丢弃速率,达到了适应性调整丢弃数据量的目的,继而能够最大限度地利用系统的处理能力,提高其使用率。
可选地,所述方法还包括:若检测到已丢弃的数据量在数据量丢弃阈值以上,则发出报警提示。这样,系统可以在已经丢弃的数据量等于或者大于数据量丢弃阈值时,发出报警提示,以提示操作人员及时处理,避免系统出现异常情况。
可选地,丢弃的数据包括待接收的数据或者所述积压数据。这样,系统可以丢弃待接收的数据或者积压数据,以保证系统能够稳定运行。
可选地,所述方法还包括:设置各条数据的丢弃优先级,并按照所述丢弃优先级丢弃数据。这样,即便丢弃了大量数据,也不会影响数据处理工作的正常进行。
第二方面,本申请实施例提供了一种数据丢弃装置,该装置包括:计算模块,用于若系统在稳定运行过程中检测到积压数据,则计算当前的积压数据量;第一丢弃模块,用于在基于所述积压数据量丢弃数据的过程中,若检测到所述积压数据量满足第一条件,则基于当前的初始丢弃数据量增加丢弃的数据量;所述第一条件表征所述积压数据量不变或者所述积压数据量的变化量小于变化量阈值;第二丢弃模块,用于若检测到所述积压数据量小于恢复阈值,则基于当前的丢弃数据量减少丢弃的数据量。
这样,系统可以在已经部署好的环境资源下稳定运行,并在稳定运行过程中,通过当前的数据积压量适应性增加或者减少数据的丢弃量,继而可以充分利用已经部署的环境资源,改善资源浪费的情况。这样,即便所部署的环境资源有限,系统也能够在数据处理高峰期、数据处理低谷期以及数据大小不确定的情况下稳定运行,继而满足了实际所需。
继而,系统可以在已经部署好的环境资源下稳定运行,并在稳定运行过程中,通过当前的数据积压量适应性增加或者减少数据的丢弃量,继而可以充分利用已经部署的环境资源,改善资源浪费的情况。这样,即便所部署的环境资源有限,系统也能够在数据处理高峰期、数据处理低谷期以及数据大小不确定的情况下稳定运行,继而满足了实际所需。
第三方面,本申请实施例提供一种电子设备,包括处理器以及存储器,所述存储器存储有计算机可读取指令,当所述计算机可读取指令由所述处理器执行时,运行如上述第一方面提供的所述方法中的步骤。
第四方面,本申请实施例提供一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时运行如上述第一方面提供的所述方法中的步骤。
本申请的其他特征和优点将在随后的说明书阐述,并且,部分地从说明书中变得显而易见,或者通过实施本申请实施例了解。本申请的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
附图说明
为了更清楚地说明本申请实施例的技术方案,下面将对本申请实施例中所需要使用的附图作简单地介绍,应当理解,以下附图仅示出了本申请的某些实施例,因此不应被看作是对范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他相关的附图。
图1为本申请实施例提供的一种数据丢弃方法的流程图;
图2为本申请实施例提供的一种数据丢弃装置的结构框图;
图3为本申请实施例提供的一种用于执行数据丢弃方法的电子设备的结构示意图。
具体实施方式
下面将结合本申请实施例中附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。因此,以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围,而是仅仅表示本申请的选定实施例。基于本申请的实施例,本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都属于本申请保护的范围。
应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步定义和解释。同时,在本申请的描述中,术语“第一”、“第二”等仅用于区分描述,而不能理解为指示或暗示相对重要性。
应当说明的是,在不冲突的情况下,本申请中的实施例或者实施例中的技术特征可以进行结合。
相关技术中,存在所预估的环境资源不能满足实际所需的问题;为了解决该问题,本申请提供一种数据丢弃方法、装置、电子设备和计算机可读存储介质;进一步地,其通过数据积压量适应性增加或者减少数据的丢弃量,以使系统充分利用已经部署的环境资源,改善资源浪费情况,并能够持续稳定运行。
在一些应用场景中,上述数据丢弃方法可以应用于数据分析系统,该数据分析系统可以运行于服务端中,上述服务端例如可以包括实质上具备数据分析能力的服务器、服务器集群或者云平台等。
以上相关技术中的方案所存在的缺陷,均是发明人在经过实践并仔细研究后得出的结果,因此,上述问题的发现过程以及下文中本发明实施例针对上述问题所提出的解决方案,都应该是发明人在本发明过程中对本发明做出的贡献。
请参考图1,其示出了本申请实施例提供的一种数据丢弃方法的流程图。如图1所示,该数据丢弃方法包括以下步骤101至步骤103。
步骤101,若系统在稳定运行过程中检测到积压数据,则计算当前的积压数据量;
上述系统可以包括数据分析系统、数据处理系统等实质上用于分析/处理数据的系统;其所处理的数据例如可以包括实时接收到的数据或者之前接收到的历史数据,此处不作限定。
系统在处理数据时,若待处理的数据没有超过其部署的环境资源的处理能力,则其处于稳定运行状态。其所处理的数据例如可以包括终端传输的用户数据或者路由器、交换机等传送的设备数据。这些数据例如可以记载在日志中,继而以日志形式传输。
系统在稳定运行过程中,可以检测是否存在积压数据。若检测到积压数据,可以计算当前的积压数据量。例如,系统在稳定运行过程中,每秒接收了10条数据,其可以每秒处理8条数据。一秒之后,系统检测到积压数据,继而可以计算出当前的积压数据量为2条数据。
在一些应用场景中,例如可以通过kafka(开源平台)或者消息队列缓存数据。以kafka缓存数据为例,系统可以接收数据,也可以处理数据,然后在缓存区可以缓存待处理的积压数据。例如,系统每秒可以接收10条数据,且每秒可以处理8条数据,则每秒会有2条数据不能处理,继而在缓存区每秒会缓存2条积压数据。
步骤102,在基于所述积压数据量丢弃数据的过程中,若检测到所述积压数据量满足第一条件,则基于当前的初始丢弃数据量增加丢弃的数据量;所述第一条件表征所述积压数据量不变或者所述积压数据量的变化量小于变化量阈值;
在一些应用场景中,系统当前的积压数据可能较少,继而即便存在部分积压数据,也不会对系统造成多大影响;但是若积压数据过多,则会对系统造成影响,甚至出现崩溃的情况。因此,系统可以根据积压数据量判断是否需要丢弃数据。
在一些应用场景中,系统例如可以通过预先设置的数据量积压阈值判断是否需要丢弃数据。也即,若当前的积压数据量超过了该数据量积压阈值,可以丢弃数据。这里的数据量积压阈值例如可以包括5400000、600000等实质上会导致系统崩溃的阈值。
继而,系统计算出当前的积压数据量之后,可以基于该积压数据量丢弃数据。在一些应用场景中,例如可以按照预设条数丢弃数据。具体的,系统例如可以在计算出当前的积压数据量为1000条之后,丢弃预设的100条数据。
在一些应用场景中,积压数据量在丢弃的过程中可能不变,也可能逐渐减少。继而,若积压数据量不变或者其变化量小于变化量阈值时,可以视为其满足上述第一条件。上述变化量阈值例如可以包括10条、15条等实质上可以视为积压数据量减少的量很小的值。
如果检测到积压数据量满足第一条件,可以基于当前的初始丢弃数据量增加丢弃的数据量。上述初始丢弃数据量可以视为系统基于当前的积压数据量所丢弃的数据量。例如,系统检测到积压数据量不变,则可以在当前的初始丢弃量为100条数据的基础上,将丢弃的数据量增加为丢弃200条数据。
步骤103,若检测到所述积压数据量小于恢复阈值,则基于当前的丢弃数据量减少丢弃的数据量。
在一些应用场景中,若积压数据量减少到某个范围内,可以视为系统能够稳定运行,出现崩溃情况的概率较小。继而,可以逐渐减少丢弃的数据量。
具体的,若检测到积压数据量小于恢复阈值,可以逐渐减少丢弃的数据量。例如,若检测到积压数据量小于恢复阈值,可以在当前的丢弃数据量为200条数据的基础上,将丢弃的数据量减少为丢弃150条数据。上述恢复阈值例如可以包括100000条、150000条等实质上不影响系统稳定运行的值。
在一些应用场景中,若系统检测到积压数据清零,则可以停止丢弃数据。也即,若检测到积压数据量为0,则基于当前的积压数据量而丢弃的数据量为0。
在本实施例中,系统可以在已经部署好的环境资源下稳定运行,并在稳定运行过程中,通过当前的数据积压量适应性增加或者减少数据的丢弃量,继而可以充分利用已经部署的环境资源,改善资源浪费的情况。这样,即便所部署的环境资源有限,系统也能够在数据处理高峰期、数据处理低谷期以及数据大小不确定的情况下稳定运行,继而满足了实际所需。
在一些可选的实现方式中,在上述步骤102中所述的在基于所述积压数据量丢弃数据的过程中,若检测到所述积压数据量满足第一条件,则基于当前的初始丢弃数据量增加丢弃的数据量,包括以下子步骤:
步骤1021,计算数据延时时长;所述数据延时时长表征数据的处理时刻与接收时刻之间的时间差值;
在一些应用场景中,系统可以通过数据延时时长来确定积压数据量是否满足第一条件。继而,系统可以计算数据延时时长。例如,数据A的处理时刻是13:30(也即在13:30处理数据A),该数据A是13:00接收到的,则数据延时时长为30分钟。由此可以看出系统已经积压了30分钟的数据量。若系统以10条/秒的速率接收数据,以8条/秒的速率处理数据,则30分钟积压了3600条数据(也即数据积压量为3600条)。
子步骤1022,若所述数据延时时长大于时长阈值,则判定所述积压数据量满足所述第一条件;
系统计算出数据延时时长之后,可以比较数据延时时长与时长阈值之间的大小关系。若数据延时时长大于时长阈值,可以判定积压数据量满足第一条件。例如,系统仍然以10条/秒的速率接收数据,以8条/秒的速率处理数据,若时长阈值为20分钟(也即积压了2400条数据),则此时数据延时时长30分钟大于时长阈值20分钟,则可以确定积压数据量满足第一条件。上述时长阈值例如可以通过经验值设置,也可以根据系统所能正常处理的数据积压量确定(例如2400条数据,其在上述速率条件下对应于20分钟)。
子步骤1023,在当前丢弃所述初始丢弃数据量对应的初始丢弃速率基础上,以大于所述初始丢弃速率的速率继续丢弃数据。
系统判定出数据延时时长大于时长阈值时,可以大于初始丢弃速率的速率继续丢弃数据。也即,在初始丢弃数据量小于数据量丢弃阈值的情况下,可以增大丢弃速率,以增加丢弃量。
在本实现方式中,系统可以通过数据延时时长确定出初始丢弃数据量,继而能够从时间维度去判断所丢弃的数据量,不需要时刻检测数据量,在一定程度上减轻了操作人员的操作负担。另外,通过增大速率增大数据的丢弃量,便于控制以及计算当前的数据丢弃量。
在一些应用场景中,系统例如也可以通过数据延时时长判断是否需要丢弃数据。例如,若数据延时时长大于某个阈值,可以视为当前的积压数据量大于该阈值对应的积压数据量(例如上述的5400000、600000),继而需要丢弃数据。
在一些可选的实现方式中,上述步骤103中所述的若检测到所述积压数据量小于恢复阈值,则基于当前的丢弃数据量减少丢弃的数据量,包括:
子步骤1031,若所述数据延时时长小于所述时长阈值,则判定所述积压数据量小于恢复阈值;
在一些应用场景中,系统若确定了数据延时时长小于时长阈值,可以判定积压数据量小于恢复阈值。例如,系统仍然以10条/秒的速率接收数据,以8条/秒的速率处理数据,若时长阈值为40分钟(也即积压了4800条数据),则此时数据延时时长30分钟小于时长阈值40分钟,则可以确定积压数据量小于恢复阈值。
子步骤1032,在当前丢弃所述积压数据量对应的恢复丢弃速率基础上,以小于所述恢复丢弃速率的速率继续丢弃数据。
系统判定出当前的数据延时时长小于时长下限阈值时,可以小于恢复丢弃速率的速率继续丢弃数据。也即,在积压数据量减少到恢复阈值的情况下,可以减小丢弃速率,以减少丢弃量。
在本实现方式中,系统可以通过数据延时时长确定出积压数据量在逐步减少,继而能够从时间维度去判断当前所丢弃的数据量,不需要时刻检测数据量,在一定程度上减轻了操作人员的操作负担。另外,通过减小速率减少数据的丢弃量,便于控制以及计算当前的数据丢弃量。
应当说明的是,系统在丢弃数据的过程中,可以基于当前的积压数据量逐步增大丢弃的数据量,并可以基于当前的积压数据量逐步减少丢弃的数据量。因此,该增大过程和减少过程是对应的。也即,实现了基于当前的积压数据量适应性增大或者减少丢弃的数据量的过程,在保证系统稳定运行的情况下,发挥了其最大的使用率,改善了资源浪费情况。
在一些可选的实现方式中,在所述若检测到所述积压数据量小于恢复阈值,则基于当前的丢弃数据量减少丢弃的数据量之后,所述方法还包括:若已丢弃的数据量小于数据量丢弃阈值,则在丢弃预设时长之后,重新计算所述数据延时时长;以及重新检测所述数据延时时长与所述时长阈值之间的大小关系。
在一些应用场景中,由于系统在实时接收数据,也在实时处理数据,因此积压数据量是变化的。若实时检测积压数据量,系统并不能基于当前时刻的积压数据量准确确认下一时刻是否处于稳定运行状态,且实时检测积压数据量,也会在一定程度上增大操作负担。
继而,系统如果检测到已经丢弃的数据量小于数据量丢弃阈值,可以当前的丢弃速率丢弃预设时长之后,再重新判断如何丢弃数据。
上述数据量丢弃阈值可以视为系统在稳定运行的情况下,所能丢弃的最大数据量。此时,若继续丢弃数据,则会影响数据处理工作。在一些应用场景中,该数据量丢弃阈值例如可以数据处理高峰期的数据量为基准设定。例如,可以将数据处理高峰期所接收的数据量与系统稳定运行能处理的最大数据量之间的差值设定为数据量丢弃阈值。
上述预设时长例如可以包括1分钟、2分钟等实质上能够基于此段时长内丢弃的数据量较为准确地预估出系统能够稳定运行的时长。
在一些应用场景中,系统可以在已丢弃的数据量小于数据量丢弃阈值的情况下,循环执行与上述子步骤1021至子步骤1023、以及上述子步骤1031至子步骤1032相同或相似的过程,以重新判断如何丢弃数据。
在本实现方式中,能够在已丢弃的数据量小于数据量丢弃阈值的情况下,使系统能够基于当前的丢弃速率丢弃预设时长。当预设时长到达时,由于已经丢弃了较多数据,继而已经使系统得到了缓冲。并且,基于当前的数据延时时长与时长阈值之间的大小关系,循环往复确定出当前的丢弃速率,达到了适应性调整丢弃数据量的目的,继而能够最大限度地利用系统的处理能力,提高其使用率。
在一些可选的实现方式中,所述方法还包括:若检测到已丢弃的数据量在数据量丢弃阈值以上,则发出报警提示。
在一些应用场景中,系统如果检测到已经丢弃的数据量等于或者大于数据流丢弃阈值,可以发出报警提示。在这些应用场景中,系统例如可以向操作人员所使用的终端设备发送报警信息或者发出报警铃声等报警提示。
在一些应用场景中,系统在发出报警提示之后,可以停止接收数据,以避免接收的数据量过多导致数据处理工作无法正常进行。
在本实现方式中,系统可以在已经丢弃的数据量等于或者大于数据量丢弃阈值时,发出报警提示,以提示操作人员及时处理,避免系统出现异常情况。
在一些可选的实现方式中,丢弃的数据包括待接收的数据或者所述积压数据。
在一些应用场景中,系统丢弃的数据可以包括待接收的数据。在这些应用场景中,例如,系统预计在下一秒接收50条数据,则在丢弃数据时,可以先从这50条数据中选择部分数据进行丢弃。或者,系统预计在第1秒接收50条数据,在第2秒接收30条数据,在也可以从第2秒的30条数据中选择部分数据进行丢弃。
另外,系统丢弃的数据也可以是积压数据。也即,系统可以从当前积压的数据中选择部分数据丢弃。
在本实现方式中,系统可以丢弃待接收的数据或者积压数据,以保证系统能够稳定运行。
在一些可选的实现方式中,所述方法还包括:设置各条数据的丢弃优先级,并按照所述丢弃优先级丢弃数据。
在一些应用场景中,系统可以根据数据的丢弃优先级丢弃数据。在这些应用场景中,各条数据在传输到系统之前或者被系统丢弃之前,可以根据其所属的数据类型或者处理的紧急程度等因素被设置为不同的丢弃优先级。例如,系统可以在丢弃数据之前,确定其所属的数据类型为可以优先丢弃的类型时,可以将其丢弃优先级设置为最高级。这里可以优先丢弃的类型例如可以包括路由器发送的设备更新数据。另外,系统也可以在接收到数据时,就确定各条数据的重要程度,若其紧急程度为最高级,则将其丢弃优先级设置为最低级,以使重要的数据都能够被处理。这里丢弃优先级为最低级的数据例如可以包括用户请求数据。
在这些应用场景中,在设置各条数据的丢弃优先级时,例如可以将属于同一数据类型的多条数据设置为同一丢弃优先级,以使该类数据均能够以相同的丢弃优先级进行丢弃。
在本实现方式中,可以按照各条数据的丢弃优先级丢弃数据,继而可以优先处理较为紧急或者较为重要的数据,延后或者丢弃其他数据。这样,即便丢弃了大量数据,也不会影响数据处理工作的正常进行。
本领域技术人员可以理解,在具体实施例的上述方法中,各步骤的撰写顺序并不意味着严格的执行顺序而对实施过程构成任何限定,各步骤的具体执行顺序应当以其功能和可能的内在逻辑确定。
请参考图2,其示出了本申请实施例提供的一种数据丢弃装置的结构框图,该数据丢弃装置可以是电子设备上的模块、程序段或代码。应理解,该装置与上述图1方法实施例对应,能够执行图1方法实施例涉及的各个步骤,该装置具体的功能可以参见上文中的描述,为避免重复,此处适当省略详细描述。
可选地,上述数据丢弃装置包括计算模块201、第一丢弃模块202以及第二丢弃模块203。其中,计算模块201,用于若系统在稳定运行过程中检测到积压数据,则计算当前的积压数据量;第一丢弃模块202,用于在基于所述积压数据量丢弃数据的过程中,若检测到所述积压数据量满足第一条件,则基于当前的初始丢弃数据量增加丢弃的数据量;所述第一条件表征所述积压数据量不变或者所述积压数据量的变化量小于变化量阈值;第二丢弃模块203,用于若检测到所述积压数据量小于恢复阈值,则基于当前的丢弃数据量减少丢弃的数据量。
可选地,所述第一丢弃模块202进一步用于:计算数据延时时长;所述数据延时时长表征数据的处理时刻与接收时刻之间的时间差值;若所述数据延时时长大于时长阈值,则判定所述积压数据量满足所述第一条件;在当前丢弃所述初始丢弃数据量对应的初始丢弃速率基础上,以大于所述初始丢弃速率的速率继续丢弃数据。
可选地,所述第二丢弃模块203进一步用于:若所述数据延时时长小于所述时长阈值,则判定所述积压数据量小于恢复阈值;在当前丢弃所述积压数据量对应的恢复丢弃速率基础上,以小于所述恢复丢弃速率的速率继续丢弃数据。
可选地,所述装置还包括循环模块,上述循环模块用于:在所述若检测到所述积压数据量小于恢复阈值,则基于当前的丢弃数据量减少丢弃的数据量之后,若已丢弃的数据量小于数据量丢弃阈值,则在丢弃预设时长之后,重新计算所述数据延时时长;以及重新检测所述数据延时时长与所述时长阈值之间的大小关系。
可选地,所述装置还包括报警模块,上述报警模块用于:若检测到已丢弃的数据量在数据量丢弃阈值以上,则发出报警提示。
可选地,丢弃的数据包括待接收的数据或者所述积压数据。
可选地,所述装置还包括设置模块,上述设置模块用于:设置各条数据的丢弃优先级,并按照所述丢弃优先级丢弃数据。
需要说明的是,本领域技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的装置的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再重复描述。
请参照图3,图3为本申请实施例提供的一种用于执行数据丢弃方法的电子设备的结构示意图,所述电子设备可以包括:至少一个处理器301,例如CPU,至少一个通信接口302,至少一个存储器303和至少一个通信总线304。其中,通信总线304用于实现这些组件直接的连接通信。其中,本申请实施例中设备的通信接口302用于与其他节点设备进行信令或数据的通信。存储器303可以是高速RAM存储器,也可以是非易失性的存储器(non-volatilememory),例如至少一个磁盘存储器。存储器303可选的还可以是至少一个位于远离前述处理器的存储装置。存储器303中存储有计算机可读取指令,当所述计算机可读取指令由所述处理器301执行时,电子设备可以执行上述图1所示方法过程。
可以理解,图3所示的结构仅为示意,所述电子设备还可包括比图3中所示更多或者更少的组件,或者具有与图3所示不同的配置。图3中所示的各组件可以采用硬件、软件或其组合实现。
本申请实施例提供一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时,可以执行如图1所示方法实施例中电子设备所执行的方法过程。
本申请实施例提供一种计算机程序产品,所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序,所述计算机程序包括程序指令,当所述程序指令被计算机执行时,计算机能够执行上述各方法实施例所提供的方法,例如,该方法可以包括:若系统在稳定运行过程中检测到积压数据,则计算当前的积压数据量;在基于所述积压数据量丢弃数据的过程中,若检测到所述积压数据量满足第一条件,则基于当前的初始丢弃数据量增加丢弃的数据量;所述第一条件表征所述积压数据量不变或者所述积压数据量的变化量小于变化量阈值;以及若检测到所述积压数据量小于恢复阈值,则基于当前的丢弃数据量减少丢弃的数据量。
在本申请所提供的实施例中,应该理解到,所揭露装置和方法,可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,又例如,多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
另外,作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
再者,在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部分,也可以是各个模块单独存在,也可以两个或两个以上模块集成形成一个独立的部分。
在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。
以上所述仅为本申请的实施例而已,并不用于限制本申请的保护范围,对于本领域的技术人员来说,本申请可以有各种更改和变化。凡在本申请的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本申请的保护范围之内。

Claims (10)

1.一种数据丢弃方法,其特征在于,包括:
若系统在稳定运行过程中检测到积压数据,则计算当前的积压数据量;
在基于所述积压数据量丢弃数据的过程中,若检测到所述积压数据量满足第一条件,则基于当前的初始丢弃数据量增加丢弃的数据量;所述第一条件表征所述积压数据量不变或者所述积压数据量的变化量小于变化量阈值;以及
若检测到所述积压数据量小于恢复阈值,则基于当前的丢弃数据量减少丢弃的数据量。
2.根据权利要求1所述的方法,其特征在于,所述在基于所述积压数据量丢弃数据的过程中,若检测到所述积压数据量满足第一条件,则基于当前的初始丢弃数据量增加丢弃的数据量,包括:
计算数据延时时长;所述数据延时时长表征数据的处理时刻与接收时刻之间的时间差值;
若所述数据延时时长大于时长阈值,则判定所述积压数据量满足所述第一条件;
在当前丢弃所述初始丢弃数据量对应的初始丢弃速率基础上,以大于所述初始丢弃速率的速率继续丢弃数据。
3.根据权利要求2所述的方法,其特征在于,所述若检测到所述积压数据量小于恢复阈值,则基于当前的丢弃数据量减少丢弃的数据量,包括:
若所述数据延时时长小于所述时长阈值,则判定所述积压数据量小于恢复阈值;
在当前丢弃所述积压数据量对应的恢复丢弃速率基础上,以小于所述恢复丢弃速率的速率继续丢弃数据。
4.根据权利要求2或3所述的方法,其特征在于,在所述若检测到所述积压数据量小于恢复阈值,则基于当前的丢弃数据量减少丢弃的数据量之后,所述方法还包括:
若已丢弃的数据量小于数据量丢弃阈值,则在丢弃预设时长之后,重新计算所述数据延时时长;以及
重新检测所述数据延时时长与所述时长阈值之间的大小关系。
5.根据权利要求1所述的方法,其特征在于,所述方法还包括:
若检测到已丢弃的数据量在数据量丢弃阈值以上,则发出报警提示。
6.根据权利要求1-3或5任一项所述的方法,其特征在于,丢弃的数据包括待接收的数据或者所述积压数据。
7.根据权利要求1-3或5任一项所述的方法,其特征在于,所述方法还包括:
设置各条数据的丢弃优先级,并按照所述丢弃优先级丢弃数据。
8.一种数据丢弃装置,其特征在于,包括:
计算模块,用于若系统在稳定运行过程中检测到积压数据,则计算当前的积压数据量;
第一丢弃模块,用于在基于所述积压数据量丢弃数据的过程中,若检测到所述积压数据量满足第一条件,则基于当前的初始丢弃数据量增加丢弃的数据量;所述第一条件表征所述积压数据量不变或者所述积压数据量的变化量小于变化量阈值;
第二丢弃模块,用于若检测到所述积压数据量小于恢复阈值,则基于当前的丢弃数据量减少丢弃的数据量。
9.一种电子设备,其特征在于,包括处理器以及存储器,所述存储器存储有计算机可读取指令,当所述计算机可读取指令由所述处理器执行时,运行如权利要求1-7任一所述的方法。
10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时运行如权利要求1-7任一所述的方法。
CN202310804549.5A 2023-06-30 2023-06-30 数据丢弃方法、装置、电子设备和计算机可读存储介质 Pending CN116820825A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310804549.5A CN116820825A (zh) 2023-06-30 2023-06-30 数据丢弃方法、装置、电子设备和计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310804549.5A CN116820825A (zh) 2023-06-30 2023-06-30 数据丢弃方法、装置、电子设备和计算机可读存储介质

Publications (1)

Publication Number Publication Date
CN116820825A true CN116820825A (zh) 2023-09-29

Family

ID=88125579

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310804549.5A Pending CN116820825A (zh) 2023-06-30 2023-06-30 数据丢弃方法、装置、电子设备和计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN116820825A (zh)

Similar Documents

Publication Publication Date Title
CN107135088B (zh) 云计算系统中处理日志的方法和装置
CN107204875B (zh) 数据上报链路监测方法、装置、电子设备及存储介质
CN111352967B (zh) 滑动窗口算法的频次控制方法、系统、设备及介质
US20210042578A1 (en) Feature engineering orchestration method and apparatus
US20230164078A1 (en) Congestion Control Method and Apparatus
CN112511456A (zh) 流量控制方法、装置、设备、存储介质和计算机程序产品
CN109597800B (zh) 一种日志分发方法及装置
CN104980472A (zh) 网络访问量的控制方法及装置
CN112965823B (zh) 调用请求的控制方法、装置、电子设备和存储介质
CN110995618A (zh) 一种消息处理方法、装置、电子设备及可读存储介质
CN112383585A (zh) 消息处理系统、方法及电子设备
CN114050983A (zh) 流量自适应采集方法及装置、存储介质及电子设备
CN112969172B (zh) 一种基于云手机的通讯流量控制方法
CN112073327B (zh) 一种抗拥塞的软件分流方法、装置及存储介质
CN107544888B (zh) 一种日志处理方法及系统
CN108804152B (zh) 配置参数的调节方法及装置
CN110659132B (zh) 请求处理的优化方法及计算机可读存储介质
CN116820825A (zh) 数据丢弃方法、装置、电子设备和计算机可读存储介质
CN110347518B (zh) 消息处理方法及装置
CN116795643A (zh) 一种告警管理方法
CN109089281B (zh) 一种集群通信方法、终端设备及存储介质
CN107025148B (zh) 一种海量数据的处理方法和装置
CN114079619B (zh) 端口流量的采样方法和装置
CN114071149B (zh) 分布式视频转码方法及相关装置
CN109815048B (zh) 数据读取方法、装置及设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination