CN113297107A - 一种数据处理方法、装置以及电子设备 - Google Patents

一种数据处理方法、装置以及电子设备 Download PDF

Info

Publication number
CN113297107A
CN113297107A CN202010266930.7A CN202010266930A CN113297107A CN 113297107 A CN113297107 A CN 113297107A CN 202010266930 A CN202010266930 A CN 202010266930A CN 113297107 A CN113297107 A CN 113297107A
Authority
CN
China
Prior art keywords
data
stored
storage unit
buffer storage
data processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010266930.7A
Other languages
English (en)
Inventor
张晓昱
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alibaba Group Holding Ltd
Original Assignee
Alibaba Group Holding Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alibaba Group Holding Ltd filed Critical Alibaba Group Holding Ltd
Priority to CN202010266930.7A priority Critical patent/CN113297107A/zh
Publication of CN113297107A publication Critical patent/CN113297107A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F12/00Accessing, addressing or allocating within memory systems or architectures
    • G06F12/02Addressing or allocation; Relocation
    • G06F12/08Addressing or allocation; Relocation in hierarchically structured memory systems, e.g. virtual memory systems
    • G06F12/12Replacement control
    • G06F12/121Replacement control using replacement algorithms
    • G06F12/123Replacement control using replacement algorithms with age lists, e.g. queue, most recently used [MRU] list or least recently used [LRU] list
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F12/00Accessing, addressing or allocating within memory systems or architectures
    • G06F12/02Addressing or allocation; Relocation
    • G06F12/08Addressing or allocation; Relocation in hierarchically structured memory systems, e.g. virtual memory systems
    • G06F12/0802Addressing of a memory level in which the access to the desired data or data block requires associative addressing means, e.g. caches
    • G06F12/0877Cache access modes

Abstract

本申请提供了一种数据处理方法,包括:获得待存储数据;判断缓冲存储单元中是否存储有所述待存储数据;若否,则确定所述待存储数据为目标存储数据的预测概率,所述目标存储数据为数据密度超过数据密度阈值的数据;如果所述预测概率达到或超过预测概率阈值,则将所述待存储数据存储在所述缓冲存储单元中,所述缓冲存储单元为用于存储数据处理单元在指定时间区间内使用过的数据的存储单元。本申请提供的数据处理方法,在待存储数据为目标存储数据的预测概率达到或超过预测概率阈值时,才直接将待存储数据存储在缓冲存储单元中,从而能够确保将数据密度超过数据密度阈值的待存储数据存储在缓冲存储单元中,提高了缓冲存储单元的工作效率。

Description

一种数据处理方法、装置以及电子设备
技术领域
本申请涉及计算机技术领域,具体涉及一种数据处理方法、装置以及电子设备。
背景技术
随着CPU(Central Processing Unit)制造工艺不断改进和发展,CPU的性能也得到了显著的提升,而与CPU性能的提升速度相比,主存储器性能的提升速度相对较慢,这样,就造成了CPU的处理数据的速度远高于主存储器处理数据的速度,CPU向主存储器中存取数据时会有一定的等待时间,从而从整体上拉低了计算机性能的提升。为了提升计算机整体的性能,现有技术中往往会在CPU和主存储器之间设置Cache(高速缓冲存储器)存储器。
Cache存储器能够存储CPU近期使用过的数据和与CPU近期使用过的数据存储位置相邻的数据,如果CPU需要再次使用该部分数据时,可从Cache存储器中直接调用该部分数据,这样,CPU就无需向主存储器中存取该部分数据,从而减少了CPU的等待时间,因而提高了计算机的性能。
现有技术中,往往会将CPU近期使用过的数据和与CPU近期使用过的数据存储位置相邻的数据全部存储在Cache存储器中,在Cache存储器中存满数据后,一般会通过LRU(Least Recently Used,最近最少用)等算法将Cache存储器中已存储的数据替换为CPU刚刚使用过的数据,从而实现对Cache存储器中存储的数据的更新。现有的对Cache存储器中存储的数据的更新的方法,往往会将Cache存储器中高密度的数据替换为低密度的数据,从而降低了Cache存储器的工作效率。
发明内容
本申请提供一种数据处理方法、装置以及电子设备,以提高缓冲存储单元的工作效率。
本申请提供一种数据处理方法,包括:
获得待存储数据;
判断缓冲存储单元中是否存储有所述待存储数据;
若否,则确定所述待存储数据为目标存储数据的预测概率,所述目标存储数据为数据密度超过数据密度阈值的数据;
如果所述预测概率达到或超过预测概率阈值,则将所述待存储数据存储在所述缓冲存储单元中,所述缓冲存储单元为用于存储数据处理单元在指定时间区间内使用过的数据的存储单元。
可选的,所述将所述待存储数据存储在所述缓冲存储单元中,包括:根据所述缓冲存储单元的剩余存储空间信息,将所述待存储数据存储在所述缓冲存储单元中。
可选的,所述根据所述缓冲存储单元的剩余存储空间信息,将所述待存储数据存储在所述缓冲存储单元中,包括:如果所述缓冲存储单元的存储空间不存在剩余存储空间,则将所述缓冲存储单元中已存储的、在预设时间区间内最少被所述数据处理单元使用的数据替换为所述待存储数据。
可选的,所述将所述缓冲存储单元中已存储的、在预设时间区间内最少被所述数据处理单元使用的数据替换为所述待存储数据,包括:将所述缓冲存储单元中已存储的、在预设时间区间内最少被所述数据处理单元使用的数据存储在主存储器中后,将所述待存储数据存储在所述缓冲存储单元中。
可选的,所述根据所述缓冲存储单元的剩余存储空间信息,将所述待存储数据存储在所述缓冲存储单元中,包括:如果所述缓冲存储单元的存储空间存在剩余存储空间,则将所述待存储数据存储在与所述预测概率对应的预设存储区域中。
可选的,所述将所述待存储数据存储在与所述预测概率对应的预设存储区域中,包括:
获得所述缓冲存储单元中的至少一个预设存储区域的使用命中率,所述使用命中率为用于表示所述预设存储区域中存储的数据在预设时间区间内被所述数据处理单元使用的概率;
根据所述预测概率确定与所述预测概率对应的所述使用命中率;
根据所述与所述预测概率对应的所述使用命中率,确定与所述述预测概率对应的预设存储区域,将所述待存储数据存储在与所述预测概率对应的预设存储区域中。
可选的,所述获得所述缓冲存储单元中的至少一个预设存储区域的使用命中率,包括:获得所述缓冲存储单元中的至少一个预设存储区域在所述预设时间区间内的使用命中率。
可选的,所述获得所述缓冲存储单元中的至少一个预设存储区域在所述预设时间区间内的使用命中率,包括:
获得在所述预设时间区间内所述数据处理单元使用数据的次数,作为第一统计次数;
获得在所述预设时间区间内所述数据处理单元使用所述预设存储区域中存储的数据的次数,作为第二统计次数;
根据所述第一统计次数和所述第二统计次数,获得所述缓冲存储单元中的至少一个预设存储区域在所述预设时间区间内的使用命中率。
可选的,还包括:在所述预设时间区间内所述数据处理单元使用所述预设存储区域中存储的数据后,增加所述第一统计次数和所述第二统计次数。
可选的,还包括:获得所述使用命中率与预测概率之间的对应关系;
所述根据所述预测概率确定与所述预测概率对应的所述使用命中率,包括:根据所述预测概率、所述使用命中率与预测概率之间的对应关系,确定与所述预测概率对应的所述使用命中率。
可选的,所述预设存储区域的命中率与预测概率之间的对应关系为根据所述预设存储区域的命中率从大到小的顺序与预测概率从大到小的顺序建立的对应关系。
可选的,所述预设存储区域的命中率与预测概率之间的对应关系为所述预设存储区域的命中率区间与预测概率之间区间的对应关系。
可选的,还包括:如果所述预测概率未达到所述预测概率阈值,则根据所述缓冲存储单元的剩余存储空间信息来存储所述待存储数据。
可选的,所述根据所述缓冲存储单元的剩余存储空间信息来存储所述待存储数据,包括:如果所述缓冲存储单元的存储空间不存在剩余存储空间,则将所述待存储数据存储在主存储单元中。
可选的,所述根据所述缓冲存储单元的剩余存储空间信息来存储所述待存储数据,包括:如果所述缓冲存储单元的存储空间存在剩余存储空间,则将所述待存储数据存储在所述缓冲存储单元中。
可选的,根据所述缓冲存储单元的剩余存储空间信息来存储所述待存储数据后,增加在所述预设时间区间内所述数据处理单元使用数据的次数。
可选的,还包括:
获得所述待存储数据所在的粒度区域;
根据所述待存储数据所在的粒度区域,获得所述待存储数据所在的粒度区域在计算所述预测概率时的权重;
所述确定所述待存储数据为目标存储数据的预测概率,包括:根据所述待存储数据所在的粒度区域在计算所述预测概率时的权重,计算所述预测概率。
可选的,所述获得所述待存储数据所在的粒度区域,包括:
获得所述待存储数据的数据密度特征;
获得数据密度特征与粒度区域之间的对应关系;
根据所述待存储数据的数据密度特征和所述数据密度特征与粒度区域之间的对应关系,获得所述待存储数据所在的粒度区域。
可选的,所述获得所述待存储数据的数据密度特征,包括:
获得所述待存储数据的数据特征;
根据所述待存储数据的数据特征,获得所述待存储数据的数据密度特征。
可选的,所述判断缓冲存储单元中是否存储有所述待存储数据,包括:
获得所述待存储数据与所述缓冲存储单元中存储的数据的相似度;
根据所述待存储数据与所述缓冲存储单元中存储的数据的相似度,判断所述缓冲存储单元中是否存储有所述待存储数据。
可选的,所述根据所述待存储数据与所述缓冲存储单元中存储的数据的相似度,判断所述缓冲存储单元中是否存储有所述待存储数据,包括:如果所述相似度达到或超过相似度阈值,则所述缓冲存储单元中存储有所述待存储数据。
可选的,所述根据所述待存储数据与所述缓冲存储单元中存储的数据的相似度,判断所述缓冲存储单元中是否存储有所述待存储数据,包括:如果所述相似度未达到所述相似度阈值,则所述缓冲存储单元中未存储有所述待存储数据。
可选的,还包括:如果所述缓冲存储单元中存储有所述待存储数据,则增加在所述预设时间区间内所述数据处理单元使用数据的次数。
本申请另一方面,提供一种数据处理装置,包括:
待存储数据获得单元,用于获得待存储数据;
待存储数据判断单元,用于判断缓冲存储单元中是否存储有所述待存储数据;
预测概率获得单元,用于在所述待存储数据判断单元的判断结果为否时,确定所述待存储数据为目标存储数据的预测概率,所述目标存储数据为数据密度超过数据密度阈值的数据;
待存储数据存储单元,用于如果所述预测概率达到或超过预测概率阈值,则将所述待存储数据存储在所述缓冲存储单元中。
本申请另一方面,提供一种电子设备,包括:
处理器;以及
存储器,用于存储计算机程序,该设备通电并通过所述处理器运行该计算机程序后,执行如下步骤:
获得待存储数据;
判断缓冲存储单元中是否存储有所述待存储数据;
若否,则确定所述待存储数据为目标存储数据的预测概率,所述目标存储数据为数据密度超过数据密度阈值的数据;
如果所述预测概率达到或超过预测概率阈值,则将所述待存储数据存储在所述缓冲存储单元中,所述缓冲存储单元为用于存储数据处理单元在指定时间区间内使用过的数据的存储单元。
本申请另一方面,提供一种数据处理方法,包括:
获得待存储数据;
判断缓冲存储单元中是否存储有所述待存储数据;
若否,则判断所述待存储数据的数据密度是否超过数据密度阈值;
如果所述待存储数据的数据密度达到或超过所述数据密度阈值,则将所述待存储数据存储在所述缓冲存储单元中,如果所述待存储数据的数据密度未达到所述数据密度阈值,则将所述待存储数据存储在主存储单元中,所述缓冲存储单元为用于存储数据处理单元在指定时间区间内使用过的数据的存储单元。
本申请另一方面,提供一种数据处理方法,包括:
获得待存储数据;
判断缓冲存储单元中是否存储有所述待存储数据;
若否,则判断所述待存储数据的数据密度是否超过数据密度阈值;
如果所述待存储数据的数据密度达到或超过所述数据密度阈值,则将所述待存储数据存储在所述缓冲存储单元中,所述缓冲存储单元为用于存储数据处理单元在指定时间区间内使用过的数据的存储单元。
本申请另一方面,提供一种数据处理方法,包括:
获得数据写入请求;
根据所述数据写入请求,判断所述写入请求是否满足第一预设条件,若是,则将所述数据写入缓冲存储单元;
其中,所述第一预设条件至少包括设定时间写入设定数据量的指标,所述缓冲存储单元为用于存储数据处理单元在指定时间区间内使用过的数据的存储单元。
可选的,若否,将所述数据写入主存储单元。
可选的,若否,则进一步判定缓冲存储空间是否有空间,若有,则将数据写入缓冲存储单元;若没有,则将数据写入主存储单元。
本申请另一方面,提供一种数据存储装置,包括:
数据写入请求获得单元,用于获得数据写入请求,
数据写入单元,用于判断缓冲存储存储空间是否有空间,若有,根据所述数据写入请求,判断所述写入请求是否满足第一预设条件,若是,则将所述数据写入缓冲存储单元;
其中,所述第一预设条件至少包括设定时间写入设定数据量的指标,所述缓冲存储单元为用于存储数据处理单元在指定时间区间内使用过的数据的存储单元。
本申请另一方面,提供一种分布式拒绝服务攻击数据处理方法,包括:
获得针对数据写入请求的待存储数据;
判断所述待存储数据是否为数据密度超过数据密度阈值的分布式拒绝服务数据;
若是,则将所述待存储数据存储在所述缓冲存储单元中,否则,将所述待存储数据存储在主存储单元中,所述缓冲存储单元为用于存储数据处理单元在指定时间区间内使用过的数据的存储单元。与现有技术相比,本申请具有以下优点:
本申请提供的数据处理方法,在获得待存储数据后,先判断缓冲存储单元中是否存储有所述待存储数据,当缓冲存储单元中未存储有所述待存储数据时,再进一步确定待存储数据为目标存储数据的预测概率,并在预测概率达到或超过预测概率阈值时,才直接将待存储数据存储在缓冲存储单元中,从而能够确保将数据密度超过数据密度阈值的待存储数据存储在缓冲存储单元中,提高了缓冲存储单元的工作效率。
附图说明
图1为本申请提供的数据处理方法的应用场景实施例的第一示意图。
图1A为本申请提供的数据处理方法的应用场景实施例的第二示意图。
图2为本申请第一实施例中提供的一种数据处理方法的流程图。
图3为本申请的第一实施例中提供的一种获得待存储数据所在的粒度区域的流程图。
图4为本申请的第一实施例中提供的一种将待存储数据存储到预设存储区域中的流程图。
图5为本申请的第一实施例中提供的一种获得预设存储区域在预设时间区间内的使用命中率的流程图。
图6为本申请第二实施例中提供的一种数据处理装置的示意图。
图7为本申请实施例中提供的一种电子设备的示意图。
图8为本申请第四实施例中提供的一种数据处理方法的流程图。
具体实施方式
在下面的描述中阐述了很多具体细节以便于充分理解本发明。但是本发明能够以很多不同于在此描述的其它方式来实施,本领域技术人员可以在不违背本发明内涵的情况下做类似推广,因此本发明不受下面公开的具体实施的限制。
为了更清楚地展示本申请提供的数据处理方法,先介绍一下本申请提供的数据处理方法的应用场景。
本申请提供的数据处理方法可以应用于计算机的数据处理的应用场景,如图1所示,其为本申请提供的数据处理方法的应用场景实施例的第一示意图。本申请提供的数据处理方法的应用场景的实施例中,缓冲存储单元为Cache存储器,主存储单元为DDR SDRAM(Double Data Rate Synchronous Dynamic Random Access Memory,双倍数据率同步动态随机存取存储器),数据处理单元为CPU,待存储数据为CPU刚刚使用过的数据。本申请提供的数据处理方法的应用场景实施例中,执行数据处理的主体一般为预先设置并部署在数据处理设备上的用于数据交换的数据交换单元中的程序、软件或者模型,如:安装在服务器上的用于数据交换的数据交换单元中的程序、软件或者模型。
在本申请提供的数据处理方法的应用场景实施例中,数据处理方法可以由装载在数据处理单元101中的运行程序来实施,具体实施过程如下:
从数据处理单元101获得待存储数据,在获得待存储数据后,判断缓冲存储单元102中是否存储有待存储数据,如果缓冲存储单元102中未存储有待存储数据,则进一步确定待存储数据为目标存储数据的预测概率,并在预测概率达到或超过预测概率阈值时,将待存储数据存储在缓冲存储单元102中。其中,在预测概率未达到预测概率阈值时,则根据缓冲存储单元102的剩余存储空间信息来存储待存储数据,具体的,如果缓冲存储单元102的存储空间不存在剩余存储空间,则将待存储数据存储在主存储单元103中;如果缓冲存储单元102的存储空间存在剩余存储空间,则将待存储数据存储在缓冲存储单元102中。
需要说明的是,本申请提供的数据处理方法的应用场景实施例中,目标存储数据为数据密度超过数据密度阈值的数据,其中,数据密度为在指定时间段内数据的流量。
本申请提供的数据处理方法还往往用于防御分布式拒绝服务攻击,分布式拒绝服务攻击为目标服务器在指定时间段内同时遭遇来自不同地点的多个不同计算设备的网络攻击,分布式拒绝服务攻击数据为数据密度超过数据密度阈值的数据,即,实时待存储数据在指定时间段内数据的流量较大。在将本申请提供的数据处理方法应用于防御分布式拒绝服务攻击时,需要实时对待存储数据进行监测,具体的,在获得实时待存储数据时,会先判断缓冲存储单元中是否存储有待存储数据,并在缓冲存储单元中不存储有待存储数据时,先确定实时待存储数据是否为分布式拒绝服务攻击数据,再在如果实时待存储数据为分布式拒绝服务攻击数据时,进一步将待存储数据存储在缓冲存储单元中。
本申请提供的数据处理方法的应用场景实施例中,具体的执行数据处理的主体可以为预先设置并部署在服务器等上的用于数据交换的数据交换单元中的预测分类器,请参照图1A,其为本申请提供的数据处理方法的应用场景实施例的第二示意图。
首先,训练预测分类器,该预测分类器用于获得待存储数据的数据密度,并根据待存储数据的数据密度是否超过数据密度阈值来存储待存储数据。具体的,对预测分类器的参数训练过程如下:第一,获得样本数据;第二,获得样本数据对应的存储设备以及样本数据对应的数据密度;第三,根据样本数据、样本数据对应的存储设备以及样本数据对应的数据密度,训练预测分类器。
其次,统计数据,具体的,先整合预设时间段内获得的全部数据,并统计出高速缓存器中不存在的数据。该数据为针对数据写入请求的待存储数据,其中,数据写入请求可以为服务器等向客户端发送的数据写入请求,此时,针对数据写入请求的待存储数据为客户端针对服务器等发送的数据写入请求向服务器等提供的待存储数据;数据写入请求可以为客户端等向其对应的服务器等发出的数据写入请求,此时,针对数据写入请求的待存储数据为数据写入请求中携带的数据。
再次,将统计好的数据输入到训练好的预测分类器中,由预测分类器判断判断待存储数据的数据密度是否超过数据密度阈值。即,由预测分类器判断判断待存储数据是A类数据,还是B类数据,其中,A类数据为数据密度达到或者超过数据密度阈值的数据,B类数据为数据密度未达到数据密度阈值的数据。
最后,如果待存储数据为A类数据,则将器存储在缓冲存储单元中;如果待存储数据B类数据,则将其存储在主存储单元中。
本申请提供的数据处理方法还可以应用于其它的应用场景,提供上述数据处理方法的应用场景的实施例,是为了便于理解本申请提供的数据处理方法,而并非用于限定本申请提供的数据处理方法。
第一实施例
本申请第一实施例中提供一种数据处理方法,以下结合图2至图5进行说明。
请参照图2,其为本申请第一实施例中提供的一种数据处理方法的流程图。
在步骤S201中,获得待存储数据。
本申请第一实施例中,待存储数据一般为计算机中的CPU刚刚使用过的数据,具体的,在本申请第一实施例中待存储数据为CPU在指定时间区间使用过的数据。
在步骤S202中,判断缓冲存储单元中是否存储有待存储数据。
本申请第一实施例中,当待存储数据为计算机中的CPU刚刚使用过的数据时,缓冲存储单元为Cache存储器。
判断缓冲存储单元中是否存储有待存储数据的过程为:获得待存储数据与缓冲存储单元中存储的数据的相似度;根据待存储数据与缓冲存储单元中存储的数据的相似度,判断缓冲存储单元中是否存储有待存储数据。具体的,如果相似度达到或超过相似度阈值,则缓冲存储单元中存储有待存储数据;如果相似度未达到相似度阈值,则缓冲存储单元中未存储有待存储数据。
本申请第一实施例中相似度阈值为预先设置、大小在0-1之间的数值,一般情况下,相似度阈值为大于0.5、小于1的数值。例如,将本申请第一实施例中的相似度阈值设置为0.8时,那么,如果待存储数据与缓冲存储单元中存储的数据的相似度大于或者等于0.8时,则代表缓冲存储单元中存储有待存储数据,如果待存储数据与缓冲存储单元中存储的数据的相似度小于0.8时,则代表缓冲存储单元中为存储有待存储数据。
本申请第一实施中,如果缓冲存储单元中存储有待存储数据,则增加在预设时间区间内数据处理单元使用数据的次数;如果缓冲存储单元中未存储有待存储数据,则执行步骤S203。
在步骤S203中,若否,则确定待存储数据为目标存储数据的预测概率。
本申请第一实施例中,目标存储数据为数据密度超过数据密度阈值的数据,其中,数据密度为在指定时间段内数据的流量。在确定待存储数据为目标存储数据的预测概率时,可以将待存储数据输入到预测分类器中,获得预测概率。其中,预测分类器用于根据待存储数据的源地址或者目标地址对待存储数据进行分类,并根据分类后的待存储数据对应的存储热度统计值和存储命中率统计值进行预测概率的推算。
本申请第一实施例中,确定待存储数据为目标存储数据的预测概率的具体操作为:根据待存储数据所在的粒度区域在计算预测概率时的权重,计算预测概率。所以,在确定待存储数据为目标存储数据的预测概率之前,需要先获得待存储数据所在的粒度区域,再根据待存储数据所在的粒度区域,获得待存储数据所在的粒度区域在计算预测概率时的权重。本申请第一实施例中,存储数据所在的粒度区间可以分为细粒度区间以及粗粒度区间,其中,若干个细粒度区间可以按比例合并为一个粗粒度区间,粒度区间是对待存储数据对应的存储热度统计值和存储命中率统计值进行统计时划分的区间。
本申请第一实施例中,获得待存储数据所在的粒度区域的过程,请参见图3,其为本申请的第一实施例中提供的一种获得待存储数据所在的粒度区域的流程图,具体包括步骤S201-1至S203-3。
步骤S203-1:获得待存储数据的数据密度特征。其中,获得待存储数据的数据密度特征的过程为:获得待存储数据的数据特征;根据待存储数据的数据特征,获得待存储数据的数据密度特征。
步骤S203-2:获得数据密度特征与粒度区域之间的对应关系。具体的,获得数据密度特征与粒度区域之间的对应关系为预先设置的对应关系。
步骤S203-3:根据待存储数据的数据密度特征和数据密度特征与粒度区域之间的对应关系,获得待存储数据所在的粒度区域。
在步骤S204中,如果预测概率达到或超过预测概率阈值,则将待存储数据存储在缓冲存储单元中。
本申请第一实施例中,在预测概率达到或超过预测概率阈值,将待存储数据存储在缓冲存储单元中的步骤为:根据缓冲存储单元的剩余存储空间信息,将待存储数据存储在缓冲存储单元中。具体的对应如下两种情况:
第一种情况为:如果缓冲存储单元的存储空间不存在剩余存储空间,则将缓冲存储单元中已存储的、在预设时间区间内最少被数据处理单元使用的数据替换为待存储数据。在具体情况下,可以通过LRU算法来实现将缓冲存储单元中已存储的、在预设时间区间内最少被数据处理单元使用的数据替换为待存储数据的过程。
本申请第一实施例中,将缓冲存储单元中已存储的、在预设时间区间内最少被数据处理单元使用的数据替换为待存储数据,包括:将缓冲存储单元中已存储的、在预设时间区间内最少被数据处理单元使用的数据存储在主存储器中后,将待存储数据存储在缓冲存储单元中。
第一种情况为:如果缓冲存储单元的存储空间存在剩余存储空间,则将待存储数据存储在与预测概率对应的预设存储区域中。
本申请第一实施例中,将待存储数据存储在与预测概率对应的预设存储区域中过程,请参见图4,其为本申请的第一实施例中提供的一种将待存储数据存储到预设存储区域中的流程图,具体包括步骤S204-1至S204-3。
S204-1:获得缓冲存储单元中的至少一个预设存储区域的使用命中率。
本申请第一实施例中,使用命中率为用于表示预设存储区域中存储的数据在预设时间区间内被数据处理单元使用的概率。
本申请第一实施例中,获得的使用命中率具体为缓冲存储单元中的至少一个预设存储区域在预设时间区间内的使用命中率。其中,获得缓冲存储单元中的至少一个预设存储区域在预设时间区间内的使用命中率的过程,请参照图5,其为本申请的第一实施例中提供的一种获得预设存储区域在预设时间区间内的使用命中率的流程图,具体包括步骤S204-11至S204-13。
步骤S204-11:获得在预设时间区间内数据处理单元使用数据的次数,作为第一统计次数。
步骤S204-12:获得在预设时间区间内数据处理单元使用数据的次数,作为第一统计次数。
步骤S204-13:根据第一统计次数和第二统计次数,获得缓冲存储单元中的至少一个预设存储区域在预设时间区间内的使用命中率。
本申请第一实施例中,在预设时间区间内数据处理单元使用预设存储区域中存储的数据后,需要增加第一统计次数和第二统计次数的数值,获得新的第一统计次数和新的第二统计次数。
S204-2:根据预测概率确定与预测概率对应的使用命中率。
本申请第一实施例中,根据预测概率确定与预测概率对应的使用命中率的具体过程为:根据预测概率、使用命中率与预测概率之间的对应关系,确定与预测概率对应的使用命中率。所以,在确定与预测概率对应的使用命中率之前,需要获得使用命中率与预测概率之间的对应关系。
其中,预设存储区域的命中率与预测概率之间的对应关系为根据预设存储区域的命中率从大到小的顺序与预测概率从大到小的顺序建立的对应关系。此外,预设存储区域的命中率与预测概率之间的对应关系进一步可以为预设存储区域的命中率区间与预测概率之间区间的对应关系。
S204-3:根据与预测概率对应的使用命中率,确定与预测概率对应的预设存储区域,将待存储数据存储在与预测概率对应的预设存储区域中。
在本申请第一实施例中,如果预测概率未达到预测概率阈值,则根据缓冲存储单元的剩余存储空间信息来存储待存储数据。具体的,如果缓冲存储单元的存储空间不存在剩余存储空间,则将待存储数据存储在主存储单元中;如果缓冲存储单元的存储空间存在剩余存储空间,则将待存储数据存储在缓冲存储单元中。
根据缓冲存储单元的剩余存储空间信息来存储待存储数据后,增加在预设时间区间内数据处理单元使用数据的次数。
本申请第一实施中提供的数据处理方法,在获得待存储数据后,先判断缓冲存储单元中是否存储有所述待存储数据,当缓冲存储单元中未存储有所述待存储数据时,再进一步确定待存储数据为目标存储数据的预测概率,并在预测概率达到或超过预测概率阈值时,才直接将待存储数据存储在缓冲存储单元中,从而能够确保将数据密度超过数据密度阈值的待存储数据存储在缓冲存储单元中,提高了缓冲存储单元的工作效率。
第二实施例
与本申请第一实施例中提供的一种数据处理方法相对应的,本申请第二实施例中还提供了一种数据处理装置。由于装置实施例基本相似于方法第一实施例,所以描述得比较简单,相关之处参见方法实施例的部分说明即可。下述描述的装置实施例仅仅是示意性的。
请参照图6,其为本申请第二实施例中提供的一种数据处理装置的示意图。
所述数据处理装置包括:
待存储数据获得单元201,用于获得待存储数据;
待存储数据判断单元202,用于判断缓冲存储单元中是否存储有所述待存储数据;
预测概率获得单元203,用于在所述待存储数据判断单元202的判断结果为否时,确定所述待存储数据为目标存储数据的预测概率,所述目标存储数据为数据密度超过数据密度阈值的数据;
第一待存储数据存储单元204,用于如果所述预测概率达到或超过预测概率阈值,则将所述待存储数据存储在所述缓冲存储单元中。
可选的,所述第一待存储数据存储单元204,具体用于根据所述缓冲存储单元的剩余存储空间信息,将所述待存储数据存储在所述缓冲存储单元中。
可选的,所述根据所述缓冲存储单元的剩余存储空间信息,将所述待存储数据存储在所述缓冲存储单元中,包括:如果所述缓冲存储单元的存储空间不存在剩余存储空间,则将所述缓冲存储单元中已存储的、在预设时间区间内最少被所述数据处理单元使用的数据替换为所述待存储数据。
可选的,所述将所述缓冲存储单元中已存储的、在预设时间区间内最少被所述数据处理单元使用的数据替换为所述待存储数据,包括:将所述缓冲存储单元中已存储的、在预设时间区间内最少被所述数据处理单元使用的数据存储在主存储器中后,将所述待存储数据存储在所述缓冲存储单元中。
可选的,所述根据所述缓冲存储单元的剩余存储空间信息,将所述待存储数据存储在所述缓冲存储单元中,包括:如果所述缓冲存储单元的存储空间存在剩余存储空间,则将所述待存储数据存储在与所述预测概率对应的预设存储区域中。
可选的,所述将所述待存储数据存储在与所述预测概率对应的预设存储区域中,包括:
获得所述缓冲存储单元中的至少一个预设存储区域的使用命中率,所述使用命中率为用于表示所述预设存储区域中存储的数据在预设时间区间内被所述数据处理单元使用的概率;
根据所述预测概率确定与所述预测概率对应的所述使用命中率;
根据所述与所述预测概率对应的所述使用命中率,确定与所述述预测概率对应的预设存储区域,将所述待存储数据存储在与所述预测概率对应的预设存储区域中。
可选的,所述获得所述缓冲存储单元中的至少一个预设存储区域的使用命中率,包括:获得所述缓冲存储单元中的至少一个预设存储区域在所述预设时间区间内的使用命中率。
可选的,所述获得所述缓冲存储单元中的至少一个预设存储区域在所述预设时间区间内的使用命中率,包括:
获得在所述预设时间区间内所述数据处理单元使用数据的次数,作为第一统计次数;
获得在所述预设时间区间内所述数据处理单元使用所述预设存储区域中存储的数据的次数,作为第二统计次数;
根据所述第一统计次数和所述第二统计次数,获得所述缓冲存储单元中的至少一个预设存储区域在所述预设时间区间内的使用命中率。
可选的,还包括:在所述预设时间区间内所述数据处理单元使用所述预设存储区域中存储的数据后,增加所述第一统计次数和所述第二统计次数。
可选的,还包括:获得所述使用命中率与预测概率之间的对应关系;
所述根据所述预测概率确定与所述预测概率对应的所述使用命中率,包括:根据所述预测概率、所述使用命中率与预测概率之间的对应关系,确定与所述预测概率对应的所述使用命中率。
可选的,所述预设存储区域的命中率与预测概率之间的对应关系为根据所述预设存储区域的命中率从大到小的顺序与预测概率从大到小的顺序建立的对应关系。
可选的,所述预设存储区域的命中率与预测概率之间的对应关系为所述预设存储区域的命中率区间与预测概率之间区间的对应关系。
可选的,本申请第二实施例中提供的所述数据处理装置,还包括:第二待存储数据存储单元,用于如果所述预测概率未达到所述预测概率阈值,则根据所述缓冲存储单元的剩余存储空间信息来存储所述待存储数据。
可选的,所述第二待存储数据存储单元,具体用于如果所述缓冲存储单元的存储空间不存在剩余存储空间,则将所述待存储数据存储在主存储单元中。
可选的,所述第二待存储数据存储单元,具体用于如果所述缓冲存储单元的存储空间存在剩余存储空间,则将所述待存储数据存储在所述缓冲存储单元中。
可选的,还包括:根据所述缓冲存储单元的剩余存储空间信息来存储所述待存储数据后,增加在所述预设时间区间内所述数据处理单元使用数据的次数。
可选的,本申请第二实施例中提供的所述数据处理装置,还包括:
粒度区域获得单元,用于获得所述待存储数据所在的粒度区域;
权重获得单元,用于根据所述待存储数据所在的粒度区域,获得所述待存储数据所在的粒度区域在计算所述预测概率时的权重;
所述预测概率获得单元203,具体用于根据所述待存储数据所在的粒度区域在计算所述预测概率时的权重,计算所述预测概率。
可选的,所述获得所述待存储数据所在的粒度区域,包括:
获得所述待存储数据的数据密度特征;
获得数据密度特征与粒度区域之间的对应关系;
根据所述待存储数据的数据密度特征和所述数据密度特征与粒度区域之间的对应关系,获得所述待存储数据所在的粒度区域。
可选的,所述获得所述待存储数据的数据密度特征,包括:
获得所述待存储数据的数据特征;
根据所述待存储数据的数据特征,获得所述待存储数据的数据密度特征。
可选的,所述待存储数据判断单元202,具体用于获得所述待存储数据与所述缓冲存储单元中存储的数据的相似度;根据所述待存储数据与所述缓冲存储单元中存储的数据的相似度,判断所述缓冲存储单元中是否存储有所述待存储数据。
可选的,所述根据所述待存储数据与所述缓冲存储单元中存储的数据的相似度,判断所述缓冲存储单元中是否存储有所述待存储数据,包括:如果所述相似度达到或超过相似度阈值,则所述缓冲存储单元中存储有所述待存储数据。
可选的,所述根据所述待存储数据与所述缓冲存储单元中存储的数据的相似度,判断所述缓冲存储单元中是否存储有所述待存储数据,包括:如果所述相似度未达到所述相似度阈值,则所述缓冲存储单元中未存储有所述待存储数据。
可选的,本申请第二实施例中提供的所述数据处理装置,还包括:次数增加单元,用于如果所述缓冲存储单元中存储有所述待存储数据,则增加在所述预设时间区间内所述数据处理单元使用数据的次数。
本申请第二实施中提供的数据处理装置,在获得待存储数据后,先判断缓冲存储单元中是否存储有所述待存储数据,当缓冲存储单元中未存储有所述待存储数据时,再进一步确定待存储数据为目标存储数据的预测概率,并在预测概率达到或超过预测概率阈值时,才直接将待存储数据存储在缓冲存储单元中,从而能够确保将数据密度超过数据密度阈值的待存储数据存储在缓冲存储单元中,提高了缓冲存储单元的工作效率。
第三实施例
与本申请第一实施例中提供的一种数据处理方法相对应的,本申请第三实施例中还提供了一种电子设备。
如图7所示,其为本申请实施例中提供的一种电子设备的示意图。
所述电子设备包括:
处理器701;以及
存储器702,用于存储计算机程序,该设备通电并通过所述处理器运行该计算机程序后,执行如下步骤:
获得待存储数据;
判断缓冲存储单元中是否存储有所述待存储数据;
若否,则确定所述待存储数据为目标存储数据的预测概率,所述目标存储数据为数据密度超过数据密度阈值的数据;
如果所述预测概率达到或超过预测概率阈值,则将所述待存储数据存储在所述缓冲存储单元中,所述缓冲存储单元为用于存储数据处理单元在指定时间区间内使用过的数据的存储单元。
本申请第三实施中提供的数据处理电子设备,在获得待存储数据后,先判断缓冲存储单元中是否存储有所述待存储数据,当缓冲存储单元中未存储有所述待存储数据时,再进一步确定待存储数据为目标存储数据的预测概率,并在预测概率达到或超过预测概率阈值时,才直接将待存储数据存储在缓冲存储单元中,从而能够确保将数据密度超过数据密度阈值的待存储数据存储在缓冲存储单元中,提高了缓冲存储单元的工作效率。
需要说明的是,对于本申请第三实施例中提供的电子设备的详细描述可以参考对本申请第一实施例的相关描述,这里不再赘述。
第四实施例
与本申请提供的数据处理方法的应用场景实施例以及本申请第一实施例中提供的一种数据处理方法相对应的,本申请第四实施例中还提供了另一种数据处理方法。由于第四实施例基本相似于方法第一实施例,所以描述得比较简单,相关之处参见方法实施例的部分说明即可。下述对第四实施例的描述仅仅是示意性的。
请参照图8,其为本申请第四实施例中提供的一种数据处理方法的流程图。
步骤S801:获得待存储数据。
步骤S802:判断缓冲存储单元中是否存储有待存储数据。
步骤S803:若否,则判断待存储数据的数据密度是否超过数据密度阈值。
步骤S804-1:如果待存储数据的数据密度达到或超过数据密度阈值,则将待存储数据存储在缓冲存储单元中;步骤S804-2:如果待存储数据的数据密度未达到数据密度阈值,则将待存储数据存储在主存储单元中。
需要说明的是,对于本申请第四实施例中提供一种数据处理方法的详细描述可以参考对本申请提供的数据处理方法的应用场景实施例以及本申请第一实施例中提供的一种数据处理方法的相关描述,这里不再赘述。
第五实施例
与本申请提供的数据处理方法的应用场景实施例以及本申请第一实施例中提供的一种数据处理方法相对应的,本申请第五实施例中还提供了另一种数据处理方法。由于第五实施例基本相似于方法第一实施例,所以描述得比较简单,相关之处参见方法实施例的部分说明即可。下述对第五实施例的描述仅仅是示意性的。
本申请第五实施例中提供的一种数据处理方法的步骤如下:首先,获得待存储数据。其次,判断缓冲存储单元中是否存储有待存储数据。再次,如果缓冲存储单元中未存储有待存储数据,则判断待存储数据的数据密度是否超过数据密度阈值。最后,如果待存储数据的数据密度达到或超过数据密度阈值,则将待存储数据存储在缓冲存储单元中,缓冲存储单元为用于存储数据处理单元在指定时间区间内使用过的数据的存储单元。
需要说明的是,对于本申请第五实施例中提供一种数据处理方法的详细描述可以参考对本申请提供的数据处理方法的应用场景实施例以及本申请第一实施例中提供的一种数据处理方法的相关描述,这里不再赘述。
第六实施例
与本申请提供的数据处理方法的应用场景实施例以及本申请第一实施例中提供的一种数据处理方法相对应的,本申请第六实施例中还提供了另一种数据处理方法。由于第六实施例基本相似于方法第一实施例,所以描述得比较简单,相关之处参见方法实施例的部分说明即可。下述对第六实施例的描述仅仅是示意性的。
本申请第六实施例中提供的一种数据处理方法的步骤如下:首先,获得数据写入请求。然后,根据数据写入请求,判断写入请求是否满足第一预设条件,若是,则将数据写入缓冲存储单元。其中,第一预设条件至少包括设定时间写入设定数据量的指标,缓冲存储单元为用于存储数据处理单元在指定时间区间内使用过的数据的存储单元。
本申请第六实施例中,数据写入请求可以为服务器等用于执行数据处理的数据处理设备通过预先安装并部署用于数据交换的数据交换单元中的程序、软件或者模型向相关设备发送的数据写入请求,此时,数据为针对数据写入请求的待存储数据,具体为相关设备针对数据处理设备发送的数据写入请求向数据处理设备提供的待存储数据;数据写入请求还可以为相关设备向其对应的数据处理设备发出的数据写入请求,此时,数据针对数据写入请求的待存储数据,具体为数据写入请求中携带的数据。其中,相关设备一般为客户端,数据处理设备一般为服务器。
需要说明的是,对于本申请第六实施例中提供一种分布式拒绝服务攻击数据处理方法的详细描述可以参考对本申请提供的数据处理方法的应用场景实施例以及本申请第一实施例中提供的一种数据处理方法的相关描述,这里不再赘述。
第七实施例
与本申请第六实施例中提供的一种数据处理方法相对应的,本申请第七实施例中还提供了一种数据处理装置。由于装置实施例基本相似于方法第六实施例,所以描述得比较简单,相关之处参见方法实施例的部分说明即可。下述描述的装置实施例仅仅是示意性的。
本申请第七实施例中提供的数据存储装置,包括:
数据写入请求获得单元,用于获得数据写入请求,
数据写入单元,用于判断缓冲存储存储空间是否有空间,若有,根据所述数据写入请求,判断所述写入请求是否满足第一预设条件,若是,则将所述数据写入缓冲存储单元;
其中,所述第一预设条件至少包括设定时间写入设定数据量的指标,所述缓冲存储单元为用于存储数据处理单元在指定时间区间内使用过的数据的存储单元。
可选的,所述数据写入单元,还用于若所述写入请求未满足所述第一预设条件,将所述数据写入主存储单元。
可选的,所述数据写入单元,还用于若所述写入请求未满足所述第一预设条件,进一步判定缓冲存储空间是否有空间,若有,则将数据写入缓冲存储单元;若没有,则将数据写入主存储单元。
第八实施例
与本申请提供的数据处理方法的应用场景实施例以及本申请第一实施例中提供的一种数据处理方法相对应的,本申请第八实施例中还提供了分布式拒绝服务攻击数据处理方法。由于第八实施例基本相似于方法第一实施例,所以描述得比较简单,相关之处参见方法实施例的部分说明即可。下述对第八实施例的描述仅仅是示意性的。
本申请第八实施例中提供的一种数据处理方法的步骤如下:首先,获得待存储数据。然后,判断缓冲存储单元中是否存储有待存储数据。最后,如果实时待存储数据为分布式拒绝服务攻击数据,则将待存储数据存储在缓冲存储单元中,缓冲存储单元为用于存储数据处理单元在指定时间区间内使用过的数据的存储单元。
本申请第八实施例中,数据写入请求可以为服务器等用于执行数据处理的数据处理设备通过预先安装并部署用于数据交换的数据交换单元中的程序、软件或者模型向相关设备发送的数据写入请求,此时,针对数据写入请求的待存储数据为相关设备针对数据处理设备发送的数据写入请求向数据处理设备提供的待存储数据;数据写入请求还可以为相关设备向其对应的数据处理设备发出的数据写入请求,此时,针对数据写入请求的待存储数据为数据写入请求中携带的数据。其中,相关设备一般为客户端,数据处理设备一般为服务器。
需要说明的是,对于本申请第八实施例中提供一种分布式拒绝服务攻击数据处理方法的详细描述可以参考对本申请提供的数据处理方法的应用场景实施例以及本申请第一实施例中提供的一种数据处理方法的相关描述,这里不再赘述。
本申请虽然以较佳实施例公开如上,但其并不是用来限定本申请,任何本领域技术人员在不脱离本申请的精神和范围内,都可以做出可能的变动和修改,因此本申请的保护范围应当以本申请权利要求所界定的范围为准。
在一个典型的配置中,计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器,随机存取存储器(RAM)和/或非易失性内存等形式,如只读存储器(ROM)或闪存(Flash RAM)。内存是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、信息结构、程序的模块或其他信息。计算机的存储介质的例子包括,但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带,磁带磁磁盘存储或其他磁性存储介质或任何其他非传输介质,可用于存储可以被计算设备访问的信息。按照本文中的界定,计算机可读介质不包括非暂存电脑可读媒体(Transitory Media),如调制的信息信号和载波。
本领域技术人员应明白,本申请的实施例可提供为方法、系统或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

Claims (32)

1.一种数据处理方法,其特征在于,包括:
获得待存储数据;
判断缓冲存储单元中是否存储有所述待存储数据;
若否,则确定所述待存储数据为目标存储数据的预测概率,所述目标存储数据为数据密度超过数据密度阈值的数据;
如果所述预测概率达到或超过预测概率阈值,则将所述待存储数据存储在所述缓冲存储单元中,所述缓冲存储单元为用于存储数据处理单元在指定时间区间内使用过的数据的存储单元。
2.根据权利要求1所述的数据处理方法,其特征在于,所述将所述待存储数据存储在所述缓冲存储单元中,包括:根据所述缓冲存储单元的剩余存储空间信息,将所述待存储数据存储在所述缓冲存储单元中。
3.根据权利要求2所述的数据处理方法,其特征在于,所述根据所述缓冲存储单元的剩余存储空间信息,将所述待存储数据存储在所述缓冲存储单元中,包括:如果所述缓冲存储单元的存储空间不存在剩余存储空间,则将所述缓冲存储单元中已存储的、在预设时间区间内最少被所述数据处理单元使用的数据替换为所述待存储数据。
4.根据权利要求3所述的数据处理方法,其特征在于,所述将所述缓冲存储单元中已存储的、在预设时间区间内最少被所述数据处理单元使用的数据替换为所述待存储数据,包括:将所述缓冲存储单元中已存储的、在预设时间区间内最少被所述数据处理单元使用的数据存储在主存储器中后,将所述待存储数据存储在所述缓冲存储单元中。
5.根据权利要求2所述的数据处理方法,其特征在于,所述根据所述缓冲存储单元的剩余存储空间信息,将所述待存储数据存储在所述缓冲存储单元中,包括:如果所述缓冲存储单元的存储空间存在剩余存储空间,则将所述待存储数据存储在与所述预测概率对应的预设存储区域中。
6.根据权利要求5所述的数据处理方法,其特征在于,所述将所述待存储数据存储在与所述预测概率对应的预设存储区域中,包括:
获得所述缓冲存储单元中的至少一个预设存储区域的使用命中率,所述使用命中率为用于表示所述预设存储区域中存储的数据在预设时间区间内被所述数据处理单元使用的概率;
根据所述预测概率确定与所述预测概率对应的所述使用命中率;
根据所述与所述预测概率对应的所述使用命中率,确定与所述述预测概率对应的预设存储区域,将所述待存储数据存储在与所述预测概率对应的预设存储区域中。
7.根据权利要求6所述的数据处理方法,其特征在于,所述获得所述缓冲存储单元中的至少一个预设存储区域的使用命中率,包括:获得所述缓冲存储单元中的至少一个预设存储区域在所述预设时间区间内的使用命中率。
8.根据权利要求7所述的数据处理方法,其特征在于,所述获得所述缓冲存储单元中的至少一个预设存储区域在所述预设时间区间内的使用命中率,包括:
获得在所述预设时间区间内所述数据处理单元使用数据的次数,作为第一统计次数;
获得在所述预设时间区间内所述数据处理单元使用所述预设存储区域中存储的数据的次数,作为第二统计次数;
根据所述第一统计次数和所述第二统计次数,获得所述缓冲存储单元中的至少一个预设存储区域在所述预设时间区间内的使用命中率。
9.根据权利要求8所述的数据处理方法,其特征在于,还包括:在所述预设时间区间内所述数据处理单元使用所述预设存储区域中存储的数据后,增加所述第一统计次数和所述第二统计次数。
10.根据权利要求6所述的数据处理方法,其特征在于,还包括:获得所述使用命中率与预测概率之间的对应关系;
所述根据所述预测概率确定与所述预测概率对应的所述使用命中率,包括:根据所述预测概率、所述使用命中率与预测概率之间的对应关系,确定与所述预测概率对应的所述使用命中率。
11.根据权利要求10所述的数据处理方法,其特征在于,所述预设存储区域的命中率与预测概率之间的对应关系为根据所述预设存储区域的命中率从大到小的顺序与预测概率从大到小的顺序建立的对应关系。
12.根据权利要求10所述的数据处理方法,其特征在于,所述预设存储区域的命中率与预测概率之间的对应关系为所述预设存储区域的命中率区间与预测概率之间区间的对应关系。
13.根据权利要求1所述的数据处理方法,其特征在于,还包括:如果所述预测概率未达到所述预测概率阈值,则根据所述缓冲存储单元的剩余存储空间信息来存储所述待存储数据。
14.根据权利要求13所述的数据处理方法,其特征在于,所述根据所述缓冲存储单元的剩余存储空间信息来存储所述待存储数据,包括:如果所述缓冲存储单元的存储空间不存在剩余存储空间,则将所述待存储数据存储在主存储单元中。
15.根据权利要求13所述的数据处理方法,其特征在于,所述根据所述缓冲存储单元的剩余存储空间信息来存储所述待存储数据,包括:如果所述缓冲存储单元的存储空间存在剩余存储空间,则将所述待存储数据存储在所述缓冲存储单元中。
16.根据权利要求13所述的数据处理方法,其特征在于,还包括:根据所述缓冲存储单元的剩余存储空间信息来存储所述待存储数据后,增加在所述预设时间区间内所述数据处理单元使用数据的次数。
17.根据权利要求1所述的数据处理方法,其特征在于,还包括:
获得所述待存储数据所在的粒度区域;
根据所述待存储数据所在的粒度区域,获得所述待存储数据所在的粒度区域在计算所述预测概率时的权重;
所述确定所述待存储数据为目标存储数据的预测概率,包括:根据所述待存储数据所在的粒度区域在计算所述预测概率时的权重,计算所述预测概率。
18.根据权利要求17所述的数据处理方法,其特征在于,所述获得所述待存储数据所在的粒度区域,包括:
获得所述待存储数据的数据密度特征;
获得数据密度特征与粒度区域之间的对应关系;
根据所述待存储数据的数据密度特征和所述数据密度特征与粒度区域之间的对应关系,获得所述待存储数据所在的粒度区域。
19.根据权利要求18所述的数据处理方法,其特征在于,所述获得所述待存储数据的数据密度特征,包括:
获得所述待存储数据的数据特征;
根据所述待存储数据的数据特征,获得所述待存储数据的数据密度特征。
20.根据权利要求1所述的数据处理方法,其特征在于,所述判断缓冲存储单元中是否存储有所述待存储数据,包括:
获得所述待存储数据与所述缓冲存储单元中存储的数据的相似度;
根据所述待存储数据与所述缓冲存储单元中存储的数据的相似度,判断所述缓冲存储单元中是否存储有所述待存储数据。
21.根据权利要求20所述的数据处理方法,其特征在于,所述根据所述待存储数据与所述缓冲存储单元中存储的数据的相似度,判断所述缓冲存储单元中是否存储有所述待存储数据,包括:如果所述相似度达到或超过相似度阈值,则所述缓冲存储单元中存储有所述待存储数据。
22.根据权利要求20所述的数据处理方法,其特征在于,所述根据所述待存储数据与所述缓冲存储单元中存储的数据的相似度,判断所述缓冲存储单元中是否存储有所述待存储数据,包括:如果所述相似度未达到所述相似度阈值,则所述缓冲存储单元中未存储有所述待存储数据。
23.根据权利要求1所述的数据处理方法,其特征在于,还包括:如果所述缓冲存储单元中存储有所述待存储数据,则增加在所述预设时间区间内所述数据处理单元使用数据的次数。
24.一种数据处理装置,其特征在于,包括:
待存储数据获得单元,用于获得待存储数据;
待存储数据判断单元,用于判断缓冲存储单元中是否存储有所述待存储数据;
预测概率获得单元,用于在所述待存储数据判断单元的判断结果为否时,确定所述待存储数据为目标存储数据的预测概率,所述目标存储数据为数据密度超过数据密度阈值的数据;
第一待存储数据存储单元,用于如果所述预测概率达到或超过预测概率阈值,则将所述待存储数据存储在所述缓冲存储单元中。
25.一种电子设备,其特征在于,包括:
处理器;以及
存储器,用于存储计算机程序,该设备通电并通过所述处理器运行该计算机程序后,执行如下步骤:
获得待存储数据;
判断缓冲存储单元中是否存储有所述待存储数据;
若否,则确定所述待存储数据为目标存储数据的预测概率,所述目标存储数据为数据密度超过数据密度阈值的数据;
如果所述预测概率达到或超过预测概率阈值,则将所述待存储数据存储在所述缓冲存储单元中,所述缓冲存储单元为用于存储数据处理单元在指定时间区间内使用过的数据的存储单元。
26.一种数据处理方法,其特征在于,包括:
获得待存储数据;
判断缓冲存储单元中是否存储有所述待存储数据;
若否,则判断所述待存储数据的数据密度是否超过数据密度阈值;
如果所述待存储数据的数据密度达到或超过所述数据密度阈值,则将所述待存储数据存储在所述缓冲存储单元中,如果所述待存储数据的数据密度未达到所述数据密度阈值,则将所述待存储数据存储在主存储单元中,所述缓冲存储单元为用于存储数据处理单元在指定时间区间内使用过的数据的存储单元。
27.一种数据处理方法,其特征在于,包括:
获得待存储数据;
判断缓冲存储单元中是否存储有所述待存储数据;
若否,则判断所述待存储数据的数据密度是否超过数据密度阈值;
如果所述待存储数据的数据密度达到或超过所述数据密度阈值,则将所述待存储数据存储在所述缓冲存储单元中,所述缓冲存储单元为用于存储数据处理单元在指定时间区间内使用过的数据的存储单元。
28.一种数据处理方法,其特征在于,包括:
获得数据写入请求;
根据所述数据写入请求,判断所述写入请求是否满足第一预设条件,若是,则将所述数据写入缓冲存储单元;
其中,所述第一预设条件至少包括设定时间写入设定数据量的指标,所述缓冲存储单元为用于存储数据处理单元在指定时间区间内使用过的数据的存储单元。
29.根据权利要求28所述的数据处理方法,其特征在于,若否,将所述数据写入主存储单元。
30.根据权利要求28,其特征在于,若否,则进一步判定缓冲存储空间是否有空间,若有,则将数据写入缓冲存储单元;若没有,则将数据写入主存储单元。
31.一种数据存储装置,其特征在于,包括:
数据写入请求获得单元,用于获得数据写入请求,
数据写入单元,用于判断缓冲存储存储空间是否有空间,若有,根据所述数据写入请求,判断所述写入请求是否满足第一预设条件,若是,则将所述数据写入缓冲存储单元;
其中,所述第一预设条件至少包括设定时间写入设定数据量的指标,所述缓冲存储单元为用于存储数据处理单元在指定时间区间内使用过的数据的存储单元。
32.一种分布式拒绝服务攻击数据处理方法,其特征在于,包括:
获得针对数据写入请求的待存储数据;
判断所述待存储数据是否为数据密度超过数据密度阈值的分布式拒绝服务数据;
若是,则将所述待存储数据存储在所述缓冲存储单元中,否则,将所述待存储数据存储在主存储单元中,所述缓冲存储单元为用于存储数据处理单元在指定时间区间内使用过的数据的存储单元。
CN202010266930.7A 2020-04-07 2020-04-07 一种数据处理方法、装置以及电子设备 Pending CN113297107A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010266930.7A CN113297107A (zh) 2020-04-07 2020-04-07 一种数据处理方法、装置以及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010266930.7A CN113297107A (zh) 2020-04-07 2020-04-07 一种数据处理方法、装置以及电子设备

Publications (1)

Publication Number Publication Date
CN113297107A true CN113297107A (zh) 2021-08-24

Family

ID=77317932

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010266930.7A Pending CN113297107A (zh) 2020-04-07 2020-04-07 一种数据处理方法、装置以及电子设备

Country Status (1)

Country Link
CN (1) CN113297107A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113938325A (zh) * 2021-12-16 2022-01-14 紫光恒越技术有限公司 一种处理攻击性流量的方法、装置、电子设备及存储设备

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113938325A (zh) * 2021-12-16 2022-01-14 紫光恒越技术有限公司 一种处理攻击性流量的方法、装置、电子设备及存储设备
CN113938325B (zh) * 2021-12-16 2022-03-18 紫光恒越技术有限公司 一种处理攻击性流量的方法、装置、电子设备及存储设备

Similar Documents

Publication Publication Date Title
US9336152B1 (en) Method and system for determining FIFO cache size
WO2016145993A1 (zh) 一种用户设备识别方法及系统
CN107665095B (zh) 存储器空间管理的设备、方法及可读存储介质
US20140258672A1 (en) Demand determination for data blocks
EP3944556A1 (en) Block data access method and apparatus, and block data storage method and apparatus
CN111737168A (zh) 一种缓存系统、缓存处理方法、装置、设备及介质
CN110728526A (zh) 地址识别方法、设备以及计算机可读介质
CN112181902A (zh) 数据库的存储方法、装置及电子设备
US9336155B2 (en) Statistical cache promotion
CN113297107A (zh) 一种数据处理方法、装置以及电子设备
CN106649143B (zh) 一种访问缓存的方法、装置及电子设备
CN107967306B (zh) 一种存储系统中关联块的快速挖掘方法
EP3945694B1 (en) Block data access method, block data storage method, and apparatuses thereof
KR101643278B1 (ko) 데이터베이스 시스템에서 스토리지 서버 관리 방법, 장치 및 컴퓨터 판독가능 매체에 저장된 컴퓨터-프로그램
TWI694463B (zh) 資料儲存設備及其資料預測方法
CN113641681B (zh) 一种空间自适应的海量数据查询方法
KR101975101B1 (ko) 학습을 이용한 프리페칭 장치 및 방법과 이에 관한 기록매체
CN112612415B (zh) 一种数据处理方法、装置、电子设备及存储介质
CN117459323B (zh) 智能进化物联网设备的威胁建模方法和装置
KR102007086B1 (ko) 프리페치 장치 및 방법과 이에 관한 기록매체
US11687266B2 (en) Managing deduplication operations based on a likelihood of duplicability
CN108073521B (zh) 一种数据去重的方法和系统
KR20230096659A (ko) ResNet을 지원하는 BNN 하드웨어 구조를 위한 데이터 처리 시스템 및 방법
CN113282585A (zh) 一种报表计算方法、装置、设备及介质
CN116860439A (zh) 内存管理方法及装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40057978

Country of ref document: HK