CN110061933A - 一种数据处理方法及装置、设备、存储介质 - Google Patents
一种数据处理方法及装置、设备、存储介质 Download PDFInfo
- Publication number
- CN110061933A CN110061933A CN201910266858.5A CN201910266858A CN110061933A CN 110061933 A CN110061933 A CN 110061933A CN 201910266858 A CN201910266858 A CN 201910266858A CN 110061933 A CN110061933 A CN 110061933A
- Authority
- CN
- China
- Prior art keywords
- account
- data
- memory
- server
- grade
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L49/00—Packet switching elements
- H04L49/90—Buffering arrangements
- H04L49/9063—Intermediate storage in different physical parts of a node or terminal
- H04L49/9068—Intermediate storage in different physical parts of a node or terminal in the network interface card
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/50—Network services
- H04L67/535—Tracking the activity of the user
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Computer Hardware Design (AREA)
- General Engineering & Computer Science (AREA)
- Information Transfer Between Computers (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明实施例涉及数据处理领域,公开了一种数据处理方法及装置、设备、存储介质。本发明中,该数据处理方法包括:根据预设时长内每个账号被调用的次数和所述每个账号的等级,确定所述每个账号各自对应的实际热度值;根据所述每个账号各自对应的实际热度值选择账号,将所选择的账号对应的数据更新到所述服务器的内存中。通过预设时长内的每个账号被调用的次数和每个账号的等级,确定被更新到服务器的内存中的数据,降低内存的占有量,提高网关处理数据的效率,保证网关的TPS,并保证重要客户的数据能够被及时处理,不会受到内存减少的影响。
Description
技术领域
本发明实施例涉及网络技术领域,特别涉及一种数据处理方法及装置、设备、存储介质。
背景技术
目前,网关(Gateway)作为一个网络互连设备,具有很多功能,网关可用于实现网络互连,会对收到的信息进行重新打包,以适应目的系统的需求,网关还可处理一些相同或相似的事务,比如,账号权限等事务。其中,网关的每秒事务处理量(Transaction PerSecond,TPS)是其重要的性能指标之一。
发明人发现现有技术中至少存在如下问题:如果将需要网关处理的数据都保存到网关的内存中,显然能够提高网关处理数据的效率,保证网关的TPS。但是,网关的内存资源有限,无法保存所有要处理的数据,如果增加内存的存储空间,就需要增加硬件设备,比如,增加内存条,但会增加设备成本;因此无法做到既兼顾网关的TPS又保证内存的使用。
发明内容
本发明实施方式的目的在于提供一种数据处理方法及装置、设备、存储介质,用以解决在保证网关的TPS的情况下,如何使用网关的内存能够提高网关处理数据的效率的问题。
为解决上述技术问题,本发明的实施方式提供了一种数据处理方法,包括以下步骤:根据预设时长内每个账号被调用的次数和每个账号的等级,确定每个账号各自对应的实际热度值;根据每个账号各自对应的实际热度值选择账号,将所选择的账号对应的数据更新到服务器的内存中。
本发明的实施方式还提供了一种数据处理装置,包括以下模块:确定热度值模块和更新模块;确定热度值模块,用于根据预设时长内每个账号被调用的次数和每个账号的等级,确定每个账号各自对应的实际热度值;更新模块,用于根据每个账号各自对应的实际热度值选择账号,将所选择的账号对应的数据更新到服务器的内存中。
本发明的实施方式还提供了一种设备,包括:至少一个处理器;以及,与至少一个处理器通信连接的存储器;其中,存储器存储有可被至少一个处理器执行的指令,指令被至少一个处理器执行,以使至少一个处理器能够执行上述数据处理方法。
本发明的实施方式还提供了一种计算机可读存储介质,存储有计算机程序,该计算机程序被处理器执行时实现上述数据处理方法。
本发明实施方式相对于现有技术而言,通过预设时长内的每个账号被调用的次数和每个账号的等级,确定被更新到服务器的内存中的数据,降低内存的占有量,提高网关处理数据的效率,保证网关的TPS,并保证重要客户的数据能够被及时处理,不会受到内存减少的影响。
另外,根据预设时长内每个账号被调用的次数和每个账号的等级,确定每个账号各自对应的实际热度值,包括:根据每个账号的等级,确定每个账号各自对应的预设热度值;根据每个账号各自对应的预设热度值和每个账号被调用的次数,确定每个账号各自对应的实际热度值。
另外,根据每个账号各自对应的预设热度值和每个账号被调用的次数,确定每个账号各自对应的实际热度值,包括:分别对每个账号进行以下处理:根据账号被调用的次数和预设系数,确定线性化处理后的被调用次数,根据线性化处理后的被调用次数和账号对应的预设热度值,确定账号对应的实际热度值。
在该方式中,通过对每个账号各自对应的预设热度值和每个账号被调用的次数,进行线性归一化处理,获得每个账号对应的实际热度值,通过该实际热度值来确定所对应的账号的数据是否是活跃数据,进而将该活跃数据刷新到服务器的内存中,降低了服务器的内存占有量,提高了服务器处理数据的效率。
另外,根据每个账号的等级,确定每个账号各自对应的预设热度值,包括:根据预先配置的账号的等级与预设热度值之间的对应关系,确定每个账号的等级各自对应的预设热度值,其中,对应关系中账号的等级越高,则对应的预设热度值越小。
另外,根据每个账号各自对应的实际热度值选择账号,将所选择的账号对应的数据更新到服务器的内存中,包括:根据每个账号各自对应的实际热度值选择账号,将所选择的账号对应的数据异步更新到服务器的内存中。
在该方式中,通过将所选择的账号对应的数据异步更新到服务器的内存中,加快了服务器处理数据的速度,保证了重要客户的数据能够被及时处理,进而保证了服务器的性能指标TPS。
另外,将所选择的账号对应的数据更新到服务器的内存中,包括:分别对所选择的账号对应的数据进行以下处理:获得统计时长内的数据,将数据更新到服务器的内存中;在将所选择的账号对应的数据更新到服务器的内存中之后,还包括:分别对所选择的账号对应的数据进行以下处理:更新数据对应的统计时长。
另外,在根据预设时长内每个账号被调用的次数和每个账号的等级,确定每个账号各自对应的实际热度值之前,还包括:从缓存中获取每个账号的信息,其中,账号的信息包括:账号的等级、预设时长内账号被调用的次数和账号对应的权限。
另外,在根据每个账号各自对应的实际热度值选择账号,将所选择的账号对应的数据更新到服务器的内存中之后,还包括:增量更新所选择的账号的信息到缓存中。
在该方式中,通过增量更新所选择的账号的信息到缓存中,使该账号的信息发生变化的部分能够被更新,方便下次通过该账号的等级和预设时长内该账号被调用的次数计算实际热度值,进而获得新的排名,并将排名在前1000名的账号所对应的数据更新到服务器的内存中,保证了更新到服务器的内存中的数据都是活跃数据,降低了内存的占有量,提高了服务器处理数据的效率。
附图说明
一个或多个实施例通过与之对应的附图中的图片进行示例性说明,这些示例性说明并不构成对实施例的限定,附图中具有相同参考数字标号的元件表示为类似的元件,除非有特别申明,附图中的图不构成比例限制。
图1是根据本发明第一实施方式中的数据处理方法流程方框图;
图2是根据本发明第一实施方式中的确定实际热度值的方法流程方框图;
图3是根据本发明第二实施方式中的数据处理方法流程方框图;
图4是根据本发明第二实施方式中的数据处理的系统方框图;
图5是根据本发明第三实施方式中的数据处理装置的结构示意图;
图6是根据本发明第四实施方式中的设备的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合附图对本发明的各实施方式进行详细的阐述。然而,本领域的普通技术人员可以理解,在本发明各实施方式中,为了使读者更好地理解本申请而提出了许多技术细节。但是,即使没有这些技术细节和基于以下各实施方式的种种变化和修改,也可以实现本申请所要求保护的技术方案。
以下各个实施例的划分是为了描述方便,不应对本发明的具体实现方式构成任何限定,各个实施例在不矛盾的前提下可以相互结合相互引用。
本发明的第一实施方式涉及一种数据处理方法。用于通过降低内存的占有量,提高网关处理数据的效率,保证网关的TPS,并保证重要客户的数据能够被及时处理,不会受到内存减少的影响。下面对本实施方式中的数据处理方法的实现细节进行具体的说明,以下内容仅为方便理解本方案的实现细节,并非实施本方案的必须。
图1所示为本实施方式中的数据处理方法的流程图,该方法可用于服务器。该方法可包括如下步骤。
在步骤101中,根据预设时长内每个账号被调用的次数和每个账号的等级,确定每个账号各自对应的实际热度值。
需要说明的是,其中的预设时长是预先配置在服务器侧,服务器以该预设时长作为统计周期,统计每个预设时长内每个账号被调用的次数。具体地,预设时长为一个较短的时间段,以能够体现每个账号短时间内的活跃程度为宜,例如5分钟、10分钟等。
在一个具体实现中,图2所示为具体计算每个账号各自对应的实际热度值的流程图,具体可包括如下步骤:
在步骤201中,根据每个账号的等级,确定每个账号各自对应的预设热度值。
其中,根据预先配置的账号的等级与预设热度值之间的对应关系,确定每个账号的等级各自对应的预设热度值,对应关系中账号的等级越高,则对应的预设热度值越小。
例如:每个账号设置有重要等级(very important person,VIP),若该VIP等级越高,则,该账户所对应的预设热度值越小,具体可设置第一个账号的VIP等级为VIP0,比如:该第一个账号所对应的预设热度值设置为1;设置第二个账号的VIP等级为VIP1,则该第二个账号所对应的预设热度值设置为(1-5%);设置第三个账号的VIP等级为VIP2,则该第三个账号所对应的预设热度值设置为(1-5%)2;以此类推,后面的账号的VIP等级越高,则对应的该账户的预设热度值依次按照5%进行递减。
在一个具体实现中,可将账号与对应的预设热度值存储到Redis数据库服务器中,其中的Redis数据库是一个高性能的索引--值(key-value)数据库,即以账号为索引来存储预设热度值的数据库,在具体使用时,通过查找Redis数据库中的账号来获得该账号所对应的预设热度值。
在步骤202中,根据每个账号各自对应的预设热度值和每个账号被调用的次数,确定每个账号各自对应的实际热度值。
其中,分别对每个账号进行以下处理:根据账号被调用的次数和预设系数,确定线性化处理后的被调用次数,根据线性化处理后的被调用次数和账号对应的预设热度值,确定账号对应的实际热度值。
在一个具体实现中,设置某一个账号被调用的次数为c,并设置该账号对应的预设热度值为p,设置预设系数为k,则该账户所对应的实际热度值y可按照如下计算公式进行线性归一化处理后获得:y=kc+p;其中的账号调用次数c是通过借助互联网的应用服务器(openresty)的可扩展性,结合lua语言,在预设时长内(例如,5分钟内)获取到的;预设系数k是多次试验所获得的估算值。
通过以上公式的计算,能够将不同维度的数据指标线性归一化处理后,得到一个实际热度值,通过该实际热度值来确定各个账号所对应的数据是否是活跃数据。例如,可根据实际热度值对帐号进行排序,通过发送心跳消息给服务器,来获得排名在前1000名的账号所对应的数据,即为活跃数据。
在步骤102中,根据每个账号各自对应的实际热度值选择账号,将所选择的账号对应的数据更新到服务器的内存中。
其中,根据每个账号各自对应的实际热度值选择账号,将所选择的账号对应的数据异步更新到服务器的内存中。
需要说明的是,其中的异步更新是计算机多线程中的异步更新处理过程,与同步更新处理相对,即当服务器中的第一模块调用该异步更新处理线程时,该第一模块不能立刻得到结果,而实际处理这个调用的是服务器中的第二模块,当该第二模块完成该异步更新处理后,通过状态、通知和回调的方式来通知该服务器中的第一模块。通过异步更新的方式,加快了服务器处理数据的速度,保证了重要客户的数据能够被及时处理,进而保证了服务器的性能指标TPS。
其中,将所选择的账号对应的数据更新到服务器的内存中,需要分别对所选择的账号对应的数据进行以下处理:获得统计时长内的数据,将所选择的账号对应的数据更新到服务器的内存中;并且,在将所选择的账号对应的数据更新到服务器的内存中之后,还需要更新所选择的账号的数据对应的统计时长。
在一个具体实现中,设定统计时长为1分钟,每间隔1分钟,就将所选择的账号对应的数据更新到服务器的内存中一次。在具体实现时,可通过时间片轮询的调度算法实现,例如,先获得当前的系统时间为10:25,当系统时间为10:26时,将所选择的账号对应的数据平滑的更新到服务器的内存中,之后再次获得当前的系统时间10:26,并把10:26作为下一次刷新的起始时间。还可以先设定一个时间变量,初始化时设定该时间变量为0,然后开始计时,当该时间变量累加到1分钟时,将所选择的账号对应的数据平滑的更新到服务器的内存中,之后更新该时间变量为0,继续计时。
在本实施方式中,通过预设时长内的每个账号被调用的次数和每个账号的等级,确定被更新到服务器的内存中的数据,降低内存的占有量,提高网关处理数据的效率,保证网关的TPS,并保证重要客户的数据能够被及时处理,不会受到内存减少的影响。
本发明的第二实施方式涉及一种数据处理方法。第二实施方式与第一实施方式大致相同,主要区别之处在于:在确定每个账号各自对应的实际热度值之前,需要从缓存中获取每个账号的信息;在将所选择的账号对应的数据更新到服务器的内存中之后,还需要增量更新所选择的账号的信息到缓存中。
具体处理流程如图3所示,在本实施方式中,该数据处理方法包括步骤301~304,因该实施方式中步骤302~303,与第一实施方式中的步骤101~102相同,在此不再赘述,下面具体介绍本实施方式中的步骤301和步骤304。
在步骤301中,从缓存中获取每个账号的信息。
其中,账号的信息包括:账号的等级、预设时长内账号被调用的次数和账号对应的权限。
在一个具体实现中,可以将账号的等级和账号对应的权限保存到zset数据结构中,其中的zset数据结构是一个有序集合,即在zset数据结构中的每一个成员都有一个分数与之对应,并且分数是可以重复的,而该分数可以使用该账号对应的实际热度值来表示。因此,在对该有序集合进行增加、删除或修改时,由于有了排序,其执行速度就会非常快,即便是访问该有序集合的中间的数据也是非常高效的。
在步骤304中,增量更新所选择的账号的信息到缓存中。
需要说明的是,增量更新与完全更新相对,增量更新是指在进行更新操作时,只更新需要改变的信息,而没有改变的信息不需要再次更新。因此,只需要更新该账号的信息发生变化的部分到缓存中即可。
在一个具体实现中,其中的增量更新可采用协程的方法来实现,协程不是进程或线程,其执行过程是不带返回值的函数调用,因此,协程在执行的过程中更为灵活。
在一个具体实现中,图4所示为数据处理的系统方框图,客户端401通过Nginx服务器402进行数据的上报,其中,Nginx服务器402是一个高性能的网页服务器和反向代理服务器;该上报的数据都存储在MySQL服务器403中,其中,MySQL服务器403是一种用于存储数据的数据库服务器;通过异步刷新的方式,刷新到缓存中,该缓存可使用Redis服务器404来实现;在预设时长内,系统会统计该客户所对应的账号的调用次数,再根据该账号被调用的次数和该账号对应的预设热度值,使用公式y=kc+p计算获得该账号所对应的实际热度值,根据该实际热度值在系统中的排名,若确定该账号对应的实际热度值在前1000名以内,则将该账号对应的数据标记为活跃数据,否则记为冷数据;若该数据为活跃数据,则当提供网关服务的服务器405的内存需要刷新时,即统计时长到达1分钟时,将该账号所对应的数据刷新到提供网关服务的服务器405的内存中;若该数据为冷数据,则将该冷数据存储到Redis服务器404中,以备下次根据实际热度值进行排序时使用。
在该实施方式中,通过增量更新所选择的账号的信息到缓存中,使该账号的信息发生变化的部分能够被更新,方便下次通过该账号的等级和预设时长内该账号被调用的次数计算实际热度值,进而获得新的排名,并将排名在前1000名的账号所对应的数据更新到服务器的内存中,保证了更新到服务器的内存中的数据都是活跃数据,降低了内存的占有量,提高网关处理数据的效率。
上面各种方法的步骤划分,只是为了描述清楚,实现时可以合并为一个步骤或者对某些步骤进行拆分,分解为多个步骤,只要包括相同的逻辑关系,都在本专利的保护范围内;对算法中或者流程中添加无关紧要的修改或者引入无关紧要的设计,但不改变其算法和流程的核心设计都在该专利的保护范围内。
本发明的第三实施方式涉及一种数据处理装置,该装置的具体实施可参见第一实施方式的相关描述,重复之处不再赘述。值得说明的是,本实施方式中的装置的具体实施也可参见第二实施方式的相关描述,但不局限于以上两个实施例,其他未说明的实施例也在本装置的保护范围之内。
如图5所示,该装置主要包括:确定热度值模块501和更新模块502;确定热度值模块501用于根据预设时长内每个账号被调用的次数和每个账号的等级,确定每个账号各自对应的实际热度值;更新模块502用于根据每个账号各自对应的实际热度值选择账号,将所选择的账号对应的数据更新到服务器的内存中。
在一个例子中,确定热度值模块501具体用于:根据每个账号的等级,确定每个账号各自对应的预设热度值;根据每个账号各自对应的预设热度值和每个账号被调用的次数,确定每个账号各自对应的实际热度值。
在一个例子中,根据每个账号各自对应的预设热度值和每个账号被调用的次数,确定每个账号各自对应的实际热度值,包括:分别对每个账号进行以下处理:根据账号被调用的次数和预设系数,确定线性化处理后的被调用次数,根据线性化处理后的被调用次数和账号对应的预设热度值,确定账号对应的实际热度值。
在一个例子中,根据每个账号的等级,确定每个账号各自对应的预设热度值,包括:根据预先配置的账号的等级与预设热度值之间的对应关系,确定每个账号的等级各自对应的预设热度值,其中,对应关系中账号的等级越高,则对应的预设热度值越小。
在一个例子中,更新模块502具体用于:根据每个账号各自对应的实际热度值选择账号,将所选择的账号对应的数据异步更新到服务器的内存中。
在一个例子中,将所选择的账号对应的数据更新到服务器的内存中,包括:分别对所选择的账号对应的数据进行以下处理:获得统计时长内的数据,将数据更新到服务器的内存中;在将所选择的账号对应的数据更新到服务器的内存中之后,还包括:分别对所选择的账号对应的数据进行以下处理:更新数据对应的统计时长。
在一个例子中,在进入确定热度值模块501之前,还包括:从缓存中获取每个账号的信息,其中,账号的信息包括:账号的等级、预设时长内账号被调用的次数和账号对应的权限。
在一个例子中,在完成更新模块502的功能之后,还包括:增量更新所选择的账号的信息到缓存中。
不难发现,本实施方式为与第一或第二实施方式相对应的装置实施例,本实施方式可与第一或第二实施方式互相配合实施。第一或第二实施方式中提到的相关技术细节在本实施方式中依然有效,为了减少重复,这里不再赘述。相应地,本实施方式中提到的相关技术细节也可应用在第一或第二实施方式中。
值得一提的是,本实施方式中所涉及到的各模块均为逻辑模块,在实际应用中,一个逻辑单元可以是一个物理单元,也可以是一个物理单元的一部分,还可以以多个物理单元的组合实现。此外,为了突出本发明的创新部分,本实施方式中并没有将与解决本发明所提出的技术问题关系不太密切的单元引入,但这并不表明本实施方式中不存在其它的单元。
本申请第四实施方式提供了一种设备,该设备具体结构如图6所示。包括至少一个处理器601;以及,与至少一个处理器601通信连接的存储器602。其中,存储器602存储有可被至少一个处理器601执行的指令,指令被至少一个处理器601执行,以使至少一个处理器601能够执行第一实施方式所描述的数据处理方法。
本实施方式中,处理器601以中央处理器(Central Processing Unit,CPU)为例,存储器602以可读写存储器(Random Access Memory,RAM)为例。处理器601、存储器602可以通过总线或者其他方式连接,图6中以通过总线连接为例。存储器602作为一种非易失性计算机可读存储介质,可用于存储非易失性软件程序、非易失性计算机可执行程序以及模块,如本申请实施例中实现数据处理方法的程序就存储于存储器602中。处理器601通过运行存储在存储器602中的非易失性软件程序、指令以及模块,从而执行设备的各种功能应用以及数据处理,即实现上述数据处理方法。
存储器602可以包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需要的应用程序;存储数据区可存储选项列表等。此外,存储器可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实施例中,存储器602可选包括相对于处理器601远程设置的存储器,这些远程存储器可以通过网络连接至外接设备。
一个或者多个程序模块存储在存储器602中,当被一个或者多个处理器601执行时,执行上述任意方法实施例中的数据处理方法。
上述产品可执行本申请实施例所提供的方法,具备执行方法相应的功能模块和有益效果,未在本实施例中详尽描述的技术细节,可参见本申请实施例所提供的方法。
本申请的第五实施方式涉及一种计算机可读存储介质,该计算机可读存储介质中存储有计算机程序,该计算机程序被处理器执行时能够实现本申请任意方法实施例中涉及的数据处理方法。
本领域技术人员可以理解,实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成,该程序存储在一个存储介质中,包括若干指令用以使得一个设备(可以是单片机,芯片等)或处理器(processor)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-OnlyMemory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
本领域的普通技术人员可以理解,上述各实施方式是实现本发明的具体实施例,而在实际应用中,可以在形式上和细节上对其作各种改变,而不偏离本发明的精神和范围。
Claims (11)
1.一种数据处理方法,其特征在于,应用于服务器,所述方法包括:
根据预设时长内每个账号被调用的次数和所述每个账号的等级,确定所述每个账号各自对应的实际热度值;
根据所述每个账号各自对应的实际热度值选择账号,将所选择的账号对应的数据更新到所述服务器的内存中。
2.根据权利要求1所述的数据处理方法,其特征在于,根据预设时长内每个账号被调用的次数和所述每个账号的等级,确定所述每个账号各自对应的实际热度值,包括:
根据所述每个账号的等级,确定所述每个账号各自对应的预设热度值;
根据所述每个账号各自对应的预设热度值和所述每个账号被调用的次数,确定所述每个账号各自对应的实际热度值。
3.根据权利要求2所述的数据处理方法,其特征在于,根据所述每个账号各自对应的预设热度值和所述每个账号被调用的次数,确定所述每个账号各自对应的实际热度值,包括:
分别对每个账号进行以下处理:根据所述账号被调用的次数和预设系数,确定线性化处理后的被调用次数,根据所述线性化处理后的被调用次数和所述账号对应的预设热度值,确定所述账号对应的实际热度值。
4.根据权利要求2或3所述的数据处理方法,其特征在于,根据所述每个账号的等级,确定所述每个账号各自对应的预设热度值,包括:
根据预先配置的账号的等级与预设热度值之间的对应关系,确定所述每个账号的等级各自对应的预设热度值,其中,所述对应关系中账号的等级越高,则对应的预设热度值越小。
5.根据权利要求4所述的数据处理方法,其特征在于,根据所述每个账号各自对应的实际热度值选择账号,将所选择的账号对应的数据更新到所述服务器的内存中,包括:
根据所述每个账号各自对应的实际热度值选择账号,将所选择的账号对应的数据异步更新到所述服务器的内存中。
6.根据权利要求4所述的数据处理方法,其特征在于,将所选择的账号对应的数据更新到所述服务器的内存中,包括:
分别对所选择的账号对应的数据进行以下处理:获得统计时长内的所述数据,将所述数据更新到所述服务器的内存中;
在将所选择的账号对应的数据更新到所述服务器的内存中之后,还包括:
分别对所选择的账号对应的数据进行以下处理:更新所述数据对应的所述统计时长。
7.根据权利要求1所述的数据处理方法,其特征在于,在根据预设时长内每个账号被调用的次数和所述每个账号的等级,确定所述每个账号各自对应的实际热度值之前,还包括:
从缓存中获取每个账号的信息,其中,所述账号的信息包括:所述账号的等级、预设时长内所述账号被调用的次数和所述账号对应的权限。
8.根据权利要求7所述的数据处理方法,其特征在于,在根据所述每个账号各自对应的实际热度值选择账号,将所选择的账号对应的数据更新到所述服务器的内存中之后,还包括:
增量更新所述所选择的账号的信息到所述缓存中。
9.一种数据处理装置,其特征在于,包括:确定热度值模块和更新模块;
所述确定热度值模块,用于根据预设时长内每个账号被调用的次数和所述每个账号的等级,确定所述每个账号各自对应的实际热度值;
所述更新模块,用于根据所述每个账号各自对应的实际热度值选择账号,将所选择的账号对应的数据更新到所述服务器的内存中。
10.一种设备,其特征在于,包括:
至少一个处理器;以及,
与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行如权利要求1至8中任一所述的数据处理方法。
11.一种计算机可读存储介质,存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至8中任一所述的数据处理方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910266858.5A CN110061933B (zh) | 2019-04-03 | 2019-04-03 | 一种数据处理方法及装置、设备、存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910266858.5A CN110061933B (zh) | 2019-04-03 | 2019-04-03 | 一种数据处理方法及装置、设备、存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110061933A true CN110061933A (zh) | 2019-07-26 |
CN110061933B CN110061933B (zh) | 2023-03-07 |
Family
ID=67318362
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910266858.5A Active CN110061933B (zh) | 2019-04-03 | 2019-04-03 | 一种数据处理方法及装置、设备、存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110061933B (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112016915A (zh) * | 2020-08-31 | 2020-12-01 | 支付宝(杭州)信息技术有限公司 | 一种为用户提供服务的方法和装置 |
CN112269938A (zh) * | 2020-11-16 | 2021-01-26 | 北京百度网讯科技有限公司 | 信息展示方法、装置、电子设备和存储介质 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106339331A (zh) * | 2016-08-31 | 2017-01-18 | 电子科技大学 | 一种基于用户活跃度的数据缓存层置换算法 |
US20170262545A1 (en) * | 2016-03-09 | 2017-09-14 | Le Holdings (Beijing) Co., Ltd. | Method and electronic device for crawling webpage |
CN108449327A (zh) * | 2018-02-27 | 2018-08-24 | 平安科技(深圳)有限公司 | 一种账号清理方法、装置、终端设备及存储介质 |
US20180351792A1 (en) * | 2017-06-05 | 2018-12-06 | Unisys Corporation | System and method for providing secure and redundant communications and processing for a collection of internet of things (iot) devices |
CN109285233A (zh) * | 2018-09-28 | 2019-01-29 | 深圳壹账通智能科技有限公司 | 基于大数据的应用自动签到方法、装置、介质和设备 |
CN109379395A (zh) * | 2018-08-22 | 2019-02-22 | 中国平安人寿保险股份有限公司 | 一种接口数据缓存设置方法及终端设备 |
CN109471879A (zh) * | 2018-10-25 | 2019-03-15 | 珠海天燕科技有限公司 | 一种数据排行的辅助方法及装置 |
-
2019
- 2019-04-03 CN CN201910266858.5A patent/CN110061933B/zh active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20170262545A1 (en) * | 2016-03-09 | 2017-09-14 | Le Holdings (Beijing) Co., Ltd. | Method and electronic device for crawling webpage |
CN106339331A (zh) * | 2016-08-31 | 2017-01-18 | 电子科技大学 | 一种基于用户活跃度的数据缓存层置换算法 |
US20180351792A1 (en) * | 2017-06-05 | 2018-12-06 | Unisys Corporation | System and method for providing secure and redundant communications and processing for a collection of internet of things (iot) devices |
CN108449327A (zh) * | 2018-02-27 | 2018-08-24 | 平安科技(深圳)有限公司 | 一种账号清理方法、装置、终端设备及存储介质 |
CN109379395A (zh) * | 2018-08-22 | 2019-02-22 | 中国平安人寿保险股份有限公司 | 一种接口数据缓存设置方法及终端设备 |
CN109285233A (zh) * | 2018-09-28 | 2019-01-29 | 深圳壹账通智能科技有限公司 | 基于大数据的应用自动签到方法、装置、介质和设备 |
CN109471879A (zh) * | 2018-10-25 | 2019-03-15 | 珠海天燕科技有限公司 | 一种数据排行的辅助方法及装置 |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112016915A (zh) * | 2020-08-31 | 2020-12-01 | 支付宝(杭州)信息技术有限公司 | 一种为用户提供服务的方法和装置 |
CN112269938A (zh) * | 2020-11-16 | 2021-01-26 | 北京百度网讯科技有限公司 | 信息展示方法、装置、电子设备和存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN110061933B (zh) | 2023-03-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11146502B2 (en) | Method and apparatus for allocating resource | |
CN106506663B (zh) | 一种号码分配方法、服务器及系统 | |
DE102012001003B4 (de) | Zielbasierte geschätzte Wartezeit | |
CN106815287A (zh) | 一种缓存管理方法及装置 | |
CN104899106B (zh) | 接口服务异常时的处理方法和装置 | |
CN107622091A (zh) | 一种数据库查询方法和装置 | |
WO2015149644A1 (en) | Intelligent file pre-fetch based on access patterns | |
CN108667719A (zh) | 一种实时消息传递方法及系统 | |
DE112014002754T5 (de) | Effiziente Aufgabenplanung unter Verwendung eines Sperrmechanismus | |
DE10219621A1 (de) | Schnelle Prioritätsbestimmungsschaltung mit rotierender Priorität | |
CN108664222A (zh) | 一种区块链系统及其应用方法 | |
CN107026879A (zh) | 一种数据缓存方法及后台应用系统 | |
CN110061933A (zh) | 一种数据处理方法及装置、设备、存储介质 | |
CN105893607A (zh) | 页面数据管理方法、装置及数据服务器 | |
CN109981715A (zh) | 一种会话管理的方法及装置 | |
DE112013003300T5 (de) | Schrittweise Vorbereitung von Videos auf die Lieferung | |
CN108550057A (zh) | 坐席答疑请求处理方法、电子装置、计算机可读存储介质 | |
DE202015009257U1 (de) | Verwaltung eines Anweisungscache | |
CN107222555A (zh) | 消息处理方法及装置 | |
CN109190071A (zh) | 移动端缓存方法及装置 | |
CN115907949A (zh) | 银行交易数据处理方法及装置 | |
CN112800089A (zh) | 一种中间数据存储级别调整方法、存储介质及计算机设备 | |
CN112784139A (zh) | 查询方法、装置、电子设备和计算机可读介质 | |
CN110311789A (zh) | 数据安全传输方法及装置 | |
CN112988803B (zh) | 微服务系统业务的缓存改造方法、装置及计算设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |