CN114095574B - 数据处理方法、装置、电子设备及存储介质 - Google Patents
数据处理方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN114095574B CN114095574B CN202210063668.5A CN202210063668A CN114095574B CN 114095574 B CN114095574 B CN 114095574B CN 202210063668 A CN202210063668 A CN 202210063668A CN 114095574 B CN114095574 B CN 114095574B
- Authority
- CN
- China
- Prior art keywords
- data
- processed
- server
- client
- preheating
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L12/00—Data switching networks
- H04L12/66—Arrangements for connecting between networks having differing types of switching systems, e.g. gateways
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Computer And Data Communications (AREA)
Abstract
本发明涉及数据处理技术领域,提供了一种数据处理方法、装置、电子设备及存储介质,服务器与客户端及网关均通信连接,应用于服务器的方法包括:接收客户端发送的待处理数据,待处理数据为预热型数据或业务型数据,预热型数据用于模拟客户端发送至服务器的业务型数据;对待处理数据的合法性进行验证;若待处理数据为预热型数据,则直接向客户端返回处理结果;若待处理数据为业务型数据,且待处理数据通过合法性验证,则将待处理数据发送至网关后向客户端返回处理结果。本发明能够降低处理时延。
Description
技术领域
本发明涉及数据处理技术领域,具体而言,涉及一种数据处理方法、装置、电子设备及存储介质。
背景技术
在数据处理技术领域,一些应用场景对于数据的处理时间有比较高的要求,要求处理时间要限制在一定范围内,如何降低数据的处理时延是本领域技术人员亟待解决的问题。
发明内容
本发明的目的在于提供了一种数据处理方法、装置、电子设备及存储介质,用于降低数据的处理时延。
为了实现上述目的,本发明实施例采用的技术方案如下:
第一方面,本发明实施例提供了一种数据处理方法,应用于服务器,所述服务器与客户端及网关均通信连接,所述方法包括:接收所述客户端发送的待处理数据,所述待处理数据为预热型数据或业务型数据,所述预热型数据用于模拟所述客户端发送至所述服务器的业务型数据;对所述待处理数据的合法性进行验证;若所述待处理数据为所述预热型数据,则直接向所述客户端返回处理结果;若所述待处理数据为所述业务型数据,且所述待处理数据通过合法性验证,则将所述待处理数据发送至所述网关后向所述客户端返回处理结果。
可选地,所述待处理数据包括用户标识及用户数据,所述对所述待处理数据的合法性进行验证的步骤包括:根据所述用户标识及预设处理策略,确定处理条件;若所述用户数据满足所述处理条件,则判定所述待处理数据通过合法性验证;若所述用户数据不满足所述处理条件,则判定所述待处理数据未通过合法性验证。
第二方面,本发明实施例还提供了一种数据处理方法,应用于客户端,所述客户端与服务器通信连接,所述服务器与网关通信连接,所述方法包括:向所述服务器发送待处理数据,以指示所述服务器对所述待处理数据的合法性进行验证,并在合法性验证后判定所述待处理数据为预热型数据时,直接向所述客户端返回处理结果,其中,所述待处理数据为预热型数据或业务型数据,所述预热型数据用于模拟所述客户端发送至所述服务器的业务型数据;接收所述服务器返回的所述处理结果。
可选地,所述方法还包括:获取预热参数;根据所述预热参数向所述服务器发送预热型数据。
可选地,所述预热参数包括业务规则及发送频率,所述根据所述预热参数向所述服务器发送预热型数据的步骤包括:根据所述业务规则生成预热型数据;按照所述发送频率,向所述服务器发送所述预热型数据。
可选地,所述客户端预先设置有预热开关,所述方法还包括:若所述预热开关关闭,则停止向所述服务器发送所述预热型数据。
第三方面,本发明实施例还提供了一种数据处理装置,应用于服务器,所述服务器与客户端及网关均通信连接,所述装置包括:第一接收模块,用于接收所述客户端发送的待处理数据,所述待处理数据为预热型数据或业务型数据,所述预热型数据用于模拟所述客户端发送至所述服务器的业务型数据;验证模块,用于对所述待处理数据的合法性进行验证;返回模块,用于若所述待处理数据为所述预热型数据,则直接向所述客户端返回处理结果;所述返回模块,还用于若所述待处理数据为所述业务型数据,且所述待处理数据通过合法性验证,则将所述待处理数据发送至所述网关后向所述客户端返回处理结果。
第四方面,本发明实施例还提供了一种数据处理装置,应用于客户端,所述客户端与服务器通信连接,所述服务器与网关通信连接,所述装置包括:发送模块,用于向所述服务器发送待处理数据,以指示所述服务器对所述待处理数据的合法性进行验证,并在合法性验证后判定所述待处理数据为预热型数据时,直接向所述客户端返回处理结果,其中,所述待处理数据为预热型数据或业务型数据,所述预热型数据用于模拟所述客户端发送至所述服务器的业务型数据;第二接收模块,用于接收所述服务器返回的所述处理结果。
第五方面,本发明实施例还提供了一种电子设备,所述存储器用于存储程序,所述处理器用于在执行所述程序时,实现上述第一方面中的数据处理方法和/或上述第二方面中的数据处理方法。
第六方面,本发明实施例还提供了一种计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现上述第一方面中的数据处理方法和/或上述第二方面中的数据处理方法。
相对于现有技术,本发明实施例提供的一种数据处理方法、装置、电子设备及存储介质,利用预热型数据模拟客户端发送至服务器的业务型数据,客户端向服务器发送待处理数据,服务器对待处理数据的合法性进行验证,若待处理数据为预热型数据,则直接向客户端返回处理结果,若待处理数据为业务型数据,且待处理数据通过合法性验证,则服务器将待处理数据发送至网关后向客户端返回处理结果,由于引入预热型数据,使得验证所述待处理数据合法性所需要的数据的访问热度得以保持,而较热的数据会持续存在于服务器的访问性能较高的缓存中,最终降低了处理时延。
附图说明
为了更清楚地说明本发明实施例的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,应当理解,以下附图仅示出了本发明的某些实施例,因此不应被看作是对范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他相关的附图。
图1示出了本发明实施例提供的应用场景示例图。
图2示出了本发明实施例提供一种证券交易应用场景的示例图。
图3示出了本发明实施例提供的间隔为100毫秒时委托单的时延测试示例图。
图4示出了本发明实施例提供的间隔为30毫秒时委托单的时延测试示例图。
图5示出了本发明实施例提供的一种应用于服务器的数据处理方法的流程示意图一。
图6示出了本发明实施例提供的一种应用于服务器的数据处理方法的流程示意图二。
图7示出了本发明实施例提供的一种应用于客户端的数据处理方法的流程示意图一。
图8示出了本发明实施例提供的一种应用于客户端的数据处理方法的流程示意图二。
图9示出了本发明实施例提供的一种应用于客户端的数据处理方法的流程示意图三。
图10示出了本发明实施例提供的一种应用于客户端的数据处理方法的流程示意图四。
图11示出了本发明实施例提供的预热开关开启和关闭时性能测试的对比结果示例图。
图12示出了本发明实施例提供的应用于服务器的第一数据处理装置的方框示意图。
图13示出了本发明实施例提供的应用于客户端的第二数据处理装置的方框示意图。
图14示出了本发明实施例提供的一种电子设备的方框示意图。
图标:10-客户端;20-服务器;30-网关;40-电子设备;41-处理器;42-存储器;43-总线;100-第一数据处理装置;110-第一接收模块;120-验证模块;130-返回模块;200-第二数据处理装置;210-发送模块;220-第二接收模块。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。
因此,以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围,而是仅仅表示本发明的选定实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步定义和解释。
在本发明的描述中,需要说明的是,若出现术语“上”、“下”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系,或者是该发明产品使用时惯常摆放的方位或位置关系,仅是为了便于描述本发明和简化描述,而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作,因此不能理解为对本发明的限制。
此外,若出现术语“第一”、“第二”等仅用于区分描述,而不能理解为指示或暗示相对重要性。
需要说明的是,在不冲突的情况下,本发明的实施例中的特征可以相互结合。
在数据处理领域,需要处理的数据量越来越大,而数据处理所需的资源是有限的,不可能将数据处理所需访问的相关数据都存储在性能最高的存储器中,如何有效利用有限的资源来提供尽可能大的吞吐量是关键,解决这一问题的其中一个有效方法就是引入缓存,将访问较为频繁的相关数据暂存于访问性能较高的存储器中,由此可以加快相关数据的访问,降低数据处理的时延。
以计算机设备的CPU读取数据为例,当CPU要读取数据时,首先从CPU缓存中查找,找到就立即读取并送给CPU处理;如果没有找到,就从速率相对较慢的内存中读取并送给CPU处理,同时把这个数据所在的数据区块调入缓存中,可以使以后对整块数据的读取都从缓存中进行,不必再调用内存。采用这样读取机制,CPU读取缓存的命中率非常高,通常情况下,CPU下一次要读取的数据90%都在CPU缓存中,只有大约10%需要从内存读取。由此能够大大节省CPU直接读取内存的时间,也使CPU读取数据时基本无需等待。
本发明实施例正是利用缓存机制的这一特点,使得待处理数据进行合法性验证时所需访问的数据一致暂存于CPU缓存中,从而加快待处理数据的合法性验证的处理,最终降低了待处理数据的处理时延,下面将对其进行详细描述。
请参考图1,图1示出了本发明实施例提供的应用场景示例图,图1中,客户端10与服务器20通信连接,服务器20与网关30通信连接,为了使待处理数据进行合法性验证所需访问的数据一致暂存于CPU缓存中,客户端10按照预设发送频率向服务器20发送预热型数据,客户端10将待处理数据发送至服务器20,待处理数据可以是预热型数据,也可以是用户真正需要处理的业务型数据。
服务器20对待处理数据的合法性进行验证,在验证时会访问所需数据,进而使得进行合法性验证所需访问的数据的访问热度提升,按照CPU的缓存机制,访问热度高的数据会暂存于CPU缓存中,由此,加快了合法性验证的处理,最终加快了待处理数据的处理。
服务器20在判定待处理数据为预热型数据时,直接向客户端10返回处理结果,由于预热型数据只是为了提高合法性验证所需访问的数据的访问热度,不需要真正发送至网关进行后续处理,因此,客户端10无需关心预热型数据的处理结果,而对于业务型数据,由于是需要发送网关进行后续处理,因此,只有当业务型数据通过合法性验证,服务器20才会将其发送至网关进行后续处理。
客户端10可以是手机、平板电脑、笔记本电脑、服务器等,可以是独立的一台设备,也可以是多个设备组成的集群,或者云端服务器等。
服务器20可以是独立的一台设备,也可以由多台服务器组成的服务器集群,或者云端服务器等。
网关30是负责网络通信的设备,网关30负责将经过合法性验证的业务型数据发送至后续需要处理的服务器,或者数据中心。
为了便于理解,本发明实施例还提供了一种具体的低时延交易系统的应用场景,低时延交易系统是指交易系统中,对处理时间有比较高要求的系统,一般要求业务处理的时间在亚微秒级别,证券交易系统属于低时延交易系统,请参照图2,图2示出了本发明实施例提供一种证券交易应用场景的示例图。该具体应用场景为证券交易应用场景,图2中,客户端10也称为客户机,是提供给用户进行证券交易的平台,服务器20可以为交易服务器,是证券交易系统中的交易服务器,网关30可以为交易所网关,即通过交易所网关可以访问交易所的服务器,客户端10和交易服务器通过交易网通信连接,交易服务器通过报盘网与交易所网关通信连接。
用户登录客户机,在客户机上创建真正需要交易的委托单(业务型数据),并将委托单发送至交易服务器,交易服务器对委托单进行合法性验证,合法性验证所需时间,即交易服务器处理时延(也称为上行委托时延),其时延要求为微秒数量级别。
发明人在低时延交易系统的性能测试中发现,当进行高频率下单时,系统的时延相对较低,在测试开始时前面几单的时延总是相对比较高,并且设置比较大的下单间隔后,总体时延上升。请参照图3和图4,图3示出了本发明实施例提供的间隔为100毫秒时委托单的时延测试示例图,图4示出了本发明实施例提供的间隔为30毫秒时委托单的时延测试示例图,图3和图4的横坐标表示测试样本序列号,纵坐标表示对应测试样本的时延,单位为微秒,其中,一个测试样本代表一个委托单,由图3和图4可以明显看出,间隔的时间越大,系统时延图中的毛刺也比较大,因此平均时延也变大。
在实际交易场景中,客户的交易行为不一定是持续的高频率下单,一般客户策略程序根据行情来触发交易信号,交易频率可能为间歇性,因此,解决用户在非高频率下单情况下时延增加的问题就显得非常有必要。发明人针对这一问题,通过抓包测试和数据分析,发现在间歇性下单的情况下低时延交易系统的性能下降的主要原因在于,在前面几单时,相关业务处理需要的数据(例如,委托单合法性验证所需访问的数据)通常在主内存中,还未处于CPU缓存中,而主内存的访问速度要比CPU缓存的访问速度慢很多,故此时的时延相对比较高,随着订单的持续进行,相关业务处理需要的数据的访问热度增加,而高访问热度的数据会优先存储于CPU缓存中,从CPU缓存访问数据比从主内存中访问数据的速度要快很多,故,此时的时延相对比较低。
通过上述分析,发明人发现,只要使委托单合法性验证所需访问的数据一致暂存于CPU缓存中,就可以减少交易服务器处理时延所需的时间,而为了使委托单合法性验证所需访问的数据一致暂存于CPU缓存中,就需要保持委托单合法性验证所需访问的数据的访问热度,为了保持委托单合法性验证所需访问的数据的访问热度,发明人巧妙地引入模拟委托单的预热单,客户端10按照预设发送频率向交易服务器发送预热单(即预热型数据),交易服务器同样会对预热单进行合法性验证,而预热单由于是对委托单的模拟,因而在对预热单进行合法性验证时所需访问的数据与对委托单进行合法性验证所需访问的数据是一样的,故而可以保持委托单合法性验证所需访问的数据的访问热度。
由于预热单毕竟只是模拟的订单,并非真正需要处理的订单,交易服务器对收到的所有订单均进行验证,并在验证后进行判断,如果该订单是委托单,且该委托单通过合法性验证,交易服务器将该委托单通过交易所网关发送至交易所的服务器,以完成该交易订单的交易。如果该订单是预热单,则直接返回客户端10。
需要说明的是,上述证券交易系统只是一种具体应用场景的示例,事实上,本发明实施例提供的数据处理方法还可以应用于其他对数据处理时延有要求的应用场景,例如,订票系统、外卖系统等。
在图1和图2的基础上,本发明实施例还提供了一种应用于图1中的服务器或图2中的交易服务器的数据处理方法,请参照图5,图5示出了本发明实施例提供的一种应用于服务器的数据处理方法的流程示意图,该方法包括以下步骤:
步骤S101,接收客户端发送的待处理数据,待处理数据为预热型数据或业务型数据,预热型数据用于模拟客户端发送至服务器的业务型数据。
在本实施例中,业务型数据为真正需要处理的数据,可以是用户通过客户端输入的数据,或者是根据用户输入的参数生成的数据,预热型数据是对业务型数据进行模拟的数据,是客户端根据配置的参数自动生成的,并非实际需要处理的数据,例如,业务型数据可以是证券交易系统中用户提交的委托单,预热型数据可以是对委托单进行模拟的预热单,业务型数据还可以是订票系统中用户提交的订票单,预热型数据可以是对订票单进行模型的预热单。
步骤S102,对待处理数据的合法性进行验证。
在本实施例中,待处理数据的合法性可以根据实际应用场景预先定义,例如,对于证券交易系统,待处理数据可以是用户是否有交易权限,交易额度是否满足要求,保证金是否满足要求等,对于订票系统,待处理数据可以是用户的身份证件是否有效,订票数量是否满足要求,用户的身份是否与所定票的类型匹配,例如,只有学生证可以买学生票,儿童可以买儿童票等。
在本实施例中,当对待处理数据进行合法性验证时,需要访问相关数据,若相关数据暂存于CPU缓存中,则直接从CPU缓存中访问该相关数据,完成合法性验证,否则,需要先将内存中暂存的该相关数据载入CPU缓存中,再访问该相关数据,完成合法性验证。
步骤S103,若待处理数据为预热型数据,则直接向客户端返回处理结果。
在本实施例中,由于预热型数据并非真正需要进一步处理的数据,客户端10无需关心其处理结果是否成功,也不需要针对处理结果做出任何相应,作为一种具体实现方式,服务器在判定待处理数据为预热型数据时,可以直接设置处理结果为成功处理并返回客户端10即可。
步骤S104,若待处理数据为业务型数据,且待处理数据通过合法性验证,则将待处理数据发送至网关后向客户端返回处理结果。
在本实施例中,业务型数据为真正需要进一步处理的数据,而只有合法性验证通过的业务型数据才可以发到下一个处理节点继续进行处理,例如,委托单需要发送至交易所网关,由交易所网关到达交易所的服务器,以完成委托单的最终交易。
本实施例提供的上述方法,通过引入预热型数据,使得验证待处理数据合法性所需要的数据的访问热度得以保持,而较热的数据会持续存在于服务器的访问性能较高的缓存中,最终降低了处理时延。
在图5的基础上,本发明实施例还提供了一种对待处理数据的合法性进行验证的具体实现方式,请参照图6,图6示出了本发明实施例提供的另一种应用于服务器的数据处理方法的流程示意图,步骤S102包括以下子步骤:
子步骤S1021,根据用户标识及预设处理策略,确定处理条件。
在本实施例中,待处理数据包括用户标识及用户数据,用户标识用于唯一表征待处理数据的归属者,在一种实施例中,用户标识可以是用户的身份证号或者护照证件号等,在另一种实施例中,用户标识可以包括身份证号及订单号。用户数据为实际需要处理的数据,例如,用户的交易额等。
在本实施例中,预设处理策略可以是对待处理数据进行处理的限制条件,例如,交易额度不能超过的上限值,保证金不能低于最小值,交易用户的年龄需要在预设年龄区间等。
在本实施例中,处理条件为与用户标识对应的用户数据需要满足的预设处理策略。例如,预设处理策略为:交易用户的年龄在20~35岁之间,交易额度不超过100万,交易用户的年龄在36~50岁之间,交易额度不超过200万,用户标识对应的年龄为40岁,则,处理条件为:交易额度不超过200万。
需要说明的是,上述只是一个预设处理策略及处理条件的示例,实际应用场景中可以根据需要增加其他维度或者定义其他维度,例如,职业,信用记录等。
子步骤S1022,若用户数据满足处理条件,则判定待处理数据通过合法性验证。
子步骤S1023,若用户数据不满足处理条件,则判定待处理数据未通过合法性验证。
本实施例提供的上述方法,根据预设处理策略确定处理条件,可以提升预设处理策略的访问热度,使得预设处理策略一直暂存于服务器20的CPU缓存中,减少了合法性验证的处理时间。
为了使服务器20接收预热型数据,本发明实施例还提供了一种应用于客户端10的数据处理方法,该数据处理方法可以向服务器20发送待处理数据,下面将对其进行详细描述。
请参照图7,图7示出了本发明实施例提供的一种应用于客户端的数据处理方法的流程示意图,该方法包括以下步骤:
步骤S201,向服务器发送待处理数据,以指示服务器对待处理数据的合法性进行验证,并在合法性验证后判定待处理数据为预热型数据时,直接向客户端返回处理结果,其中,待处理数据为预热型数据或业务型数据,预热型数据用于模拟客户端发送至服务器的业务型数据。
步骤S202,接收服务器返回的处理结果。
为了更好地针对业务型数据进行模拟以及对预热型数据的发送进行控制,本发明实施例还提供了一种发送预热型数据的具体实现方式,请参照图8,图8示出了本发明实施例提供的另一种应用于客户端的数据处理方法的流程示意图,该方法还包括以下步骤:
步骤S203,获取预热参数。
在本实施例中,预热参数用于对预热型数据进行配置的参数,利用预热参数可以对预热型数据的生成方式及发送方式进行配置,例如,业务型数据为按照预设交易规则的约定的订单合约,则预热参数包括该订单合约,以便根据预热参数生成的预热型数据可以对业务型数据进行最接近地模拟,使得业务型数据进行合法性验证真正所需的数据一直暂存于CPU缓存中,进一步地,业务型数据涉及的交易对象不同,其具体的订单合约也会有所差别,例如,期货和股票采用的订单合约是不同的。
在本实施例中,发送方式可以包括发送频率或者发送周期,以便根据发送频率或者发送周期对预热型数据的进行发送控制,作为一种具体实施方式,发送方式还可以包括预热开关,预热开关用于设置是否向服务器发送预热型数据,当预热开关开启时,按照预热参数中的生成方式生成预热型数据,并按照发送方式向服务器发送该预热型数据,当预热开关关闭时,停止向服务器发送预热型数据。
步骤S204,根据预热参数向服务器发送预热型数据。
本实施例提供的上述方法,可以根据预热参数对预热型数据进行控制,提高了预热型数据发送的灵活性,使得数据处理的时延控制也更灵活。
在图8的基础上,本发明实施例还提供了一种根据预热参数项服务器发送预热型数据的具体实现方式,请参照图9,图9示出了本发明实施例提供的另一种应用于客户端的数据处理方法的流程示意图,步骤S204包括以下子步骤:
子步骤S2041,根据业务规则生成预热型数据。
在本实施例中,预热参数包括业务规则及发送频率,业务规则用于确定预热型数据的生成方式,发送频率用于确定预热型数据的发送方式。
在本实施例中,作为一种具体实现方式,预热型数据可以只生成一次,然后按照发送频率重复发送该预热型数据,作为另一种具体实现方式,可以在每次发送时先生成预热型数据,再将本次生成的预热型数据进行发送。
子步骤S2042,按照发送频率,向服务器发送预热型数据。
在本实施例中,根据不同的应用场景或者不同时段可以设置不同的发送频率,以便预热型数据既能满足预热需求,又不会对业务型数据的处理效率造成影响,例如,在业务刚启动时,可以设置较高的发送频率,以便尽快完成预热,在业务稳定时,可以设置较低的发送频率,以便尽量降低对业务型数据的处理效率的影响。
在本实施例中,作为一种具体实现方式,可以通过应用程序接口API(ApplicationProgramming Interface,API)提供预热参数的设置,还可以启动专门的线程生成预热型数据并按照发送频率发送该预热型数据。
本实施例提供的上述方法,既可以根据业务规则有针对性地生成预热型数据,又可以根据发送频率对预热型数据进行发送控制,避免在业务繁忙时,发送预热型数据对业务型数据的处理效率造成影响。
在本实施例中,为了进一步提高预热型数据控制的灵活性,同时也为了避免预热型数据对业务型数据的处理效率的不必要的影响,本发明实施例还提供了一种停止预热型数据的发送的处理方法,请参照图10,图10示出了本发明实施例提供的另一种应用于客户端的数据处理方法的流程示意图,该方法包括以下步骤:
步骤S205,若预热开关关闭,则停止向服务器发送预热型数据。
在本实施例中,业务在启动一段时间后通常会在一段时期内处于相对稳定的状态,CPU缓存中的数据热度也处于相对稳定的状态,此时,不需要预热型数据的协助就可使合法性验证所需数据一直暂存于CPU缓存中,为了避免预热型数据对业务型数据的处理效率造成的不必要的影响,可以停止向服务器发送预热型数据。
在本实施例中,可以通过预热开关的开启或者关闭控制是否向服务器发送预热型数据。作为一种具体实施方式,可以对预热开关单独设置,作为另一种具体实施方式,也可以将预热开关置于预热参数中,此时,预热参数可以包括预热开关、业务规则和发送频率,当预热开关为开启时,业务规则和发送频率是有效的,当预热开关为关闭时,业务规则和发送频率是无效的。
在本实施例中,为了更直观地展现出本发明实施例提供的数据处理方法达到的效果,请参照图11,图11示出了本发明实施例提供的预热开关开启和关闭时性能测试的对比结果示例图,图11中,开启预热开关的平均时延比关闭预热开关的平均时延减少了24%。
为了执行上述实施例及各个可能的实施方式中的相应步骤,下面分别给出一种第一数据处理装置100和第二数据处理装置200的实现方式。请参照图12和图13,图12示出了本发明实施例提供的第一数据处理装置100的方框示意图。图13示出了本发明实施例提供的第二数据处理装置200的方框示意图。需要说明的是,本实施例所提供的第一数据处理装置100,应用于图1中的服务器20或者图2中的交易服务器,其基本原理及产生的技术效果和上述应用于服务器20的实施例相同,为简要描述,本实施例部分未提及指出,本实施例所提供的第二数据处理装置200,应用于图1中的客户端10或者图2中的客户端,其基本原理及产生的技术效果和上述应用于客户端10的实施例相同,为简要描述,本实施例部分未提及指出。
第一数据处理装置100包括第一接收模块110、验证模块120及返回模块130。
第一接收模块110,用于接收客户端发送的待处理数据,待处理数据为预热型数据或业务型数据,预热型数据用于模拟客户端发送至服务器的业务型数据。
验证模块120,用于对待处理数据的合法性进行验证。
可选地,待处理数据包括用户标识及用户数据,验证模块120具体用于:根据用户标识及预设处理策略,确定处理条件;若用户数据满足处理条件,则判定待处理数据通过合法性验证;若用户数据不满足处理条件,则判定待处理数据未通过合法性验证。
返回模块130,用于若待处理数据为预热型数据,则直接向客户端返回处理结果。
返回模块130,还用于若待处理数据为业务型数据,且待处理数据通过合法性验证,则将待处理数据发送至网关后向客户端返回处理结果。
第二数据处理装置200包括发送模块210和第二接收模块220。
发送模块210,用于向服务器发送待处理数据,以指示服务器对待处理数据的合法性进行验证,并在合法性验证后判定待处理数据为预热型数据时,直接向客户端返回处理结果,其中,待处理数据为预热型数据或业务型数据,预热型数据用于模拟客户端发送至服务器的业务型数据。
第二接收模块220,用于接收服务器返回的处理结果。
可选地,发送模块210还用于:获取预热参数;根据预热参数向服务器发送预热型数据。
可选地,预热参数包括业务规则及发送频率,发送模块210在用于根据预热参数向服务器发送预热型数据时,具体用于:根据业务规则生成预热型数据;按照发送频率,向服务器发送预热型数据。
可选地,发送模块210还用于:若预热开关关闭,则停止向服务器发送预热型数据。
请参照图14,图14示出了本申请实施例提供的电子设备40的方框示意图。电子设备40可以是图1中的服务器或者图2中的交易服务器,用于实现上述实施例提供的应用于服务器的数据处理方法,电子设备40也可以是用于图1中的客户端或者是图2中的客户端,用于实现上述实施例提供的应用于客户端的数据处理方法。电子设备40包括处理器41、存储器42及总线43,处理器41通过总线43与存储器42连接。
存储器42用于存储程序,例如图12所示的第一数据处理装置100或者图13所示的第二数据处理装置200,第一数据处理装置100或者第二数据处理装置200包括至少一个可以软件或固件(firmware)的形式存储于存储器42中的软件功能模块,处理器41在接收到执行指令后,执行所述程序以实现上述实施例揭示的应用于服务器的数据处理方法或者应用于客户端的数据处理方法。
存储器42可能包括高速随机存取存储器(Random Access Memory,RAM),也可能还包括非易失存储器(non-volatile memory,NVM)。
处理器41可能是一种集成电路芯片,具有信号的处理能力。在实现过程中,上述方法的各步骤可以通过处理器41中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器41可以是通用处理器,包括中央处理器(Central Processing Unit,CPU)、微控制单元(Microcontroller Unit,MCU)、复杂可编程逻辑器件(Complex Programmable LogicDevice,CPLD)、现场可编程门阵列(Field Programmable Gate Array,FPGA)、嵌入式ARM等芯片。
本申请实施例还提供了一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器41执行时实现上述实施例揭示的应用于服务器的数据处理方法或者应用于客户端的数据处理方法。
综上所述,本发明实施例提供了一种数据处理方法、装置、电子设备及存储介质,服务器与客户端及网关均通信连接,应用于服务器的方法包括:接收客户端发送的待处理数据,待处理数据为预热型数据或业务型数据,预热型数据用于模拟客户端发送至服务器的业务型数据;对待处理数据的合法性进行验证;若所述待处理数据为所述预热型数据,则直接向所述客户端返回处理结果;若待处理数据为业务型数据,且待处理数据通过合法性验证,则将待处理数据发送至网关后向客户端返回处理结果。相对于现有技术,本发明实施例由于引入预热型数据,使得验证所述待处理数据合法性所需要的数据的访问热度得以保持,而较热的数据会持续存在于服务器的访问性能较高的缓存中,最终降低了处理时延。
以上所述,仅为本发明的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到的变化或替换,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应以所述权利要求的保护范围为准。
Claims (10)
1.一种数据处理方法,其特征在于,应用于服务器,所述服务器与客户端及网关均通信连接,所述方法包括:
接收所述客户端发送的待处理数据,所述待处理数据为预热型数据或业务型数据,所述预热型数据用于模拟所述客户端发送至所述服务器的业务型数据、且能够使得验证所述待处理数据合法性所需要的数据的访问热度得以保持;
对所述待处理数据的合法性进行验证;
若所述待处理数据为所述预热型数据,则直接向所述客户端返回处理结果;
若所述待处理数据为所述业务型数据,且所述待处理数据通过合法性验证,则将所述待处理数据发送至所述网关后向所述客户端返回处理结果。
2.如权利要求1所述的数据处理方法,其特征在于,所述待处理数据包括用户标识及用户数据,所述对所述待处理数据的合法性进行验证的步骤包括:
根据所述用户标识及预设处理策略,确定处理条件;
若所述用户数据满足所述处理条件,则判定所述待处理数据通过合法性验证;
若所述用户数据不满足所述处理条件,则判定所述待处理数据未通过合法性验证。
3.一种数据处理方法,其特征在于,应用于客户端,所述客户端与服务器通信连接,所述服务器与网关通信连接,所述方法包括:
向所述服务器发送待处理数据,以指示所述服务器对所述待处理数据的合法性进行验证,并在合法性验证后判定所述待处理数据为预热型数据时,直接向所述客户端返回处理结果,其中,所述待处理数据为预热型数据或业务型数据,所述预热型数据用于模拟所述客户端发送至所述服务器的业务型数据、且能够使得验证所述待处理数据合法性所需要的数据的访问热度得以保持;
接收所述服务器返回的所述处理结果。
4.如权利要求3所述的数据处理方法,其特征在于,所述方法还包括:
获取预热参数;
根据所述预热参数向所述服务器发送预热型数据。
5.如权利要求4所述的数据处理方法,其特征在于,所述预热参数包括业务规则及发送频率,所述根据所述预热参数向所述服务器发送预热型数据的步骤包括:
根据所述业务规则生成预热型数据;
按照所述发送频率,向所述服务器发送所述预热型数据。
6.如权利要求4所述的数据处理方法,其特征在于,所述客户端预先设置有预热开关,所述方法还包括:
若所述预热开关关闭,则停止向所述服务器发送所述预热型数据。
7.一种数据处理装置,其特征在于,应用于服务器,所述服务器与客户端及网关均通信连接,所述装置包括:
第一接收模块,用于接收所述客户端发送的待处理数据,所述待处理数据为预热型数据或业务型数据,所述预热型数据用于模拟所述客户端发送至所述服务器的业务型数据、且能够使得验证所述待处理数据合法性所需要的数据的访问热度得以保持;
验证模块,用于对所述待处理数据的合法性进行验证;
返回模块,用于若所述待处理数据为所述预热型数据,则直接向所述客户端返回处理结果;
所述返回模块,还用于若所述待处理数据为所述业务型数据,且所述待处理数据通过合法性验证,则将所述待处理数据发送至所述网关后向所述客户端返回处理结果。
8.一种数据处理装置,其特征在于,应用于客户端,所述客户端与服务器通信连接,所述服务器与网关通信连接,所述装置包括:
发送模块,用于向所述服务器发送待处理数据,以指示所述服务器对所述待处理数据的合法性进行验证,并在合法性验证后判定所述待处理数据为预热型数据时,直接向所述客户端返回处理结果,其中,所述待处理数据为预热型数据或业务型数据,所述预热型数据用于模拟所述客户端发送至所述服务器的业务型数据、且能够使得验证所述待处理数据合法性所需要的数据的访问热度得以保持;
第二接收模块,用于接收所述服务器返回的所述处理结果。
9.一种电子设备,其特征在于,包括处理器和存储器,所述存储器用于存储程序,所述处理器用于在执行所述程序时,实现权利要求1-2中任一项所述的数据处理方法和/或权利要求3-6任一项所述的数据处理方法。
10.一种计算机可读存储介质,其特征在于,其上存储有计算机程序,该计算机程序被处理器执行时实现权利要求1-2中任一项所述的数据处理方法和/或权利要求3-6任一项所述的数据处理方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210063668.5A CN114095574B (zh) | 2022-01-20 | 2022-01-20 | 数据处理方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210063668.5A CN114095574B (zh) | 2022-01-20 | 2022-01-20 | 数据处理方法、装置、电子设备及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114095574A CN114095574A (zh) | 2022-02-25 |
CN114095574B true CN114095574B (zh) | 2022-04-29 |
Family
ID=80308915
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210063668.5A Active CN114095574B (zh) | 2022-01-20 | 2022-01-20 | 数据处理方法、装置、电子设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114095574B (zh) |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102244900A (zh) * | 2011-07-15 | 2011-11-16 | 上海华为技术有限公司 | 缓存数据热度值的同步方法、分布缓存方法、装置及系统 |
CN103686860A (zh) * | 2011-07-15 | 2014-03-26 | 上海华为技术有限公司 | 缓存数据的分布缓存方法和装置 |
CN103905464A (zh) * | 2014-04-21 | 2014-07-02 | 西安电子科技大学 | 基于形式化方法的网络安全策略验证系统及方法 |
CN104156322A (zh) * | 2014-08-05 | 2014-11-19 | 华为技术有限公司 | 一种缓存管理方法及缓存管理装置 |
EP3534585A1 (en) * | 2016-12-21 | 2019-09-04 | Alibaba Group Holding Limited | Service processing method and apparatus |
CN110830264A (zh) * | 2019-11-06 | 2020-02-21 | 北京一砂信息技术有限公司 | 业务数据验证方法、服务器、客户端及可读存储介质 |
CN112667528A (zh) * | 2019-10-16 | 2021-04-16 | 华为技术有限公司 | 一种数据预取的方法及相关设备 |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CA2372647C (en) * | 2001-02-20 | 2010-05-04 | Research In Motion Limited | System and method for administrating a wireless communication network |
CN103701688B (zh) * | 2013-12-20 | 2017-03-01 | 新浪网技术(中国)有限公司 | 消息队列服务器及其垃圾邮件信息处理方法 |
CN105940290B (zh) * | 2014-03-20 | 2019-04-16 | 深圳迈瑞生物医疗电子股份有限公司 | 一种血涂片的干燥方法、装置及推片机 |
CN108881368A (zh) * | 2018-04-22 | 2018-11-23 | 平安科技(深圳)有限公司 | 高并发业务请求处理方法、装置、计算机设备和存储介质 |
CN111555940B (zh) * | 2020-04-28 | 2022-02-01 | 北京字节跳动网络技术有限公司 | 客户端的测试方法、装置、电子设备及计算机可读存储介质 |
CN112187931A (zh) * | 2020-09-29 | 2021-01-05 | 中国平安财产保险股份有限公司 | 会话管理方法、装置、计算机设备和存储介质 |
-
2022
- 2022-01-20 CN CN202210063668.5A patent/CN114095574B/zh active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102244900A (zh) * | 2011-07-15 | 2011-11-16 | 上海华为技术有限公司 | 缓存数据热度值的同步方法、分布缓存方法、装置及系统 |
CN103686860A (zh) * | 2011-07-15 | 2014-03-26 | 上海华为技术有限公司 | 缓存数据的分布缓存方法和装置 |
CN103905464A (zh) * | 2014-04-21 | 2014-07-02 | 西安电子科技大学 | 基于形式化方法的网络安全策略验证系统及方法 |
CN104156322A (zh) * | 2014-08-05 | 2014-11-19 | 华为技术有限公司 | 一种缓存管理方法及缓存管理装置 |
EP3534585A1 (en) * | 2016-12-21 | 2019-09-04 | Alibaba Group Holding Limited | Service processing method and apparatus |
CN112667528A (zh) * | 2019-10-16 | 2021-04-16 | 华为技术有限公司 | 一种数据预取的方法及相关设备 |
CN110830264A (zh) * | 2019-11-06 | 2020-02-21 | 北京一砂信息技术有限公司 | 业务数据验证方法、服务器、客户端及可读存储介质 |
Non-Patent Citations (2)
Title |
---|
王欣 ; 王培东.移动数据库中基于Agent的缓存一致性策略.《计算机技术与发展》.2009, * |
盛伟 ; 李曦 ; 高妍妍 ; 周学海.考虑缓存预热时间的多核调度系统验证.《中国科学技术大学学报》.2011, * |
Also Published As
Publication number | Publication date |
---|---|
CN114095574A (zh) | 2022-02-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108845950A (zh) | 测试装置、测试的方法及存储介质 | |
CN110784450A (zh) | 一种基于浏览器的单点登录方法和装置 | |
CN108989263A (zh) | 短信验证码攻击防护方法、服务器和计算机可读存储介质 | |
CN109936565A (zh) | 登录多个服务集群的方法、装置、计算机设备及存储介质 | |
CN111641563B (zh) | 基于分布式场景的流量自适应方法与系统 | |
CN114257551A (zh) | 一种分布式限流的方法及系统、存储介质 | |
CN110247857B (zh) | 限流方法及装置 | |
CN115102908B (zh) | 基于带宽控制的网络报文生成的方法以及相关装置 | |
CN110445615A (zh) | 网络请求安全性验证方法、装置、介质及电子设备 | |
CN107819768A (zh) | 服务端主动断开非法长连接的方法、终端设备及存储介质 | |
CN114095574B (zh) | 数据处理方法、装置、电子设备及存储介质 | |
CN113191114B (zh) | 用于验证系统的方法和装置 | |
CN114221903A (zh) | 一种数据传输方法及装置 | |
US11368544B2 (en) | Scalable server-based web scripting with user input | |
CN111125168B (zh) | 一种数据处理方法、装置、电子设备及存储介质 | |
CN109688109A (zh) | 基于客户端信息识别的验证码的验证方法及装置 | |
CN111209542A (zh) | 一种权限管理方法、装置、存储介质及电子设备 | |
CN112182788B (zh) | 基于虚拟仿真试验平台的资源配置方法 | |
CN107872451A (zh) | 用户身份验证方法及身份验证装置 | |
CN113535578A (zh) | 一种cts测试方法、装置及测试设备 | |
CN112130961B (zh) | 基于numa架构的容器绑定方法及系统 | |
CN110071921A (zh) | 物联网平台接入方法、装置、计算机可读存储介质及系统 | |
CN111415245A (zh) | 一种开户方法和装置 | |
TWM586390U (zh) | 依服務指令進行身份確認以執行對應服務之系統 | |
CN112615965B (zh) | 通信号码的验证方法、系统及计算设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |