CN109918382B

CN109918382B - 数据处理方法、装置、终端及存储介质

Info

Publication number: CN109918382B
Application number: CN201910205039.XA
Authority: CN
Inventors: 龚敏
Original assignee: Guangdong Oppo Mobile Telecommunications Corp Ltd
Current assignee: Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority date: 2019-03-18
Filing date: 2019-03-18
Publication date: 2021-06-01
Anticipated expiration: 2039-03-18
Also published as: CN109918382A

Abstract

本申请实施例公开了一种数据处理方法、装置、终端及存储介质，属于计算机技术领域。该方法包括获取查询设备的标识信息，依据预设算法对所述标识信息进行计算，得到和所述查询设备对应的访问时间信息，所述标识信息和所述查询设备一一对应；当数据缓存事件触发时，依据当前时间以及访问时间信息确定待缓存的查询数据，所述查询数据和所述查询设备关联；将所述待缓存的查询数据缓存至内存中，删除所述内存中的其它查询数据。本申请实施例中，通过对查询设备的标识进行计算以得到合理的访问时间信息，并依此进行查询数据的缓存，针对其他查询数据则进行删除，提高了数据存储的灵活性，减少了数据缓存需求，降低了成本。

Description

数据处理方法、装置、终端及存储介质

技术领域

本申请实施例涉及计算机技术，尤其涉及一种数据处理方法、装置、终端及存储介质。

背景技术

服务器中会维护大量数据以供查询设备进行查询，如智能手机会向服务器查询相关的状态数据以进行自身数据的更新。为了提高数据查询效率，服务器会将查询数据保存在内存中，由此以减少数据库访问的并发量。

现有技术中，会通过多个服务器分别来缓存部分数据的方式来解决查询数据量大无法缓存到同一个服务器的内存中的问题，通过将不同的查询数据导流到多个不同的服务器来实现查询设备的数据查询，然而这种方式成本较高，由于查询过程包含多级服务器，查询效率也较低。

发明内容

本申请实施例提供了一种数据处理方法、装置、终端及存储介质，可以解决相关技术中，提高了数据存储的灵活性，减少了数据缓存需求，降低了成本。所述技术方案如下：

第一方面，本申请实施例提供了一种数据处理方法，包括：

获取查询设备的标识信息，依据预设算法对所述标识信息进行计算，得到和所述查询设备对应的访问时间信息，所述标识信息和所述查询设备一一对应；

当数据缓存事件触发时，依据当前时间以及访问时间信息确定待缓存的查询数据，所述查询数据和所述查询设备关联；

将所述待缓存的查询数据缓存至内存中，删除所述内存中的其它查询数据。

第二方面，本申请实施例还提供了一种数据处理装置，包括：

计算模块，用于获取查询设备的标识信息，依据预设算法对所述标识信息进行计算，得到和所述查询设备对应的访问时间信息，所述标识信息和所述查询设备一一对应；

数据确定模块，用于当数据缓存事件触发时，依据当前时间以及访问时间信息确定待缓存的查询数据，所述查询数据和所述查询设备关联；

缓存处理模块，将所述待缓存的查询数据缓存至内存中，删除所述内存中的其它查询数据。

第三方面，本申请实施例还提供了一种终端，包括：处理器、存储器以及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如本申请实施例所述的数据处理方法。

第四方面，本申请实施例还提供了一种包含终端可执行指令的存储介质，所述终端可执行指令在由终端处理器执行时用于执行本申请实施例所述的数据处理方法。

本申请实施例提供的方案中，通过获取查询设备的标识信息，依据预设算法对所述标识信息进行计算，得到和所述查询设备对应的访问时间信息，所述标识信息和所述查询设备一一对应，当数据缓存事件触发时，依据当前时间以及访问时间信息确定待缓存的查询数据，所述查询数据和所述查询设备关联，将所述待缓存的查询数据缓存至内存中，删除所述内存中的其它查询数据。本申请实施例中，通过对查询设备的标识进行计算以得访问时间信息，并依此进行查询数据的缓存，针对其他查询数据则进行删除，提高了数据存储的灵活性，减少了数据缓存需求，降低了服务器成本。

附图说明

通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：

图1是本申请一个示例性实施例提供的数据处理方法的流程图；

图2是本申请另一个示例性实施例提供的数据处理方法的流程图；

图3是本申请另一个示例性实施例提供的数据处理方法的流程图；

图4是本申请另一个示例性实施例提供的数据处理方法的流程图；

图5是本申请另一个示例性实施例提供的数据处理方法的流程图；

图6是本申请一个示例性实施例提供的数据处理装置的结构框图；

图7是本申请一个示例性实施例提供的终端的结构框图。

具体实施方式

下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例用于解释本申请，而非对本申请的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本申请相关的部分而非全部结构。

示例性的，本申请实施例所示的数据处理方法可以应用在能够提供数据查询功能的终端中，该终端具备处理器、存储器。该终端可以包括服务器、电视、机顶盒、智能眼镜、智能手表、数码相机、MP4播放终端、MP5播放终端、学习机、点读机、电子词典、车载终端、虚拟现实(Virtual Reality，VR)播放终端、增强现实(Augmented Reality，AR)播放终端、手机、平板电脑、膝上型电脑、台式电脑或电脑一体机等，后续说明以终端为服务器为例。

请参考图1，图1示出了本申请一个示例性实施例提供的数据处理方法的流程图，该方法包括：

步骤S101、获取查询设备的标识信息，依据预设算法对所述标识信息进行计算，得到和所述查询设备对应的访问时间信息。

其中，查询设备可以是其它具备处理器、存储器的终端设备，该查询设备可通过发送查询请求以获取相应的反馈结果。通常，查询设备会在每天的固定时间或者每隔固定时间间隔进行一次数据查询。示例性的，如查询设备通过发送查询请求以获取当前的天气信息，在获取到反馈结果后相应的进行天气信息的更新。

本申请实施例中，查询设备具备唯一的标识信息，即标识信息和查询设备一一对应，服务器根据该标识信息以获取对应的查询数据反馈至该查询设备。示例性的，服务器中维护有多个查询设备的状态信息，将该状态信息和对应的查询设备的标识信息存储在数据库中用于接收到查询设备时给出反馈结果。

本申请实施例中，获取查询设备的标识信息可以是获取数据库中存储的查询设备的标识信息，还可以是当接收到查询设备的查询请求时依据查询请求解析出该标识信息并相应获取。通过预设算法对该标识信息进行计算以得到和查询设备对应的访问时间信息。其中，通过该预设算法的计算使得各个标识信息对应的计算结果呈均匀分布。该均匀分布的结果以作为每个查询设备对应的访问时间信息。示例性的，假设有5万个查询设备，其中每个查询设备有各自对应的唯一标识信息，如md5代码，通过该预设算法对每个md5代码进行运算得到均匀的运算结果，如得到8、12或24组运算结果，即将该5万个查询设备分类为8组、12组或24组，该分组数量的大小可依据查询设备在一天中查询的次数以及服务器内存的大小而定。

步骤S102、当数据缓存事件触发时，依据当前时间以及访问时间信息确定待缓存的查询数据。

本申请实施例中，服务器在检测到数据缓存事件时，将满足条件的查询数据缓存到内存中以供查询设备查询。其中，数据缓存事件为触发服务器将数据库中存储的查询数据转存到内存中的事件，该数据缓存事件在一定时间间隔(如每个一小时)触发一次。

当数据缓存事件触发时，依据当前时间以及访问时间信息确定待缓存的查询数据。其中，当前时间可以是系统的当前的时钟时间，该访问时间信息为前述确定出的不同查询设备对应的访问时间信息。示例性的，在步骤S101中通过预设算法对多个查询设备的标识信息进行计算将查询设备分类为24组，其中每一组和一天中24小时的一个小时对应，如第一组对应0点，第二组对应1点，第三组对应2点，以此类推。当当前时间为23点时，相应的将访问时间信息为23点对应的查询设备的查询数据确定为待缓存的查询数据。

步骤S103、将所述待缓存的查询数据缓存至内存中，删除所述内存中的其它查询数据。

本申请实施例中，在确定出当前的待缓存的查询数据后将该待缓存的查询数据缓存至内存中，同时如果内存中记录有其它时刻缓存的查询数据则相应进行删除。

由上述可知，通过采用对查询设备的标识信息进行计算以对查询设备查询服务器的时间进行确定得到每个查询设备对应的访问时间信息，依据该访问时间信息以及当时间信息进行对应查询数据的缓存，显著降低了内存的数据存储量，由此无需配置多个服务器将查询设备的查询数据缓存在各自的内存中以保证所有查询设备的查询数据均进行缓存。

请参考图2，图2是本申请另一个示例性实施例提供的数据处理方法的流程图，对原步骤S101和S102进一步进行了限定，具体如下：

步骤S201、获取查询设备的标识信息，计算所述标识信息的哈希值，将所述哈希值转换为八进制数值，将所述八进制数值中的最后一位数字确定为所述查询设备的访问时间。

本申请实施例中，该预设算法可以是计算标识信息哈希值的算法，其中，哈希值又称：散列函数(或散列算法，又称哈希函数，英语：Hash Function)是一种从任何一种数据中创建小的数字“指纹”的方法。该函数将数据打乱混合，重新创建一个叫做散列值(hashvalues，hash codes，hash sums，或hashes)的数据。散列值通常用一个短的随机字母和数字组成的字符串来代表。

本申请实施例中，在得到标识信息对应的哈希值后，将其转换为八进制数值，将所述八进制数值中的最后一位数字确定为查询设备的访问时间，需要说明的是，根据实际设计需求，可以是在得到标识信息对应的哈希值后，将其转换为二十四进制数值，将二十四制数值中的最后一位数字确定为查询设备的访问时间，本方案旨在对众多查询设备进行合理的划分。其中，在转换为八进制数值后，八进制数值的最后一位代表查询设备访问服务器的时间，示例性的1代表1点至1点59分59秒时段，3代表3点至3点59分59秒时段，8代表8点至8点59分59秒时段。

步骤S202、当数据缓存事件触发时，将当前时间的小时数除以八所得的余数确定为访问小时数，将和所述访问小时数一致的访问时间所对应的查询设备的查询数据确定为待缓存数据。

本申请实施例中，以查询设备在一天之中会三次访问服务器进行数据查询为例，将一天24小时划分为3个八小时时段，如时段0点至7点59分59秒，时段8点至15点59分59秒，时段16点至23点59分59秒。示例性的，当前时间为10点20分，则将当前时间的小时数以八得到余数2，则将该余数2确定为访问小时数，将该访问小时数对应的查询设备的查询数据缓存至内存中，同时删除其余(即访问小时数为0、1、3、4、5、6、7)的查询设备对应的查询数据。

步骤S203、将所述待缓存的查询数据缓存至内存中，删除所述内存中的其它查询数据。

由上述可知，通过对查询设备进行查询时段的划分，在对应查询时段仅缓存该时段对应的查询数据供查询设备进行查询，避免了进行查询数据的全部缓存带来的内存空间不够需要另配置服务器的问题，降低了整体架构成本。

请参考图3，图3是本申请另一个示例性实施例提供的数据处理方法的流程图，对步骤S202进一步进行了限定，具体参见如下：

步骤S301、获取查询设备的标识信息，计算所述标识信息的哈希值，将所述哈希值转换为八进制数值，将所述八进制数值中的最后一位数字确定为所述查询设备的访问时间。

步骤S302、当数据缓存事件触发时，将当前时间的小时数除以八所得的余数，以及所述余数加上预设数值得到的结果确定为访问小时数，将和所述访问小时数一致的访问时间所对应的查询设备的查询数据确定为待缓存数据。

本申请实施例中，该预设数值可以是1，即同时缓存两个小时段的查询数据。该预设值可根据实际需求进行设定，如内存空间剩余较大时，可将该预设值设置的较大，在内存剩余空间不富裕时，该值可设置为1。

示例性的，如前例，将当前时间的小时数以八得到余数2，则将2和2+预设数值(以1为例)即3均作为访问小时数，将访问小时数为2和3的查询设备对应的查询数据缓存至内存中共查询设备进行查询。

步骤S303、将所述待缓存的查询数据缓存至内存中，删除所述内存中的其它查询数据。

由上述可知，通过缓存一定增量的查询数据，在保证降低内存数据占用率的前提下保证由于查询设备没能在预定的查询时间进行数据查询而带来的查询不到数据结果的问题，提高了方案的灵活性。

请参考图4，图4是本申请另一个示例性实施例提供的数据处理方法的流程图，对步骤S101进一步进行了限定，具体参见如下：

步骤S401、获取查询设备的标识信息，确定查询设备的数据查询频率，依据所述数据查询频率确定对应的计算算法，依据所述计算算法对所述标识信息进行计算，得到和所述查询设备对应的访问时间信息。

本申请实施例中，根据具体的查询设备的数据查询频率来确定对应的计算算法以生成访问时间信息。示例性的，假定每个查询设备在一天中查询一次数据，则可对标识信息进行哈希值运算后，将运算结果转换为24进制数值，将最后一位的数值作为该查询设备的访问时间信息。

步骤S402、当数据缓存事件触发时，将当前时间的小时数除以八所得的余数，以及所述余数加上预设数值得到的结果确定为访问小时数，将和所述访问小时数一致的访问时间所对应的查询设备的查询数据确定为待缓存数据。

步骤S403、将所述待缓存的查询数据缓存至内存中，删除所述内存中的其它查询数据。

由上述可知，根据查询设备查询服务器的频率相应调整计算方法，可以进一步灵活的进行查询数据的缓存，在满足查询设备查询数据的前提下进一步提高了数据处理的灵活性。

请参考图5，图5是本申请另一个示例性实施例提供的数据处理方法的流程图，进行了步骤增加限定，具体参见如下：

步骤S501、获取查询设备的标识信息，依据预设算法对所述标识信息进行计算，得到和所述查询设备对应的访问时间信息。

步骤S502、发送所述访问时间信息至对应的查询设备，用于所述查询设备依据所述访问时间信息生成查询时间，当系统时间和所述查询时间一致时发送数据查询请求。

本申请实施例中，在服务器确定查询设备对应的访问时间信息后，发送所述访问时间信息至对应的查询设备，查询设备在接收到该访问时间信息后，相应的生成查询时间，示例性的，该访问时间信息为访问小时数6，则该查询设备随机生成分钟数和秒钟数如18分56秒，则组成的查询信息为6点18分56秒。如果每天分3次查询，则查询时间还包括14点18分56秒和22点18分56秒。当查询设备的系统时间满足该查询时间时，生成数据查询请求并发送至服务器进行数据查询。

在另一个实施例中，查询设备自身通过预设算法如计算md5的哈希值进而得到访问时间信息，即不通过服务器发送该访问时间信息而是查询设备自身生成，即服务器和查询设备采用同一算法进行查询设备对应访问时间信息的计算，二者互相匹配。

在另一个实施例中，该查询设备对应的访问信息的分钟数和秒钟数也可由服务器自动随机生成发送至查询设备，具体实现方式不做限定，仅限定该基本原理思想。

步骤S503、当数据缓存事件触发时，依据当前时间以及访问时间信息确定待缓存的查询数据，所述查询数据和所述查询设备关联。

步骤S504、将所述待缓存的查询数据缓存至内存中，删除所述内存中的其它查询数据。

由上述可知，通过随机生成分钟数和秒钟数与计算得到的访问小时数进行组合得到查询设备的具体查询时间，该查询设备在系统时间为查询时间时相应发送查询请求，将同一个小时时段的多个查询设备进行随机的查询时间的分配，避免了在同一时间高并发的数据查询情况出现，同时采取多种方式实现了服务器缓存数据的时间段覆盖查询设备进行数据查询的时间点。

下述为本申请装置实施例，可以用于执行本申请方法实施例。对于本申请装置实施例中未披露的细节，请参照本申请方法实施例。

图6是本申请一个示例性实施例提供的数据处理装置的结构框图。该数据处理装置可以通过软件、硬件或者两者的结合实现成为终端的全部或一部分。

该装置包括：

计算模块101，用于获取查询设备的标识信息，依据预设算法对所述标识信息进行计算，得到和所述查询设备对应的访问时间信息，所述标识信息和所述查询设备一一对应。

数据确定模块102，用于当数据缓存事件触发时，依据当前时间以及访问时间信息确定待缓存的查询数据，所述查询数据和所述查询设备关联。

缓存处理模块103，将所述待缓存的查询数据缓存至内存中，删除所述内存中的其它查询数据。

在一个可能的实施例中，所述计算模块101具体用于：

计算所述标识信息的哈希值，依据所述哈希值确定和所述查询设备对应的访问时间信息。

在一个可能的实施例中，所述计算模块101具体用于：

将所述哈希值转换为八进制数值，将所述八进制数值中的最后一位数字确定为所述查询设备的访问时间；

所述数据确定模块102具体用于：

将当前时间的小时数除以八所得的余数确定为访问小时数；

将和所述访问小时数一致的访问时间所对应的查询设备的查询数据确定为待缓存数据。

在一个可能的实施例中，所述数据确定模块102具体用于：

将当前时间的小时数除以八所得的余数，以及所述余数加上预设数值得到的结果确定为访问小时数。

在一个可能的实施例中，所述计算模块101具体用于：

确定查询设备的数据查询频率，依据所述数据查询频率确定对应的计算算法；

依据所述计算算法对所述标识信息进行计算。

在一个可能的实施例中，还包括传输模块104，用于：

在得到和所述查询设备对应的访问时间信息之后，发送所述访问时间信息至对应的查询设备，用于所述查询设备依据所述访问时间信息生成查询时间，当系统时间和所述查询时间一致时发送数据查询请求。

在一个可能的实施例中，所述访问时间信息包括访问小时数，所述查询设备依据所述访问时间信息生成查询时间包括：

所述查询设备随机生成分钟数和秒钟数，将所述访问小时数、所述分钟数和所述秒钟数组成查询时间。

请参考图7，图7是本申请一个示例性实施例提供的终端的结构框图。该终端包括处理器201和存储器202，其中存储器202包括磁盘存储器和内存存储器。

处理器201可以是中央处理器(英文：central processing unit，CPU)，网络处理器(英文：network processor，NP)或者CPU和NP的组合。处理器201还可以进一步包括硬件芯片。上述硬件芯片可以是专用集成电路(英文：application-specific integratedcircuit，ASIC)，可编程逻辑器件(英文：programmable logic device，PLD)或其组合。上述PLD可以是复杂可编程逻辑器件(英文：complex programmable logic device，CPLD)，现场可编程逻辑门阵列(英文：field-programmable gate array，FPGA)，通用阵列逻辑(英文：generic array logic，GAL)或其任意组合。

存储器202通过总线或其它方式与处理器201相连，存储器202中存储有至少一条指令、至少一段程序、代码集或指令集，上述至少一条指令、至少一段程序、代码集或指令集由处理器201加载并执行以实现如上各个实施例所述的数据处理方法。存储器202包括易失性存储器(英文：volatile memory)和非易失性存储器(英文：non-volatile memory)。易失性存储器可以为随机存取存储器(英文：random-access memory，RAM)，例如静态随机存取存储器(英文：static random access memory，SRAM)，动态随机存取存储器(英文：dynamicrandom access memory，DRAM)。非易失性存储器可以为只读存储器(英文：read onlymemory image，ROM)，例如可编程只读存储器(英文：programmable read only memory，PROM)，可擦除可编程只读存储器(英文：erasable programmable read only memory，EPROM)，电可擦除可编程只读存储器(英文：electrically erasable programmable read-only memory，EEPROM)。非易失性存储器也可以为快闪存储器(英文：flash memory)，磁存储器，例如磁带(英文：magnetic tape)，软盘(英文：floppy disk)，硬盘。非易失性存储器也可以为光盘。

本申请实施例还提供了一种包含终端可执行指令的存储介质，该存储介质存储有至少一条指令，所述至少一条指令由所述处理器加载并执行以实现如上各个实施例所述的数据处理方法。

本申请实施例还提供了一种计算机程序产品，该计算机程序产品存储有至少一条指令，所述至少一条指令由所述处理器加载并执行以实现如上各个实施例所述的数据处理方法。

本领域技术人员应该可以意识到，在上述一个或多个示例中，本申请实施例所描述的功能可以用硬件、软件、固件或它们的任意组合来实现。当使用软件实现时，可以将这些功能存储在计算机可读介质中或者作为计算机可读介质上的一个或多个指令或代码进行传输。计算机可读介质包括计算机存储介质和通信介质，其中通信介质包括便于从一个地方向另一个地方传送计算机程序的任何介质。存储介质可以是通用或专用计算机能够存取的任何可用介质。

以上所述仅为本申请的较佳实施例，并不用以限制本申请，凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims

1.数据处理方法，其特征在于，包括：

获取查询设备的标识信息，依据预设算法对所述标识信息进行计算，得到和所述查询设备对应的访问时间信息，所述标识信息和所述查询设备一一对应，所述查询设备发送数据查询请求时的查询时间是根据所述访问时间信息确定；

2.根据权利要求1所述的方法，其特征在于，所述依据预设算法对所述标识信息进行计算，得到和所述查询设备对应的访问时间信息：

3.根据权利要求2所述的方法，其特征在于，所述依据所述哈希值确定和所述查询设备对应的访问时间信息包括：

相应的，所述依据当前时间以及访问时间信息确定待缓存的查询数据包括：

将当前时间的小时数除以八所得的余数确定为访问小时数；

4.根据权利要求2所述的方法，其特征在于，所述依据当前时间以及访问时间信息确定待缓存的查询数据包括：

5.根据权利要求1所述的方法，其特征在于，依据预设算法对所述标识信息进行计算包括：

依据所述计算算法对所述标识信息进行计算。

6.根据权利要求1-5中任一项所述的方法，其特征在于，在得到和所述查询设备对应的访问时间信息之后，还包括：

发送所述访问时间信息至对应的查询设备，用于所述查询设备依据所述访问时间信息生成查询时间，当系统时间和所述查询时间一致时发送数据查询请求。

7.根据权利要求6所述的方法，其特征在于，所述访问时间信息包括访问小时数，所述查询设备依据所述访问时间信息生成查询时间包括：

8.数据处理装置，其特征在于，包括：

计算模块，用于获取查询设备的标识信息，依据预设算法对所述标识信息进行计算，得到和所述查询设备对应的访问时间信息，所述标识信息和所述查询设备一一对应，所述查询设备发送数据查询请求时的查询时间是根据所述访问时间信息确定；

9.一种终端，包括：处理器、存储器以及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1-7中任一项所述的数据处理方法。

10.一种包含终端可执行指令的存储介质，其特征在于，所述终端可执行指令在由终端处理器执行时用于执行如权利要求1-7中任一项所述的数据处理方法。