CN113918541B - 预热数据处理方法、装置及计算机可读存储介质 - Google Patents

Abstract

本发明公开了一种预热数据处理方法、装置及计算机可读存储介质，预热数据处理方法包括：将待处理预热数据转换为整型数组，得到初始数组，获取初始数组的约束范围的存在状态，根据存在状态确定预处理规则，并根据预处理规则对初始数组进行预处理，得到目标数字数组，将目标数字数组进行压缩处理，以得到目标数组，根据目标数组建立集合，以得到目标数字集合，目标数字集合为键值对集合。本发明将预热数据进行预处理再压缩，能够减少预热数据在服务端应用占用的内存。

Description

预热数据处理方法、装置及计算机可读存储介质

技术领域

本发明涉及数据处理技术领域，尤其是涉及一种预热数据处理方法、装置及计算机可读存储介质。

背景技术

目前，随着企业用户量、业务量的不断增长，服务端应用的业务逐渐变的复杂，为了降低服务的时延，提升服务的请求处理速度，所需要提前预热的缓存数据也越来越多，导致服务端应用需要分配的内存越来越大。

数据直接从数据库中一行行的加载上来，然后以数组的方式直接放置在内存中，但是随着时间的推移，现有的存储和检索方式已无法满足日益增大的数据量。同时从数据库中加载超大待预热的数据量也提高了启动的时间。

发明内容

本发明旨在至少解决现有技术中存在的技术问题之一。为此，本发明提出一种预热数据处理方法，能够减少预热数据在服务端应用占用的内存。

本发明还提出一种预热数据处理装置。

本发明还提出一种计算机可读存储介质。

第一方面，本发明的一个实施例提供了预热数据处理方法，包括：

将待处理预热数据转换为整型数组，得到初始数组，获取所述初始数组的约束范围的存在状态；

根据所述存在状态确定预处理规则，并根据所述预处理规则对所述初始数组进行预处理，得到目标数字数组；

将所述目标数字数组进行压缩处理，以得到目标数组；

根据所述目标数组建立集合，以得到目标数字集合，所述目标数字集合为键值对集合。

本发明实施例的预热数据处理方法至少具有如下有益效果：通过将待处理预热数据转换为整型数组，可以得到初始数组，并获取初始数组的约束范围的存在状态，根据存在状态可以确定对初始数组的预处理规则。根据预处理规则对初始数组进行相应的预处理，经过预处理可以得到目标数字数组。再将目标数字数组进行压缩处理，压缩目标数字数组的占用内存，并可以得到目标数组，能够减少预热数据在服务端应用占用的内存。根据目标数组建立集合，可以得到目标数字集合，目标数字集合为键值对集合，可以借助键值集合查找相应目标数据信息。

根据本发明的另一些实施例的预热数据处理方法，所述将待处理预热数据转换为整型数组，得到初始数组，包括：

将所述待处理预热数据转成十进制整型数据，以得到十进制预热数据；

将所述十进制预热数据进行拼接处理，以得到拼接数据；

将所述拼接数据进行数组转换，以得到初始数组。

根据本发明的另一些实施例的预热数据处理方法，所述根据所述存在状态确定预处理规则，并根据所述预处理规则对所述初始数组进行预处理，得到目标数字数组，包括：

若所述存在状态为不存在，获取所述初始数组每个下标位置的数值的占比，并将所述占比进行方差计算，以得到每个下标位置的占比方差；

根据所述占比方差对所述初始数组进行位置调整，以得到目标数字数组。

根据本发明的另一些实施例的预热数据处理方法，所述约束范围为数字含义，所述根据所述存在状态确定预处理规则，并根据所述预处理规则对所述初始数组进行预处理，得到目标数字数组，包括：

若所述存在状态为存在，根据所述数字含义对所述初始数组进行分解，以得到分解数组；

根据所述数字含义将所述分解数组进行位置调整，以得到目标数字数组。

根据本发明的另一些实施例的预热数据处理方法，所述根据所述占比方差对所述初始数组进行位置调整，以得到所述目标数字数组，包括：

获取预设个数方差最小的下标位置，并按照方差从大到小对所述下标位置进行排序，以得到重排位置；

将所述重排位置对应的数组放置于所述初始数组的末尾位置，以得到所述目标数字数组。

根据本发明的另一些实施例的预热数据处理方法，所述根据所述数字含义所述分解数组进行位置调整，以得到所述目标数字数组，包括：

根据数字含义确定所述分解数组的预设个数低共性数组；

将所述低共性数组放置于所述分解数组的末尾位置，以得到所述目标数字数组。

根据本发明的另一些实施例的预热数据处理方法，所述将所述目标数字数组进行压缩处理，以得到目标数组，包括：

将所述目标数字数组进行切分处理，以得到高位数据和低位数据；

将所述高位数据进行存储分配处理，以得到高位键；

将所述低位数据进行转换切分处理，以得到短整型键和短整型值，并对所述短整型键和所述短整型值进行压缩优化，以得到低位值；

对所述高位键和所述低位值进行数组构建，以得到目标数组。

根据本发明的另一些实施例的预热数据处理方法，还包括：

根据所述高位键和所述低位值构建摘要关联数组，以得到摘要数组；

通过检索所述摘要数组得到目标键，并根据所述目标键检索得到目标值，并得到目标数据信息。

第二方面，本发明的一个实施例提供了预热数据处理装置，包括：

转换模块，用于将待处理预热数据转换为整型数组，得到初始数组，获取所述初始数组的约束范围的存在状态；

预处理模块，用于根据所述存在状态确定预处理规则，并根据所述预处理规则对所述初始数组进行预处理，得到目标数字数组；

压缩模块，用于将所述目标数字数组进行压缩处理，以得到目标数组；

集合模块，用于根据所述目标数组建立集合，以得到目标数字集合，所述目标数字集合为键值对集合。

本发明实施例的预热数据处理装置至少具有如下有益效果：通过转换模块将待处理预热数据转换为整型数组，可以得到初始数组，并获取初始数组的约束范围的存在状态。预处理模块根据存在状态可以确定对初始数组的预处理规则，根据预处理规则对初始数组进行相应的预处理，经过预处理可以得到目标数字数组。压缩模块再将目标数字数组进行压缩处理，压缩目标数字数组的占用内存，并可以得到目标数组，能够减少预热数据在服务端应用占用的内存。集合模块根据目标数组建立集合，可以得到目标数字集合，目标数字集合为键值对集合，可以借助键值集合查找相应目标数据信息。

第三方面，本发明的一个实施例提供了计算机可读存储介质，包括：所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令用于使计算机执行如第一方面所述的预热数据处理方法。

本申请的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本申请而了解。本申请的目的和其他优点可通过在说明书以及附图中所特别指出的结构来实现和获得。

附图说明

图1是本发明实施例中预热数据处理方法的一具体实施例流程示意图；

图2是图1中步骤S100的一具体实施例流程示意图；

图3是图1中步骤S200的一具体实施例流程示意图；

图4是图1中步骤S200的另一具体实施例流程示意图；

图5是图3中步骤S220的一具体实施例流程示意图；

图6是图4中步骤S240的一具体实施例流程示意图；

图7是图1中步骤S300的一具体实施例流程示意图；

图8是图1中步骤S300的另一具体实施例流程示意图；

图9是本发明实施例中预热数据处理装置的一具体实施例模块框图。

附图说明：

转换模块100、预处理模块200、压缩模块300、集合模块400。

具体实施方式

以下将结合实施例对本发明的构思及产生的技术效果进行清楚、完整地描述，以充分地理解本发明的目的、特征和效果。显然，所描述的实施例只是本发明的一部分实施例，而不是全部实施例，基于本发明的实施例，本领域的技术人员在不付出创造性劳动的前提下所获得的其他实施例，均属于本发明保护的范围。

在为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

需要说明的是，虽然在系统示意图中进行了功能模块划分，在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于系统中的模块划分，或流程图中的顺序执行所示出或描述的步骤。

本发明的描述中，除非另有明确的限定，设置、安装、连接等词语应做广义理解，所属技术领域技术人员可以结合技术方案的具体内容合理确定上述词语在本发明中的具体含义。

在本发明实施例的描述中，如果涉及到“若干”，其含义是一个以上，如果涉及到“多个”，其含义是两个以上，如果涉及到“大于”、“小于”、“超过”，均应理解为不包括本数，如果涉及到“以上”、“以下”、“以内”，均应理解为包括本数。如果涉及到“第一”、“第二”，应当理解为用于区分技术特征，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量或者隐含指明所指示的技术特征的先后关系。

首先，对本申请中涉及的若干名词进行解析：

预热数据，是从数据库中加载得到的缓存数据，是指待优化的数据项。

整型数据，是含有4个字节和32位表示的数字类型，无符号最大值和最小值的范围为[0，2^32-1]。

长整型数据，是含有8个字节和64位表示的数字类型，无符号最大值和最小值的范围为[0，2^64-1]。

短整型数据，含有2个字节和16位表示的数字类型，无符号最大值和最小的范围为[0，2^16-1]。

整型数组，是整型数据的一种链式存储方式。

数组，是有序的元素序列。若将有限个类型相同的数值的集合命名，那么这个名称为数组名。组成数组的各个数值称为数组的分量，也称为数组的元素，有时也称为下标变量。用于区分数组的各个元素的数字编号称为下标。数组是在程序设计中，为了处理方便，把具有相同类型的若干元素按有序的形式组织起来的一种形式。这些有序排列的同类数据元素的集合称为数组。

二进制数组，是二进制数据的一种链式存储方式。

约束范围，是指数字代表的含义，一串数据中的一个数字或几个数字用于代表一个含义，也可以是将一个数字或几个数字用相应的数字规律进行设置。例如：电话号码为：18900480022，在我国电话号码的头一位数字都是1，属于是数字规律，前三个数字189在电话号码中表示网络识别号，对于中国联通、中国移动或者中国电信等运营商都会拥有属于自己的固定号段。第4至7位数字0048表示地区编码，相当于是该电话号码的生成地区，每个地区都有对应的编码号，所以电话号码的第4至7位数字也是拥有固定数字。第8至11位数字表示用户号码，这是每个电话号码都不一样的四位数字。

约束范围的存在状态，该存在状态可以用于判断一串数据是否存在约束范围。

下标位置，是数值位于数组中该下标的位置。

键值对集合，是表示一种多个一对一的关系集合，即一个键能对应一个值，表示为键→值。

位图，是用一段二进制数组表示一定范围的整型数组，例如整型数组为[0，3，5，13]，占用了32*4=128bit，那么用一段16bit的位图可以表示为：[1，0，0，1，0，1，0，0，0，0，0，0，0，1，0，0]，在相应的场景下能节省存储空间。位图图像是由称作像素或图片元素的单个点组成的。这些点可以进行不同的排列和染色以构成图样。当放大位图时，可以看见构成整个图像的无数单个方块。扩大位图尺寸的效果是增大单个像素，从而使线条和形状显得参差不齐。然而，如果从稍远的位置观看它，位图图像的颜色和形状又显得是连续的。用数码相机拍摄的照片、扫描仪扫描的图片以及计算机截屏图等都属于位图。

行程位图，是位图的一种优化变种，原理是在位图是稀疏的情况下，例如：[0，0，0，0，0，1，0，0，0，0，……，0，0，0，0，1，0]可表示为[[0，0，0，0，0，1]，[n]，[1，0]]，n表示持续多个0的个数，这里只是描述其中的一种实现。这样可在稀疏位图的情况下节省空间。

摘要数组，是将多个数据的访问地址通过mod或者其他计算方式平均分配到摘要数组的相应位置。

参照图1，示出了本发明实施例中预热数据处理方法的流程示意图。本实施例公开了预热数据处理方法，其具体包括但不限于包括步骤S100至步骤S400。

步骤S100，将待处理预热数据转换为整型数组，得到初始数组，获取初始数组的约束范围的存在状态；

在步骤S100中，获取存储在数据库中的待处理预热数据，并将待处理预热数据转换成整型数组的形式，对若干串待处理预热数据进行链式连接，以得到若干个初始数组，并且获取每个初始数组的约束范围的存在状态。

需要说明的是，将待处理预热数据按数值排列顺序转换成整型数组顺序下对应的下标顺序连接。例如：一串待处理预热数据为：123456，将待处理预热数据转换成整型数组，可以得到数组a[i]的各个元素：{a[0]=1，a[1]=2，a[2]=3，a[3]=4，a[4]=5，a[5]=6}。其中数组a[i]表示为这个数组的第i个元素，并且i也表示数组a[i]的下标位置，如：a[0]表示数组a[i]下标位置是0的元素。数组a[0]=1则表示为数组a[i]的第0个元素的数值为1。

步骤S200，根据存在状态确定预处理规则，并根据预处理规则对初始数组进行预处理，得到目标数字数组；

在步骤S200中，如果一串初始数组的数据存在约束范围，则可以确定该初始数组需要进行存在约束的预处理规则，并对数据进行相应的预处理，以得到对应的目标数字数组。如果一串初始数组的数据不存在约束范围，则可以确定该初始数组需要进行不存在约束的预处理规则，并对数据进行相应的预处理，以得到对应的目标数字数组。

需要说明的是，预处理规则，是指对数据进行预处理的预处理方式。

步骤S300，将目标数字数组进行压缩处理，以得到目标数组；

在步骤S300中，将目标数字数组通过对应的压缩处理，将目标数字数组的数据进行压缩，得到压缩后的数据，并得到目标数组。

步骤S400，根据目标数组建立集合，以得到目标数字集合，目标数字集合为键值对集合。

在步骤S400中，根据目标数组的键和值对目标数组进行集合构建，以得到目标数字集合，并且目标数字集合为键值对集合。

通过执行步骤S100至步骤S400，获取存储在数据库中的待处理预热数据，并将待处理预热数据构建为链式连接的若干个初始数组，再获取初始数组的约束范围的存在状态，根据存在状态可以确定初始数组的预处理规则，并对初始数组的数据进行相应的预处理，以得到对应的目标数字数组。将目标数字数组的数据进行压缩处理，以得到目标数组。根据目标数组的键和值对目标数组进行集合构建，以得到一个键值对集合，且键值对集合也即目标数字集合。

参照图2，示出了本发明实施例中预热数据处理方法的流程示意图。本实施例公开了预热数据处理方法，其具体包括但不限于包括步骤S110至步骤S130。

步骤S110，将待处理预热数据转成十进制整型数据，以得到十进制预热数据；

在步骤S100中，将不同类型的待处理预热数据转换成十进制整型数据，并得到十进制预热数据。

需要说明的是，存储在数据库中的预热数据并非都是十进制的整型数据，预热数据还可以有字符串类型的数据、二进制数据或者八进制数据等。因为数组只能存储同一种类型的数据，所以必须将预热数据统一转换为一种类型的数据，例如：将预热数据均转换为十进制整型数据。也可以将预热数据均转换为其他类型的数据，如：二进制数据，对于预热数据转换成的数据类型在本申请不进行具体限定。

步骤S120，将十进制预热数据进行拼接处理，以得到拼接数据；

在步骤S120中，将十进制预热数据进行拼接处理，将不同种类的数据信息拼接，以得到拼接数据。

需要说明的是，存储在数据库的数据有很多种类，并且不同种类的数据需要分开存储。若获取的数据是不同种类的数据，由于不同种类的数据分开存储，所以必须要对这些数据进行拼接，将这些数据连接在一起，并得到一条数据信息连接的拼接数据。其中，在进行数据拼接过程中，将每个种类的对应位置的数据进行拼接。例如：数据库中存储了三种数据，经过十进制转换后得到第一种数据为：123、456和789，第二种数据为：78、56和34，第三种数据为：1、2和3，将这三个不同种类的数据合并存储，并将三种数据进行拼接。第一种数据为123时，对应位置的第二种数据为78，对应位置的第三种数据为1，以此类推，所以最后可以得到三串数据：123781、456562和789343。

若数据库中存储的数据出现无对应数据时，将对数据进行补0处理，再进行数据拼接。例如：数据库中存储了三种数据，经过十进制转换后得到第一种数据为：123和456，第二种数据为：78、56和34，第三种数据为：1、2和3，则为第一种数据出现未存储数据的情况，需要对第一种数据的第三个位置进行补0处理再进行数据拼接，最后可以得到三串数据：123781、456562和000343。

第一种数据为：123、456和789，第二种数据为：78和56，第三种数据为：1、2和3，则为第二种数据出现未存储数据的情况，需要对第二种数据的第三个位置进行补0处理再进行数据拼接，最后可以得到三串数据：123781、456002和789343。

第一种数据为：123、456和789，第二种数据为：78、56和34，第三种数据为：1和2，则为第三种数据出现未存储数据的情况，需要对第三种数据的第三个位置进行补0处理再进行数据拼接，最后可以得到三串数据：123781、456562和789340。

若数据库中存储的同种数据出现数据位数不同时，则根据该种数据中的最多位数的数据进行相应的补0处理，再进行数据拼接。例如：经过十进制转换后得到一种数据为：12345、123、1，在数据中最多位数的数据为12345，所以需要对其他两个数据进行补0，以得到00123和00001，再进行数据拼接，其他不同种的数据出现数据位数不同也同上述步骤进行补0操作，在本申请不进行详细举例。其中，相应的补0处理，是对数据进行向前补0，因为在数据处理中向前补0不会对数据的值进行改变。

步骤S130，将拼接数据进行数组转换，以得到初始数组。

在步骤S130中，通过构建空数组，并将拼接数据的数值输入空数组的对应位置，以得到若干个初始数组。

需要说明的是，将构建的数组均设置为等于0，即空数组，再将若干串数据输入若干个数组，将每串数据的数值输入数组对应的下标位置。例如：经过数据拼接后得到：123456、654321和132465三串数据，第一串数据123456则可以得到对应第一个数组：{a[0]=1，a[1]=2，...，a[5]=6}，以此类推，可以得到第二个数组：{a[0]=6，a[1]=5，...，a[5]=1}和第三个数组：{a[0]=1，a[1]=3，...，a[5]=5}。

通过执行步骤S110至步骤S130，对待处理预热数据进行十进制转换处理，并得到十进制预热数据，再将十进制预热数据进行拼接处理，将不同种类的十进制数据进行数据拼接，以得到拼接数据。最后，通过构建空数组，并将拼接数据输入空数组的对应位置，以得到初始数组。

参照图3，示出了本发明实施例中预热数据处理方法的流程示意图。本实施例公开了预热数据处理方法，其具体包括但不限于包括步骤S210和步骤S220。

步骤S210，若存在状态为不存在，获取初始数组每个下标位置的数值的占比，并将占比进行方差计算，以得到每个下标位置的占比方差；

在步骤S210中，对存在状态进行判断，若存在状态为不存在，即预热数据的数值不存在数字含义，则计算得到初始数组每个下标位置的数组的占比，再分别对每个下标位置的占比进行方差计算，以得到每个下标位置的占比方差。

可以理解的是，存在状态为不存在，则表示预热数据的数值为无规律或定义存储的数字，分别对初始数组的每个下标位置进行占比计算，得到每个下标位置的每个数值的占比，即得到数值0-9的占比。求出每个数值的占比的平均值，其中平均值均为[10%]，然后，根据占比和平均值可以求出每个下标位置的占比方差，例如：一个下标位置的每个数值的占比为：数值0的占比[20%]、数值1的占比[10%]、数值2的占比[5%]、数值3的占比[3%]、数值4的占比[16%]、数值5的占比[4%]、数值6的占比[17%]、数值7的占比[15%]、数值8的占比[6%]、数值9的占比[4%]，每个数值的占比的平均值均为[10%]，根据方差公式计算占比方差的值，并对占比方差取三位有效数字可以得到0.061。

步骤S220，根据占比方差对初始数组进行位置调整，以得到目标数字数组。

在步骤S220中，对每个下标位置的占比方差进行大小比较，并根据占比方差比较的结果预设第一调整规则，并根据第一调整规则对每个下标位置的数值进行位置调整，以得到目标数字数组。

通过执行步骤S210和步骤S220，首先，对存在状态进行判断，若存在状态表示为预热数据的数值不存在数字含义，则计算得到初始数组每个下标位置的数组的占比。然后，分别对每个下标位置的占比进行方差计算，以得到每个下标位置的占比方差。最后，根据每个下标位置的占比方差的大小对每个下标位置的数值进行位置调整，以得到目标数字数组。

参照图4，示出了本发明实施例中预热数据处理方法的流程示意图。本实施例公开了预热数据处理方法，其具体包括但不限于包括步骤S230和步骤S240。

步骤S230，若存在状态为存在，根据数字含义对初始数组进行分解，以得到分解数组；

在步骤S230中，对存在状态进行判断，若存在状态为存在，即预热数据的数值存在数字含义，则根据数字含义预设分解规则，根据分解规则对初始数组的数值进行分解处理，以得到分解数组。

可以理解的是，根据数字含义预设分解规则，指根据数字含义得到进行位置调整的下标位置，根据下标位置预设分解规则。根据分解规则对初始数组的数值进行分解处理，指根据分解规则进行分解处理得到这些下标位置的数组。其中，分解数组是初始数组经过分解处理后得到的数组。例如：一串预热数据为18900480022305，其中包括了电话号码、黑名单类型、用户id类型和业务类型，则初始数组为：{a[0]=1，a[1]=8，a[2]=9，a[3]=0，a[4]=0，a[5]=4，a[6]=8，a[7]=0，a[8]=0，a[9]=2，a[10]=2，a[11]=3，a[12]=0，a[13]=5}。根据电话号码的数字含义得到进行位置调整的下标位置为：2至10。根据下标位置得到预设分解规则为：对下标位置为2至10的数值进行分解处理，以得到下标位置的数组：{a[2]=9}、{a[3]=0}、{a[4]=0}、{a[5]=4}、{a[6]=8}、{a[7]=0}、{a[8]=0}、{a[9]=2}和{a[10]=2}，并得到的分解数组为：第一分解数组{a[0]=1，a[1]=8}和第二分解数组{a[11]=3，a[12]=0，a[13]=5}。

步骤S240，根据数字含义将分解数组进行位置调整，以得到目标数字数组。

在步骤S240中，根据数字含义预设第二调整规则，根据第二调整规则对分解数组的数值进行位置调整，以得到目标数字数组。

可以理解的是，根据数字含义预设第二调整规则，指根据数字含义得到各个下标位置进行位置调整后的下标位置，根据位置调整后的下标位置预设调整规则。根据第二调整规则对分解数组的数值进行位置调整，即根据第二调整规则将进行位置调整的下标位置的数组调整至位置调整后的数组位置。例如：结合上述步骤S230的举例说明，根据数字含义得到进行位置调整的下标位置为：2至10。下标位置的数组为：{a[2]=9}、{a[3]=0}、{a[4]=0}、{a[5]=4}、{a[6]=8}、{a[7]=0}、{a[8]=0}、{a[9]=2}和{a[10]=2}。假设根据数字含义得到位置调整后的下标位置为：下标位置2至5的数组调整到下标位置6至9。根据位置调整后的下标位置预设第二调整规则为：下标位置2的数组与下标位置6的数组互换位置，下标位置3的数组与下标位置7的数组互换位置，下标位置4的数组与下标位置8的数组互换位置，下标位置5的数组与下标位置9的数组互换位置。再将数组进行拼接以得到第三分解数组：{a[6]=8，a[7]=0，a[8]=0，a[9]=2，a[2]=9，a[3]=0，a[4]=0，a[5]=4，a[10]=2}。最后根据调整规则对第一分解数组、第二分解数组和第三分解数组进行位置调整得到目标数字数组。

通过执行步骤S230至步骤S240，对存在状态进行判断，若存在状态为预热数据的数值存在数字含义。根据数字含义预设分解规则，并对初始数组的数值进行分解处理，以得到分解数组。根据数字含义预设调整规则，并对分解数组的数值进行位置调整，以得到目标数字数组。

参照图5，示出了本发明实施例中预热数据处理方法的流程示意图。本实施例公开了预热数据处理方法，其具体包括但不限于包括步骤S221和步骤S222。

步骤S221，获取预设个数方差最小的下标位置，并按照方差从大到小对下标位置进行排序，以得到重排位置；

在步骤S221中，通过比较各个下标位置的占比方差大小得到比较结果，根据比较结果以获取预设个数方差最小的下标位置的数组，并按照方差从大到小的顺序将下标位置进行重新排列，并得到重排位置。

例如：一个初始数组为：{a[0]=1，a[1]=3，a[2]=6，a[3]=0，a[4]=0，a[5]=9，a[6]=6，a[7]=0，a[8]=0，a[9]=1，a[10]=8，a[11]=3，a[12]=0，a[13]=4}。数组对应的占比方差为：a[0]=0.035，a[1]=0.026，a[2]=0.049，a[3]=0.037，a[4]=0.017，a[5]=0.059，a[6]=0.064，a[7]=0.032，a[8]=0.042，a[9]=0.082，a[10]=0.039，a[11]=0.051，a[12]=0.013，a[13]=0.046。预设个数为4时，4个方差最小的下标位置的数组为：a[1]、a[4]、a[7]和a[12]。按照方差从大到小的顺序将下标位置进行重新排列，得到的重排位置：12，4，1，7。

步骤S222，将重排位置对应的数组放置于初始数组的末尾位置，以得到目标数字数组。

在步骤S222中，根据重排位置拼接重排位置对应的数组，以得到拼接后的数组，并将拼接后的数组放置于初始数组相应的末尾位置。再将初始数组的其他下标位置数组按顺序排列于拼接后的数组之前，得到目标数字数组。

结合上述步骤S221的举例说明：重排位置为：12，4，1，7，根据重排位置拼接重排位置对应的数组得到：{a[12]，a[4]，a[1]，a[7]}，目标数字数组：{a[0]=1，a[2]=6，a[3]=0，a[5]=9，a[6]=6，a[8]=0，a[9]=1，a[10]=8，a[11]=3，a[13]=4，a[12]=0，a[4]=0，a[1]=3，a[7]=0}，在目标数字数组中，拼接后的数组放置于初始数组的末尾位置，初始数组的其他下标位置数组按下标位置从大到小的顺序排列于拼接后的数组的前面，初始数组的其他下标位置数组的排序为：a[0]=1，a[2]=6，a[3]=0，a[5]=9，a[6]=6，a[8]=0，a[9]=1，a[10]=8，a[11]=3，a[13]=4。

通过执行步骤S221至步骤S222，获取预设个数占比方差最小的下标位置的数组，并按照占比方差从大到小的顺序对下标位置进行重新排列，并得到重排位置。根据重排位置拼接重排位置的数组，并将拼接后的数组放置于初始数组相应的末尾位置。再将初始数组的其他下标位置数组按顺序排列于拼接后的数组之前，得到目标数字数组。

参照图6，示出了本发明实施例中预热数据处理方法的流程示意图。本实施例公开了预热数据处理方法，其具体包括但不限于包括步骤S241和步骤S242。

步骤S241，根据数字含义确定分解数组的预设个数低共性数组；

在步骤S241中，根据数字含义确定分解数组各下标位置的共性数值，通过比较共性数值的大小可以得到共性较低的数组，并获取预设个数的低共性数组。

例如：一串预热数据为：18900480022305，其中包括了电话号码、黑名单类型、用户id类型和业务类型，则初始数组为：{a[0]=1，a[1]=8，a[2]=9，a[3]=0，a[4]=0，a[5]=4，a[6]=8，a[7]=0，a[8]=0，a[9]=2，a[10]=2，a[11]=3，a[12]=0，a[13]=5}。对初始数组进行分解处理得到：第一分解数组：{a[0]=1，a[1]=8，a[2]=9}；第二分解数组：{a[11]=3，a[12]=0，a[13]=5}；假设在初始数组中下标位置为3至10的数组的共性较低，则预设个数设置为8个，并获取8个下标位置的低共性数组：{a[3]=0}、{a[4]=0}、{a[5]=4}、{a[6]=8}、{a[7]=0}、{a[8]=0}、{a[9]=2}和{a[10]=2}。

步骤S242，将低共性数组放置于分解数组的末尾位置，以得到目标数字数组。

在步骤S242中，将第一分解数组与第二分解数组进行拼接，并将预设个数的低共性数组进行拼接，以得到第三分解数组，再将第三分解数组放置于第二分解数组的末尾位置进行拼接，得到目标数字数组。

需要说明的是，通过比较低共性数组的共性数值，并按照共性数值从大到小排列拼接。

结合上述步骤S241的举例说明：将第一分解数组与第二分解数组进行拼接得到：{a[0]=1，a[1]=8，a[2]=9，a[11]=3，a[12]=0，a[13]=5}。假设8个下标位置的低共性数组的共性数值从大到小排列得到：{a[3]=0} > {a[4]=0} > {a[5]=4} > {a[6]=8} > {a[7]=0}> {a[8]=0} > {a[9]=2} > {a[10]=2}，则对低共性数组进行拼接得到第三分解数组：{a[3]=0，a[4]=0，a[5]=4，a[6]=8，a[7]=0，a[8]=0，a[9]=2，a[10]=2}。将第三分解数值拼接于第二分解数组的末尾位置得到目标数字数组：{a[0]=1，a[1]=8，a[2]=9，a[11]=3，a[12]=0，a[13]=5，a[3]=0，a[4]=0，a[5]=4，a[6]=8，a[7]=0，a[8]=0，a[9]=2，a[10]=2}。

通过执行步骤S241至步骤S242，根据数字含义确定分解数组的下标位置的共性数值，通过比较共性数值获取预设个数的低共性数组。将第一分解数组与第二分解数组进行拼接，并将预设个数的低共性数组进行拼接，以得到第三分解数组。再将第三分解数组放置于第二分解数组的末尾位置进行拼接，得到目标数字数组。

参照图7，示出了本发明实施例中预热数据处理方法的流程示意图。本实施例公开了预热数据处理方法，其具体包括但不限于包括步骤S310和步骤S340。

步骤S310，将目标数字数组进行切分处理，以得到高位数据和低位数据；

在步骤S310中，将目标数字数组在预设位置进行切分处理，得到第一数字数组和第二数字数组，并将第一数字数组和第二数字数组分别转换为整型数据，以得到高位数据和低位数据。

例如：目标数字数组为：{a[0]=1，a[1]=8，a[2]=9，a[11]=3，a[12]=0，a[13]=5，a[3]=0，a[4]=0，a[5]=4，a[6]=8，a[7]=0，a[8]=0，a[9]=2，a[10]=2}。预设位置为目标数字数组的第六位，则经过切分处理得到高位数据为：189305，以及低位数据为：00480022。

步骤S320，将高位数据进行存储分配处理，以得到高位键；

在步骤S320中，对高位数据进行分配存储大小，实现压缩优化，并得到高位键。

需要说明的是，通过创建一个二进制数组来存储高位数据的每位数值，在存在数字含义时，根据数字含义分配每个整型数据二进制数组的存储大小；在不存在数字含义时，将数值的存储大小设置为同一大小。

例如：高位数据为：189305，在存在数字含义时，第一位均为手机号段1，则分配1bit存储大小；第二位和第三位为[0，9]的整数，因为2^4 =16 > 9，所以分配4bit存储大小；第四位为黑名单类型，一共4个类型，是[0，3]的整数，则分配2bit存储大小；第五位为用户id类型，范围[0，2^20-1]，分配20bit存储大小；第六位为业务类型，范围为[0，7]，分配3bit存储大小。创建二进制数组存储高位数据后，需要消耗 1 + 4 + 4 + 2 + 20 + 3 =34bit存储大小。

在不存在数字含义时，将数值的存储大小设置为4bit大小，因为数值一般为[0，9]的整数，因为2^4 =16 > 9，所以分配4bit可以存储，在本申请不限定分配数值的存储大小。

步骤S330，将低位数据进行转换切分处理，以得到短整型键和短整型值，并对短整型键和短整型值进行压缩优化，以得到低位值；

在步骤S330中，对低位数据进行二进制转换得到低位二进制数据。再对低位二进制数据进行切分得到第一二进制数据和第二二进制数据，将第一二进制数据和第二二进制数据分别进行十进制转换得到短整型键和短整型值。对短整型键和短整型值进行压缩优化，得到低位值。

例如：低位数据为：00480022，将低位数据转换成低位二进制数据得到：111 01010011 0001 0110。对低位二进制数据切分得到第一二进制数据：0001 1101 0100，第二二进制数据：0011 0001 0110。将第一二进制数据进行十进制转换得到短整型键：468，将第二二进制数据进行十进制转换得到短整型值：790。

需要说明的是，压缩优化方法为：在短整型键对应的短整型值的个数少于或等于预设个数时，集合最大为 2字节 * 4096 = 8千字节，将具有相同短整型键的短整型值转换为数组形式，并且，将短整型键和短整型值存储为短整型键对应短整型值的类型存储。例如：第一个短整型键为：468，且拥有相同短整型键的短整型值为：790和864；第二个短整型键为：314，拥有相同短整型键的短整型值为：674和513。则可以得到第一个键值存储为：468→[790，864]，第二个键值存储为314→[674，513]。

在短整型键的数值个数与短整型值的数值个数的和少于或等于第一预设个数时，将短整型值转换为位图类型，并且位图为固定大小的8千字节。例如：假设969 对应的值个数多于4096，那么可以存储为 969 → [0，0，0，1，...，0]。或者，将位图转换行程位图，比较位图和行程位图的大小，若行程位图使用的存储bit小于位图则使用行程位图，若行程位图使用的存储bit大于则使用位图。例如：假设586 对应值个数多于4096，且行程位图的大小小于位图，那么存储为586→[[0，0，0，0，0，1]，[n]，[1，0]]。

步骤S340，对高位键和低位值进行数组构建，以得到目标数组。

在步骤S340中，构建高位键对应低位值的数组，并得到目标数组。其中，低位值为短整型键对应短整型值的数组。

例如：18305为高位键，13740为短整型键，15382、12646为短整型值，则可以得到一个目标数组：18305→{13740→[15382，12646]}。

通过执行步骤S310至步骤S340，将目标数字数组在预设位置进行切分处理，得到第一数字数组和第二数字数组，并将第一数字数组和第二数字数组进行转换处理得到高位数据和低位数据。对高位数据进行分配存储大小，实现压缩优化，并得到高位键。对低位数据进行二进制转换得到低位二进制数据。再对低位二进制数据进行切分得到第一二进制数据和第二二进制数据，将第一二进制数据和第二二进制数据分别进行十进制转换得到短整型键和短整型值。对短整型键和短整型值进行压缩优化，得到低位值。根据高位键和低位值构建键值对应的数组，并得到目标数组。

参照图8，示出了本发明实施例中预热数据处理方法的流程示意图。本实施例公开了预热数据处理方法，其具体包括但不限于包括步骤S350和步骤S360。

步骤S350，根据高位键和低位值构建摘要关联数组，以得到摘要数组。

在步骤S350中，根据高位键进行相应的计算得到摘要数值，并构建摘要数值对应高位键和低位值的摘要关联数组，以得到摘要数组。

例如：假设高位键为：18305，摘要数组的长度为128，根据数组的长度对高位键进行取余处理得到摘要数值：18305 mod 128 = 1；高位键为：18304，摘要数组的长度为128，根据数组的长度对高位键进行取余处理得到摘要数值：18304 mod 128 = 0；高位键为：18306，摘要数组的长度为128，根据数组的长度对高位键进行取余处理得到摘要数值：18306 mod 128 = 2；则摘要数组为：{0→[18304]，1→[18305]，2→[18306]}。其中，高位键也可以进行其他计算得到摘要数值，如：18305*2=36610，取高位键乘2的末位数0作为摘要数值。计算方式在本申请不进行具体限定。

步骤S360，通过检索摘要数组得到目标键，并根据目标键检索目标值，以得到目标数据信息。

在步骤S360中，通过检索摘要数组的摘要数值，可以得到相应的高位键，即目标键。检索目标键并获取目标键对应的低位值，即目标值，并根据目标键和目标值可以得到目标数据信息。

通过执行步骤S350至步骤S360，对高位键进行相应的数字计算以得到摘要数值，并构建摘要数值对应高位键和低位值的摘要关联数组，以得到摘要数组，通过检索摘要数组的摘要数值，可以得到对应的高位键，即目标键。检索目标键并获取目标键对应的目标值，根据目标键和目标值可以得到目标数据信息。

参照图9所示，本发明的另一个实施例公开了预热数据处理装置，预热数据处理装置包括：转换模块100、预处理模块200、压缩模块300和集合模块400。转换模块100、预处理模块200、压缩模块300和集合模块400均为通信连接。转换模块100，用于将待处理预热数据转换为整型数组，得到初始数组，获取初始数组的约束范围的存在状态；预处理模块200，用于根据存在状态确定预处理规则，并根据预处理规则对初始数组进行预处理，得到目标数字数组；压缩模块300，用于将目标数字数组进行压缩处理，以得到目标数组；集合模块400，用于根据目标数组建立集合，以得到目标数字集合，目标数字集合为键值对集合。

转换模块100获取存储在数据库中的待处理预热数据，并将待处理预热数据构建为链式连接的若干个初始数组，再获取初始数组的约束范围的存在状态。转换模块100将初始数组和存在状态输入预处理模块200，预处理模块200根据存在状态可以确定初始数组的预处理规则，并对初始数组的数据进行相应的预处理，以得到对应的目标数字数组。预处理模块200将目标数字数组输入压缩模块300，压缩模块300将目标数字数组的数据进行压缩处理，以得到目标数组。压缩模块300将目标数组输入集合模块400，集合模块400根据目标数组的键和值对目标数组进行集合构建，以得到一个键值对集合，且键值对集合也即目标数字集合。

其中，预热数据处理装置的具体操作过程参照上述的预热数据处理方法，此处不再赘述。

以上所描述的装置实施例仅仅是示意性的，其中作为分离部件说明的单元可以是或者也可以不是物理上分开的，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。

本领域普通技术人员可以理解，上文中所公开方法中的全部或某些步骤、系统可以被实施为软件、固件、硬件及其适当的组合。某些物理组件或所有物理组件可以被实施为由处理器，如中央处理器、数字信号处理器或微处理器执行的软件，或者被实施为硬件，或者被实施为集成电路，如专用集成电路。这样的软件可以分布在计算机可读介质上，计算机可读介质可以包括计算机存储介质（或非暂时性介质）和通信介质（或暂时性介质）。如本领域普通技术人员公知的，术语计算机存储介质包括在用于存储信息（诸如计算机可读指令、数据结构、程序模块或其他数据）的任何方法或技术中实施的易失性和非易失性、可移除和不可移除介质。计算机存储介质包括但不限于RAM、ROM、EEPROM、闪存或其他存储器技术、CD-ROM、数字多功能盘（DVD）或其他光盘存储、磁盒、磁带、磁盘存储或其他磁存储装置、或者可以用于存储期望的信息并且可以被计算机访问的任何其他的介质。此外，本领域普通技术人员公知的是，通信介质通常包含计算机可读指令、数据结构、程序模块或者诸如载波或其他传输机制之类的调制数据信号中的其他数据，并且可包括任何信息递送介质。

上面结合附图对本发明实施例作了详细说明，但是本发明不限于上述实施例，在所属技术领域普通技术人员所具备的知识范围内，还可以在不脱离本发明宗旨的前提下作出各种变化。此外，在不冲突的情况下，本发明的实施例及实施例中的特征可以相互组合。

Claims (9)

1.一种预热数据处理方法，其特征在于，包括：

将待处理预热数据转换为整型数组，得到初始数组，获取所述初始数组的约束范围的存在状态，所述约束范围为数字含义；

根据所述存在状态确定预处理规则，并根据所述预处理规则对所述初始数组进行预处理，得到目标数字数组，包括：

若所述存在状态为不存在，获取所述初始数组每个下标位置的数值的占比，并将所述占比进行方差计算，以得到每个下标位置的占比方差；

根据所述占比方差对所述初始数组进行位置调整，以得到目标数字数组；

将所述目标数字数组进行压缩处理，以得到目标数组；

根据所述目标数组建立集合，以得到目标数字集合，所述目标数字集合为键值对集合。

2.根据权利要求1所述的预热数据处理方法，其特征在于，所述将待处理预热数据转换为整型数组，得到初始数组，包括：

将所述待处理预热数据转成十进制整型数据，以得到十进制预热数据；

将所述十进制预热数据进行拼接处理，以得到拼接数据；

将所述拼接数据进行数组转换，以得到初始数组。

3.根据权利要求1所述的预热数据处理方法，其特征在于，所述根据所述存在状态确定预处理规则，并根据所述预处理规则对所述初始数组进行预处理，得到目标数字数组，包括：

若所述存在状态为存在，根据所述数字含义对所述初始数组进行分解，以得到分解数组；

根据所述数字含义将所述分解数组进行位置调整，以得到目标数字数组。

4.根据权利要求1所述的预热数据处理方法，其特征在于，所述根据所述占比方差对所述初始数组进行位置调整，以得到所述目标数字数组，包括：

获取预设个数方差最小的下标位置，并按照方差从大到小对所述下标位置进行排序，以得到重排位置；

将所述重排位置对应的数组放置于所述初始数组的末尾位置，以得到所述目标数字数组。

5.根据权利要求3所述的预热数据处理方法，其特征在于，所述根据所述数字含义所述分解数组进行位置调整，以得到所述目标数字数组，包括：

根据数字含义确定所述分解数组的预设个数低共性数组；

将所述低共性数组放置于所述分解数组的末尾位置，以得到所述目标数字数组。

6.根据权利要求1所述的预热数据处理方法，其特征在于，所述将所述目标数字数组进行压缩处理，以得到目标数组，包括：

将所述目标数字数组进行切分处理，以得到高位数据和低位数据；

将所述高位数据进行存储分配处理，以得到高位键；

将所述低位数据进行转换切分处理，以得到短整型键和短整型值，并对所述短整型键和所述短整型值进行压缩优化，以得到低位值；

对所述高位键和所述低位值进行数组构建，以得到目标数组。

7.根据权利要求6所述的预热数据处理方法，其特征在于，还包括：

根据所述高位键和所述低位值构建摘要关联数组，以得到摘要数组；

通过检索所述摘要数组得到目标键，并根据所述目标键检索得到目标值，并得到目标数据信息。

8.一种预热数据处理装置，其特征在于，包括：

转换模块，用于将待处理预热数据转换为整型数组，得到初始数组，获取所述初始数组的约束范围的存在状态，所述约束范围为数字含义；

预处理模块，用于根据所述存在状态确定预处理规则，并根据所述预处理规则对所述初始数组进行预处理，得到目标数字数组；

所述预处理模块还用于：若所述存在状态为不存在，获取所述初始数组每个下标位置的数值的占比，并将所述占比进行方差计算，以得到每个下标位置的占比方差，根据所述占比方差对所述初始数组进行位置调整，以得到目标数字数组；

压缩模块，用于将所述目标数字数组进行压缩处理，以得到目标数组；

集合模块，用于根据所述目标数组建立集合，以得到目标数字集合，所述目标数字集合为键值对集合。

9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令用于使计算机执行如权利要求1至7任一项所述的预热数据处理方法。

Images