CN107291746B - 一种存储和读取数据的方法及设备 - Google Patents

一种存储和读取数据的方法及设备 Download PDF

Info

Publication number
CN107291746B
CN107291746B CN201610202017.4A CN201610202017A CN107291746B CN 107291746 B CN107291746 B CN 107291746B CN 201610202017 A CN201610202017 A CN 201610202017A CN 107291746 B CN107291746 B CN 107291746B
Authority
CN
China
Prior art keywords
data
determining
array
bit
rounding
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201610202017.4A
Other languages
English (en)
Other versions
CN107291746A (zh
Inventor
余俊
李彦超
除禹
桑植
郭东白
邹廷明
周志伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alibaba Chengdu Software and Technology Co Ltd
Original Assignee
Alibaba Group Holding Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alibaba Group Holding Ltd filed Critical Alibaba Group Holding Ltd
Priority to CN201610202017.4A priority Critical patent/CN107291746B/zh
Publication of CN107291746A publication Critical patent/CN107291746A/zh
Application granted granted Critical
Publication of CN107291746B publication Critical patent/CN107291746B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22Indexing; Data structures therefor; Storage structures
    • G06F16/2282Tablespace storage structures; Management thereof
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22Indexing; Data structures therefor; Storage structures
    • G06F16/2228Indexing structures

Abstract

本公开内容涉及网络通信技术领域,特别涉及一种存储和读取数据的方法及设备,用以解决现有技术的存储数据的方法造成存储空间的浪费的问题。本公开内容实施例确定需要存储的数据的标识ID;对所述数据的ID进行运算处理,确定所述数据对应的存储索引信息;将所述数据的数据内容存储到数据表中所述存储索引信息对应的存储位置上;其中,所述数据表的结构为二维数组结构。由于本公开内容实施例根据需要存储的数据的ID,确定该数据对应的存储索引信息,根据确定的存储索引信息,将该数据的数据内容存储到数据表中,在将数据存储到数据表时,只需要存储该数据的内容,不需要存储数据的ID,从而有效的减少了存储数据需要的内存空间。

Description

一种存储和读取数据的方法及设备
技术领域
本公开内容涉及网络通信技术领域,特别涉及一种存储和读取数据的方法及设备。
背景技术
随着计算机及网络技术的发展,数据的种类日益增多,对于不同种类的数据,需要采取合理的存储方法。目前,通常采用集合、数据表和数据库等形式存储数据。
在通过集合或数据表存储该数据时,存在一种大记录数小数据体的数据模型,该集合或数据表中的记录数非常多,通常是亿级甚至是十亿级,但是集合中的每一个元素或者数据表中的每一条记录对应的数据信息占用的存储空间非常小。例如,一个数据表中保存的是用户状态,此数据表就为大记录数小数据体,该数据表中的记录数为所有用户,则记录数非常多,而记录的数据为每一个用户对应的用户状态,每一条记录占用的存储空间非常小。
目前,在存储大记录数小数据体时,采用Hash(哈希)结构进行存储,形如:<数据标识,数据内容>。即在存储该数据时,需要将数据标识和数据内容同时存储。由于对于大记录数小数据体而言,数据内容占用的存储空间非常小,一般使用bit(比特)存储,而数据标识一般占用4-8字节的存储空间,因此存储数据标识占用的存储空间远远大于存储数据内容占用的存储空间,从而造成了存储空间的浪费。
综上所述,目前存储数据的方法造成存储空间的浪费。
发明内容
本公开内容提供一种存储和读取数据的方法及设备,用以解决现有技术的存储数据的方法造成存储空间的浪费的问题。
基于上述问题,本公开内容实施例提供一种存储数据的方法,包括:
确定需要存储的数据的标识ID;
对所述数据的ID进行运算处理,确定所述数据对应的存储索引信息;
将所述数据的数据内容存储到数据表中所述存储索引信息对应的存储位置上;
其中,所述数据表的结构为二维数组结构。
由于本公开内容实施例根据需要存储的数据的ID,确定该数据对应的存储索引信息,根据确定的存储索引信息,将该数据的数据内容存储到数据表中,在将数据存储到数据表时,只需要存储该数据的内容,不需要存储数据的ID,从而有效的减少了存储数据需要的内存空间。
可选的,所述根据所述存储索引信息,将所述数据的数据内容存储到数据表中之前,还包括:
根据所述数据的ID,确定所述数据为热点数据。
由于本公开内容实施例在二维数组结构的数据表只存储热点数据,不存储非热点数据,从而有效减小存储空间的浪费,并且在调用该数据表时,由于数据表占用内存较小,使得效率更高。
可选的,所述数据对应的存储索引信息包括所述数据对应的数组位置、所述数据对应的在数组中的元素位置、所述数据在元素中的起始位;
所述对所述数据的ID进行运算处理,确定所述数据对应的存储索引信息,包括:
根据所述数据表的N和L,以及所述数据的ID,确定所述数据对应的数组位置和在数组中的元素位置;
根据所述L,以及所述数据的ID,确定所述数据在元素中的起始位;
其中,所述N为所述数据表中每个数组包括的元素个数;
所述L为所述数据表中每个元素存储数据的个数,并且所述L为H的约数,所述H为一个元素的位数;
所述N、L和H为正整数。
由于本公开内容实施例在二维数组结构的数据表存储数据时,只存储数据的内容,而数据的ID作为确定数据在数据对应的存储索引信息的计算参数,根据数据对应的存储索引信息将数据的数据内容存储到数据表中,不需要将数据的ID存储在二维数组结构的数据表,从而最大限度的减小内存。
可选的,所述根据所述数据表的N和L,以及所述数据的ID,确定所述数据对应的数组位置,包括:
根据所述N和所述L,对所述数据的ID进行除法运算,并将所述除法运算后的商值进行取整运算,确定所述数据对应的数组位置;
所述根据所述数据表的参数信息中的N和L,以及所述数据的ID,确定所述数据对应的在数组中的元素位置,包括:
根据所述N和所述L,对所述数据的ID进行取模运算和取整运算,确定所述数据对应的在数组中的元素位置;
所述根据所述L,以及所述数据的ID,确定所述数据在元素中的起始位,包括:
根据所述L,对所述数据的ID进行取模运算,确定所述数据在元素中的起始位。
可选的,所述根据所述N和所述L,对所述数据的ID进行除法运算,并将所述除法运算后的商值进行取整运算,确定所述数据对应的数组位置,包括:
将所述数据的ID除以M,并将得到的商值进行向上取整运算;
根据所述取整运算后得到的数值,确定所述数据对应的数组位置;
其中,所述M为所述N与所述L的乘积;
所述根据所述数据表的N和L,以及所述数据的ID,确定所述数据对应的在数组中的元素位置,包括:
将所述数据的ID与所述M进行取模运算,并将所述取模运算后得到的数值除以所述L,将得到的商值进行向上取整运算;
根据所述向上取整运算后得到的数值,确定所述数据对应的在数组中的元素位置;
其中,所述M为所述N与所述L的乘积;
所述根据所述L,对所述数据的ID进行取模运算,确定所述数据在元素中的起始位,包括:
将所述数据的ID与所述L进行取模运算,确定所述数据在元素中的数据位置;
根据所述数据在元素中的所述数据位置,以及所述数据在元素中占用的位数,确定所述数据在元素中的起始位。
由于本公开内容实施例的数据对应的存储索引信息包括数据对应的数组位置、数据对应的在数组中的元素位置、数据在元素中的起始位。并提供了根据数据的ID,以及二维数组结构的数据表的参数,确定数据对应的存储索引信息的计算方式,保证了数据表中数据的ID与数据内容的一一对应。
可选的,所述数据对应的存储索引信息还包括所述数据在元素中的结束位;
根据所述L,以及所述数据的ID,确定所述数据在元素中的结束位。
可选的,所述根据所述L,以及所述数据的ID,确定所述数据在元素中的结束位,包括:
根据所述数据的ID与所述L进行取模运算后的数值,确定所述数据在元素中的数据位置;
根据所述数据在元素中的数据位置,确定与所述数据相邻且位于所述数据位置之后的目标数据在元素中的起始位;
根据所述目标数据在元素中的起始位,确定所述数据在元素中的结束位。
由于本公开内容实施例的数据对应的存储索引信息还包括数据在元素中的结束位。并提供了根据数据的ID,以及二维数组结构的数据表的参数,确定数据在元素中的结束位的计算方式,从而更加准确的根据数据对应的存储索引信息存储数据,保证了数据表中数据的ID与数据内容的一一对应。
基于上述问题,本公开内容实施例提供一种读取数据的方法,包括:
确定需要读取的数据的标识ID;
对所述数据的ID进行运算处理,确定所述数据对应的存储索引信息;
从数据表中所述存储索引信息对应的存储位置上读取所述数据的数据内容;
其中,所述数据表的结构为二维数组结构。
由于本公开内容实施例在读取数据时,只需要根据确定的需要读取数据的ID,以及该数据对应的存储索引信息,就能够快速读取到数据表中该存储索引信息对应的数据内容,从而实现在占用很小内存的情况下,准确读取数据。
可选的,所述从数据表中所述存储索引信息对应的存储位置上读取所述数据的数据内容之前,还包括:
根据所述数据的ID,确定所述数据为热点数据。
由于本公开内容实施例二维数组结构的数据表中存储有热点数据,在读取数据时,热点数据能够通过该数据表读取,由于该数据表占用内存很小,从而提高读取数据的效率。
可选的,所述数据对应的存储索引信息包括所述数据对应的数组位置、所述数据对应的在数组中的元素位置、所述数据在元素中的起始位;
所述对所述数据的ID进行运算处理,确定所述数据对应的存储索引信息,包括:
根据所述数据表的N和L,以及所述数据的ID,确定所述数据对应的数组位置和在数组中的元素位置;
根据所述L,以及所述数据的ID,确定所述数据在元素中的起始位;
其中,所述N为所述数据表中每个数组包括的元素个数;
所述L为所述数据表中每个元素存储数据的个数,并且所述L为H的约数,所述H为一个元素的位数;
所述N、L和H为正整数。
由于本公开内容实施例在二维数组结构的数据表存储数据时,只存储数据的内容,而数据的ID作为确定数据在数据对应的存储索引信息的计算参数,根据数据对应的存储索引信息将数据的数据内容存储到数据表中,不需要将数据的ID存储在二维数组结构的数据表,从而最大限度的减小内存。
可选的,所述根据所述数据表的N和L,以及所述数据的ID,确定所述数据对应的数组位置,包括:
根据所述N和所述L,对所述数据的ID进行除法运算,并将所述除法运算后的商值进行取整运算,确定所述数据对应的数组位置;
所述根据所述数据表的参数信息中的N和L,以及所述数据的ID,确定所述数据对应的在数组中的元素位置,包括:
根据所述N和所述L,对所述数据的ID进行取模运算和取整运算,确定所述数据对应的在数组中的元素位置;
所述根据所述L,以及所述数据的ID,确定所述数据在元素中的起始位,包括:
根据所述L,对所述数据的ID进行取模运算,确定所述数据在元素中的起始位。
可选的,所述根据所述N和所述L,对所述数据的ID进行除法运算,并将所述除法运算后的商值进行取整运算,确定所述数据对应的数组位置,包括:
将所述数据的ID除以M,并将得到的商值进行向上取整运算;
根据所述取整运算后得到的数值,确定所述数据对应的数组位置;
其中,所述M为所述N与所述L的乘积;
所述根据所述数据表的N和L,以及所述数据的ID,确定所述数据对应的在数组中的元素位置,包括:
将所述数据的ID与所述M进行取模运算,并将所述取模运算后得到的数值除以所述L,将得到的商值进行向上取整运算;
根据所述向上取整运算后得到的数值,确定所述数据对应的在数组中的元素位置;
其中,所述M为所述N与所述L的乘积;
所述根据所述L,对所述数据的ID进行取模运算,确定所述数据在元素中的起始位,包括:
将所述数据的ID与所述L进行取模运算,确定所述数据在元素中的数据位置;
根据所述数据在元素中的所述数据位置,以及所述数据在元素中占用的位数,确定所述数据在元素中的起始位。
由于本公开内容实施例的数据对应的存储索引信息包括数据对应的数组位置、数据对应的在数组中的元素位置、数据在元素中的起始位。并提供了根据数据的ID,以及二维数组结构的数据表的参数,确定数据对应的存储索引信息的计算方式,保证了数据表中数据的ID与数据内容的一一对应。
可选的,所述数据对应的存储索引信息还包括所述数据在元素中的结束位;
根据所述L,以及所述数据的ID,确定所述数据在元素中的结束位。
可选的,所述根据所述L,以及所述数据的ID,确定所述数据在元素中的结束位,包括:
根据所述数据的ID与所述L进行取模运算后的数值,确定所述数据在元素中的数据位置;
根据所述数据在元素中的数据位置,确定与所述数据相邻且位于所述数据位置之后的目标数据在元素中的起始位;
根据所述目标数据在元素中的起始位,确定所述数据在元素中的结束位。
由于本公开内容实施例的数据对应的存储索引信息还包括数据在元素中的结束位。并提供了根据数据的ID,以及二维数组结构的数据表的参数,确定数据在元素中的结束位的计算方式,从而更加准确的根据数据对应的存储索引信息存储数据,保证了数据表中数据的ID与数据内容的一一对应。
另一方面,本公开内容实施例还提供一种存储数据的设备,包括:
第一确定模块,用于确定需要存储的数据的标识ID;
第一处理模块,用于对所述数据的ID进行运算处理,确定所述数据对应的存储索引信息;
第一控制模块,用于将所述数据的数据内容存储到数据表中所述存储索引信息对应的存储位置上;其中,所述数据表的结构为二维数组结构。
可选的,所述第一控制模块,还用于:
根据所述数据的ID,确定所述数据为热点数据。
可选的,所述数据对应的存储索引信息包括所述数据对应的数组位置、所述数据对应的在数组中的元素位置、所述数据在元素中的起始位;
所述第一处理模块,具体用于:
根据所述数据表的N和L,以及所述数据的ID,确定所述数据对应的数组位置和在数组中的元素位置;根据所述L,以及所述数据的ID,确定所述数据在元素中的起始位;其中,所述N为所述数据表中每个数组包括的元素个数;所述L为所述数据表中每个元素存储数据的个数,并且所述L为H的约数,所述H为一个元素的位数;所述N、L和H为正整数。
可选的,所述第一处理模块,具体用于:
根据所述N和所述L,对所述数据的ID进行除法运算,并将所述除法运算后的商值进行取整运算,确定所述数据对应的数组位置;根据所述N和所述L,对所述数据的ID进行取模运算和取整运算,确定所述数据对应的在数组中的元素位置;根据所述L,对所述数据的ID进行取模运算,确定所述数据在元素中的起始位。
可选的,所述第一处理模块,具体用于:
将所述数据的ID除以M,并将得到的商值进行向上取整运算;根据所述取整运算后得到的数值,确定所述数据对应的数组位置;其中,所述M为所述N与所述L的乘积;
将所述数据的ID与所述M进行取模运算,并将所述取模运算后得到的数值除以所述L,将得到的商值进行向上取整运算;根据所述向上取整运算后得到的数值,确定所述数据对应的在数组中的元素位置;其中,所述M为所述N与所述L的乘积;
将所述数据的ID与所述L进行取模运算,确定所述数据在元素中的数据位置;根据所述数据在元素中的所述数据位置,以及所述数据在元素中占用的位数,确定所述数据在元素中的起始位。
可选的,所述数据对应的存储索引信息还包括所述数据在元素中的结束位;
所述第一处理模块,具体用于:
根据所述L,以及所述数据的ID,确定所述数据在元素中的结束位。
可选的,所述第一处理模块,具体用于:
根据所述数据的ID与所述L进行取模运算后的数值,确定所述数据在元素中的数据位置;根据所述数据在元素中的数据位置,确定与所述数据相邻且位于所述数据位置之后的目标数据在元素中的起始位;根据所述目标数据在元素中的起始位,确定所述数据在元素中的结束位。
另一方面,本公开内容实施例还提供一种读取数据的设备,包括:
第二确定模块,用于确定需要读取的数据的标识ID;
第二处理模块,用于对所述数据的ID进行运算处理,确定所述数据对应的存储索引信息;
第二控制模块,用于从数据表中所述存储索引信息对应的存储位置上读取所述数据的数据内容;其中,所述数据表的结构为二维数组结构。
可选的,所述第二控制模块,还用于:
根据所述数据的ID,确定所述数据为热点数据。
可选的,所述数据对应的存储索引信息包括所述数据对应的数组位置、所述数据对应的在数组中的元素位置、所述数据在元素中的起始位;
所述第二处理模块,具体用于:
根据所述数据表的N和L,以及所述数据的ID,确定所述数据对应的数组位置和在数组中的元素位置;根据所述L,以及所述数据的ID,确定所述数据在元素中的起始位;其中,所述N为所述数据表中每个数组包括的元素个数;所述L为所述数据表中每个元素存储数据的个数,并且所述L为H的约数,所述H为一个元素的位数;所述N、L和H为正整数。
可选的,所述第二处理模块,具体用于:
根据所述N和所述L,对所述数据的ID进行除法运算,并将所述除法运算后的商值进行取整运算,确定所述数据对应的数组位置;根据所述N和所述L,对所述数据的ID进行取模运算和取整运算,确定所述数据对应的在数组中的元素位置;根据所述L,对所述数据的ID进行取模运算,确定所述数据在元素中的起始位。
可选的,所述第二处理模块,具体用于:
将所述数据的ID除以M,并将得到的商值进行向上取整运算;根据所述取整运算后得到的数值,确定所述数据对应的数组位置;其中,所述M为所述N与所述L的乘积;
将所述数据的ID与所述M进行取模运算,并将所述取模运算后得到的数值除以所述L,将得到的商值进行向上取整运算;根据所述向上取整运算后得到的数值,确定所述数据对应的在数组中的元素位置;其中,所述M为所述N与所述L的乘积;
将所述数据的ID与所述L进行取模运算,确定所述数据在元素中的数据位置;根据所述数据在元素中的所述数据位置,以及所述数据在元素中占用的位数,确定所述数据在元素中的起始位。
可选的,所述数据对应的存储索引信息还包括所述数据在元素中的结束位;
所述第二处理模块,具体用于:
根据所述L,以及所述数据的ID,确定所述数据在元素中的结束位。
可选的,所述第二处理模块,具体用于:
根据所述数据的ID与所述L进行取模运算后的数值,确定所述数据在元素中的数据位置;根据所述数据在元素中的数据位置,确定与所述数据相邻且位于所述数据位置之后的目标数据在元素中的起始位;根据所述目标数据在元素中的起始位,确定所述数据在元素中的结束位。
附图说明
图1为本公开内容实施例存储数据方法的流程图;
图2为本公开内容实施例二维数组结构的数据表的结构示意图;
图3为本公开内容实施例存储用户状态的数据表的结构示意图;
图4为本公开内容实施例读取数据方法的流程图;
图5为本公开内容实施例存储数据设备的结构示意图;
图6为本公开内容实施例读取数据设备的结构示意图。
具体实施方式
本公开内容实施例确定需要存储的数据的ID(identification,标识);对所述数据的ID进行运算处理,确定所述数据对应的存储索引信息;将所述数据的数据内容存储到数据表中所述存储索引信息对应的存储位置上;其中,所述数据表的结构为二维数组结构。由于本公开内容实施例根据需要存储的数据的ID,确定该数据对应的存储索引信息,根据确定的存储索引信息,将该数据的数据内容存储到数据表中,在将数据存储到数据表时,只需要存储该数据的内容,不需要存储数据的ID,从而有效的减少了存储数据需要的内存空间。
本公开内容实施例可以应用在有多个数据中心为用户提供服务的场景。在该场景中包括一个重要的组成部分就是记录用户到其最近数据中心的映射关系,又可以称为路由表,用于支持用户的就近服务,让用户访问其最近的数据中心。
由于路由表需要在应用程序的各层中使用,因此每个数据中心在工作时都需要持续的调用该路由表。采用现有的储存数据的方法存储该路由表,使得该路由表占用的内存空间很大,不便于在每个数据中心都存储该路由表。现有技术将路由表存储在远程的集中式服务器或者远程的数据库服务器中,在需要使用路由表时,由使用路由表的应用程序通过网络调用路由表读取用户与数据中心的对应关系。通过网络调用获取路由表信息的方式,由于天然的网络延时,降低系统的性能。
然而在多个数据中心为用户提供服务的场景中,使用本公开内容实施例提供的存储数据的方法,根据用户ID确定用户对应的归属数据中心,这种存储每个用户对应的归属数据中心信息的方式,极大地减小占用内存,从而能够直接在数据中心中存储每个用户对应的归属数据中心信息,提高了数据中心的使用性能。
下面结合说明书附图对本公开内容实施例作进一步详细描述。
如图1所示,本公开内容实施例一种存储数据的方法,包括:
步骤101、确定需要存储的数据的标识ID;
步骤102、对所述数据的ID进行运算处理,确定所述数据对应的存储索引信息;
步骤103、将所述数据的数据内容存储到数据表中所述存储索引信息对应的存储位置上;其中,所述数据表的结构为二维数组结构。
本公开内容实施例的数据包括数据的ID和数据的内容,其中每一个数据的内容占用的存储空间非常小,以bit为单位进行存储。
本公开内容实施例的数据的ID为十进制数。例如,在数的ID为用户ID时,用户ID可以为10、122、2000等形式的数值。
本公开内容实施例的数据表采用二维数组结构,并且该二维数组结构可以是二维字节数组结构。该二维数组结构的数据表第一维为定长的数组,并且每个定长的数组包括的N个元素;每个元素中存储数据的个数为L,若H为一个元素的位数,则L为H的约数。
本公开内容实施例的数据表的参数信息包括:数据表的数组个数M、每个数组中的元素个数N和每个元素中可以存储的数据个数L。
具体的,本公开内容实施例二维数组结构的数据表可以采用二位字节数组结构的数据表,如图2所示,其中,该二维字节数组结构的第一维为定长的字节数组,将其命名为slot(桶),其中每一个字节数组包括N个字节(byte);该二维字节数组结构的第二维为定长的slot指针数组,将slot指针数组的个数标记为M;由于本公开内容每一个数据的内容占用的存储空间非常小,在二维字节数组结构的数据表中,每一个字节可以存储L个数据的内容。
本公开内容实施例二维数组结构的数据表中每一个数组包括N个元素,其中N是根据对需要存储的数据的分析,最大限度的减小该数据表在使用过程中占用的内存,合理的确定N的值。
本公开内容实施例中每一个元素可以存储L个数据,其中L是由需要存储的数据的内容决定的。例如,数据表中需要存储用户状态,则根据用户ID确定该用户的数据存储在数据表中的位置,将该用户对应的用户状态存储在该数据表中的位置,而用户的状态采用“0”或“1”表示,“1”表示用户在线,“0”表示用户离线,而且每一个用户的状态只占用一位,则该数据表中每一个元素可以存储8个用户的用户状态,此时L=8。
本公开内容实施例二维数组结构的数据表中数组的个数标记为M,其中M的个数是由该数据表需要存储的总的数据个数决定的,在N和L确定后,根据总的数据个数确定M的取值。在二维数组结构的数据表的N、M和L三个数值确定后,则该数据表能够存储的数据的总的个数为N*M*L。例如,数据表需要存储的总的数据个数为10000,其中二维数组结构的数据表的N=50,L=4,此时,确定M的值不小于50。
可选的,本公开内容实施例根据所述数据的ID,确定所述数据为热点数据。
本公开内容实施例中热点为一个集合中只有部分元素是活跃的或常常被使用的。例如,数据库系统中存储的数据,只有其中一部分会被经常读写,这一部分数据就是这个数据库系统的热点。
并且,热点大多以呈现局部集中,全局离散的形式分布。
本公开内容实施例在对数据进行存储时,根据对该数据的热点区域识别,将需要存数的数据分为热点数据和非热点数据。针对热点数据,本公开内容实施例采用下面的方式进行存储。
具体的,本公开内容实施例在对热点数据进行存储时,具体可以采用下列两种方式。
方式一、根据确定的热点区域,获取热点区域的数据进行存储。
本公开内容实施例针对需要存储的所有数据,对所有数据进行热点区域识别,将对热点区域的识别结果以数据ID的形式呈现。
例如,需要存储的一组数据的ID范围为1-2000,经过对需要存储的一组数据进行热点区域识别,需要存储的一组数据的热点数据呈现如下状态:
局部热点1:数据的ID范围为100-105;
局部热点2:数据的ID范围为300-400;
局部热点3:数据的ID范围为1000-1099;
局部热点4:数据的ID范围为1500-1700。
以上述例子为例,在对上述的一组数据进行存储时,分别读取局部热点1、局部热点2、局部热点3和局部热点4中的每一个数据的ID对应的数据,将该数据的内容存储到数据表中。
方式二、读取每一个需要存储的数据,根据该数据的ID确定该数据是否为热点数据,若是热点数据,则将该数据存储在数据表中。
本公开内容实施例针对需要存储的所有数据,对所有数据进行热点区域识别,将对热点区域的识别结果以数据ID的形式呈现。在得到所有数据中的热点区域后,依次确定每一数据是否为热点数据,若是热点数据,则将该数据存储在数据表中;若不是热点数据,则不对该数据进行存储。
例如,需要存储的一组数据的ID范围为1-2000,经过对需要存储的一组数据进行热点区域识别,需要存储的一组数据的热点数据呈现如下状态:
局部热点1:数据的ID范围为100-105;
局部热点2:数据的ID范围为300-400;
局部热点3:数据的ID范围为1000-1099;
局部热点4:数据的ID范围为1500-1700。
以上述例子为例,在对上述的一组数据进行存储时,根据数据ID,依次获取每一个数据,并根据上述热点区域判断获取的数据是否为热点数据,若是,则存储到数据表中,若不是,则不进行存储。比如,获取数据的ID为20的数据,根据热点区域判断数据ID为20的数据不是热点数据,则不存储数据ID为20的数据;又比如,获取的数据的ID为255,根据热点区域判断数据ID为255的数据是热点数据,则将数据ID为255的数据存储到数据表中。
由于本公开内容实施例的二维数组结构的数据表包括M个定长的数组,每个数组包括N个元素,每个元素又可以存储L个数据。因此,在根据数据的ID确定数据在数据表中的存储位置时,需要确定该数据对应的数组位置,在数组中的元素位置,以及该数据在元素中的起始位和结束位。
本公开内容实施例的数据对应的存储索引信息包括数据对应的数组位置、所述数据对应的在数组中的元素位置、所述数据在元素中的起始位、所述数据在元素中的结束位。
其中,数据对应的存储索引信息即为数据在数据表中的存储位置。
本公开内容实施例采用A表示数据对应的数组位置,采用C表示数据对应的在数组中的元素位置,采用D1表示该数据在元素中的起始位,以及采用D2表示该数据在元素中的结束位。
本公开内容实施例数据对应的数组位置为A,表示数据对应的存储位置为数据表中第A个数组;数据对应的在数组中的元素位置为C,表示数据对应的存储位置为数据表中数组中第C个元素;数据在元素中的起始位为D1,结束位为D2,表示数据对应的存储位置为数据表元素中从第D1位开始,到第D2位结束。
下面具体说明确定数据对应的数组位置、在数组中的元素位置、该数据在元素中的起始位和结束位的方法。
一、根据下列方式确定数据对应的数组位置。
根据所述数据表的N和L,以及所述数据的ID,确定所述数据对应的数组位置。
可选的,根据所述N和所述L,对所述数据的ID进行除法运算,并将所述除法运算后的商值进行取整运算,确定所述数据对应的数组位置;
具体的计算方式为:
将所述数据的ID除以M,并将得到的商值进行向上取整运算;根据所述取整运算后得到的数值,确定所述数据对应的数组位置;其中,所述M为所述N与所述L的乘积。
具体的,采用下列公式一确定所述数据对应的数组位置:
Figure BDA0000956034960000161
公式一中,A为所述数据对应的数组位置,X为所述数据的ID,
Figure BDA0000956034960000162
表示向上取整操作。
例如,一组记录用户与其归属的数据中心的绑定关系的用户数据,其中数据的ID为用户ID,数据的内容为用户归属的数据中心。假设,用户ID的范围为1-2000,局部热点1:用户ID范围为100-105;局部热点2:用户ID范围为300-400;局部热点3:用户ID范围为1000-1099;局部热点4:用户ID范围为1500-1700。用于存储用户与其归属的数据中心的绑定关系的二维数组结构的数据表,该数据表的参数信息为:M=50,N=20,L=2;即该数据表共包括50个数组,每个数组包括20个元素,其中每一个元素可以存储两个用户数据。在确定用户ID为100的用户数据在数据表中对应的存储位置时,根据公式一计算用户ID为100的用户数据在数据表中对应的数组位置
Figure BDA0000956034960000171
则确定用户ID为100的用户数据的数据内容存储在数据表的第三个数组中。
二、根据下列方式确定数据对应的在数组中的元素位置。
根据所述数据表的N和L,以及所述数据的ID,确定所述数据对应的在数组中的元素位置。
可选的,根据所述N和所述L,对所述数据的ID进行取模运算和取整运算,确定所述数据对应的在数组中的元素位置。
具体的计算方式为:
将所述数据的ID与所述M进行取模运算,并将所述取模运算后得到的数值除以所述L,将得到的商值进行向上取整运算;根据所述向上取整运算后得到的数值,确定所述数据对应的在数组中的元素位置;其中,所述M为所述N与所述L的乘积。
具体的,采用下列公式二确定所述数据对应的在数组中的元素位置:
Figure BDA0000956034960000172
公式二中,B=X%(N*L)………公式三;
公式三中,C为所述数据对应的在数组中的元素位置,X为所述数据的ID,
Figure BDA0000956034960000181
表示向上取整操作。
本公开内容实施例在根据公式二确定数据对应的在数组中的元素位置时,首先需要根据公式三计算公式一中参数B,其中B为确定数据对应的在数组中的元素位置过程中的中间变量。
例如,一组记录用户与其归属的数据中心的绑定关系的用户数据,其中数据的ID为用户ID,数据的内容为用户归属的数据中心。假设,用户ID的范围为1-2000,局部热点1:用户ID范围为100-105;局部热点2:用户ID范围为300-400;局部热点3:用户ID范围为1000-1099;局部热点4:用户ID范围为1500-1700。用于存储用户与其归属的数据中心的绑定关系的二维数组结构的数据表,该数据表的参数信息为:M=50,N=20,L=2;即该数据表共包括50个数组,每个数组包括20个元素,其中每一个元素可以存储两个用户数据。在确定用户数据在数据表中对应的在数组中的元素位置时,首先根据用户ID,数据表的参数信息N和L,根据公式三计算得到B,根据参数B和L确定用户数据在数据表中对应的在数组中的元素位置。比如,在确定用户ID为100的用户数据在数据表中对应的在数组中的元素位置时,根据公式三计算B=X%(N*L)=100%(20*2)=20;然后根据公式二,计算用户ID为100的用户数据在数据表中对应的在数组中的元素位置
Figure BDA0000956034960000182
则确定用户ID为100的用户数据的数据内容存储在数据表的数组中第10个元素中。
三、根据下列方式确定数据在元素中的起始位。
根据所述L,以及所述数据的ID,确定所述数据在元素中的起始位。
可选的,根据所述L,对所述数据的ID进行取模运算,确定所述数据在元素中的起始位。
具体的计算方式为:
将所述数据的ID与所述L进行取模运算,确定所述数据在元素中的数据位置;根据所述数据在元素中的所述数据位置,以及所述数据在元素中占用的位数,确定所述数据在元素中的起始位。
具体的,采用下列公式四确定所述数据在元素位置中的起始位:
Figure BDA0000956034960000191
公式四中,D1为所述数据在元素中的起始位,X为所述数据的ID,H为一个元素的位数。
本公开内容实施例在确定数据在元素中的起始位时,需要确定数据的ID,每一个元素中存储的数据个数L,以及一个元素的位数H,在确定这三个个参数后,根据公式四计算得到数据在元素中的起始位。
需要说明的是,本公开内容实施例的数据对应的存储索引信息中可以只包括数据对应的数组位置、数据对应的在数组中的元素位置、以及数据对应的在元素中的起始位。在不确定数据对应的在元素中的结束位时,也可以只根据数据对应的数组位置、数据对应的在数组中的元素位置、以及数据对应的在元素中的起始位准确确定数据在数据表中的存储位置。
四、根据下列方式确定数据在元素中的结束位。
根据所述L,以及所述数据的ID,确定所述数据在元素中的结束位。
具体的计算方式为:
根据所述数据的ID与所述L进行取模运算后的数值,确定所述数据在元素中的数据位置;根据所述数据在元素中的数据位置,确定与所述数据相邻且位于所述数据位置之后的目标数据在元素中的起始位;根据所述目标数据在元素中的起始位,确定所述数据在元素中的结束位。
具体的,采用下列公式五确定所述数据在元素中的结束位:
Figure BDA0000956034960000192
公式五中,D2为所述数据在元素中的起始位,X为所述数据的ID,H为一个元素的位数。
本公开内容实施例在确定数据在元素位置中的结束位时,需要确定数据的ID,每一个元素中存储的数据个数L,以及一个元素的位数H,在确定这三个参数后,根据公式五计算得到数据在元素中的结束位。
本公开内容实施例一个元素的位数为8,即H=8。由于L为H的约数,则L可以取得值包括1、2、4和8。
在L=1时,X%L=0,H/L=8,此时根据公式四计算得到D1=0,则数据在元素中的起始位为第0位,此时根据公式五计算得到D1=7,则数据在元素中的结束位为第7位;
在L=2时,X%L可取的值有0,1,并且H/L=4,则一个数据在元素中占用四位;在X%L=0时,根据公式四计算得到D1=0,则数据在元素中的起始位为第0位,根据公式五计算得到D2=3,则数据在元素中的结束位为第3位;在X%L=1时,根据公式四计算得到D1=4,则数据在元素中的起始位为第4位,根据公式五计算得到D2=7,则数据在元素中的结束位为第7位。
在L=4时,X%L可取的值有0,1,2,3,并且H/L=2,则一个数据在元素中占用两位;在X%L=0时,根据公式四计算得到D1=0,则数据在元素中的起始位为第0位,根据公式五计算得到D2=1,则数据在元素中的结束位为第1位;在X%L=1时,根据公式四计算得到D1=2,则数据在元素中的起始位为第2位,根据公式五计算得到D2=3,则数据在元素中的结束位为第3位;在X%L=2时,根据公式四计算得到D1=4,则数据在元素中的起始位为第4位,根据公式五计算得到D2=5,则数据在元素中的结束位为第5位;在X%L=3时,根据公式四计算得到D1=6,则数据在元素中的起始位为第6位,根据公式五计算得到D2=7,则数据在元素中的结束位为第7位。
在L=8时,X%L可取的值有0,1,2,3,4,5,6,7,并且H/L=1,此时公式四为:D1=(X%L)*1=X%L;公式五为:D2=(X%L+1)*1-1=X%L,则数据的起始位和结束位相同,即在X%L=0时,数据在元素中的位置为第0位;在X%L=1时,数据在元素中的位置为第1位;在X%L=2时,数据在元素中的位置为第2位;在X%L=3时,数据在元素中的位置为第3位;在X%L=4时,数据在元素中的位置为第4位;在X%L=5时,数据在元素中的位置为第5位;在X%L=6时,数据在元素中的位置为第6位;在X%L=7时,数据在元素中的位置为第7位。
本公开内容实施例在根据上述方式得到数据在数据表中的数组位置、数据在数组中的元素位置,以及数据在元素中的起始位和结束位之后,根据数据对应的数组位置和在数组中的元素位置,以及所述数据在元素中的起始位和结束位,确定所述数据在所述数据表中的存储位置。
本公开内容实施例数据在数据表中对应的存储位置,是由数据在数据表中的数组位置、数据在数组中的元素位置,以及数据在元素中的起始位和结束位四个位置共同确定的,在上述四个位置确定后,该数据在数据表中的位置唯一确定。
例如,一组记录用户与其状态的绑定关系的用户数据,其中数据的ID为用户ID,数据的内容为用户的状态。假设,用户ID的范围为1-5000,局部热点1:用户ID范围为100-105;局部热点2:用户范围为300-400;局部热点3:用户范围为900-1099;局部热点4:用户范围为1500-1700;局部热点5:用户范围为2500-1900;局部热点6:用户范围为3100-3600;存储用户与其状态的绑定关系的数据表采用二维数组结构,该数据表的参数信息为:M=25,N=25,L=8;即该数据表共包括25个数组,每个数组包括25个元素,其中每一个元素可以存储8个用户数据。在确定用户ID为950的用户数据在数据表中对应的存储位置时,首先根据用户ID以及数据表的参数,根据公式一确定用户ID为950的用户数据对应的数组位置A。
具体的,
Figure BDA0000956034960000211
则确定用户ID为950的用户数据对应的数组位置为第5个数组;
在确定用户数据对应的数组位置之后,根据公式二和公式三确定用户数据对应的在数组中的元素位置。
具体的,B=X%(N*L)=950%(25*8)=150;根据B以及数据表的参数信息,根据公式二,确定C,
Figure BDA0000956034960000221
则确定用户ID为950的用户数据对应的在数组中的元素位置为第19个元素。
在确定用户数据对应的在数组中的元素位置之后,根据公式四确定用户数据在元素中的起始位:
Figure BDA0000956034960000222
根据公式五确定用户数据在元素中的结束位:
Figure BDA0000956034960000223
则确定用户ID为950的用户数据在元素中第6位。
综合上述得到的A、C、D1和D2,确定用户ID为950的用户数据在数据表中对应的存储位置为第5个数组中第19个元素中的第6位。
需要说明的是,在实施中,确定数据对应的数组位置和在数组中的元素位置,以及所述数据在元素中的起始位和结束位时,可以采取任意顺序进行确定,本公开内容实施例不限定确定数据对应的数组位置和在数组中的元素位置,以及所述数据在元素中的起始位和结束位的顺序。
针对非热点数据,本公开内容实施例采用统一远程存储的形式进行存储,具体可以采用集中式CACHE(高速缓冲存储器),还可以采用远程的数据库服务器。本公开内容实施例针对非热点数据的存储方法不作限定。
本公开内容实施例针对一组数据,经过热点区域识别,将热点数据存储在二维数组结构的数据表中,将非热点数据采用统一远程存储的形式。而且在将热点数据存储在数据表中时,根据数据的ID,计算得到每一个数据对应的位置;由于数据表的参数信息M、N和L根据该组数据的热点区域和数据的个数确定,并且M*N*L所得到的值不小于数据的个数,因此,将该组数据的热点数据存储在数据表中后,非热点数据在数据表中对应的位置为空,从而在调用该组数据时,可以有效减小数据占用的内存。
例如,针对一组记录用户状态的数据,数据的ID为用户ID,数据的内容为用户状态。假设用户ID范围为1-500,其中,局部热点1:用户ID范围为1-80;局部热点2:用户ID范围为161-200;局部热点3:用户ID范围为241-272;局部热点4:用户ID范围为401-500。则在对该组数据存储时,将热点数据存储在二维数组结构的数据表中,非热点数据采用远程集中式CACHE存储。根据对热点区域的分析,确定数据表的参数信息为N=5,L=8,M=13。在对热点数据进行存储后,二维数组结构的数据表如图3所示的二维字节数组结构,其中,第一字节数组、第二字节数组、第五字节数组、第七字节数组、第十一字节数组、第十二字节数组和第十三字节数组中保存有数据,第三字节数组、第四字节数组、第六字节数组、第八字节数组、第九字节数组和第十字节数组为空。
由于本公开内容实施例二维数组结构的数据表中每一个数组包括N个元素,其中N是根据对需要存储的一组数据的分析,最大限度的减小该数据表在使用过程中占用的内存,经过分析合理的确定N。
其中,对需要存储的一组数据的分析是通过该组数据经过热点识别,确定该组数据的局部热点区域,根据局部热点区域合理确定数据表每个数组包括的元素个数N。又由于每个元素存储的数据个数L是由数据本身确定的,根据确定的N和L,以及需要存储的该组数据的个数,确定数据表包括的数组个数M。因此,针对不同的待存储数据,二维数组结构的数据表的参数信息是不同的。
本公开内容实施例针对同一组存储的数据,存储该组数据的二维数组结构的数据表的参数信息也不是唯一确定的,由于数据表的参数信息由存储的数据中热点区域确定,因此,在热点区域发生变化后,用于存储数据的二维数组结构的数据表的参数信息也发生变化。存储数据的二维数组结构的数据表的参数信息发生变化后,该组数据的存储位置需要重新计算,并重新存储。
本公开内容实施例针对一组存储的数据,在该组数据在二维数组结构的数据表中存储完成之后,需要周期性的对该组数据的热点数据进行分析,在该组数据的局部热点区域发生变化后,调整二维数组结构的数据表的参数信息,对该组数据重新存储。
例如,针对一组记录用户与其归属的数据中心的绑定关系的用户数据,每间隔24小时对该组用户数据进行热点区域识别,在确定热点区域发生变化后,调整存储该用户数据的数据表的参数信息,对该组用户数据重新存储。
还比如,若针对一组记录用户与其状态的映射关系的数据,可以每间隔一周对该组数据进行热点区域识别,在确定热点区域发生变化后,调整存储数据的数据表的参数信息,对该组数据重新存储。
另一方面,如图4所示,本公开内容实施例还提供一种读取数据的方法,包括:
步骤401、确定需要读取的数据的ID;
步骤402、对所述数据的ID进行运算处理,确定所述数据对应的存储索引信息;
步骤403、从数据表中所述存储索引信息对应的存储位置上读取所述数据的数据内容;其中,所述数据表的结构为二维数组结构。
本公开内容实施例的数据包括数据的ID和数据的内容。并且数据的内容占用的存储空间很小;数据的ID为十进制数值。
本公开内容实施例存储数据的数据表采用二维数组结构,并且该二维数组结构的数据表的参数信息包括:
数组的个数M、每个数组的元素个数N和每个元素存储的数据个数L。
可选的,根据所述数据的ID,确定所述数据为热点数据。
本公开内容实施例在对一组数据进行存储时,根据对该组数据的热点区域识别,将该组数据分为热点数据和非热点数据。而本公开内容实施例只是针对热点数据,采用二维数组结构的数据表进行存储;对于非热点数据,采用其它远程存储的方式。
由于本公开内容实施例的二维数组结构的数据表存储的是热点数据,因此在读取数据时,还需要根据数据的类型进行读取。具体的,可以根据下面两种方式读取数据。
方式一、根据数据的ID确定该数据是否为热点数据,若是,根据该数据在数据表中的存储位置读取数据的内容。
本公开内容实施例针对一组数据,预先对该组数据进行分析,确定该组数据的热点数据和非热点数据,并以数据ID的形式呈现。例如,需要存储的一组数据的ID范围为1-2000,经过对需要存储的一组数据进行热点区域识别,需要存储的一组数据的热点数据呈现如下状态:
局部热点1:数据的ID范围为100-105;
局部热点2:数据的ID范围为300-400;
局部热点3:数据的ID范围为1000-1099;
局部热点4:数据的ID范围为1500-1700。
本公开内容实施例在读取数据时,根据待读取数据的ID,以及根据确定的该组数据的热点数据的ID范围,确定待读取数据是否为热点数据,若是,则根据该待读取数据的ID,以及确定的数据表的参数信息,确定该待读取数据在数据表中的存储位置,从数据表中读取该存储位置上的数据内容。
比如,针对一组记录用户与其归属的数据中心的绑定关系的用户数据,其中数据的ID为用户ID,数据的内容为用户归属的数据中心。其中,用户ID的范围为1-2000,局部热点1:用户ID范围为100-105;局部热点2:用户ID范围为300-400;局部热点3:用户ID范围为1000-1099;局部热点4:用户ID范围为1500-1700。若读取的用户ID为255,根据确定的局部热点区域,确定用户ID为255的数据为热点数据,则根据用户ID为255,以及数据表的参数信息确定用户ID为255的数据在数据表中的存储位置,从该存储位置上读取以后ID为255的用户归属的数据中心。
方式二、根据数据的ID,确定该数据在数据表中对应的存储位置,判断该存储位置上是否有数据内容,若有,则确定该数据为热点数据,从该存储位置上读取数据的内容。
本公开内容实施例在存储数据时,数据表中只存储了热点数据,而非热点数据在数据表中对应的存储位置没有数据。本公开内容实施例在根据数据的ID,确定该数据在数据表中对应的存储位置后,通过判断该存储位置上有没有数据的内容,确定该数据是否为热点数据,从而读取该存储位置的数据内容。
例如,针对一组记录用户与其归属的数据中心的绑定关系的用户数据,其中数据的ID为用户ID,数据的内容为用户归属的数据中心。在读取用户ID为255的用户归属的数据中心时,根据用户ID为255,以及数据表的参数信息,确定用户ID为255的用户对应的数据表中的存储位置,假设用户ID为255的用户对应的数据表中的存储位置为第5个数组中第5个元素的第一位,并且该存储位置上的数据内容为数据中心1,则确定用户ID为255的用户归属的数据中心为数据中心1。
由于本公开内容实施例的二维数组结构的数据表包括M个定长的数组,每个数组包括N个元素,每个元素又可以存储L个数据。因此,在根据数据的ID确定数据在数据表中的存储位置时,需要确定该数据对应的数组位置,该数据对应的在数组中的元素位置,以及该数据在元素中的起始位和结束位。
本公开内容实施例采用A表示数据对应的数组位置,采用C表示数据对应的在数组中的元素位置,以及采用D1表示该数据在元素中的起始位,采用D2表示该数据在元素中的结束位。
本公开内容实施例数据对应的数组位置为A,表示数据对应的存储位置为数据表中第A个数组;数据对应的在数组中的元素位置为C,表示数据对应的存储位置为数据表中数组中第C个元素;数据在元素中的起始位为D1,数据在元素中的结束位为D2,表示数据对应的存储位置为数据表中元素的第D1-D2位。
本公开内容实施例在确定需要读取的数据的ID后,对所述数据的ID进行运算处理,确定所述数据对应的存储索引信息,即确定数据对应的数组位置、在数组中的元素位置以及数据在元素中的起始位和结束位。
其中,本公开内容实施例的数据对应的存储索引信息为数据在数据表中的存储位置。
下面具体说明确定数据在数据表中对应的存储位置的方法。
一、根据下列方式确定数据对应的数组位置。
根据所述数据表的N和L,以及所述数据的ID,确定所述数据对应的数组位置。
可选的,根据所述N和所述L,对所述数据的ID进行除法运算,并将所述除法运算后的商值进行取整运算,确定所述数据对应的数组位置;
具体的计算方式为:
将所述数据的ID除以M,并将得到的商值进行向上取整运算;根据所述取整运算后得到的数值,确定所述数据对应的数组位置;其中,所述M为所述N与所述L的乘积。
具体的,采用下列公式确定所述数据对应的数组位置:
Figure BDA0000956034960000271
其中,公式一中A为所述数据对应的数组位置,X为所述数据的ID,
Figure BDA0000956034960000272
表示向上取整操作。
二、根据下列方式确定数据对应的在数组中的元素位置。
根据所述数据表的N和L,以及所述数据的ID,确定所述数据对应的在数组中的元素位置。
可选的,根据所述N和所述L,对所述数据的ID进行取模运算和取整运算,确定所述数据对应的在数组中的元素位置。
具体的计算方式为:
将所述数据的ID与所述M进行取模运算,并将所述取模运算后得到的数值除以所述L,将得到的商值进行向上取整运算;根据所述向上取整运算后得到的数值,确定所述数据对应的在数组中的元素位置;其中,所述M为所述N与所述L的乘积。
具体的,采用下列公式确定所述数据对应的在数组中的元素位置:
Figure BDA0000956034960000281
其中,B=X%(N*L);C为所述数据对应的在数组中的元素位置,X为所述数据的ID,
Figure BDA0000956034960000282
表示向上取整操作。
本公开内容实施例在根据公式确定数据对应的在数组中的元素位置时,首先需要根据公式B=X%(N*L)计算参数B,其中B为确定数据对应的在数组中的元素位置过程中的中间变量。
三、根据下列方式确定数据在元素中的起始位。
根据所述L,以及所述数据的ID,确定所述数据在元素中的起始位。
可选的,根据所述L,对所述数据的ID进行取模运算,确定所述数据在元素中的起始位。
具体的计算方式为:
将所述数据的ID与所述L进行取模运算,确定所述数据在元素中的数据位置;根据所述数据在元素中的所述数据位置,以及所述数据在元素中占用的位数,确定所述数据在元素中的起始位。
具体的,采用下列公式确定所述数据在元素位置中的起始位:
Figure BDA0000956034960000291
公式四中,D1为所述数据在元素中的起始位,X为所述数据的ID,H为一个元素的位数。
本公开内容实施例在确定数据在元素中的起始位时,需要确定数据的ID,每一个元素中存储的数据个数L,以及一个元素的位数H,在确定这三个个参数后,根据公式计算得到数据在元素中的起始位。
需要说明的是,本公开内容实施例的数据对应的存储索引信息中可以只包括数据对应的数组位置、数据对应的在数组中的元素位置、以及数据对应的在元素中的起始位。在不确定数据对应的在元素中的结束位时,也可以只根据数据对应的数组位置、数据对应的在数组中的元素位置、以及数据对应的在元素中的起始位准确确定数据在数据表中的存储位置。
四、根据下列方式确定数据在元素中的结束位。
根据所述L,以及所述数据的ID,确定所述数据在元素中的结束位。
具体的计算方式为:
根据所述数据的ID与所述L进行取模运算后的数值,确定所述数据在元素中的数据位置;根据所述数据在元素中的数据位置,确定与所述数据相邻且位于所述数据位置之后的目标数据在元素中的起始位;根据所述目标数据在元素中的起始位,确定所述数据在元素中的结束位。
具体的,采用下列确定所述数据在元素位置中的结束位:
Figure BDA0000956034960000292
其中,D2为所述数据在元素中的起始位,X为所述数据的ID,H为一个元素的位数。
本公开内容实施例在确定数据在元素位置中的结束位时,需要确定数据的ID,每一个元素中存储的数据个数L,以及一个元素的位数H,在确定这三个参数后,根据公式计算得到数据在元素中的结束位。
本公开内容实施例在根据上述方式得到数据在数据表中的数组位置、数据在数组中的元素位置,以及数据在元素中的起始位和结束位之后,根据数据对应的数组位置和在数组中的元素位置,以及所述数据在元素中的起始位和结束位,确定所述数据在所述数据表中的存储位置。
需要说明的是,本公开内容实施例的二维数据结构的数据表中只存储有热点数据,而对于非热点数据,需要根据在数据存储过程中非热点数据的存储方式,从非热点数据的存储位置上读取。
基于同一发明构思,本公开内容实施例中还提供了一种存储数据的设备,由于该设备解决问题的原理与本公开内容实施例存储数据的方法相似,因此该设备的实施可以参见方法的实施,重复之处不再赘述。
如图5所示,本公开内容实施例一种存储数据的设备,包括:
第一确定模块501,用于确定需要存储的数据的标识ID;
第一处理模块502,用于对所述数据的ID进行运算处理,确定所述数据对应的存储索引信息;
第一控制模块503,用于将所述数据的数据内容存储到数据表中所述存储索引信息对应的存储位置上;其中,所述数据表的结构为二维数组结构。
可选的,所述第一控制模块503,还用于:
根据所述数据的ID,确定所述数据为热点数据。
可选的,所述数据对应的存储索引信息包括所述数据对应的数组位置、所述数据对应的在数组中的元素位置、所述数据在元素中的起始位;
所述第一处理模块502,具体用于:
根据所述数据表的N和L,以及所述数据的ID,确定所述数据对应的数组位置和在数组中的元素位置;根据所述L,以及所述数据的ID,确定所述数据在元素中的起始位;其中,所述N为所述数据表中每个数组包括的元素个数;所述L为所述数据表中每个元素存储数据的个数,并且所述L为H的约数,所述H为一个元素的位数;所述N、L和H为正整数。
可选的,所述第一处理模块502,具体用于:
根据所述N和所述L,对所述数据的ID进行除法运算,并将所述除法运算后的商值进行取整运算,确定所述数据对应的数组位置;根据所述N和所述L,对所述数据的ID进行取模运算和取整运算,确定所述数据对应的在数组中的元素位置;根据所述L,对所述数据的ID进行取模运算,确定所述数据在元素中的起始位。
可选的,所述第一处理模块502,具体用于:
将所述数据的ID除以M,并将得到的商值进行向上取整运算;根据所述取整运算后得到的数值,确定所述数据对应的数组位置;其中,所述M为所述N与所述L的乘积;
将所述数据的ID与所述M进行取模运算,并将所述取模运算后得到的数值除以所述L,将得到的商值进行向上取整运算;根据所述向上取整运算后得到的数值,确定所述数据对应的在数组中的元素位置;其中,所述M为所述N与所述L的乘积;
将所述数据的ID与所述L进行取模运算,确定所述数据在元素中的数据位置;根据所述数据在元素中的所述数据位置,以及所述数据在元素中占用的位数,确定所述数据在元素中的起始位。
可选的,所述数据对应的存储索引信息还包括所述数据在元素中的结束位;
所述第一处理模块502,具体用于:
根据所述L,以及所述数据的ID,确定所述数据在元素中的结束位。
可选的,所述第一处理模块502,具体用于:
根据所述数据的ID与所述L进行取模运算后的数值,确定所述数据在元素中的数据位置;根据所述数据在元素中的数据位置,确定与所述数据相邻且位于所述数据位置之后的目标数据在元素中的起始位;根据所述目标数据在元素中的起始位,确定所述数据在元素中的结束位。
基于同一发明构思,本公开内容实施例中还提供了一种读取数据的设备,由于该设备解决问题的原理与本公开内容实施例读取数据的方法相似,因此该设备的实施可以参见方法的实施,重复之处不再赘述。
如图6所示,本公开内容实施例一种读取数据的设备,包括:
第二确定模块601,用于确定需要读取的数据的标识ID;
第二处理模块602,用于对所述数据的ID进行运算处理,确定所述数据对应的存储索引信息;
第二控制模块603,用于从数据表中所述存储索引信息对应的存储位置上读取所述数据的数据内容;其中,所述数据表的结构为二维数组结构。
可选的,所述第二控制模块603,还用于:
根据所述数据的ID,确定所述数据为热点数据。
可选的,所述数据对应的存储索引信息包括所述数据对应的数组位置、所述数据对应的在数组中的元素位置、所述数据在元素中的起始位;
所述第二处理模块602,具体用于:
根据所述数据表的N和L,以及所述数据的ID,确定所述数据对应的数组位置和在数组中的元素位置;根据所述L,以及所述数据的ID,确定所述数据在元素中的起始位;其中,所述N为所述数据表中每个数组包括的元素个数;所述L为所述数据表中每个元素存储数据的个数,并且所述L为H的约数,所述H为一个元素的位数;所述N、L和H为正整数。
可选的,所述第二处理模块602,具体用于:
根据所述N和所述L,对所述数据的ID进行除法运算,并将所述除法运算后的商值进行取整运算,确定所述数据对应的数组位置;根据所述N和所述L,对所述数据的ID进行取模运算和取整运算,确定所述数据对应的在数组中的元素位置;根据所述L,对所述数据的ID进行取模运算,确定所述数据在元素中的起始位。
可选的,所述第二处理模块602,具体用于:
将所述数据的ID除以M,并将得到的商值进行向上取整运算;根据所述取整运算后得到的数值,确定所述数据对应的数组位置;其中,所述M为所述N与所述L的乘积;
将所述数据的ID与所述M进行取模运算,并将所述取模运算后得到的数值除以所述L,将得到的商值进行向上取整运算;根据所述向上取整运算后得到的数值,确定所述数据对应的在数组中的元素位置;其中,所述M为所述N与所述L的乘积;
将所述数据的ID与所述L进行取模运算,确定所述数据在元素中的数据位置;根据所述数据在元素中的所述数据位置,以及所述数据在元素中占用的位数,确定所述数据在元素中的起始位。
可选的,所述数据对应的存储索引信息还包括所述数据在元素中的结束位;
所述第二处理模块602,具体用于:
根据所述L,以及所述数据的ID,确定所述数据在元素中的结束位。
可选的,所述第二处理模块602,具体用于:
根据所述数据的ID与所述L进行取模运算后的数值,确定所述数据在元素中的数据位置;根据所述数据在元素中的数据位置,确定与所述数据相邻且位于所述数据位置之后的目标数据在元素中的起始位;根据所述目标数据在元素中的起始位,确定所述数据在元素中的结束位。
以上参照示出根据本公开内容实施例的方法、装置(系统)和/或计算机程序产品的框图和/或流程图描述本公开内容。应理解,可以通过计算机程序指令来实现框图和/或流程图示图的一个块以及框图和/或流程图示图的块的组合。可以将这些计算机程序指令提供给通用计算机、专用计算机的处理器和/或其它可编程数据处理装置,以产生机器,使得经由计算机处理器和/或其它可编程数据处理装置执行的指令创建用于实现框图和/或流程图块中所指定的功能/动作的方法。
相应地,还可以用硬件和/或软件(包括固件、驻留软件、微码等)来实施本公开内容。更进一步地,本公开内容可以采取计算机可使用或计算机可读存储介质上的计算机程序产品的形式,其具有在介质中实现的计算机可使用或计算机可读程序代码,以由指令执行系统来使用或结合指令执行系统而使用。在本公开内容上下文中,计算机可使用或计算机可读介质可以是任意介质,其可以包含、存储、通信、传输、或传送程序,以由指令执行系统、装置或设备使用,或结合指令执行系统、装置或设备使用。
显然,本领域的技术人员可以对本公开内容进行各种改动和变型而不脱离本公开内容的精神和范围。这样,倘若本公开内容的这些修改和变型属于本公开内容权利要求及其等同技术的范围之内,则本公开内容也意图包含这些改动和变型在内。

Claims (24)

1.一种存储数据的方法,其特征在于,该方法包括:
确定需要存储的数据的标识ID;
对所述数据的ID进行运算处理,确定所述数据对应的存储索引信息;
根据所述数据的ID,确定所述数据为热点数据,并将所述数据的数据内容存储到数据表中所述存储索引信息对应的存储位置上;
其中,所述数据表的结构为二维数组结构。
2.如权利要求1所述的方法,其特征在于,所述数据对应的存储索引信息包括所述数据对应的数组位置、所述数据对应的在数组中的元素位置、所述数据在元素中的起始位;
所述对所述数据的ID进行运算处理,确定所述数据对应的存储索引信息,包括:
根据所述数据表的N和L,以及所述数据的ID,确定所述数据对应的数组位置和在数组中的元素位置;
根据所述L,以及所述数据的ID,确定所述数据在元素中的起始位;
其中,所述N为所述数据表中每个数组包括的元素个数;
所述L为所述数据表中每个元素存储数据的个数,并且所述L为H的约数,所述H为一个元素的位数;
所述N、L和H为正整数。
3.如权利要求2所述的方法,其特征在于,所述根据所述数据表的N和L,以及所述数据的ID,确定所述数据对应的数组位置,包括:
根据所述N和所述L,对所述数据的ID进行除法运算,并将所述除法运算后的商值进行取整运算,确定所述数据对应的数组位置;
所述根据所述数据表的参数信息中的N和L,以及所述数据的ID,确定所述数据对应的在数组中的元素位置,包括:
根据所述N和所述L,对所述数据的ID进行取模运算和取整运算,确定所述数据对应的在数组中的元素位置;
所述根据所述L,以及所述数据的ID,确定所述数据在元素中的起始位,包括:
根据所述L,对所述数据的ID进行取模运算,确定所述数据在元素中的起始位。
4.如权利要求3所述的方法,其特征在于,所述根据所述N和所述L,对所述数据的ID进行除法运算,并将所述除法运算后的商值进行取整运算,确定所述数据对应的数组位置,包括:
将所述数据的ID除以M,并将得到的商值进行向上取整运算;
根据所述取整运算后得到的数值,确定所述数据对应的数组位置;
其中,所述M为所述N与所述L的乘积;
所述根据所述数据表的N和L,以及所述数据的ID,确定所述数据对应的在数组中的元素位置,包括:
将所述数据的ID与所述M进行取模运算,并将所述取模运算后得到的数值除以所述L,将得到的商值进行向上取整运算;
根据所述向上取整运算后得到的数值,确定所述数据对应的在数组中的元素位置;
其中,所述M为所述N与所述L的乘积;
所述根据所述L,对所述数据的ID进行取模运算,确定所述数据在元素中的起始位,包括:
将所述数据的ID与所述L进行取模运算,确定所述数据在元素中的数据位置;
根据所述数据在元素中的所述数据位置,以及所述数据在元素中占用的位数,确定所述数据在元素中的起始位。
5.如权利要求2所述的方法,其特征在于,所述数据对应的存储索引信息还包括所述数据在元素中的结束位;
根据所述L,以及所述数据的ID,确定所述数据在元素中的结束位。
6.如权利要求5所述的方法,其特征在于,所述根据所述L,以及所述数据的ID,确定所述数据在元素中的结束位,包括:
根据所述数据的ID与所述L进行取模运算后的数值,确定所述数据在元素中的数据位置;
根据所述数据在元素中的数据位置,确定与所述数据相邻且位于所述数据位置之后的目标数据在元素中的起始位;
根据所述目标数据在元素中的起始位,确定所述数据在元素中的结束位。
7.一种读取数据的方法,其特征在于,该方法包括:
确定需要读取的数据的标识ID;
对所述数据的ID进行运算处理,确定所述数据对应的存储索引信息;
根据所述数据的ID,确定所述数据为热点数据,并从数据表中所述存储索引信息对应的存储位置上读取所述数据的数据内容;
其中,所述数据表的结构为二维数组结构。
8.如权利要求7所述的方法,其特征在于,所述数据对应的存储索引信息包括所述数据对应的数组位置、所述数据对应的在数组中的元素位置、所述数据在元素中的起始位;
所述对所述数据的ID进行运算处理,确定所述数据对应的存储索引信息,包括:
根据所述数据表的N和L,以及所述数据的ID,确定所述数据对应的数组位置和在数组中的元素位置;
根据所述L,以及所述数据的ID,确定所述数据在元素中的起始位;
其中,所述N为所述数据表中每个数组包括的元素个数;
所述L为所述数据表中每个元素存储数据的个数,并且所述L为H的约数,所述H为一个元素的位数;
所述N、L和H为正整数。
9.如权利要求8所述的方法,其特征在于,所述根据所述数据表的N和L,以及所述数据的ID,确定所述数据对应的数组位置,包括:
根据所述N和所述L,对所述数据的ID进行除法运算,并将所述除法运算后的商值进行取整运算,确定所述数据对应的数组位置;
所述根据所述数据表的参数信息中的N和L,以及所述数据的ID,确定所述数据对应的在数组中的元素位置,包括:
根据所述N和所述L,对所述数据的ID进行取模运算和取整运算,确定所述数据对应的在数组中的元素位置;
所述根据所述L,以及所述数据的ID,确定所述数据在元素中的起始位,包括:
根据所述L,对所述数据的ID进行取模运算,确定所述数据在元素中的起始位。
10.如权利要求9所述的方法,其特征在于,所述根据所述N和所述L,对所述数据的ID进行除法运算,并将所述除法运算后的商值进行取整运算,确定所述数据对应的数组位置,包括:
将所述数据的ID除以M,并将得到的商值进行向上取整运算;
根据所述取整运算后得到的数值,确定所述数据对应的数组位置;
其中,所述M为所述N与所述L的乘积;
所述根据所述数据表的N和L,以及所述数据的ID,确定所述数据对应的在数组中的元素位置,包括:
将所述数据的ID与所述M进行取模运算,并将所述取模运算后得到的数值除以所述L,将得到的商值进行向上取整运算;
根据所述向上取整运算后得到的数值,确定所述数据对应的在数组中的元素位置;
其中,所述M为所述N与所述L的乘积;
所述根据所述L,对所述数据的ID进行取模运算,确定所述数据在元素中的起始位,包括:
将所述数据的ID与所述L进行取模运算,确定所述数据在元素中的数据位置;
根据所述数据在元素中的所述数据位置,以及所述数据在元素中占用的位数,确定所述数据在元素中的起始位。
11.如权利要求8所述的方法,其特征在于,所述数据对应的存储索引信息还包括所述数据在元素中的结束位;
根据所述L,以及所述数据的ID,确定所述数据在元素中的结束位。
12.如权利要求11所述的方法,其特征在于,所述根据所述L,以及所述数据的ID,确定所述数据在元素中的结束位,包括:
根据所述数据的ID与所述L进行取模运算后的数值,确定所述数据在元素中的数据位置;
根据所述数据在元素中的数据位置,确定与所述数据相邻且位于所述数据位置之后的目标数据在元素中的起始位;
根据所述目标数据在元素中的起始位,确定所述数据在元素中的结束位。
13.一种存储数据的设备,其特征在于,包括:
第一确定模块,用于确定需要存储的数据的标识ID;
第一处理模块,用于对所述数据的ID进行运算处理,确定所述数据对应的存储索引信息;
第一控制模块,用于根据所述数据的ID,确定所述数据为热点数据,并将所述数据的数据内容存储到数据表中所述存储索引信息对应的存储位置上;其中,所述数据表的结构为二维数组结构。
14.如权利要求13所述的设备,其特征在于,所述数据对应的存储索引信息包括所述数据对应的数组位置、所述数据对应的在数组中的元素位置、所述数据在元素中的起始位;
所述第一处理模块,具体用于:
根据所述数据表的N和L,以及所述数据的ID,确定所述数据对应的数组位置和在数组中的元素位置;根据所述L,以及所述数据的ID,确定所述数据在元素中的起始位;其中,所述N为所述数据表中每个数组包括的元素个数;所述L为所述数据表中每个元素存储数据的个数,并且所述L为H的约数,所述H为一个元素的位数;所述N、L和H为正整数。
15.如权利要求14所述的设备,其特征在于,所述第一处理模块,具体用于:
根据所述N和所述L,对所述数据的ID进行除法运算,并将所述除法运算后的商值进行取整运算,确定所述数据对应的数组位置;根据所述N和所述L,对所述数据的ID进行取模运算和取整运算,确定所述数据对应的在数组中的元素位置;根据所述L,对所述数据的ID进行取模运算,确定所述数据在元素中的起始位。
16.如权利要求15所述的设备,其特征在于,所述第一处理模块,具体用于:
将所述数据的ID除以M,并将得到的商值进行向上取整运算;根据所述取整运算后得到的数值,确定所述数据对应的数组位置;其中,所述M为所述N与所述L的乘积;
将所述数据的ID与所述M进行取模运算,并将所述取模运算后得到的数值除以所述L,将得到的商值进行向上取整运算;根据所述向上取整运算后得到的数值,确定所述数据对应的在数组中的元素位置;其中,所述M为所述N与所述L的乘积;
将所述数据的ID与所述L进行取模运算,确定所述数据在元素中的数据位置;根据所述数据在元素中的所述数据位置,以及所述数据在元素中占用的位数,确定所述数据在元素中的起始位。
17.如权利要求14所述的设备,其特征在于,所述数据对应的存储索引信息还包括所述数据在元素中的结束位;
所述第一处理模块,具体用于:
根据所述L,以及所述数据的ID,确定所述数据在元素中的结束位。
18.如权利要求17所述的设备,其特征在于,所述第一处理模块,具体用于:
根据所述数据的ID与所述L进行取模运算后的数值,确定所述数据在元素中的数据位置;根据所述数据在元素中的数据位置,确定与所述数据相邻且位于所述数据位置之后的目标数据在元素中的起始位;根据所述目标数据在元素中的起始位,确定所述数据在元素中的结束位。
19.一种读取数据的设备,其特征在于,包括:
第二确定模块,用于确定需要读取的数据的标识ID;
第二处理模块,用于对所述数据的ID进行运算处理,确定所述数据对应的存储索引信息;
第二控制模块,用于根据所述数据的ID,确定所述数据为热点数据,并从数据表中所述存储索引信息对应的存储位置上读取所述数据的数据内容;其中,所述数据表的结构为二维数组结构。
20.如权利要求19所述的设备,其特征在于,所述数据对应的存储索引信息包括所述数据对应的数组位置、所述数据对应的在数组中的元素位置、所述数据在元素中的起始位;
所述第二处理模块,具体用于:
根据所述数据表的N和L,以及所述数据的ID,确定所述数据对应的数组位置和在数组中的元素位置;根据所述L,以及所述数据的ID,确定所述数据在元素中的起始位;其中,所述N为所述数据表中每个数组包括的元素个数;所述L为所述数据表中每个元素存储数据的个数,并且所述L为H的约数,所述H为一个元素的位数;所述N、L和H为正整数。
21.如权利要求20所述的设备,其特征在于,所述第二处理模块,具体用于:
根据所述N和所述L,对所述数据的ID进行除法运算,并将所述除法运算后的商值进行取整运算,确定所述数据对应的数组位置;根据所述N和所述L,对所述数据的ID进行取模运算和取整运算,确定所述数据对应的在数组中的元素位置;根据所述L,对所述数据的ID进行取模运算,确定所述数据在元素中的起始位。
22.如权利要求21所述的设备,其特征在于,所述第二处理模块,具体用于:
将所述数据的ID除以M,并将得到的商值进行向上取整运算;根据所述取整运算后得到的数值,确定所述数据对应的数组位置;其中,所述M为所述N与所述L的乘积;
将所述数据的ID与所述M进行取模运算,并将所述取模运算后得到的数值除以所述L,将得到的商值进行向上取整运算;根据所述向上取整运算后得到的数值,确定所述数据对应的在数组中的元素位置;其中,所述M为所述N与所述L的乘积;
将所述数据的ID与所述L进行取模运算,确定所述数据在元素中的数据位置;根据所述数据在元素中的所述数据位置,以及所述数据在元素中占用的位数,确定所述数据在元素中的起始位。
23.如权利要求20所述的设备,其特征在于,所述数据对应的存储索引信息还包括所述数据在元素中的结束位;
所述第二处理模块,具体用于:
根据所述L,以及所述数据的ID,确定所述数据在元素中的结束位。
24.如权利要求23所述的设备,其特征在于,所述第二处理模块,具体用于:
根据所述数据的ID与所述L进行取模运算后的数值,确定所述数据在元素中的数据位置;根据所述数据在元素中的数据位置,确定与所述数据相邻且位于所述数据位置之后的目标数据在元素中的起始位;根据所述目标数据在元素中的起始位,确定所述数据在元素中的结束位。
CN201610202017.4A 2016-03-31 2016-03-31 一种存储和读取数据的方法及设备 Active CN107291746B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610202017.4A CN107291746B (zh) 2016-03-31 2016-03-31 一种存储和读取数据的方法及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610202017.4A CN107291746B (zh) 2016-03-31 2016-03-31 一种存储和读取数据的方法及设备

Publications (2)

Publication Number Publication Date
CN107291746A CN107291746A (zh) 2017-10-24
CN107291746B true CN107291746B (zh) 2021-08-17

Family

ID=60087887

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610202017.4A Active CN107291746B (zh) 2016-03-31 2016-03-31 一种存储和读取数据的方法及设备

Country Status (1)

Country Link
CN (1) CN107291746B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108228101B (zh) * 2017-12-28 2022-03-15 北京盛和大地数据科技有限公司 一种管理数据的方法和系统
CN109992373B (zh) * 2017-12-29 2021-04-09 华为技术有限公司 资源调度方法、信息管理方法和装置及任务部署系统
CN108614679A (zh) * 2018-05-08 2018-10-02 南京航空航天大学 一种用于密立根油滴实验的数据处理方法
CN110489405B (zh) * 2019-07-12 2024-01-12 平安科技(深圳)有限公司 数据处理的方法、装置和服务器

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6601064B1 (en) * 1999-11-24 2003-07-29 Ncr Corporation Method and apparatus for fetching array based objects by direct delivery and batching
CN102609452A (zh) * 2012-01-11 2012-07-25 上海西本网络科技有限公司 数据的存储方法及装置
CN103514249A (zh) * 2013-06-20 2014-01-15 易乐天 一种数据自精简方法和系统及存储装置
CN105159941A (zh) * 2015-08-07 2015-12-16 小米科技有限责任公司 数据记录查找方法及装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6601064B1 (en) * 1999-11-24 2003-07-29 Ncr Corporation Method and apparatus for fetching array based objects by direct delivery and batching
CN102609452A (zh) * 2012-01-11 2012-07-25 上海西本网络科技有限公司 数据的存储方法及装置
CN103514249A (zh) * 2013-06-20 2014-01-15 易乐天 一种数据自精简方法和系统及存储装置
CN105159941A (zh) * 2015-08-07 2015-12-16 小米科技有限责任公司 数据记录查找方法及装置

Also Published As

Publication number Publication date
CN107291746A (zh) 2017-10-24

Similar Documents

Publication Publication Date Title
CN107291746B (zh) 一种存储和读取数据的方法及设备
CN102968498B (zh) 数据处理方法及装置
CN108334554B (zh) 一种新型的olap预计算模型及构建方法
CN105468642A (zh) 数据的存储方法及装置
US8996464B2 (en) Efficient partitioning techniques for massively distributed computation
CN108205577B (zh) 一种数组构建、数组查询的方法、装置及电子设备
CN105989076A (zh) 一种数据统计方法以及装置
CN111552692B (zh) 一种加减法布谷鸟过滤器
CN104504003A (zh) 图数据的搜索方法和装置
WO2018001085A1 (zh) 数据存储方法和装置、数据查找请求的处理方法和装置
CN104298541A (zh) 云存储系统的数据分布算法及其装置
CN110781184A (zh) 数据表的构建方法、装置、设备及存储介质
WO2017076297A1 (zh) 设备存放位置的查找方法及装置
CN109801693B (zh) 病案分组方法及装置、终端和计算机可读存储介质
CN108205571B (zh) 键值数据表的连接方法及装置
CN104346458A (zh) 数据存储方法和存储设备
CN110019205B (zh) 一种数据存储、还原方法、装置及计算机设备
CN111475105A (zh) 监控数据存储方法、设备、服务器及存储介质
CN110928900B (zh) 多表数据的查询方法、装置、终端以及计算机存储介质
CN111813111A (zh) 一种多机器人协同工作方法
CN116049180A (zh) 面向Paas平台的租户数据处理方法及装置
CN112947858B (zh) 一种raid 5校验值的更新方法、装置和介质
CN114416731A (zh) 数据存储方法、数据读取方法、装置、电子设备及介质
CN115328892B (zh) 一种业务表单数据结构处理方法、系统、电子设备及介质
CN104598385B (zh) 内存分配方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20221111

Address after: Unit 602-604, No. 601, Floor 6, Building 15, No. 1999, Yizhou Avenue, Chengdu Hi tech Zone, Chengdu Pilot Free Trade Zone, Sichuan Province

Patentee after: Alibaba (Chengdu) Software Technology Co.,Ltd.

Address before: Box four, 847, capital building, Grand Cayman Island capital, Cayman Islands, UK

Patentee before: ALIBABA GROUP HOLDING Ltd.