CN106202121B - 数据存储及导出的方法和设备 - Google Patents
数据存储及导出的方法和设备 Download PDFInfo
- Publication number
- CN106202121B CN106202121B CN201510230729.2A CN201510230729A CN106202121B CN 106202121 B CN106202121 B CN 106202121B CN 201510230729 A CN201510230729 A CN 201510230729A CN 106202121 B CN106202121 B CN 106202121B
- Authority
- CN
- China
- Prior art keywords
- data structure
- data
- information
- section
- recalls
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本申请提供一种用于数据存储和导出数据的方法和设备。具体地，在第一数据结构分片区地存储数据，并由第二数据结构和第三数据结构分别存储相关的调用信息、结构信息和位置信息。根据第二数据结构和第三数据结构分别所存储相关的调用信息、结构信息和位置信息查找第一数据结构存储相应数据的各片区，对相应各片区的数据进行并行处理。与现有技术相比，本申请通过划分出第一数据结构、第二数据结构和第三数据结构，从而使数据的存储结构清晰且便于查询，且极大地提高了数据导出效率。
Description
技术领域
本申请涉及通信及计算机领域，尤其涉及数据存储及导出的方法和设备。
背景技术
大数据带来的信息风暴正极大地改变着人们的工作、生活等，当前，有很多应用场景需要将存储在数据库中的数据导出到其他平台进行分析运算，通常的方法是利用SQL语句直接查询，需要服务端全表扫描，速度非常慢，若用该方法导出一张包含1亿条记录的表，耗时过长，数据导出效率过低，影响用户体验。
发明内容
本申请的目的是提供一种提高数据存储及导出效率的的方法和设备。
根据本申请的一个方面，提供了一种用于数据存储的方法，其中，所述方法包括：在第一数据结构中划分出若干片区，并在所述第一数据结构的各片区中存储所述数据；在第二数据结构中划分出若干片区，并在所述第二数据结构的各片区中存储若干第一调用信息，每一所述第一调用信息包括所述第一数据结构的一片区的主键信息和位置信息；以及在第三数据结构中存储若干第二调用信息，每一所述第二调用信息包括所述第二数据结构和第一数据结构的结构信息和位置信息。
进一步地，在所述第一数据结构中划分出若干片区包括：根据所述数据的配置信息，在所述第一数据结构中划分出若干片区，其中所述数据的配置信息包括配置大小、获取时间范围、获取主体以及记录数量中任一项或任几项。
进一步地，在所述第二数据结构中划分出若干片区包括：根据所述第一调用信息的配置信息，在所述第二数据结构中划分出若干片区，其中，所述第一调用信息的配置信息包括所述第一调用信息的配置大小、获取时间范围、获取主体以及记录数量中任一项或任几项。
进一步地，所述第二数据结构包括一层或至少两层第二子数据结构。
进一步地，所述第二数据结构包括至少两层第二子数据结构，则在所述第二数据结构的各片区中存储若干第一调用信息包括：在底层第二子数据结构的各片区中分行地存储若干所述第一调用信息；以及在其上每一层第二子数据结构的各片区中存储若干第三调用信息，其中，每一所述第三调用信息包括其下一层第二子数据结构的一片区的主键信息和位置信息。
根据本申请的一个方面，提供了一种用于数据导出的方法，其中，所述方法包括：根据查询请求，从第三数据结构所存储的第二调用信息调取相应第二数据结构和第一数据结构，其中每一所述第二调用信息包括所述第二数据结构和第一数据结构的结构信息和位置信息；从相应所述第二数据结构的各片区所存储的若干第一调用信息中查找满足所述查询请求的数据在所述第一数据结构的所有片区，其中，每一所述第一调用信息包括所述第一数据结构的一片区的主键信息和位置信息；以及对相应每一所述第一数据结构的片区所存储的数据进行并行处理。
进一步地，对相应每一所述第一数据结构的片区所存储的数据进行并行处理包括：根据所述查询请求的处理条件对相应每一所述第一数据结构的片区所存储的数据进行数据过滤和/或导出，其中所述处理条件包括过滤条件和/或导出条件。
进一步地，所述第二数据结构包括一层或至少两层第二子数据结构。
进一步地，所述第二数据结构包括至少两层第二子数据结构，则从相应所述第二数据结构的各片区所存储的若干第一调用信息中查找满足所述查询请求的数据在所述第一数据结构的所有片区包括：从顶层第二子数据结构的各片区所存储的第三调用信息中查找满足所述查询请求的数据在其下一层第二子数据结构的所有片区，其中，每一所述第三调用信息包括其下一层第二子数据结构的一片区的主键信息和位置信息；以及从底层所述第二子数据结构的各片区所存储的第一调用信息中查找满足所述查询请求的数据在所述第一数据结构的所有片区。
进一步地，所述方法还包括：依据所述主键信息，对所述第二数据结构的若干各片区进行比对以去重。
根据本申请的另一个方面，提供了一种用于数据存储的设备，其中，所述设备包括：第一装置，用于在第一数据结构中划分出若干片区，并在所述第一数据结构的各片区中存储所述数据；第二装置，用于在第二数据结构中划分出若干片区，并在所述第二数据结构的各片区中存储若干第一调用信息，每一所述第一调用信息包括所述第一数据结构的一片区的主键信息和位置信息；以及第三装置，用于在第三数据结构中存储若干第二调用信息，每一所述第二调用信息包括所述第二数据结构和第一数据结构的结构信息和位置信息。
进一步地，所述第一装置备包括：第一单元，用于根据所述数据的配置信息，在所述第一数据结构中划分出若干片区，其中所述数据的配置信息包括配置大小、获取时间范围、获取主体以及记录数量中任一项或任几项。
进一步地，所述第二装置包括：第二单元，用于根据所述第一调用信息的配置信息，在所述第一数据结构中划分出若干片区，其中，所述第一调用信息的配置信息包括所述第一调用信息的配置大小、获取时间范围、获取主体以及记录数量中任一项或任几项。
进一步地，所述第二数据结构包括一层或至少两层第二子数据结构。
进一步地，所述第二数据结构包括至少两层第二子数据结构，则所述第二装置包括：第三单元，用于在底层第二子数据结构的各片区中分行地存储若干所述第一调用信息；以及第四单元，用于在其上每一层第二子数据结构的各片区中存储若干第三调用信息，其中，每一所述第三调用信息包括其下一层第二子数据结构的一片区的主键信息和位置信息。
根据本申请的另一个方面，提供了一种用于数据导出的设备，其中，所述设备包括：第四装置，用于根据查询请求，从第三数据结构所存储的第二调用信息调取相应第二数据结构和第一数据结构，其中每一所述第二调用信息包括所述第二数据结构和第一数据结构的结构信息和位置信息；第五装置，用于从相应所述第二数据结构的各片区所存储的若干第一调用信息中查找满足所述查询请求的数据在所述第一数据结构的所有片区，其中，每一所述第一调用信息包括所述第一数据结构的一片区的主键信息和位置信息；以及第六装置，用于对相应每一所述第一数据结构的片区所存储的数据进行并行处理。
进一步地，所述第六装置包括：第五单元，用于根据所述查询请求的处理条件对相应每一所述第一数据结构的片区所存储的数据进行数据过滤和/或导出，其中所述处理条件包括过滤条件和/或导出条件。
进一步地，所述第二数据结构包括一层或至少两层第二子数据结构。
进一步地，所述第二数据结构包括至少两层第二子数据结构，则所述第五装置包括：第六单元，用于从顶层第二子数据结构的各片区所存储的第三调用信息中查找满足所述查询请求的数据在其下一层第二子数据结构的所有片区，其中，每一所述第三调用信息包括其下一层第二子数据结构的一片区的主键信息和位置信息；以及第七单元，用于从底层所述第二子数据结构的各片区所存储的第一调用信息中查找满足所述查询请求的数据在所述第一数据结构的所有片区。
进一步地，所述设备还包括：第七装置，用于依据所述主键信息，对所述第二数据结构的若干各片区进行比对以去重。
与现有技术相比，本申请一方面所述的数据存储方法及设备通过划分出第一数据结构、第二数据结构和第三数据结构，由第一数据结构分片区地存储数据，并由第二数据结构和第三数据结构分别存储相关的调用信息、结构信息和位置信息，从而使数据的存储结构清晰且便于查询。
进一步的，本申请另一方面所述的数据导出方法及设备，根据第二数据结构和第三数据结构分别所存储相关的调用信息、结构信息和位置信息查找第一数据结构存储相应数据的各片区，对相应各片区的数据进行并行处理，从而极大地提高了数据导出效率。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：
图1为根据本申请一个方面的一种用于数据存储的设备示意图；
图2为根据本申请一个方面的一种用于数据导出的设备示意图；
图3为根据本申请一个优选实施例的一种数据存储结构示意图；
图4为根据本申请另一个方面的一种用于数据存储的方法流程图；
图5为根据本申请另一个方面的一种用于数据导出的方法流程图。
附图中相同或相似的附图标记代表相同或相似的部件。
具体实施方式
在本申请一个典型的配置中，终端、服务网络的设备和可信方均包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括非暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
图1示出根据本申请一个方面的一种用于数据存储的设备1，其中，设备1包括第一装置11、第二装置12和第三装置13。
具体地，所述第一装置11在第一数据结构中划分出若干片区，并在所述第一数据结构的各片区中存储所述数据；所述第二装置12在第二数据结构中划分出若干片区，并在所述第二数据结构的各片区中存储若干第一调用信息，每一所述第一调用信息包括所述第一数据结构的一片区的主键信息和位置信息；所述第三装置13在第三数据结构中存储若干第二调用信息，每一所述第二调用信息包括所述第二数据结构和第一数据结构的结构信息和位置信息。
在此，所述设备1包括但不限于用户设备、网络设备、或用户设备与网络设备通过网络相集成所构成的设备。所述用户设备其包括但不限于任何一种可与用户通过触摸板进行人机交互的移动电子产品，例如智能手机、PDA等，所述移动电子产品可以采用任意操作系统，如android操作系统、iOS操作系统等。其中，所述网络设备包括一种能够按照事先设定或存储的指令，自动进行数值计算和信息处理的电子设备，其硬件包括但不限于微处理器、专用集成电路(ASIC)、可编程门阵列(FPGA)、数字处理器(DSP)、嵌入式设备等。所述网络设备其包括但不限于计算机、网络主机、单个网络服务器、多个网络服务器集或多个服务器构成的云；在此，云由基于云计算(Cloud Computing)的大量计算机或网络服务器构成，其中，云计算是分布式计算的一种，由一群松散耦合的计算机集组成的一个虚拟超级计算机。所述网络包括但不限于互联网、广域网、城域网、局域网、VPN网络、无线自组织网络(AdHoc网络)等。本领域技术人员应能理解上述设备1仅为举例，其他现有的或今后可能出现的设备1如可适用于本申请，也应包含在本申请保护范围以内，并在此以引用方式包含于此。
上述各装置之间是持续不断工作的，在此，本领域技术人员应理解“持续”是指上述各装置分别实时地或者按照设定的或实时调整的工作模式要求，例如所述第一装置11持续在第一数据结构中划分出若干片区并在各片区中存储所述数据，所述第二装置12持续在第二数据结构中划分出若干片区并在各片区中存储若干第一调用信息，所述第三装置13持续在第三数据结构中存储若干第二调用信息等，直至所述设备1停止工作。
所述第一装置11在第一数据结构中划分出若干片区，并在所述第一数据结构的各片区中存储所述数据。
具体地，所述第一装置11可以包括第一单元(图中未示出)。所述第一单元根据所述数据的配置信息，在所述第一数据结构中划分出若干片区(Tablet)，其中，所述数据的配置信息可以包括配置大小、获取时间范围、获取主体以及记录数量中任一项或任几项。
在具体的实施例中，所述第一单元根据所述数据的配置大小每隔一段时间将第一数据结构分裂成多个片区(例如但不限于，每日进行一次分裂，每一片区存储容量为256M)，每个片区存储部分数据，并且，所述第一数据结构以表的形式存储，即可以具有一个或多个第一数据结构，每个第一数据结构都包括若干分区，所有所述第一数据结构的所有分片一起构成用户的所有数据。
所述第二装置12在第二数据结构中划分出若干片区，并在所述第二数据结构的各片区中存储若干第一调用信息，每一所述第一调用信息包括所述第一数据结构的一片区的主键信息和位置信息。
在此，所述一片区的主键信息包括该片区所存储的数据的主键值的最小到最大的范围的信息，其中，所述数据的主键值用于唯一地标识第一数据结构相应片区中存储的一个所述数据，每一所述第一调用信息包括第一数据结构相应片区的位置信息及关于片区内所存储的数据的主键信息。
具体地，所述第二装置12可以包括第二单元(图中未示出)。所述第二单元根据所述第一调用信息的配置信息，在所述第二数据结构中划分出若干片区，其中，所述第一调用信息的配置信息包括所述第一调用信息的配置大小、获取时间范围、获取主体以及记录数量中任一项或任几项。
在具体的实施例中，所述第二单元根据所述第一调用信息的配置大小每隔一段时间将第二数据结构分裂成多个片区(例如但不限于，每日进行一次分裂，每一片区存储容量为256M)，每个片区存储所述第一调用信息，所有所述第二数据结构的所有分片一起构成所有所述第一调用信息。
优选地，所述第二数据结构可以包括一层或至少两层第二子数据结构。
具体地，所述第二数据结构以表的形式存储，即每层可以具有一个或多个第二子数据结构，每个第二子数据结构都包括若干分区。
更优选地，所述第二数据结构包括至少两层第二子数据结构，所述第二装置12包括第三单元123(图中未示出)和第四单元124(图中未示出)。其中，所述第三单元在底层第二子数据结构的各片区中分行地存储若干所述第一调用信息；所述第四单元在其上每一层第二子数据结构的各片区中存储若干第三调用信息，其中，每一所述第三调用信息包括其下一层第二子数据结构的一片区的主键信息和位置信息。在此，所述其下一层第二子数据结构的一片区的主键信息包括该片区所存储的所有第一调用信息相应的第一数据结构片区的主键信息。其中，第一数据结构片区的主键信息包括该片区所存储的数据的主键值的最小到最大的范围的信息。
所述第三装置13在第三数据结构中存储若干第二调用信息，每一所述第二调用信息包括所述第二数据结构和第一数据结构的结构信息和位置信息。其中，所述结构信息包括第一数据结构相应片区的主键信息和第二数据结构相应片区的标识信息(ID)，所述相应片区的标识信息包括该片区内存储的所有第一调用信息的标识值，所述标识值用于唯一地标识第二数据结构中的一个第一调用信息。
图3为根据本申请一个优选实施例的一种数据存储结构示意图，从右至左依次为第一数据结构100、第二数据结构200、第三数据结构300，其中，第二数据结构200包括底层第二子数据结构202和顶层第二子数据结构201。第一数据结构100由多个表(图中示出2个)构成，第一数据结构100每日按照配置大小256M分裂成多个片区，所述数据存储在各个片区中，图中示出的A片区为第一数据结构100的一个片区。第二数据结构200的每层由多个表(图中示出了底层第二子数据结构202的2个表和顶层第二子数据结构201的2个表)构成。底层第二子数据结构202也可按照配置信息分裂成多个片区，各个片区中分行地存储若干第一调用信息，图中示出的B片区为底层第二子数据结构202的一个片区，B1为存储于B片区内的一个第一调用信息。顶层第二子数据结构201的片区不可分裂成多个片区，即顶层第二子数据结构201中的一个表仅由一个片区构成，片区中存储若干第三调用信息，图中示出的C片区为顶层第二子数据结构201的一个片区，C1为存储于C片区内的一个第三调用信息。第三数据结构300中存储若干第二调用信息，图中示出的D1为一个第二调用信息。如图中示出的对应关系，第一数据结构100中的A片区的主键信息和位置信息存储于底层第二子数据结构202的B片区内的第一调用信息B1中，底层第二子数据结构202中的B片区的主键信息和位置信息存储于顶层第二子数据结构201的C片区内的第三调用信息C1中，顶层第二子数据结构201中的C片区以及第一数据结构100中A片区所在的表的结构信息和位置信息存储于第三数据结构300中的第二调用信息D1中。
当然，本领域技术人员应该能够理解上述图3的数据存储结构示意图及相应描述仅为举例，其他现有的或今后可能出现的数据存储结构如可适用于本申请，例如第二数据结构包括三层、四层甚至更多层第二子数据结构，第一数据结构包括多个表形式的数据结构，或第一数据结构、第二数据结构和第三数据结构采用其他形式存储数据等，也应包含在本申请保护范围以内，并在此以引用方式包含于此。
图2示出根据本申请一个方面的一种用于数据导出的设备2，其中，设备2包括第四装置24、第五装置25和第六装置26。具体地，所述第四装置24根据查询请求，从第三数据结构所存储的第二调用信息调取相应第二数据结构和第一数据结构，其中每一所述第二调用信息包括所述第二数据结构和第一数据结构的结构信息和位置信息；所述第五装置25从相应所述第二数据结构的各片区所存储的若干第一调用信息中查找满足所述查询请求的数据在所述第一数据结构的所有片区，其中，每一所述第一调用信息包括所述第一数据结构的一片区的主键信息和位置信息；所述第六装置26对相应每一所述第一数据结构的片区所存储的数据进行并行处理。
在此，所述设备2包括但不限于用户设备、网络设备、或用户设备与网络设备通过网络相集成所构成的设备。所述用户设备其包括但不限于任何一种可与用户通过触摸板进行人机交互的移动电子产品，例如智能手机、PDA等，所述移动电子产品可以采用任意操作系统，如android操作系统、iOS操作系统等。其中，所述网络设备包括一种能够按照事先设定或存储的指令，自动进行数值计算和信息处理的电子设备，其硬件包括但不限于微处理器、专用集成电路(ASIC)、可编程门阵列(FPGA)、数字处理器(DSP)、嵌入式设备等。所述网络设备其包括但不限于计算机、网络主机、单个网络服务器、多个网络服务器集或多个服务器构成的云；在此，云由基于云计算(Cloud Computing)的大量计算机或网络服务器构成，其中，云计算是分布式计算的一种，由一群松散耦合的计算机集组成的一个虚拟超级计算机。所述网络包括但不限于互联网、广域网、城域网、局域网、VPN网络、无线自组织网络(AdHoc网络)等。本领域技术人员应能理解上述设备2仅为举例，其他现有的或今后可能出现的设备2如可适用于本申请，也应包含在本申请保护范围以内，并在此以引用方式包含于此。
上述各装置之间是持续不断工作的，在此，本领域技术人员应理解“持续”是指上述各装置分别实时地或者按照设定的或实时调整的工作模式要求，例如第四装置24持续地根据查询请求，从第三数据结构所存储的第二调用信息调取相应第二数据结构和第一数据结构，第五装置25持续地从相应所述第二数据结构的各片区所存储的若干第一调用信息中查找满足所述查询请求的数据在所述第一数据结构的所有片区，第六装置26持续地对相应每一所述第一数据结构的片区所存储的数据进行并行处理等，直至所述设备2停止工作。
所述第四装置24根据查询请求，从第三数据结构所存储的第二调用信息调取相应第二数据结构和第一数据结构，其中每一所述第二调用信息包括所述第二数据结构和第一数据结构的结构信息和位置信息。其中，所述结构信息包括第一数据结构相应片区的主键信息和第二数据结构相应片区的标识信息，所述相应片区的主键信息包括该片区所存储的数据的主键值的最小到最大的范围的信息，所述数据的主键值用于唯一地标识第一数据结构相应片区中存储的一个所述数据，所述相应片区的标识信息包括该片区内存储的所有第一调用信息的标识值，所述标识值用于唯一地标识第二数据结构中的一个第一调用信息。
所述第五装置25从相应所述第二数据结构的各片区所存储的若干第一调用信息中查找满足所述查询请求的数据在所述第一数据结构的所有片区，其中，每一所述第一调用信息包括所述第一数据结构的一片区的主键信息和位置信息。
优选地，所述第二数据结构可以包括一层或至少两层第二子数据结构。
更优选地，所述第二数据结构包括至少两层第二子数据结构，所述第五装置25包括第六单元256(图中未示出)和第七单元257(图中未示出)。其中，所述第六单元从顶层第二子数据结构的各片区所存储的第三调用信息中查找满足所述查询请求的数据在其下一层第二子数据结构的所有片区，其中，每一所述第三调用信息包括其下一层第二子数据结构的一片区的主键信息和位置信息；所述第七单元从底层所述第二子数据结构的各片区所存储的第一调用信息中查找满足所述查询请求的数据在所述第一数据结构的所有片区。
所述第六装置26对相应每一所述第一数据结构的片区所存储的数据进行并行处理。
具体地，所述第六装置26可以包括第五单元(图中未示出)。所述第五单元根据所述查询请求的处理条件对相应每一所述第一数据结构的片区所存储的数据进行数据过滤和/或导出，其中所述处理条件包括过滤条件和/或导出条件。
优选地，所述设备2可以包括第七装置27(图中未示出)。所述第七装置依据所述主键信息，对所述第二数据结构的若干各片区进行比对以去重。
例如，接上例，如图3所示，假设符合查询请求的数据存储在第一数据结构100的A片区中，那么所述第四装置24从第三数据结构300中的第二调用信息C1中调取顶层第二子数据结构201中C片区以及第一数据结构100中A片区所在的表的结构信息和位置信息。所述第五装置25的第六单元从顶层第二子数据结构201中的C片区所存储的第三调用信息C1中查找满足查询请求的数据在底层第二子数据结构202的所有片区。底层第二子数据结构202中有多个第一调用信息B1的备份，以防止因个别机器故障而导致的不必要损失，假设底层第二子数据结构202中的B’片区中的第一调用信息B’1与第一调用信息B1存储的第一数据结构片区100的主键信息相同(即主键值的最小到最大的范围相同)，那么所述第七装置27通过比对B1与B’1内存储的第一数据结构100片区的主键信息，发现重复并进行去重操作得到B1。所述第七单元从底层第二子数据结构202中的第一调用信息B1中查找满足查询请求的数据在第一数据结构100的所有片区，从而得到A片区。所述第六装置26对第一数据结构100的A片区所存储的数据进行并行处理。
当然，本领域技术人员应该能够理解上述图3的数据存储结构示意图及相应描述仅为举例，其他现有的或今后可能出现的数据存储结构如可适用于本申请，例如第二数据结构包括三层、四层甚至更多层第二子数据结构，第一数据结构包括多个表形式的数据结构，或第一数据结构、第二数据结构和第三数据结构采用其他形式存储数据等，也应包含在本申请保护范围以内，并在此以引用方式包含于此。
图4示出根据本申请另一个方面的一种用于数据存储的方法流程图。
该方法包括步骤S41、步骤S42和步骤S43。具体地，在步骤S41中，设备1在第一数据结构中划分出若干片区，并在所述第一数据结构的各片区中存储所述数据；在步骤S42中，设备1在第二数据结构中划分出若干片区，并在所述第二数据结构的各片区中存储若干第一调用信息，每一所述第一调用信息包括所述第一数据结构的一片区的主键信息和位置信息；在步骤S43中，设备1在第三数据结构中存储若干第二调用信息，每一所述第二调用信息包括所述第二数据结构和第一数据结构的结构信息和位置信息。
在此，所述设备1包括但不限于用户设备、网络设备、或用户设备与网络设备通过网络相集成所构成的设备。所述用户设备其包括但不限于任何一种可与用户通过触摸板进行人机交互的移动电子产品，例如智能手机、PDA等，所述移动电子产品可以采用任意操作系统，如android操作系统、iOS操作系统等。其中，所述网络设备包括一种能够按照事先设定或存储的指令，自动进行数值计算和信息处理的电子设备，其硬件包括但不限于微处理器、专用集成电路(ASIC)、可编程门阵列(FPGA)、数字处理器(DSP)、嵌入式设备等。所述网络设备其包括但不限于计算机、网络主机、单个网络服务器、多个网络服务器集或多个服务器构成的云；在此，云由基于云计算(Cloud Computing)的大量计算机或网络服务器构成，其中，云计算是分布式计算的一种，由一群松散耦合的计算机集组成的一个虚拟超级计算机。所述网络包括但不限于互联网、广域网、城域网、局域网、VPN网络、无线自组织网络(AdHoc网络)等。本领域技术人员应能理解上述设备1仅为举例，其他现有的或今后可能出现的设备1如可适用于本申请，也应包含在本申请保护范围以内，并在此以引用方式包含于此。
设备1的各个步骤之间是持续不断工作的。具体地，在步骤S41中，设备1持续在第一数据结构中划分出若干片区并在各片区中存储所述数据，在步骤S42中，设备1持续在第二数据结构中划分出若干片区并在各片区中存储若干第一调用信息，在步骤S43中，设备1持续在第三数据结构中存储若干第二调用信息等，直至所述设备1停止工作。
具体地，在步骤S41中，设备1根据所述数据的配置信息，在所述第一数据结构中划分出若干片区(Tablet)，其中，所述数据的配置信息可以包括配置大小、获取时间范围、获取主体以及记录数量中任一项或任几项。
在具体的实施例中，设备1根据所述数据的配置大小每隔一段时间将第一数据结构分裂成多个片区(例如但不限于，每日进行一次分裂，每一片区存储容量为256M)，每个片区存储部分数据，并且，所述第一数据结构以表的形式存储，即可以具有一个或多个第一数据结构，每个第一数据结构都包括若干分区，所有所述第一数据结构的所有分片一起构成用户的所有数据。
在步骤S42中，设备1在第二数据结构中划分出若干片区，并在所述第二数据结构的各片区中存储若干第一调用信息，每一所述第一调用信息包括所述第一数据结构的一片区的主键信息和位置信息。
在此，所述一片区的主键信息包括该片区所存储的数据的主键值的最小到最大的范围的信息，其中，所述数据的主键值用于唯一地标识第一数据结构相应片区中存储的一个所述数据，每一所述第一调用信息包括第一数据结构相应片区的位置信息及关于片区内所存储的数据的主键信息。
具体地，在步骤S42中，设备1根据所述第一调用信息的配置信息，在所述第二数据结构中划分出若干片区，其中，所述第一调用信息的配置信息包括所述第一调用信息的配置大小、获取时间范围、获取主体以及记录数量中任一项或任几项。
在具体的实施例中，设备1根据所述第一调用信息的配置大小每隔一段时间将第二数据结构分裂成多个片区(例如但不限于，每日进行一次分裂，每一片区存储容量为256M)，每个片区存储所述第一调用信息，所有所述第二数据结构的所有分片一起构成所有所述第一调用信息。
优选地，所述第二数据结构可以包括一层或至少两层第二子数据结构。
具体地，所述第二数据结构以表的形式存储，即每层可以具有一个或多个第二子数据结构，每个第二子数据结构都包括若干分区。
更优选地，所述第二数据结构包括至少两层第二子数据结构，步骤S42包括步骤S421(图中未示出)和步骤S422(图中未示出)。其中，在步骤S421中，设备1在底层第二子数据结构的各片区中分行地存储若干所述第一调用信息；在步骤S422中，设备1在其上每一层第二子数据结构的各片区中存储若干第三调用信息，其中，每一所述第三调用信息包括其下一层第二子数据结构的一片区的主键信息和位置信息。在此，所述其下一层第二子数据结构的一片区的主键信息包括该片区所存储的所有第一调用信息相应的第一数据结构片区的主键信息。其中，第一数据结构片区的主键信息包括该片区所存储的数据的主键值的最小到最大的范围的信息。
在步骤S43中，设备1在第三数据结构中存储若干第二调用信息，每一所述第二调用信息包括所述第二数据结构和第一数据结构的结构信息和位置信息。其中，所述结构信息包括第一数据结构相应片区的主键信息和第二数据结构相应片区的标识信息(ID)，所述相应片区的标识信息包括该片区内存储的所有第一调用信息的标识值，所述标识值用于唯一地标识第二数据结构中的一个第一调用信息。
例如，如图3所示，从右至左依次为第一数据结构100、第二数据结构200、第三数据结构300，其中，第二数据结构200包括底层第二子数据结构202和顶层第二子数据结构201。第一数据结构100由多个表(图中示出2个)构成，第一数据结构100每日按照配置大小256M分裂成多个片区，所述数据存储在各个片区中，图中示出的A片区为第一数据结构100的一个片区。第二数据结构200的每层由多个表(图中示出了底层第二子数据结构202的2个表和顶层第二子数据结构201的2个表)构成。底层第二子数据结构202也可按照配置信息分裂成多个片区，各个片区中分行地存储若干第一调用信息，图中示出的B片区为底层第二子数据结构202的一个片区，B1为存储于B片区内的一个第一调用信息。顶层第二子数据结构201的片区不可分裂成多个片区，即顶层第二子数据结构201中的一个表仅由一个片区构成，片区中存储若干第三调用信息，图中示出的C片区为顶层第二子数据结构201的一个片区，C1为存储于C片区内的一个第三调用信息。第三数据结构300中存储若干第二调用信息，图中示出的D1为一个第二调用信息。如图中示出的对应关系，第一数据结构100中的A片区的主键信息和位置信息存储于底层第二子数据结构202的B片区内的第一调用信息B1中，底层第二子数据结构202中的B片区的主键信息和位置信息存储于顶层第二子数据结构201的C片区内的第三调用信息C1中，顶层第二子数据结构201中的C片区以及第一数据结构100中A片区所在的表的结构信息和位置信息存储于第三数据结构300中的第二调用信息D1中。
当然，本领域技术人员应该能够理解上述图3的数据存储结构示意图及相应描述仅为举例，其他现有的或今后可能出现的数据存储结构如可适用于本申请，例如第二数据结构包括三层、四层甚至更多层第二子数据结构，第一数据结构包括多个表形式的数据结构，或第一数据结构、第二数据结构和第三数据结构采用其他形式存储数据等，也应包含在本申请保护范围以内，并在此以引用方式包含于此。
图5示出根据本申请另一个方面的一种用于数据导出的方法流程图。
该方法包括步骤S51、步骤S52和步骤S53。具体地，在步骤S51中，设备2根据查询请求，从第三数据结构所存储的第二调用信息调取相应第二数据结构和第一数据结构，其中每一所述第二调用信息包括所述第二数据结构和第一数据结构的结构信息和位置信息；在步骤S52中，设备2从相应所述第二数据结构的各片区所存储的若干第一调用信息中查找满足所述查询请求的数据在所述第一数据结构的所有片区，其中，每一所述第一调用信息包括所述第一数据结构的一片区的主键信息和位置信息；在步骤S53中，设备2对相应每一所述第一数据结构的片区所存储的数据进行并行处理。
在此，所述设备2包括但不限于用户设备、网络设备、或用户设备与网络设备通过网络相集成所构成的设备。所述用户设备其包括但不限于任何一种可与用户通过触摸板进行人机交互的移动电子产品，例如智能手机、PDA等，所述移动电子产品可以采用任意操作系统，如android操作系统、iOS操作系统等。其中，所述网络设备包括一种能够按照事先设定或存储的指令，自动进行数值计算和信息处理的电子设备，其硬件包括但不限于微处理器、专用集成电路(ASIC)、可编程门阵列(FPGA)、数字处理器(DSP)、嵌入式设备等。所述网络设备其包括但不限于计算机、网络主机、单个网络服务器、多个网络服务器集或多个服务器构成的云；在此，云由基于云计算(Cloud Computing)的大量计算机或网络服务器构成，其中，云计算是分布式计算的一种，由一群松散耦合的计算机集组成的一个虚拟超级计算机。所述网络包括但不限于互联网、广域网、城域网、局域网、VPN网络、无线自组织网络(AdHoc网络)等。本领域技术人员应能理解上述设备2仅为举例，其他现有的或今后可能出现的设备2如可适用于本申请，也应包含在本申请保护范围以内，并在此以引用方式包含于此。
设备2的各个步骤之间是持续不断工作的。具体地，在步骤S51中，设备2持续地根据查询请求，从第三数据结构所存储的第二调用信息调取相应第二数据结构和第一数据结构，在步骤S52中，设备2持续地从相应所述第二数据结构的各片区所存储的若干第一调用信息中查找满足所述查询请求的数据在所述第一数据结构的所有片区，在步骤S53中，设备2持续地对相应每一所述第一数据结构的片区所存储的数据进行并行处理等，直至所述设备2停止工作。
在步骤S51中，设备2根据查询请求，从第三数据结构所存储的第二调用信息调取相应第二数据结构和第一数据结构，其中每一所述第二调用信息包括所述第二数据结构和第一数据结构的结构信息和位置信息。其中，所述结构信息包括第一数据结构相应片区的主键信息和第二数据结构相应片区的标识信息，所述相应片区的主键信息包括该片区所存储的数据的主键值的最小到最大的范围的信息，所述数据的主键值用于唯一地标识第一数据结构相应片区中存储的一个所述数据，所述相应片区的标识信息包括该片区内存储的所有第一调用信息的标识值，所述标识值用于唯一地标识第二数据结构中的一个第一调用信息。
在步骤S52中，设备2从相应所述第二数据结构的各片区所存储的若干第一调用信息中查找满足所述查询请求的数据在所述第一数据结构的所有片区，其中，每一所述第一调用信息包括所述第一数据结构的一片区的主键信息和位置信息。
优选地，所述第二数据结构可以包括一层或至少两层第二子数据结构。
更优选地，所述第二数据结构包括至少两层第二子数据结构，步骤S52包括步骤S521(图中未示出)和步骤S522(图中未示出)。其中，在步骤S521中，设备2从顶层第二子数据结构的各片区所存储的第三调用信息中查找满足所述查询请求的数据在其下一层第二子数据结构的所有片区，其中，每一所述第三调用信息包括其下一层第二子数据结构的一片区的主键信息和位置信息；在步骤S522中，设备2从底层所述第二子数据结构的各片区所存储的第一调用信息中查找满足所述查询请求的数据在所述第一数据结构的所有片区。
在步骤S53中，设备2对相应每一所述第一数据结构的片区所存储的数据进行并行处理。
具体地，在步骤S53中，设备2根据所述查询请求的处理条件对相应每一所述第一数据结构的片区所存储的数据进行数据过滤和/或导出，其中所述处理条件包括过滤条件和/或导出条件。
优选地，所述用于数据导出的方法可以包括步骤S54(图中未示出)。在步骤S54中，设备2依据所述主键信息，对所述第二数据结构的若干各片区进行比对以去重。
例如，接上例，如图3所示，假设符合查询请求的数据存储在第一数据结构100的A片区中，那么在步骤S51中，设备2从第三数据结构300中的第二调用信息C1中调取顶层第二子数据结构200中C片区以及第一数据结构100中A片区所在的表的结构信息和位置信息。在步骤S521中，设备2从顶层第二子数据结构201中的C片区所存储的第三调用信息C1中查找满足查询请求的数据在底层第二子数据结构202的所有片区。底层第二子数据结构202中有多个第一调用信息B1的备份，以防止因个别机器故障而导致的不必要损失，假设底层第二子数据结构202中的B’片区中的第一调用信息B’1与第一调用信息B1存储的第一数据结构100片区的主键信息相同(即主键值的最小到最大的范围相同)，那么在步骤S54中，设备2通过比对B1与B’1内存储的第一数据结构100片区的主键信息，发现重复并进行去重操作得到B1。在步骤S522中，设备2从底层第二子数据结构202中的第一调用信息B1中查找满足查询请求的数据在第一数据结构100的所有片区，从而得到A片区。在设备S53中，设备2对第一数据结构100的A片区所存储的数据进行并行处理。
当然，本领域技术人员应该能够理解上述图3的数据存储结构示意图及相应描述仅为举例，其他现有的或今后可能出现的数据存储结构如可适用于本申请，例如第二数据结构包括三层、四层甚至更多层第二子数据结构，第一数据结构包括多个表形式的数据结构，或第一数据结构、第二数据结构和第三数据结构采用其他形式存储数据等，也应包含在本申请保护范围以内，并在此以引用方式包含于此。
显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。
需要注意的是，本申请可在软件和/或软件与硬件的组合体中被实施，例如，可采用专用集成电路(ASIC)、通用目的计算机或任何其他类似硬件设备来实现。在一个实施例中，本申请的软件程序可以通过处理器执行以实现上文所述步骤或功能。同样地，本申请的软件程序(包括相关的数据结构)可以被存储到计算机可读记录介质中，例如，RAM存储器，磁或光驱动器或软磁盘及类似设备。另外，本申请的一些步骤或功能可采用硬件来实现，例如，作为与处理器配合从而执行各个步骤或功能的电路。
另外，本申请的一部分可被应用为计算机程序产品，例如计算机程序指令，当其被计算机执行时，通过该计算机的操作，可以调用或提供根据本申请的方法和/或技术方案。而调用本申请的方法的程序指令，可能被存储在固定的或可移动的记录介质中，和/或通过广播或其他信号承载媒体中的数据流而被传输，和/或被存储在根据所述程序指令运行的计算机设备的工作存储器中。在此，根据本申请的一个实施例包括一个装置，该装置包括用于存储计算机程序指令的存储器和用于执行程序指令的处理器，其中，当该计算机程序指令被该处理器执行时，触发该装置运行基于前述根据本申请的多个实施例的方法和/或技术方案。
对于本领域技术人员而言，显然本申请不限于上述示范性实施例的细节，而且在不背离本申请的精神或基本特征的情况下，能够以其他的具体形式实现本申请。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本申请的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本申请内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。此外，显然“包括”一词不排除其他单元或步骤，单数不排除复数。装置权利要求中陈述的多个单元或装置也可以由一个单元或装置通过软件或者硬件来实现。第一，第二等词语用来表示名称，而并不表示任何特定的顺序。
Claims (20)
1.一种用于数据存储的方法，其中，所述方法包括：
在第一数据结构中划分出若干片区，并在所述第一数据结构的各片区中存储所述数据；
在第二数据结构中划分出若干片区，并在所述第二数据结构的各片区中存储若干第一调用信息，每一所述第一调用信息包括所述第一数据结构的一片区的主键信息和位置信息；以及
在第三数据结构中存储若干第二调用信息，每一所述第二调用信息包括所述第二数据结构和第一数据结构的结构信息和位置信息。
2.根据权利要求1所述的数据存储方法，其中，在所述第一数据结构中划分出若干片区包括：
根据所述数据的配置信息，在所述第一数据结构中划分出若干片区，其中所述数据的配置信息包括配置大小、获取时间范围、获取主体以及记录数量中任一项或任几项。
3.根据权利要求1所述的数据存储方法，其中，在所述第二数据结构中划分出若干片区包括：
根据所述第一调用信息的配置信息，在所述第二数据结构中划分出若干片区，其中，所述第一调用信息的配置信息包括所述第一调用信息的配置大小、获取时间范围、获取主体以及记录数量中任一项或任几项。
4.根据权利要求1至3中任一项所述的方法，其中，所述第二数据结构包括一层或至少两层第二子数据结构。
5.根据权利要求4所述的方法，其中，所述第二数据结构包括至少两层第二子数据结构，则在所述第二数据结构的各片区中存储若干第一调用信息包括：
在底层第二子数据结构的各片区中分行地存储若干所述第一调用信息；以及
在其上每一层第二子数据结构的各片区中存储若干第三调用信息，其中，每一所述第三调用信息包括其下一层第二子数据结构的一片区的主键信息和位置信息。
6.一种用于数据导出的方法，其中，所述方法包括：
根据查询请求，从第三数据结构所存储的第二调用信息调取相应第二数据结构和第一数据结构，其中每一所述第二调用信息包括所述第二数据结构和第一数据结构的结构信息和位置信息；
从相应所述第二数据结构的各片区所存储的若干第一调用信息中查找满足所述查询请求的数据在所述第一数据结构的所有片区，其中，每一所述第一调用信息包括所述第一数据结构的一片区的主键信息和位置信息；以及
对相应每一所述第一数据结构的片区所存储的数据进行并行处理。
7.根据权利要求6所述的方法，其中，对相应每一所述第一数据结构的片区所存储的数据进行并行处理包括：
根据所述查询请求的处理条件对相应每一所述第一数据结构的片区所存储的数据进行数据过滤和/或导出，其中所述处理条件包括过滤条件和/或导出条件。
8.根据权利要求6所述的方法，其中，所述第二数据结构包括一层或至少两层第二子数据结构。
9.根据权利要求8所述的方法，其中，所述第二数据结构包括至少两层第二子数据结构，则从相应所述第二数据结构的各片区所存储的若干第一调用信息中查找满足所述查询请求的数据在所述第一数据结构的所有片区包括：
从顶层第二子数据结构的各片区所存储的第三调用信息中查找满足所述查询请求的数据在其下一层第二子数据结构的所有片区，其中，每一所述第三调用信息包括其下一层第二子数据结构的一片区的主键信息和位置信息；以及
从底层所述第二子数据结构的各片区所存储的第一调用信息中查找满足所述查询请求的数据在所述第一数据结构的所有片区。
10.根据权利要求6至9中任一项所述的方法，其中，所述方法还包括：
依据所述主键信息，对所述第二数据结构的若干各片区进行比对以去重。
11.一种用于数据存储的设备，其中，所述设备包括：
第一装置，用于在第一数据结构中划分出若干片区，并在所述第一数据结构的各片区中存储所述数据；
第二装置，用于在第二数据结构中划分出若干片区，并在所述第二数据结构的各片区中存储若干第一调用信息，每一所述第一调用信息包括所述第一数据结构的一片区的主键信息和位置信息；以及
第三装置，用于在第三数据结构中存储若干第二调用信息，每一所述第二调用信息包括所述第二数据结构和第一数据结构的结构信息和位置信息。
12.根据权利要求11所述的设备，其中，所述第一装置包括：
第一单元，用于根据所述数据的配置信息，在所述第一数据结构中划分出若干片区，其中所述数据的配置信息包括配置大小、获取时间范围、获取主体以及记录数量中任一项或任几项。
13.根据权利要求11所述的设备，其中，所述第二装置包括：
第二单元，用于根据所述第一调用信息的配置信息，在所述第一数据结构中划分出若干片区，其中，所述第一调用信息的配置信息包括所述第一调用信息的配置大小、获取时间范围、获取主体以及记录数量中任一项或任几项。
14.根据权利要求11至13中任一项所述的设备，其中，所述第二数据结构包括一层或至少两层第二子数据结构。
15.根据权利要求14所述的设备，其中，所述第二数据结构包括至少两层第二子数据结构，则所述第二装置包括：
第三单元，用于在底层第二子数据结构的各片区中分行地存储若干所述第一调用信息；以及
第四单元，用于在其上每一层第二子数据结构的各片区中存储若干第三调用信息，其中，每一所述第三调用信息包括其下一层第二子数据结构的一片区的主键信息和位置信息。
16.一种用于数据导出的设备，其中，所述设备包括：
第四装置，用于根据查询请求，从第三数据结构所存储的第二调用信息调取相应第二数据结构和第一数据结构，其中每一所述第二调用信息包括所述第二数据结构和第一数据结构的结构信息和位置信息；
第五装置，用于从相应所述第二数据结构的各片区所存储的若干第一调用信息中查找满足所述查询请求的数据在所述第一数据结构的所有片区，其中，每一所述第一调用信息包括所述第一数据结构的一片区的主键信息和位置信息；以及
第六装置，用于对相应每一所述第一数据结构的片区所存储的数据进行并行处理。
17.根据权利要求16所述的设备，其中，所述第六装置包括：
第五单元，用于根据所述查询请求的处理条件对相应每一所述第一数据结构的片区所存储的数据进行数据过滤和/或导出，其中所述处理条件包括过滤条件和/或导出条件。
18.根据权利要求16所述的设备，其中，所述第二数据结构包括一层或至少两层第二子数据结构。
19.根据权利要求18所述的设备，其中，所述第二数据结构包括至少两层第二子数据结构，则所述第五装置包括：
第六单元，用于从顶层第二子数据结构的各片区所存储的第三调用信息中查找满足所述查询请求的数据在其下一层第二子数据结构的所有片区，其中，每一所述第三调用信息包括其下一层第二子数据结构的一片区的主键信息和位置信息；以及
第七单元，用于从底层所述第二子数据结构的各片区所存储的第一调用信息中查找满足所述查询请求的数据在所述第一数据结构的所有片区。
20.根据权利要求16至19中任一项所述的设备，其中，所述设备还包括：
第七装置，用于依据所述主键信息，对所述第二数据结构的若干各片区进行比对以去重。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510230729.2A CN106202121B (zh) | 2015-05-07 | 2015-05-07 | 数据存储及导出的方法和设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510230729.2A CN106202121B (zh) | 2015-05-07 | 2015-05-07 | 数据存储及导出的方法和设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN106202121A CN106202121A (zh) | 2016-12-07 |
| CN106202121B true CN106202121B (zh) | 2019-06-28 |
Family
ID=57459619
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201510230729.2A Active CN106202121B (zh) | 2015-05-07 | 2015-05-07 | 数据存储及导出的方法和设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN106202121B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107016115B (zh) * | 2017-04-18 | 2020-06-19 | 网易有道信息技术(杭州)有限公司 | 数据导出方法、装置、计算机可读存储介质及电子设备 |
| CN112948380A (zh) * | 2021-02-24 | 2021-06-11 | 深圳壹账通智能科技有限公司 | 基于大数据的数据存储方法、装置、电子设备及存储介质 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1415091A (zh) * | 1999-12-13 | 2003-04-30 | 株式会社东芝 | 数据结构管理装置、数据结构管理系统、数据结构管理方法以及用于记录数据结构管理程序的计算机可读介质 |
| CN101122885A (zh) * | 2007-09-11 | 2008-02-13 | 腾讯科技（深圳）有限公司 | 一种数据缓存处理方法、系统及数据缓存装置 |
| CN102521306A (zh) * | 2011-12-01 | 2012-06-27 | 苏州迈科网络安全技术股份有限公司 | 一种数据存储系统应用方法 |
| CN102779194A (zh) * | 2011-05-10 | 2012-11-14 | 中国科学院微电子研究所 | 一种基于soi的fpga结构的码流生成方法和装置 |
| CN102948131A (zh) * | 2010-04-21 | 2013-02-27 | 思杰系统有限公司 | 用于经由wan设备分离代理ssl的系统和方法 |
| CN104216961A (zh) * | 2014-08-21 | 2014-12-17 | 北京奇艺世纪科技有限公司 | 一种数据处理方法和装置 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9256633B2 (en) * | 2013-03-15 | 2016-02-09 | International Business Machines Corporation | Partitioning data for parallel processing |
-
2015
- 2015-05-07 CN CN201510230729.2A patent/CN106202121B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1415091A (zh) * | 1999-12-13 | 2003-04-30 | 株式会社东芝 | 数据结构管理装置、数据结构管理系统、数据结构管理方法以及用于记录数据结构管理程序的计算机可读介质 |
| CN101122885A (zh) * | 2007-09-11 | 2008-02-13 | 腾讯科技（深圳）有限公司 | 一种数据缓存处理方法、系统及数据缓存装置 |
| CN102948131A (zh) * | 2010-04-21 | 2013-02-27 | 思杰系统有限公司 | 用于经由wan设备分离代理ssl的系统和方法 |
| CN102779194A (zh) * | 2011-05-10 | 2012-11-14 | 中国科学院微电子研究所 | 一种基于soi的fpga结构的码流生成方法和装置 |
| CN102521306A (zh) * | 2011-12-01 | 2012-06-27 | 苏州迈科网络安全技术股份有限公司 | 一种数据存储系统应用方法 |
| CN104216961A (zh) * | 2014-08-21 | 2014-12-17 | 北京奇艺世纪科技有限公司 | 一种数据处理方法和装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN106202121A (zh) | 2016-12-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN104376053B (zh) | 一种基于海量气象数据的存储与检索方法 | |
| CN106980669B (zh) | 一种数据的存储、获取方法及装置 | |
| US9942321B2 (en) | Identity-to-account correlation and synchronization | |
| TWI662426B (zh) | 分布式流式資料處理的方法和裝置 | |
| CN103902653B (zh) | 一种构建数据仓库表血缘关系图的方法和装置 | |
| CN105493085B (zh) | 创建数据库表的样本的方法、系统和计算机可读存储介质 | |
| CN106844089A (zh) | 一种用于恢复树形数据存储的方法与设备 | |
| CN109062936B (zh) | 一种数据查询方法、计算机可读存储介质及终端设备 | |
| CN107391502A (zh) | 时间间隔的数据查询方法、装置及索引构建方法、装置 | |
| CN106933833A (zh) | 一种基于空间索引技术的位置信息快速查询方法 | |
| CN103795811A (zh) | 一种基于元数据保存存储信息及统计管理数据的方法 | |
| CN109918341A (zh) | 日志处理方法及装置 | |
| CN103440249A (zh) | 一种非结构化数据快速检索的系统及方法 | |
| CN102521364A (zh) | 一种图上两点间最短路径查询方法 | |
| CN109564569A (zh) | 减少用于长期计算的存储器使用 | |
| CN110008246A (zh) | 元数据管理方法及装置 | |
| CN106202121B (zh) | 数据存储及导出的方法和设备 | |
| CN106033438A (zh) | 舆情数据存储方法和服务器 | |
| CN110134698A (zh) | 数据管理方法及相关产品 | |
| CN108696418B (zh) | 一种社交网络中隐私保护方法及装置 | |
| CN102955808A (zh) | 一种数据获取方法和分布式文件系统 | |
| WO2016206395A1 (zh) | 周报信息处理方法及装置 | |
| CN104216872B (zh) | 一种识别网络小说中垃圾章节的方法及装置 | |
| CN106156162A (zh) | 数据库查询量统计方法和设备 | |
| CN110309144A (zh) | 一种运用redis构建树形数据结构的方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |