CN114995772B - 客户数据迁移存储方法及装置 - Google Patents

客户数据迁移存储方法及装置 Download PDF

Info

Publication number
CN114995772B
CN114995772B CN202210942409.XA CN202210942409A CN114995772B CN 114995772 B CN114995772 B CN 114995772B CN 202210942409 A CN202210942409 A CN 202210942409A CN 114995772 B CN114995772 B CN 114995772B
Authority
CN
China
Prior art keywords
data
preset
customer
client
classification structure
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210942409.XA
Other languages
English (en)
Other versions
CN114995772A (zh
Inventor
章水鑫
叶丹青
杨威
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing Sanbaiyun Information Technology Co ltd
Original Assignee
Nanjing Sanbaiyun Information Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing Sanbaiyun Information Technology Co ltd filed Critical Nanjing Sanbaiyun Information Technology Co ltd
Priority to CN202210942409.XA priority Critical patent/CN114995772B/zh
Publication of CN114995772A publication Critical patent/CN114995772A/zh
Application granted granted Critical
Publication of CN114995772B publication Critical patent/CN114995772B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0646—Horizontal data movement in storage systems, i.e. moving data in between storage devices or systems
    • G06F3/0647—Migration mechanisms
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/21—Design, administration or maintenance of databases
    • G06F16/214—Database migration support
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2457—Query processing with adaptation to user needs
    • G06F16/24573—Query processing with adaptation to user needs using data annotations, e.g. user-defined metadata
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0604—Improving or facilitating administration, e.g. storage management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Human Computer Interaction (AREA)
  • Library & Information Science (AREA)
  • Computational Linguistics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明提供一种客户数据迁移存储方法及装置，根据第一客户种类标签对所有的客户信息进行一次归类得到多个第一临时归类结构树；获取当前存在的所有第一数据存储单元的预设种类标签，将第一临时归类结构树的第一客户种类标签与预设种类标签比对；确定每个第一临时归类结构树所对应的第一数据存储单元；确定不对应的第一客户种类标签为第二客户种类标签，建立与第二客户种类标签对应的第二数据存储单元；将所有第一临时归类结构树内的客户信息分别迁移至相应的第一数据存储单元或第二数据存储单元，基于第一临时归类结构树的子节点对第一数据存储单元或第二数据存储单元的第一历史数据表或第二历史数据表更新。

Description

客户数据迁移存储方法及装置
技术领域
本发明涉及数据处理技术领域，尤其涉及一种客户数据迁移存储方法及装置。
背景技术
在线上汽车金融系统长期使用后，会存留大量的客户数据，由于线上汽车金融系统的用户量较大，存留的客户信息的客户信息种类多，数量大。
现有技术中，在对新接入的客户数据进行存储时，会将多种种类、不同客户的客户数据批量的存储在一起，存储杂乱且不便于管理，在后续管理者需要查找对应的客户数据时，难以查找。
因此，如何在接入新的客户数据时，根据客户的种类的不同，将不同的客户数据迁移到不同的存储空间，对客户数据进行分类存储、有效管理，成为急需解决的问题。
发明内容
本发明实施例提供一种种客户数据迁移存储方法及装置，可以在满足迁移条件后，根据客户的种类不同，将不同客户的对应的数据迁移到不同的存储空间，对客户数据进行分类存储。
本发明实施例的第一方面，提供一种客户数据迁移存储方法，包括：
在判断达到转出条件后，获取待进行数据迁移的第一数据转出单元内的客户数据，所述客户数据包括多个不同客户的客户信息，每个客户信息具有与其相对应的第一客户种类标签、信息生成时刻标签；
根据所述第一客户种类标签对所有的客户信息进行一次归类得到多个第一临时归类结构树，每个第一临时归类结构树的根节点为第一客户种类标签，与根节点所连接的子节点为元数据，与所述子节点连接的孙节点为与元数据对应的客户信息；
获取当前存在的所有第一数据存储单元的预设种类标签，将所述第一临时归类结构树的第一客户种类标签与预设种类标签比对，每个第一数据存储单元具有与其对应设置的预设种类标签；
若所述第一客户种类标签与预设种类标签相对应，则确定每个第一临时归类结构树所对应的第一数据存储单元；
若所述第一客户种类标签与预设种类标签不对应，则确定不对应的第一客户种类标签为第二客户种类标签，建立与所述第二客户种类标签对应的第二数据存储单元；
将所有第一临时归类结构树内的客户信息分别迁移至相应的第一数据存储单元或第二数据存储单元，基于所述第一临时归类结构树的子节点对第一数据存储单元或第二数据存储单元的第一历史数据表或第二历史数据表更新。
可选地，在第一方面的一种可能实现方式中，所述在判断达到转出条件后，获取待进行数据迁移的第一数据转出单元内的客户数据，所述客户数据包括多个不同客户的客户信息，每个客户信息具有与其相对应的第一客户种类标签、信息生成时刻标签，包括：
在判断达到预设时间周期或在判断第一数据转出单元内的客户数据大于等于预设数据量，则确定达到数据的转出条件；
获取待进行数据迁移的第一数据转出单元内的客户数据以及所述客户数据对应的第一数据列表，依次遍历所述第一数据列表中的第一元数据与第二数据列表中的第二元数据比对，所述第二元数据为所有第一数据存储单元的客户信息所形成的元数据；
若判断存在与第二元数据对应的第一元数据，则将所述第一元数据由所述第一数据列表中删除，将第一元数据对应的客户信息由所述客户数据内删除；
在判断遍历完所有的第一元数据后，提取每个第一元数据所对应客户信息的第一客户种类标签、信息生成时刻标签。
可选地，在第一方面的一种可能实现方式中，所述根据所述第一客户种类标签对所有的客户信息进行一次归类得到多个第一临时归类结构树，每个第一临时归类结构树的根节点为第一客户种类标签，与根节点所连接的子节点为元数据，与所述子节点连接的孙节点为与元数据对应的客户信息，包括：
提取每个第一元数据中的第一客户种类标签，在判断没有与第一客户种类标签对应的第一临时归类结构树时，则建立与第一客户种类标签对应的第一临时归类结构树；
建立第一临时归类结构树的根节点，将第一客户种类标签作为第一临时归类结构树中根节点对应存储的信息；
建立第一临时归类结构树中与根节点连接的子节点，将与第一客户种类标签所对应的元数据存储至相对应的子节点；
建立第一临时归类结构树中与每一个子节点连接的孙节点，将与相应元数据对应的客户信息存储至相对应的孙节点。
可选地，在第一方面的一种可能实现方式中，所述建立第一临时归类结构树中与根节点连接的子节点，将与第一客户种类标签所对应的元数据存储至相对应的子节点，包括：
获取第一临时归类结构树中每个元数据所对应的文件格式种类，根据所述文件格式种类对所有的元数据进行二次归类，使得相同文件格式种类所对应的元数据在第一临时归类结构树中相邻；
获取每个元数据所对应的信息生成时刻标签，根据所述信息生成时刻标签对相同文件格式种类的元数据所对应的子节点进行降序排序。
可选地，在第一方面的一种可能实现方式中，所述获取当前存在的所有第一数据存储单元的预设种类标签，将所述第一临时归类结构树的第一客户种类标签与预设种类标签比对，每个第一数据存储单元具有与其对应设置的预设种类标签，包括：
获取当前时刻所存在的所有第一数据存储单元的预设种类标签，得到第一标签集合，提取第一临时归类结构树中所有根节点所存储的第一客户种类标签，得到第二标签集合；
将所述第一标签集合和第二标签集合进行比对。
可选地，在第一方面的一种可能实现方式中，所述若所述第一客户种类标签与预设种类标签相对应，则确定每个第一临时归类结构树所对应的第一数据存储单元，包括：
若判断第二标签集合完全被第一标签集合包含，则确定第一客户种类标签与预设种类标签相对应；
根据所述第一客户种类标签和预设种类标签的对应关系，确定第一临时归类结构树所对应的第一数据存储单元。
可选地，在第一方面的一种可能实现方式中，所述若所述第一客户种类标签与预设种类标签不对应，则确定不对应的第一客户种类标签为第二客户种类标签，建立与所述第二客户种类标签对应的第二数据存储单元，包括：
若判断第二标签集合没有完全被第一标签集合包含，则确定第一客户种类标签与预设种类标签不对应；
则确定与不对应的第一客户种类标签为第二客户种类标签，建立相对应的第二数据存储单元，为新建立的第二数据存储单元添加相对应的第二客户种类标签。
可选地，在第一方面的一种可能实现方式中，所述将所有第一临时归类结构树内的客户信息分别迁移至相应的第一数据存储单元或第二数据存储单元，基于所述第一临时归类结构树的子节点对第一数据存储单元或第二数据存储单元的第一历史数据表或第二历史数据表更新，包括：
若判断第一临时归类结构树具有与其对应的第一数据存储单元，则根据第一临时归类结构树在第一数据存储单元内建立多个第一子存储空间，每个第一子存储空间对应一个子节点；
提取所有新建的第一子存储空间的第一空间位置标记，根据第一空间位置标记和元数据的对应关系生成第一数据迁移表；
根据所述第一数据迁移表将第一临时归类结构树中孙节点对应的客户信息迁移至相对应的第一子存储空间，在判断所有孙节点对应的客户信息完全迁移至相对应的第一子存储空间后，提取第一数据存储单元的第一历史数据表；
在所述第一历史数据表建立新的第一表段，将所述元数据与第一空间位置标记对应后填充至所述第一表段，完成对第一历史数据表的更新得到第一当前数据表。
可选地，在第一方面的一种可能实现方式中，所述将所有第一临时归类结构树内的客户信息分别迁移至相应的第一数据存储单元或第二数据存储单元，基于所述第一临时归类结构树的子节点对第一数据存储单元或第二数据存储单元的第一历史数据表或第二历史数据表更新，包括：
若判断第二临时归类结构树具有与其对应的第二数据存储单元，则根据第二临时归类结构树在第二数据存储单元内建立多个第二子存储空间，每个第二子存储空间对应一个子节点；
提取所有新建的第二子存储空间的第二空间位置标记，根据第二空间位置标记和元数据的对应关系生成第二数据迁移表；
根据所述第二数据迁移表将第二临时归类结构树中孙节点对应的客户信息迁移至相对应的第二子存储空间，在判断所有孙节点对应的客户信息完全迁移至相对应的第二子存储空间后，建立与第二数据存储单元对应的初始数据表；
在所述初始数据表中建立新的第二表段，将所述元数据与第二空间位置标记对应后填充至所述第二表段，完成对初始数据表的更新得到第二当前数据表。
本发明实施例的第二方面，提供一种客户数据迁移存储系统，包括：
获取模块，用于在判断达到转出条件后，获取待进行数据迁移的第一数据转出单元内的客户数据，所述客户数据包括多个不同客户的客户信息，每个客户信息具有与其相对应的第一客户种类标签、信息生成时刻标签；
归类模块，用于根据所述第一客户种类标签对所有的客户信息进行一次归类得到多个第一临时归类结构树，每个第一临时归类结构树的根节点为第一客户种类标签，与根节点所连接的子节点为元数据，与所述子节点连接的孙节点为与元数据对应的客户信息；
比对模块，用于获取当前存在的所有第一数据存储单元的预设种类标签，将所述第一临时归类结构树的第一客户种类标签与预设种类标签比对，每个第一数据存储单元具有与其对应设置的预设种类标签；
第一确定模块，用于若所述第一客户种类标签与预设种类标签相对应，则确定每个第一临时归类结构树所对应的第一数据存储单元；
第二确定模块，用于若所述第一客户种类标签与预设种类标签不对应，则确定不对应的第一客户种类标签为第二客户种类标签，建立与所述第二客户种类标签对应的第二数据存储单元；
迁移模块，用于将所有第一临时归类结构树内的客户信息分别迁移至相应的第一数据存储单元或第二数据存储单元，基于所述第一临时归类结构树的子节点对第一数据存储单元或第二数据存储单元的第一历史数据表或第二历史数据表更新。
有益效果：
1、本方案先将新接入的客户数据存入到第一数据转出单元内，在达到转出时间或者转出数据量时，会自动将第一数据转出单元内的数据迁移至对应的第一数据存储单元或第二数据存储单元中，实现对客户数据的自动归类存储；其中，本方案会结合第一临时归类结构树来对待迁移的客户数据进行归类，利用第一临时归类结构树中的根节点来表示客户种类，利用子节点来表示客户元信息，利用孙节点来表示客户详细信息，通过第一临时归类结构树来对待迁移的数据进行归类梳理；在存储时，首先结合客户种类，确定到对应的数据存储单元，并在数据存储单元中建立与子节点对应的子存储空间，对不同客户的客户数据进行分空间存储；本方案通过上述方式，可以先利用第一临时归类结构树对接入的客户数据进行归类梳理，然后可以在满足迁移条件后，根据客户的种类不同，将不同客户的对应的数据迁移到不同的存储空间，对客户数据进行分类存储。
2、本方案会在没有对应的第一数据存储单元存储相应种类的客户数据时，新构建相应的第二数据存储单元来存储相关种类的客户数据，确保客户数据有对应的位置可以存储；同时，本方案还结合预设种类标签以及第一数据存储单元进行比对，判断是否有重复数据，实现客户数据的去重处理，防止存储客户重复数据，提高存储空间的利用率；另外，本方案会结合文件格式种类对客户数据进行二次归类，同时结合信息生成时刻标签来对子节点进行排序，从而实现对客户数据在时间维度和文件格式维度上的排序，便于管理者对客户数据管理，同时便于管理者快速查找客户数据。
3、本方案设置有第一数据迁移表，并通过第一数据迁移表中的第一表段来对第一空间位置标记和元数据进行记录，后续服务器可以利用第一数据迁移表来比对去重；此外，本方案还依据情况的不同，设置了不同的数据表的更新。针对第一数据存储单元，其中，存储有历史数据，对应有第一历史数据表，需要对第一历史数据表中的第一表段进行更新；针对第二数据存储单元，其中，未存储历史数据，需要建立与第二数据存储单元对应的初始数据表，并利用对应的第二表段来对数据表进行更新。本方案通过上述方式，可以在数据存储后，实时的对数据表进行更新，确保下次存储客户数据时进行数据比对的准确性。
附图说明
图1是本发明实施例提供的一种客户数据迁移存储方法的流程示意图；
图2是本发明实施例提供的一种客户数据迁移存储装置的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”“第四”等（如果存在）是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。
应当理解，在本发明的各种实施例中，各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。
应当理解，在本发明中，“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
应当理解，在本发明中，“多个”是指两个或两个以上。“和/或”仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。“包含A、B和C”、“包含A、B、C”是指A、B、C三者都包含，“包含A、B或C”是指包含A、B、C三者之一，“包含A、B和/或C”是指包含A、B、C三者中任1个或任2个或3个。
应当理解，在本发明中，“与A对应的B”、“与A相对应的B”、“A与B相对应”或者“B与A相对应”，表示B与A相关联，根据A可以确定B。根据A确定B并不意味着仅仅根据A确定B，还可以根据A和/或其他信息确定B。A与B的匹配，是A与B的相似度大于或等于预设的阈值。
取决于语境，如在此所使用的“若”可以被解释成为“在……时”或“当……时”或“响应于确定”或“响应于检测”。
下面以具体地实施例对本发明的技术方案进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例不再赘述。
参见图1，是本发明实施例提供的一种客户数据迁移存储方法的流程示意图，该客户数据迁移存储方法包括S1-S6：
S1，在判断达到转出条件后，获取待进行数据迁移的第一数据转出单元内的客户数据，所述客户数据包括多个不同客户的客户信息，每个客户信息具有与其相对应的第一客户种类标签、信息生成时刻标签。
可以理解的是，本方案可以先将新产生的用户数据（待进行数据迁移）存储在一个数据库（第一数据转出单元）中，并会设置有转出条件，在达到转出条件后，本方案会将第一数据转出单元中的待进行数据迁移的客户数据迁移出来。
在一些实施例中，S1（所述在判断达到转出条件后，获取待进行数据迁移的第一数据转出单元内的客户数据，所述客户数据包括多个不同客户的客户信息，每个客户信息具有与其相对应的第一客户种类标签、信息生成时刻标签）包括S11-S14：
S11，在判断达到预设时间周期或在判断第一数据转出单元内的客户数据大于等于预设数据量，则确定达到数据的转出条件。
可以理解的是，本方案的转出条件设置有2个，一个是判断是否达到预设时间周期，例如是否超过一个月；另一个是判断第一数据转出单元内的客户数据是否大于等于预设数据量，例如是否超过了1G的数据量。在满足上述条件中的任一个，都会确定达到数据的转出条件。
S12，获取待进行数据迁移的第一数据转出单元内的客户数据以及所述客户数据对应的第一数据列表，依次遍历所述第一数据列表中的第一元数据与第二数据列表中的第二元数据比对，所述第二元数据为所有第一数据存储单元的客户信息所形成的元数据。
可以理解的是，本方案的第一数据转出单元内的客户数据对应有第一数据列表，第一数据列表中包括第一元数据，第一元数据相当于对客户数据的概括、摘要，例如，第一元数据包括客户种类（例如医生、教师等）、客户名称（例如张三、李四等）、数据类型（例如word、pdf等）、客户数据生成时间等等。
本方案会对第一数据列表中的第一元数据与第二数据列表中的第二元数据进行比对，其中，第二元数据为所有第一数据存储单元的客户信息所形成的元数据。
可以理解的是，第二数据列表对应的是迁移后的客户数据所对应的数据列表，即第一数据转出单元内客户数据迁移到第一数据存储单元中后，第一数据转出单元中的第一元数据就会转变为第一数据存储单元中的第二元数据，然后由第二元数据形成第二数据列表。
S13，若判断存在与第二元数据对应的第一元数据，则将所述第一元数据由所述第一数据列表中删除，将第一元数据对应的客户信息由所述客户数据内删除。
可以理解的是，本方案将待迁移的数据与已经迁移的数据进行比对，如果存在与第二元数据对应的第一元数据，说明已经迁移的数据中存在了相应的待迁移数据，说明该数据重复了，此时，本方案会把对应的数据由第一数据列表中删除，同时将第一元数据对应的客户信息由客户数据内删除，防止迁移重复的数据，实现数据去重。
S14，在判断遍历完所有的第一元数据后，提取每个第一元数据所对应客户信息的第一客户种类标签、信息生成时刻标签。
在去重查询完毕后，本方案会提取每个第一元数据所对应客户信息的第一客户种类标签（例如是医生）、信息生成时刻标签。
S2，根据所述第一客户种类标签对所有的客户信息进行一次归类得到多个第一临时归类结构树，每个第一临时归类结构树的根节点为第一客户种类标签，与根节点所连接的子节点为元数据，与所述子节点连接的孙节点为与元数据对应的客户信息。
本方案设置有第一临时归类结构树，在客户数据进行迁移前，对所有的客户信息进行归类。本方案会依据客户种类（第一客户种类标签）来对所有的客户信息进行一次归类，形成上述的第一临时归类结构树。
可以理解的是，根节点代表客户种类，子节点代表客户信息的概括性描述信息（元数据），孙节点代表客户的详细信息。
在一些实施例中，S2（所述根据所述第一客户种类标签对所有的客户信息进行一次归类得到多个第一临时归类结构树，每个第一临时归类结构树的根节点为第一客户种类标签，与根节点所连接的子节点为元数据，与所述子节点连接的孙节点为与元数据对应的客户信息）包括S21-S24：
S21，提取每个第一元数据中的第一客户种类标签，在判断没有与第一客户种类标签对应的第一临时归类结构树时，则建立与第一客户种类标签对应的第一临时归类结构树。
示例性的，提取每个第一元数据中的第一客户种类标签包括教师类型的，如果判断没有对应教师的第一客户种类标签时，本方案会新建立一个与教师（第一客户种类标签）对应的第一临时归类结构树。
S22，建立第一临时归类结构树的根节点，将第一客户种类标签作为第一临时归类结构树中根节点对应存储的信息。
S23，建立第一临时归类结构树中与根节点连接的子节点，将与第一客户种类标签所对应的元数据存储至相对应的子节点。
可以理解的是，本方案会建立根节点、子节点和孙节点，根节点代表客户种类，子节点代表客户信息的概括性描述信息（元数据），孙节点代表客户的详细信息。
在一些实施例中，S23（所述建立第一临时归类结构树中与根节点连接的子节点，将与第一客户种类标签所对应的元数据存储至相对应的子节点）包括S231-S232：
S231，获取第一临时归类结构树中每个元数据所对应的文件格式种类，根据所述文件格式种类对所有的元数据进行二次归类，使得相同文件格式种类所对应的元数据在第一临时归类结构树中相邻。
本方案会得到每个元数据所对应的文件格式种类，文件格式种类例如是word、pdf等，然后利用文件格式种类对所有的元数据进行二次归类，使得相同文件格式种类所对应的元数据在第一临时归类结构树中相邻。
可以理解的是，通过上述方式，本方案可以将相同文件类型的客户数据相邻存储。
S232，获取每个元数据所对应的信息生成时刻标签，根据所述信息生成时刻标签对相同文件格式种类的元数据所对应的子节点进行降序排序。
本方案还会得到每个元数据所对应的信息生成时刻标签，然后按照信息生成时刻标签对相同文件格式种类的元数据所对应的子节点进行降序排序。
可以理解的是，通过上述方式，本方案可以将相同文件类型的客户数据，按照时间的顺序依次存储。便于管理者对存储后的客户数据进行查询和管理。
S24，建立第一临时归类结构树中与每一个子节点连接的孙节点，将与相应元数据对应的客户信息存储至相对应的孙节点。
可以理解的是，孙节点用于存储客户的详细信息。
S3，获取当前存在的所有第一数据存储单元的预设种类标签，将所述第一临时归类结构树的第一客户种类标签与预设种类标签比对，每个第一数据存储单元具有与其对应设置的预设种类标签。
本方案会通过第一数据存储单元来对迁移的客户数据进行存储，需要说明的是，本方案设置有多个第一数据存储单元，每个第一数据存储单元对应一个预设种类标签，用于存储相应种类的客户数据。
可以理解的是，本方案在利用第一数据存储单元对客户数据进行存储之前，会先进行比对处理，看是否有对应的第一数据存储单元来对相应种类的客户数据进行存储。
在一些实施例中，S3（所述获取当前存在的所有第一数据存储单元的预设种类标签，将所述第一临时归类结构树的第一客户种类标签与预设种类标签比对，每个第一数据存储单元具有与其对应设置的预设种类标签）包括S31-S32：
S31，获取当前时刻所存在的所有第一数据存储单元的预设种类标签，得到第一标签集合，提取第一临时归类结构树中所有根节点所存储的第一客户种类标签，得到第二标签集合。
可以理解的是，第一标签集合中存储的是当前时刻所存在的所有第一数据存储单元的预设种类标签，第二标签集合中存储的是第一临时归类结构树中所有根节点所存储的第一客户种类标签。
S32，将所述第一标签集合和第二标签集合进行比对。
本方案会将第一标签集合和第二标签集合进行比对，得到比对结果。
S4，若所述第一客户种类标签与预设种类标签相对应，则确定每个第一临时归类结构树所对应的第一数据存储单元。
可以理解的是，如果第一客户种类标签与预设种类标签相对应，说明具有相应的第一数据存储单元，来对相应的客户数据进行存储。
在一些实施例中，S4（所述若所述第一客户种类标签与预设种类标签相对应，则确定每个第一临时归类结构树所对应的第一数据存储单元）包括S41-S42：
S41，若判断第二标签集合完全被第一标签集合包含，则确定第一客户种类标签与预设种类标签相对应。
可以理解的是，如果第二标签集合完全被第一标签集合包含，说明第一标签集合中的种类完全包括第二标签集合中的种类，从而说明有对应的第一数据存储单元来对相应的客户数据进行存储。
S42，根据所述第一客户种类标签和预设种类标签的对应关系，确定第一临时归类结构树所对应的第一数据存储单元。
此时，本方案只需要根据第一客户种类标签和预设种类标签的对应关系，确定第一临时归类结构树所对应的第一数据存储单元，来对相应客户种类的客户数据进行存储即可。
S5，若所述第一客户种类标签与预设种类标签不对应，则确定不对应的第一客户种类标签为第二客户种类标签，建立与所述第二客户种类标签对应的第二数据存储单元。
可以理解的是，如果第一客户种类标签与预设种类标签不对应，说明当前的第一数据存储单元，无法对一些相应种类的客户数据进行存储，本方案会确定不对应的第一客户种类标签为第二客户种类标签，建立与第二客户种类标签对应的第二数据存储单元。
在一些实施例中，S5（所述若所述第一客户种类标签与预设种类标签不对应，则确定不对应的第一客户种类标签为第二客户种类标签，建立与所述第二客户种类标签对应的第二数据存储单元）包括S51-S52：
S51，若判断第二标签集合没有完全被第一标签集合包含，则确定第一客户种类标签与预设种类标签不对应。
可以理解的是，如果判断第二标签集合没有完全被第一标签集合包含，说明有些客户种类的客户数据无法被第一数据存储单元存储，本方案会确定第一客户种类标签与预设种类标签不对应。
S52，则确定与不对应的第一客户种类标签为第二客户种类标签，建立相对应的第二数据存储单元，为新建立的第二数据存储单元添加相对应的第二客户种类标签。
首先，本方案会确定与不对应的第一客户种类标签为第二客户种类标签，然后建立相对应的第二数据存储单元，并为新建立的第二数据存储单元添加相对应的第二客户种类标签，利用新建立的第二数据存储单元来对相应种类的客户数据进行存储。
S6，将所有第一临时归类结构树内的客户信息分别迁移至相应的第一数据存储单元或第二数据存储单元，基于所述第一临时归类结构树的子节点对第一数据存储单元或第二数据存储单元的第一历史数据表或第二历史数据表更新。
可以理解的是，在S1-S5中，实现了对所有待迁移客户数据进行归类，并确定了用于迁移客户数据的第一数据存储单元或第二数据存储单元，之后，本方案会将所有第一临时归类结构树内的客户信息分别迁移至相应的第一数据存储单元或第二数据存储单元，实现客户数据批量的分类迁移。
同时，本方案会基于第一临时归类结构树的子节点，对第一数据存储单元或第二数据存储单元的第一历史数据表或第二历史数据表更新。
在一些实施例中，S6（所述将所有第一临时归类结构树内的客户信息分别迁移至相应的第一数据存储单元或第二数据存储单元，基于所述第一临时归类结构树的子节点对第一数据存储单元或第二数据存储单元的第一历史数据表或第二历史数据表更新）包括S61-S64：
S61，若判断第一临时归类结构树具有与其对应的第一数据存储单元，则根据第一临时归类结构树在第一数据存储单元内建立多个第一子存储空间，每个第一子存储空间对应一个子节点。
如果判断第一临时归类结构树具有与其对应的第一数据存储单元，本方案会在第一数据存储单元内建立多个第一子存储空间，每个第一子存储空间对应第一临时归类结构树的一个子节点。
可以理解的是，本方案利用不同的第一子存储空间来存储不同客户的客户数据。
S62，提取所有新建的第一子存储空间的第一空间位置标记，根据第一空间位置标记和元数据的对应关系生成第一数据迁移表。
本方案会得到第一子存储空间的第一空间位置标记，然后利用第一子存储空间的第一空间位置标记，以及元数据的对应关系生成第一数据迁移表。
S63，根据所述第一数据迁移表将第一临时归类结构树中孙节点对应的客户信息迁移至相对应的第一子存储空间，在判断所有孙节点对应的客户信息完全迁移至相对应的第一子存储空间后，提取第一数据存储单元的第一历史数据表。
在第一子存储空间建立完成后，本方案会将对应客户的客户数据迁移至对应的第一子存储空间内，并且，本方案会在判断所有孙节点对应的客户信息完全迁移至相对应的第一子存储空间后，提取第一数据存储单元的第一历史数据表。
S64，在所述第一历史数据表建立新的第一表段，将所述元数据与第一空间位置标记对应后填充至所述第一表段，完成对第一历史数据表的更新得到第一当前数据表。
本步骤是为了实现对第一历史数据表的更新，首先，本方案会在第一历史数据表建立新的第一表段，第一表段是用于填写元数据与第一空间位置标记，本方案会将元数据与第一空间位置标记对应后，填充至第一表段中完成对第一历史数据表的更新得到第一当前数据表。
在另一些实施例中，S6（所述将所有第一临时归类结构树内的客户信息分别迁移至相应的第一数据存储单元或第二数据存储单元，基于所述第一临时归类结构树的子节点对第一数据存储单元或第二数据存储单元的第一历史数据表或第二历史数据表更新）包括S65-S68：
S65，若判断第二临时归类结构树具有与其对应的第二数据存储单元，则根据第二临时归类结构树在第二数据存储单元内建立多个第二子存储空间，每个第二子存储空间对应一个子节点。
可以理解的是，如果判断第二临时归类结构树具有与其对应的第二数据存储单元，那么直接将对应的客户数据存储至对应的第二数据存储单元中即可。
首先，本方案会根据第二临时归类结构树在第二数据存储单元内建立多个第二子存储空间，每个第二子存储空间对应一个子节点。即，本方案会利用第二子存储空间来对不同客户的客户数据进行存储。
S66，提取所有新建的第二子存储空间的第二空间位置标记，根据第二空间位置标记和元数据的对应关系生成第二数据迁移表。
在第二子存储空间建立完成后，本方案会提取所有新建的第二子存储空间的第二空间位置标记，然后利用第二空间位置标记和元数据的对应关系生成第二数据迁移表。
S67，根据所述第二数据迁移表将第二临时归类结构树中孙节点对应的客户信息迁移至相对应的第二子存储空间，在判断所有孙节点对应的客户信息完全迁移至相对应的第二子存储空间后，建立与第二数据存储单元对应的初始数据表。
本方案会根据第二数据迁移表，将第二临时归类结构树中孙节点对应的客户信息迁移至相对应的第二子存储空间，并在所有的孙节点对应的客户信息完全迁移至相对应的第二子存储空间后，建立与第二数据存储单元对应的初始数据表。
可以理解的是，由于第二数据存储单元是新建立的存储单元，其中，没有历史数据，因此所对应的是初始数据表。
S68，在所述初始数据表中建立新的第二表段，将所述元数据与第二空间位置标记对应后填充至所述第二表段，完成对初始数据表的更新得到第二当前数据表。
本方案会在初始数据表中建立新的第二表段，然后将元数据与第二空间位置标记对应后填充至第二表段中，完成对初始数据表的更新得到第二当前数据表。
在上述实施例的基础上，还包括S71-S75：
S71，统计所有第一临时归类结构树的数量得到第一结构树数量，获取每个第一结构树数量中子节点的数据量得到第一用户信息数量。
本方案会统计所有第一临时归类结构树的数量得到第一结构树数量，同时会得到每个第一结构树数量中子节点的数据量得到第一用户信息数量。
S72，统计所有第一临时归类结构树所对应的用户信息分别迁移至第一子存储空间和第二子存储空间的第一总耗时。
在迁移完成后，本方案会统计所有第一临时归类结构树所对应的用户信息分别迁移至第一子存储空间和第二子存储空间的第一总耗时。
S73，根据所述第一结构树数量、第一用户信息数量以及第一总耗时进行计算，得到条件调整系数，将所述条件调整系数与预设调整系数比对。
本方案会依据第一结构树数量、第一用户信息数量以及第一总耗时进行综合计算，得到条件调整系数，并将条件调整系数与预设调整系数比对。其中，预设调整系数可以是工作人员预先设置的。
其中，S73（所述根据所述第一结构树数量、第一用户信息数量以及第一总耗时进行计算，得到条件调整系数，将所述条件调整系数与预设调整系数比对）包括：
通过以下公式计算条件调整系数，
Figure 678784DEST_PATH_IMAGE001
其中，
Figure 64766DEST_PATH_IMAGE002
为条件调整系数，
Figure 578924DEST_PATH_IMAGE003
为第一结构树数量，
Figure 442974DEST_PATH_IMAGE004
为结构树数量权重值，
Figure 726188DEST_PATH_IMAGE005
为 第
Figure 283071DEST_PATH_IMAGE006
个第一临时归类结构树中子节点的第一用户信息数量，
Figure 18946DEST_PATH_IMAGE007
为第一临时归类结构树中子节 点的上限值，
Figure 686688DEST_PATH_IMAGE008
为第一临时归类结构树中子节点的数量值，
Figure 89987DEST_PATH_IMAGE009
为子节点数量权重值，
Figure 552193DEST_PATH_IMAGE010
为第
Figure 40943DEST_PATH_IMAGE011
个第一临时归类结构树所对应的用户信息分别迁移至第一子存储空间或第二子存储空间 的第一总耗时，
Figure 246796DEST_PATH_IMAGE012
为时长权重值。
上述公式中，
Figure 239023DEST_PATH_IMAGE013
代表第一结构树数量维度的系数，第一结构树数量越大，对应的 系数也就越大；
Figure 403288DEST_PATH_IMAGE014
代表第一临时归类结构树中子节点的用户信息数量维度的系数，
Figure 113755DEST_PATH_IMAGE015
代表第
Figure 123300DEST_PATH_IMAGE006
个第一临时归类结构树中子节点的第一用户信息数量之后，其值越大，对应 的
Figure 235612DEST_PATH_IMAGE014
也就越大；
Figure 39620DEST_PATH_IMAGE016
代表第一总耗时，其值越大，对应的总耗时维度上的系数
Figure 237383DEST_PATH_IMAGE017
也就越大。其中，
Figure 516530DEST_PATH_IMAGE004
、
Figure 748928DEST_PATH_IMAGE009
和
Figure 989417DEST_PATH_IMAGE012
可以是工作人员预先设置的，其中，
Figure 408897DEST_PATH_IMAGE012
大于
Figure 25823DEST_PATH_IMAGE009
，来提高 耗时维度上系数的占比，
Figure 847149DEST_PATH_IMAGE009
大于
Figure 258538DEST_PATH_IMAGE004
，来提高用户信息数量维度上的系数的占比。
S74，若所述条件调整系数大于所述预设调整系数，则根据所述条件调整系数和预设调整系数的差值对所述预设时间周期和/或预设数据量进行减小调整。
可以理解的是，条件调整系数大于所述预设调整系数时，说明本方案设置的预设时间周期过长和/或预设数据量过大，需要对预设时间周期和/或预设数据量调小，以得到一个较佳的迁移频率，实现对客户数据的稳定迁移。
在一些实施例中，S74（所述若所述条件调整系数大于所述预设调整系数，则根据所述条件调整系数和预设调整系数的差值对所述预设时间周期和/或预设数据量进行减小调整）包括：
通过以下公式计算减小调整后的预设时间周期和/或预设数据量，
Figure 899735DEST_PATH_IMAGE018
Figure 523615DEST_PATH_IMAGE019
其中，
Figure 199447DEST_PATH_IMAGE020
为减小调整后的预设时间周期，
Figure 781738DEST_PATH_IMAGE021
为减小调整前的预设时间周期，
Figure 441389DEST_PATH_IMAGE022
为周 期调整系数值，
Figure 400118DEST_PATH_IMAGE023
为减小调整后的预设数据量，
Figure 930456DEST_PATH_IMAGE024
为减小调整前的预设数据量，
Figure 683649DEST_PATH_IMAGE025
为数据 量调整系数值。
上述公式中，
Figure 565017DEST_PATH_IMAGE026
代表预设时间周期的调小幅度，
Figure 342085DEST_PATH_IMAGE027
越大，说明需要调整的幅 度也就越大，对应的减小调整后的预设时间周期
Figure 992509DEST_PATH_IMAGE020
也就越小；
Figure 651024DEST_PATH_IMAGE028
代表预设数据量的调 小幅度，
Figure 19688DEST_PATH_IMAGE027
越大，说明需要调整的幅度也就越大，对应的减小调整后的预设数据量
Figure 320220DEST_PATH_IMAGE023
也就越 小。
S75，若所述条件调整系数小于等于所述预设调整系数，则不对预设时间周期和/或预设数据量调整。
可以理解的是，如果条件调整系数小于等于预设调整系数，说明当前的迁移频率较为合适，本方案不需要对预设时间周期和/或预设数据量调整。
本方案通过上述实施例，可以对预设时间周期和/或预设数据量调整，使得客户数据的转出条件较佳，从而控制一次性转出的数据量以及迁移时间，使得一次性转出的客户数据不会过多，也不会过少。
参见图2，是本发明实施例提供的一种客户数据迁移存储系统的结构示意图，该客户数据迁移存储系统包括：
获取模块，用于在判断达到转出条件后，获取待进行数据迁移的第一数据转出单元内的客户数据，所述客户数据包括多个不同客户的客户信息，每个客户信息具有与其相对应的第一客户种类标签、信息生成时刻标签；
归类模块，用于根据所述第一客户种类标签对所有的客户信息进行一次归类得到多个第一临时归类结构树，每个第一临时归类结构树的根节点为第一客户种类标签，与根节点所连接的子节点为元数据，与所述子节点连接的孙节点为与元数据对应的客户信息；
比对模块，用于获取当前存在的所有第一数据存储单元的预设种类标签，将所述第一临时归类结构树的第一客户种类标签与预设种类标签比对，每个第一数据存储单元具有与其对应设置的预设种类标签；
第一确定模块，用于若所述第一客户种类标签与预设种类标签相对应，则确定每个第一临时归类结构树所对应的第一数据存储单元；
第二确定模块，用于若所述第一客户种类标签与预设种类标签不对应，则确定不对应的第一客户种类标签为第二客户种类标签，建立与所述第二客户种类标签对应的第二数据存储单元；
迁移模块，用于将所有第一临时归类结构树内的客户信息分别迁移至相应的第一数据存储单元或第二数据存储单元，基于所述第一临时归类结构树的子节点对第一数据存储单元或第二数据存储单元的第一历史数据表或第二历史数据表更新。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (9)

1.一种客户数据迁移存储方法，其特征在于，包括：
在判断达到转出条件后，获取待进行数据迁移的第一数据转出单元内的客户数据，所述客户数据包括多个不同客户的客户信息，每个客户信息具有与其相对应的第一客户种类标签、信息生成时刻标签；
根据所述第一客户种类标签对所有的客户信息进行一次归类得到多个第一临时归类结构树，每个第一临时归类结构树的根节点为第一客户种类标签，与根节点所连接的子节点为元数据，与所述子节点连接的孙节点为与元数据对应的客户信息；
获取当前存在的所有第一数据存储单元的预设种类标签，将所述第一临时归类结构树的第一客户种类标签与预设种类标签比对，每个第一数据存储单元具有与其对应设置的预设种类标签；
若所述第一客户种类标签与预设种类标签相对应，则确定每个第一临时归类结构树所对应的第一数据存储单元；
若所述第一客户种类标签与预设种类标签不对应，则确定不对应的第一客户种类标签为第二客户种类标签，建立与所述第二客户种类标签对应的第二数据存储单元；
将所有第一临时归类结构树内的客户信息分别迁移至相应的第一数据存储单元或第二数据存储单元，基于所述第一临时归类结构树的子节点对第一数据存储单元的第一历史数据表或第二数据存储单元的第二历史数据表更新；
所述将所有第一临时归类结构树内的客户信息分别迁移至相应的第一数据存储单元或第二数据存储单元，基于所述第一临时归类结构树的子节点对第一数据存储单元的第一历史数据表或第二数据存储单元的第二历史数据表更新，包括：
若判断第一临时归类结构树具有与其对应的第一数据存储单元，则根据第一临时归类结构树在第一数据存储单元内建立多个第一子存储空间，每个第一子存储空间对应一个子节点；
提取所有新建的第一子存储空间的第一空间位置标记，根据第一空间位置标记和元数据的对应关系生成第一数据迁移表；
根据所述第一数据迁移表将第一临时归类结构树中孙节点对应的客户信息迁移至相对应的第一子存储空间，在判断所有孙节点对应的客户信息完全迁移至相对应的第一子存储空间后，提取第一数据存储单元的第一历史数据表；
在所述第一历史数据表建立新的第一表段，将所述元数据与第一空间位置标记对应后填充至所述第一表段，完成对第一历史数据表的更新得到第一当前数据表；
统计所有第一临时归类结构树的数量得到第一结构树数量，获取每个第一结构树数量中子节点的数据量得到第一用户信息数量；
统计所有第一临时归类结构树所对应的用户信息分别迁移至第一子存储空间和第二子存储空间的第一总耗时；
根据所述第一结构树数量、第一用户信息数量以及第一总耗时进行计算，得到条件调整系数，将所述条件调整系数与预设调整系数比对；
所述根据所述第一结构树数量、第一用户信息数量以及第一总耗时进行计算，得到条件调整系数，将所述条件调整系数与预设调整系数比对，包括：
通过以下公式计算条件调整系数，
Figure 495362DEST_PATH_IMAGE001
其中，
Figure 384821DEST_PATH_IMAGE002
为条件调整系数，
Figure 60653DEST_PATH_IMAGE003
为第一结构树数量，
Figure 642944DEST_PATH_IMAGE004
为结构树数量权重值，
Figure 833754DEST_PATH_IMAGE005
为第
Figure 776171DEST_PATH_IMAGE006
个第一临时归类结构树中子节点的第一用户信息数量，
Figure 40930DEST_PATH_IMAGE007
为第一临时归类结构树中子节点的上限值，
Figure 590860DEST_PATH_IMAGE008
为第一临时归类结构树中子节点的数量值，
Figure 472228DEST_PATH_IMAGE009
为子节点数量权重值，
Figure 703490DEST_PATH_IMAGE010
为第
Figure 150651DEST_PATH_IMAGE011
个第一临时归类结构树所对应的用户信息分别迁移至第一子存储空间或第二子存储空间的第一总耗时，
Figure 556969DEST_PATH_IMAGE012
为时长权重值；
若所述条件调整系数大于所述预设调整系数，则根据所述条件调整系数和预设调整系数的差值对预设时间周期和/或预设数据量进行减小调整；
所述若所述条件调整系数大于所述预设调整系数，则根据所述条件调整系数和预设调整系数的差值对所述预设时间周期和/或预设数据量进行减小调整，包括：
通过以下公式计算减小调整后的预设时间周期和/或预设数据量，
Figure 925633DEST_PATH_IMAGE013
Figure 695006DEST_PATH_IMAGE014
其中，
Figure 262253DEST_PATH_IMAGE015
为减小调整后的预设时间周期，
Figure 826090DEST_PATH_IMAGE016
为减小调整前的预设时间周期，
Figure 931318DEST_PATH_IMAGE017
为周期调整系数值，
Figure 566699DEST_PATH_IMAGE018
为减小调整后的预设数据量，
Figure 660557DEST_PATH_IMAGE019
为减小调整前的预设数据量，
Figure 926453DEST_PATH_IMAGE020
为数据量调整系数值；
若所述条件调整系数小于等于所述预设调整系数，则不对预设时间周期和/或预设数据量调整。
2.根据权利要求1所述的客户数据迁移存储方法，其特征在于，
所述在判断达到转出条件后，获取待进行数据迁移的第一数据转出单元内的客户数据，所述客户数据包括多个不同客户的客户信息，每个客户信息具有与其相对应的第一客户种类标签、信息生成时刻标签，包括：
在判断达到预设时间周期或在判断第一数据转出单元内的客户数据大于等于预设数据量，则确定达到数据的转出条件；
获取待进行数据迁移的第一数据转出单元内的客户数据以及所述客户数据对应的第一数据列表，依次遍历所述第一数据列表中的第一元数据与第二数据列表中的第二元数据比对，所述第二元数据为所有第一数据存储单元的客户信息所形成的元数据；
若判断存在与第二元数据对应的第一元数据，则将所述第一元数据由所述第一数据列表中删除，将第一元数据对应的客户信息由所述客户数据内删除；
在判断遍历完所有的第一元数据后，提取每个第一元数据所对应客户信息的第一客户种类标签、信息生成时刻标签。
3.根据权利要求2所述的客户数据迁移存储方法，其特征在于，
所述根据所述第一客户种类标签对所有的客户信息进行一次归类得到多个第一临时归类结构树，每个第一临时归类结构树的根节点为第一客户种类标签，与根节点所连接的子节点为元数据，与所述子节点连接的孙节点为与元数据对应的客户信息，包括：
提取每个第一元数据中的第一客户种类标签，在判断没有与第一客户种类标签对应的第一临时归类结构树时，则建立与第一客户种类标签对应的第一临时归类结构树；
建立第一临时归类结构树的根节点，将第一客户种类标签作为第一临时归类结构树中根节点对应存储的信息；
建立第一临时归类结构树中与根节点连接的子节点，将与第一客户种类标签所对应的元数据存储至相对应的子节点；
建立第一临时归类结构树中与每一个子节点连接的孙节点，将与相应元数据对应的客户信息存储至相对应的孙节点。
4.根据权利要求3所述的客户数据迁移存储方法，其特征在于，
所述建立第一临时归类结构树中与根节点连接的子节点，将与第一客户种类标签所对应的元数据存储至相对应的子节点，包括：
获取第一临时归类结构树中每个元数据所对应的文件格式种类，根据所述文件格式种类对所有的元数据进行二次归类，使得相同文件格式种类所对应的元数据在第一临时归类结构树中相邻；
获取每个元数据所对应的信息生成时刻标签，根据所述信息生成时刻标签对相同文件格式种类的元数据所对应的子节点进行降序排序。
5.根据权利要求4所述的客户数据迁移存储方法，其特征在于，
所述获取当前存在的所有第一数据存储单元的预设种类标签，将所述第一临时归类结构树的第一客户种类标签与预设种类标签比对，每个第一数据存储单元具有与其对应设置的预设种类标签，包括：
获取当前时刻所存在的所有第一数据存储单元的预设种类标签，得到第一标签集合，提取第一临时归类结构树中所有根节点所存储的第一客户种类标签，得到第二标签集合；
将所述第一标签集合和第二标签集合进行比对。
6.根据权利要求5所述的客户数据迁移存储方法，其特征在于，
所述若所述第一客户种类标签与预设种类标签相对应，则确定每个第一临时归类结构树所对应的第一数据存储单元，包括：
若判断第二标签集合完全被第一标签集合包含，则确定第一客户种类标签与预设种类标签相对应；
根据所述第一客户种类标签和预设种类标签的对应关系，确定第一临时归类结构树所对应的第一数据存储单元。
7.根据权利要求5所述的客户数据迁移存储方法，其特征在于，
所述若所述第一客户种类标签与预设种类标签不对应，则确定不对应的第一客户种类标签为第二客户种类标签，建立与所述第二客户种类标签对应的第二数据存储单元，包括：
若判断第二标签集合没有完全被第一标签集合包含，则确定第一客户种类标签与预设种类标签不对应；
则确定与不对应的第一客户种类标签为第二客户种类标签，建立相对应的第二数据存储单元，为新建立的第二数据存储单元添加相对应的第二客户种类标签。
8.根据权利要求1所述的客户数据迁移存储方法，其特征在于，
所述将所有第一临时归类结构树内的客户信息分别迁移至相应的第一数据存储单元或第二数据存储单元，基于所述第一临时归类结构树的子节点对第一数据存储单元的第一历史数据表或第二数据存储单元的第二历史数据表更新，包括：
若判断第二临时归类结构树具有与其对应的第二数据存储单元，则根据第二临时归类结构树在第二数据存储单元内建立多个第二子存储空间，每个第二子存储空间对应一个子节点；
提取所有新建的第二子存储空间的第二空间位置标记，根据第二空间位置标记和元数据的对应关系生成第二数据迁移表；
根据所述第二数据迁移表将第二临时归类结构树中孙节点对应的客户信息迁移至相对应的第二子存储空间，在判断所有孙节点对应的客户信息完全迁移至相对应的第二子存储空间后，建立与第二数据存储单元对应的初始数据表；
在所述初始数据表中建立新的第二表段，将所述元数据与第二空间位置标记对应后填充至所述第二表段，完成对初始数据表的更新得到第二当前数据表。
9.一种客户数据迁移存储系统，其特征在于，包括：
获取模块，用于在判断达到转出条件后，获取待进行数据迁移的第一数据转出单元内的客户数据，所述客户数据包括多个不同客户的客户信息，每个客户信息具有与其相对应的第一客户种类标签、信息生成时刻标签；
归类模块，用于根据所述第一客户种类标签对所有的客户信息进行一次归类得到多个第一临时归类结构树，每个第一临时归类结构树的根节点为第一客户种类标签，与根节点所连接的子节点为元数据，与所述子节点连接的孙节点为与元数据对应的客户信息；
比对模块，用于获取当前存在的所有第一数据存储单元的预设种类标签，将所述第一临时归类结构树的第一客户种类标签与预设种类标签比对，每个第一数据存储单元具有与其对应设置的预设种类标签；
第一确定模块，用于若所述第一客户种类标签与预设种类标签相对应，则确定每个第一临时归类结构树所对应的第一数据存储单元；
第二确定模块，用于若所述第一客户种类标签与预设种类标签不对应，则确定不对应的第一客户种类标签为第二客户种类标签，建立与所述第二客户种类标签对应的第二数据存储单元；
迁移模块，用于将所有第一临时归类结构树内的客户信息分别迁移至相应的第一数据存储单元或第二数据存储单元，基于所述第一临时归类结构树的子节点对第一数据存储单元的第一历史数据表或第二数据存储单元的第二历史数据表更新；
所述将所有第一临时归类结构树内的客户信息分别迁移至相应的第一数据存储单元或第二数据存储单元，基于所述第一临时归类结构树的子节点对第一数据存储单元的第一历史数据表或第二数据存储单元的第二历史数据表更新，包括：
若判断第一临时归类结构树具有与其对应的第一数据存储单元，则根据第一临时归类结构树在第一数据存储单元内建立多个第一子存储空间，每个第一子存储空间对应一个子节点；
提取所有新建的第一子存储空间的第一空间位置标记，根据第一空间位置标记和元数据的对应关系生成第一数据迁移表；
根据所述第一数据迁移表将第一临时归类结构树中孙节点对应的客户信息迁移至相对应的第一子存储空间，在判断所有孙节点对应的客户信息完全迁移至相对应的第一子存储空间后，提取第一数据存储单元的第一历史数据表；
在所述第一历史数据表建立新的第一表段，将所述元数据与第一空间位置标记对应后填充至所述第一表段，完成对第一历史数据表的更新得到第一当前数据表；
统计所有第一临时归类结构树的数量得到第一结构树数量，获取每个第一结构树数量中子节点的数据量得到第一用户信息数量；
统计所有第一临时归类结构树所对应的用户信息分别迁移至第一子存储空间和第二子存储空间的第一总耗时；
根据所述第一结构树数量、第一用户信息数量以及第一总耗时进行计算，得到条件调整系数，将所述条件调整系数与预设调整系数比对；
所述根据所述第一结构树数量、第一用户信息数量以及第一总耗时进行计算，得到条件调整系数，将所述条件调整系数与预设调整系数比对，包括：
通过以下公式计算条件调整系数，
Figure 800868DEST_PATH_IMAGE021
其中，
Figure 177623DEST_PATH_IMAGE002
为条件调整系数，
Figure 407878DEST_PATH_IMAGE003
为第一结构树数量，
Figure 641413DEST_PATH_IMAGE004
为结构树数量权重值，
Figure 206387DEST_PATH_IMAGE005
为第
Figure 121253DEST_PATH_IMAGE006
个第一临时归类结构树中子节点的第一用户信息数量，
Figure 252020DEST_PATH_IMAGE007
为第一临时归类结构树中子节点的上限值，
Figure 859719DEST_PATH_IMAGE008
为第一临时归类结构树中子节点的数量值，
Figure 895677DEST_PATH_IMAGE009
为子节点数量权重值，
Figure 410972DEST_PATH_IMAGE010
为第
Figure 865087DEST_PATH_IMAGE011
个第一临时归类结构树所对应的用户信息分别迁移至第一子存储空间或第二子存储空间的第一总耗时，
Figure 378108DEST_PATH_IMAGE012
为时长权重值；
若所述条件调整系数大于所述预设调整系数，则根据所述条件调整系数和预设调整系数的差值对预设时间周期和/或预设数据量进行减小调整；
所述若所述条件调整系数大于所述预设调整系数，则根据所述条件调整系数和预设调整系数的差值对所述预设时间周期和/或预设数据量进行减小调整，包括：
通过以下公式计算减小调整后的预设时间周期和/或预设数据量，
Figure 714412DEST_PATH_IMAGE022
Figure 236660DEST_PATH_IMAGE023
其中，
Figure 27505DEST_PATH_IMAGE015
为减小调整后的预设时间周期，
Figure 977006DEST_PATH_IMAGE016
为减小调整前的预设时间周期，
Figure 738289DEST_PATH_IMAGE017
为周期调整系数值，
Figure 860966DEST_PATH_IMAGE018
为减小调整后的预设数据量，
Figure 758515DEST_PATH_IMAGE019
为减小调整前的预设数据量，
Figure 128185DEST_PATH_IMAGE020
为数据量调整系数值；
若所述条件调整系数小于等于所述预设调整系数，则不对预设时间周期和/或预设数据量调整。
CN202210942409.XA 2022-08-08 2022-08-08 客户数据迁移存储方法及装置 Active CN114995772B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210942409.XA CN114995772B (zh) 2022-08-08 2022-08-08 客户数据迁移存储方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210942409.XA CN114995772B (zh) 2022-08-08 2022-08-08 客户数据迁移存储方法及装置

Publications (2)

Publication Number Publication Date
CN114995772A CN114995772A (zh) 2022-09-02
CN114995772B true CN114995772B (zh) 2022-10-21

Family

ID=83023064

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210942409.XA Active CN114995772B (zh) 2022-08-08 2022-08-08 客户数据迁移存储方法及装置

Country Status (1)

Country Link
CN (1) CN114995772B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002073943A (ja) * 2000-08-25 2002-03-12 Nippon Telegr & Teleph Corp <Ntt> イベント遷移パターン分類方法及び装置及びイベント遷移パターン分類プログラムを格納した記憶媒体
KR100864537B1 (ko) * 2007-04-24 2008-10-21 고려대학교 산학협력단 트리 레이블을 이용한 확장성 표시 언어 문서의 질의 처리 방법, 및 그 질의 처리 장치
CN110118553A (zh) * 2019-04-16 2019-08-13 中国平安财产保险股份有限公司 生成行车参考数据的方法、装置、计算机设备和存储介质
CN114010171A (zh) * 2020-03-18 2022-02-08 南京润楠医疗电子研究院有限公司 一种基于心跳数据的分类器设置方法

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170073944A (ko) * 2015-12-21 2017-06-29 에스케이하이닉스 주식회사 데이터 처리 시스템 및 데이터 처리 시스템의 동작방법
US20180036591A1 (en) * 2016-03-08 2018-02-08 Your Trainer Inc. Event-based prescription of fitness-related activities
CN107807787B (zh) * 2016-09-08 2020-12-22 北京京东尚科信息技术有限公司 一种分布式数据存储方法和系统
CN110045912B (zh) * 2018-01-16 2021-06-01 华为技术有限公司 数据处理方法和装置
US11119654B2 (en) * 2018-07-10 2021-09-14 International Business Machines Corporation Determining an optimal storage environment for data sets and for migrating data sets
CN110147348A (zh) * 2019-04-01 2019-08-20 贵州力创科技发展有限公司 一种大数据块结构化存储方法及系统
CN111444944A (zh) * 2020-03-16 2020-07-24 中国平安人寿保险股份有限公司 基于决策树的信息筛选方法、装置、设备和存储介质
CN112925789B (zh) * 2021-02-24 2022-12-20 东北林业大学 一种基于Spark的空间矢量数据内存存储查询方法及系统
CN114357085B (zh) * 2022-03-15 2022-06-03 国网浙江省电力有限公司绍兴供电公司 基于区块链的财务数据存储方法、装置及存储介质
CN114415977B (zh) * 2022-03-29 2022-10-04 阿里云计算有限公司 访问存储池的方法以及分布式存储系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002073943A (ja) * 2000-08-25 2002-03-12 Nippon Telegr & Teleph Corp <Ntt> イベント遷移パターン分類方法及び装置及びイベント遷移パターン分類プログラムを格納した記憶媒体
KR100864537B1 (ko) * 2007-04-24 2008-10-21 고려대학교 산학협력단 트리 레이블을 이용한 확장성 표시 언어 문서의 질의 처리 방법, 및 그 질의 처리 장치
CN110118553A (zh) * 2019-04-16 2019-08-13 中国平安财产保险股份有限公司 生成行车参考数据的方法、装置、计算机设备和存储介质
CN114010171A (zh) * 2020-03-18 2022-02-08 南京润楠医疗电子研究院有限公司 一种基于心跳数据的分类器设置方法

Also Published As

Publication number Publication date
CN114995772A (zh) 2022-09-02

Similar Documents

Publication Publication Date Title
CN106126521B (zh) 目标对象的社交账号挖掘方法及服务器
CN109033387A (zh) 一种融合多源数据的物联网搜索系统、方法及存储介质
CN111709613A (zh) 基于数据统计的任务自动分配方法、装置及计算机设备
CN113590698B (zh) 基于人工智能技术的数据资产分类建模与分级保护方法
CN108959244A (zh) 地址分词的方法和装置
CN107330464A (zh) 数据处理方法和装置
CN112632405A (zh) 一种推荐方法、装置、设备及存储介质
CN108897808A (zh) 一种在云存储系统中进行数据存储的方法及系统
CN109582849A (zh) 一种基于知识图谱的网络资源智能检索方法
CN110737805B (zh) 图模型数据的处理方法、装置和终端设备
CN107274141A (zh) 一种事件处理方法及网络设备
CN106777130A (zh) 一种索引生成方法、数据检索方法和装置
CN105808729B (zh) 基于论文间引用关系的学术大数据分析方法
CN109635069A (zh) 一种基于信息熵的地理空间数据自组织方法
CN111159420B (zh) 一种基于属性计算与知识模板的实体优化方法
CN104965846B (zh) MapReduce平台上的虚拟人建立方法
CN104915388A (zh) 一种基于谱聚类和众包技术的图书标签推荐方法
CN114357085A (zh) 基于区块链的财务数据存储方法、装置及存储介质
CN111678531B (zh) 一种基于LightGBM的地铁路径规划方法
CN114995772B (zh) 客户数据迁移存储方法及装置
CN109460506B (zh) 一种用户需求驱动的资源匹配推送方法
CN107767278B (zh) 社群层次结构构建方法和装置
JPH08305724A (ja) 設計支援情報文書管理装置
CN116089595A (zh) 基于科技成果的数据处理推送方法、装置及介质
CN113034033B (zh) 一种新研装备备件品种确定方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant