CN106294538A - 一种从节点中的数据记录的迁移方法及装置 - Google Patents

一种从节点中的数据记录的迁移方法及装置 Download PDF

Info

Publication number
CN106294538A
CN106294538A CN201610578746.XA CN201610578746A CN106294538A CN 106294538 A CN106294538 A CN 106294538A CN 201610578746 A CN201610578746 A CN 201610578746A CN 106294538 A CN106294538 A CN 106294538A
Authority
CN
China
Prior art keywords
node
data
data record
condition
data migration
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201610578746.XA
Other languages
English (en)
Other versions
CN106294538B (zh
Inventor
黄乐
刘勋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Dahua Technology Co Ltd
Original Assignee
Zhejiang Dahua Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Dahua Technology Co Ltd filed Critical Zhejiang Dahua Technology Co Ltd
Priority to CN201610578746.XA priority Critical patent/CN106294538B/zh
Publication of CN106294538A publication Critical patent/CN106294538A/zh
Priority to EP17830251.9A priority patent/EP3472733A4/en
Priority to PCT/CN2017/081008 priority patent/WO2018014613A1/en
Priority to US16/252,633 priority patent/US10922004B2/en
Application granted granted Critical
Publication of CN106294538B publication Critical patent/CN106294538B/zh
Priority to US17/169,391 priority patent/US11620067B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0646—Horizontal data movement in storage systems, i.e. moving data in between storage devices or systems
    • G06F3/0647—Migration mechanisms
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/21—Design, administration or maintenance of databases
    • G06F16/217—Database tuning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/21—Design, administration or maintenance of databases
    • G06F16/214—Database migration support
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2455—Query execution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0604—Improving or facilitating administration, e.g. storage management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/067—Distributed or networked storage systems, e.g. storage area networks [SAN], network attached storage [NAS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Human Computer Interaction (AREA)
  • Computational Linguistics (AREA)
  • Computing Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明实施例公开了一种从节点的数据记录的迁移方法及装置。该方法包括：在分布式数据库系统中采用两表连接方式每执行一次数据记录查询后，判断各个从节点中满足数据迁移的触发条件的从节点的数量是否达到预设数量；若是，将满足数据迁移的触发条件的从节点中满足数据迁移条件的数据记录迁移到目标从节点中存储；其中，数据迁移条件为：数据记录传输到目标从节点的传输次数达到预设次数；数据迁移的触发条件为：在从节点中，满足数据迁移条件的数据记录的条数达到预设条数。该方案减少了通信负担，提高了数据处理效率。

Description

一种从节点中的数据记录的迁移方法及装置
技术领域
本发明涉及计算机技术领域，尤其涉及一种从节点中的数据记录的迁移方法及装置。
背景技术
在分布式数据库系统中，主节点将数据表存储的多条数据记录分成多个数据表并分配到多个从节点上。当需要查询某些数据记录时，要将每个从节点上的数据表中存储的相关联的数据记录连接起来，具体实现过程中，是对每两个数据表进行连接，因而，这种数据记录的查询方式称为两表连接方式，以下进行举例说明。
假设，有两个从节点：从节点1和从节点2，从节点1存储有数据表1，从节点2存储有数据表2，要进行两个从节点的数据表的连接操作，可以将从节点1的数据表1的数据记录传输到从节点2上进行连接，也可以将从节点2的数据表2的数据记录传输到从节点1上进行连接。由于在现有的分布式数据库系统中，每个从节点中存储的数据记录分配之后就不再变化，即从节点中存储的数据记录就固定了，这样，会导致如下问题：如果从节点1或者从节点2中需要传输的数据记录较多，就会增加通信负担。
由于在实际的两表连接时，从节点1的部分数据记录并不能和从节点2的数据记录匹配，就不能进行连接，对于无法进行连接的数据记录也进行传输，就会增加通信负担，增加了查询处理的代价。现有技术中，通常采用半连接和布鲁连接这两种方式进行两表的连接，以避免传输这些不能进行连接的数据记录，以减少通信负担。下面例举两个数据表说明这两种连接方式。
节点1上的数据表1：
数据记录ID 字段A 字段B
1 A1 B1
2 A2 B4
3 A3 B3
4 A4 B4
节点2上的数据表2：
数据记录ID 字段B 字段C
1 B1 C1
2 B5 C2
3 B2 C3
4 B2 C4
基于以上例举的两个数据表，连接字段为字段B，半连接的方式：在从节点1对数据表1进行投影得到连接字段的不重复集合{B1，B3，B4}，并传输至节点2；在节点2，将从节点1传输过来的投影结果和数据表2进行自然连接，得到数据表2的约减：
数据记录ID 字段B 字段C
1 B1 C1
将上述数据表2约减后的数据记录传输至从节点1；在从节点1，对数据表2约减后的数据记录和数据表1进行连接。并得到的结果为：
数据记录ID 字段A 字段B 字段C
1 A1 B1 C1
布鲁连接：仍基于以上例举的数据表1和数据表2进行说明：
在从节点1对数据表1进行投影得到连接字段的不重复集合{B1，B3，B4}；通过使用hash函数，将该不重复集合中的字段映射为位向量10110，例如，通过hash函数hash(B1)＝1，设置位向量的第1位为1，hash(B3)＝3，设置位向量的第3位为1，hash(B4)＝4，设置位向量的第4位为1；将该位向量发送至节点2；在节点2，对表2中的每一条数据记录使用同一个hash函数进行计算，hash(B1)＝1，为位向量匹配，该条数据记录满足条件，继续计算hash(B2)＝2，位向量的第2位为0，即该条数据记录不满足条件。最终得到满足条件的记录为
数据记录ID 字段B 字段C
1 B1 C1
将上述数据表2约减后的数据记录传输至从节点1；在从节点1，对数据表2约减后的数据记录和数据表1进行连接。
从上述列举的两种数据表的连接方式中，可以看出，虽然最终减少了不能连接的数据记录的传输，但是由于在现有的分布式数据库系统中，从节点中存储的数据记录的数量是固定的，如果在从节点2中存储的数据记录较多，在实现过程中，从节点1和从节点2之间所涉及到的投影后的数据的传输和约减后的数据记录的传输过程中，通信负担仍然不小。
发明内容
本发明实施例的目的是提供一种从节点中的数据记录的迁移方法及装置，用于解决现有的分布式数据库中因从节点中存储的数据记录的数量固定而导致采用两表连接方式查询数据记录时的通信负担较重的问题。
本发明实施例的目的是通过以下技术方案实现的：
一种从节点中的数据记录的迁移方法，应用于分布式数据库系统中，该方法包括：
在分布式数据库系统中采用两表连接方式每执行一次数据记录查询后，判断各个从节点中满足数据迁移的触发条件的从节点的数量是否达到预设数量；
若是，将满足数据迁移的触发条件的所述从节点中满足数据迁移条件的数据记录迁移到目标从节点中存储；其中，所述数据迁移条件为：数据记录传输到所述目标从节点的传输次数达到预设次数；所述数据迁移的触发条件为：在所述从节点中，满足所述数据迁移条件的数据记录的条数达到预设条数。
较佳地，所述数据迁移条件为：数据记录到所述目标从节点的传输次数最多，且该传输次数与所述分布式数据库系统中采用两表连接方式执行的数据记录查询的总次数的比值大于第一预设阈值。
较佳地，所述数据迁移的触发条件为：在所述从节点中，满足所述数据迁移条件的数据记录的条数，与本从节点中存储的数据记录的总条数的比值大于第二预设阈值。
较佳地，所述第一预设阈值为1/2；所述第二预设阈值为1/n，其中n为本从节点存储的数据记录的总条数。
较佳地，该方法还包括：在分布式数据库系统中采用两表连接方式每执行一次数据记录查询后，统计所述从节点中的每条数据记录传输到各个目标从节点的传输次数。
较佳地，所述预设数量为所述分布式数据库系统中所有所述从节点的数量。
一种从节点中的数据记录的迁移装置，该装置包括：
判断模块，用于：在分布式数据库系统中采用两表连接方式每执行一次数据记录查询后，判断各个从节点中满足数据迁移的触发条件的从节点的数量是否达到预设数量；
迁移模块，用于：若是，将满足数据迁移的触发条件的所述从节点中满足数据迁移条件的数据记录迁移到目标从节点中存储；其中，所述数据迁移条件为：数据记录传输到所述目标从节点的传输次数达到预设次数；所述数据迁移的触发条件为：在所述从节点中，满足所述数据迁移条件的数据记录的条数达到预设条数。
较佳地，所述数据迁移条件为：数据记录到所述目标从节点的传输次数最多，且该传输次数与所述分布式数据库系统中采用两表连接方式执行的数据记录查询的总次数的比值大于第一预设阈值。
较佳地，所述数据迁移的触发条件为：在所述从节点中，满足所述数据迁移条件的数据记录的条数，与本从节点中存储的数据记录的总条数的比值大于第二预设阈值。
较佳地，所述第一预设阈值为1/2；所述第二预设阈值为1/n，其中n为本从节点存储的数据记录的总条数。
较佳地，该装置还包括统计模块；所述统计模块，用于：在分布式数据库系统中采用两表连接方式每执行一次数据记录查询后，统计所述从节点中的每条数据记录传输到各个目标从节点的传输次数。
较佳地，所述预设数量为所述分布式数据库系统中所有所述从节点的数量。
本发明实施例的有益效果如下：
由于分布式数据库系统中采用两表连接方式执行数据记录的查询过程中，其中一个从节点中的数据记录要传输到另一从节点(即目标从节点)中进行连接，从节点中的一条数据记录传输至哪一个目标从节点的传输次数较多，说明该目标从节点是该条数据记录较佳的存储从节点，本发明实施例的方案中，在分布式数据库系统中采用两表连接方式每执行一次数据记录查询后，如果从节点中的数据记录到一个目标从节点的传输次数达到预设次数，即数据记录满足数据迁移条件，且该从节点中满足数据迁移条件的数据记录的条数达到预设条数，则该从节点满足数据触发条件，且满足数据触发条件的从节点的数量达到预设数量，就将每个从节点中存储的满足数据迁移条件的数据记录迁移到该数据记录对应的传输次数达到预设次数的目标从节点中存储，这样，与现有技术相比，数据记录的存储位置就是动态变化的，可以将两个从节点之间连接次数较多的数据记录存储在同一个从节点中，因而在后续数据记录的查询过程中，就减少了对该条数据记录到目标从节点的传输，从而减少了通信负担，提高了数据处理效率。
附图说明
图1为本发明实施例提供的一种从节点中的数据记录的迁移方法流程图；
图2为本发明实施例提供的一种分布式数据库系统的示意图；
图3为本发明实施例提供的一种从节点中的数据记录的迁移装置示意图。
具体实施方式
下面结合附图和实施例对本发明提供的一种从节点中的数据记录的迁移方法及装置进行更详细地说明。
如图1所示，本发明实施例提供一种从节点中的数据记录的迁移方法，该方法至少包括如下步骤：
步骤110、在分布式数据库系统中采用两表连接方式每执行一次数据记录查询后，判断各个从节点中满足数据迁移的触发条件的从节点的数量是否达到预设数量。
步骤120、若是，将满足数据迁移的触发条件的从节点中满足数据迁移条件的数据记录迁移到目标从节点中存储；其中，数据迁移条件为：数据记录传输到目标从节点的传输次数达到预设次数；数据迁移的触发条件为：在从节点中，满足数据迁移条件的数据记录的条数达到预设条数。
如果满足数据迁移的触发条件的从节点的数量未达到预设数量，则不进行数据记录的迁移。
由于分布式数据库系统中采用两表连接方式执行数据记录的查询过程中，其中一个从节点中的数据记录要传输到另一从节点(即目标从节点)中进行连接，从节点中的一条数据记录传输至哪一个目标从节点的传输次数较多，说明该目标从节点是该条数据记录较佳的存储从节点，本发明实施例的方案中，在分布式数据库系统中采用两表连接方式每执行一次数据记录的查询后如果从节点中的数据记录到一个目标从节点的传输次数达到预设次数，即数据记录满足数据迁移条件，且该从节点中满足数据迁移条件的数据记录的条数达到预设条数，则该从节点满足数据触发条件，且满足数据触发条件的从节点的数量达到预设数量，就将每个从节点中存储的满足数据迁移条件的数据记录迁移到该数据记录对应的传输次数达到预设次数的目标从节点中存储，这样，与现有技术相比，数据记录的存储位置就是动态变化的，可以将两个从节点之间连接次数较多的数据记录存储在同一个从节点中，因而在后续数据记录的查询的过程中，就减少了对该条数据记录到目标从节点的传输，从而减少了通信负担，提高了数据处理效率。
上述数据迁移条件为：数据记录到目标从节点的传输次数达到预设次数，其中的预设次数可以根据实际需要设置，在一种可能的实施例中，较佳地，数据迁移条件为：数据记录到目标从节点的传输次数最多，且该传输次数与分布式数据库系统中采用两表连接方式执行的数据记录查询的总次数的比值大于第一预设阈值。也就是说，在所有的布式数据库系统中采用两表连接方式执行的数据记录查询中，数据记录对应的数据迁移的目标从节点的传输次数最多，因而是最佳的存储位置。较佳地，第一预设阈值为1/2。这样可以保证要传输的次数大于不传输的次数，以保证数据迁移的有效性，避免数据迁移次数过多或过少。
为了进一步提高数据迁移的有效性，以避免多次进行数据迁移，可以进一步限定数据迁移触发条件中，满足数据迁移条件的数据记录的条数，较佳地，上述步骤110中数据迁移触发条件包括：在从节点中，满足数据迁移条件的数据记录的条数，与本从节点中存储的数据记录的总条数的比值大于第二预设阈值。较佳地，第二预设阈值为1/n，其中n为本从节点存储的数据记录的总条数。
应当指出的是，上述各个实施例中，满足数据迁移的触发条件的从节点的数量要达到预设数量：其中的预设数量可以是一个，这样，在分布式数据库系统中只要有一个从节点满足数据迁移的触发条件就进行数据迁移；其中的预设数量也可以是两个以上，较佳地，上述预设数量为分布式数据库系统中所有的从节点的数量，这样，只有所有的从节点都满足数据迁移的触发条件才进行数据迁移，即每个从节点都有数据记录迁移到其它从节点，也有从其它从节点迁移来的数据记录，这样可以避免某些从节点的数据记录较多或较少，保证了各个从节点之间的数据均衡，进而保证各个从节点的处理效率。
较佳地，在分布式数据库系统中采用两表连接方式每执行一次数据记录查询后，统计从节点中的每条数据记录传输到各个目标从节点的次数，等等。
应当指出的是，上述数据处理过程可以由分布式数据库中的主节点执行，例如，可以由各个从节点将本从节点统计的结果上报给主节点，由主节点进行处理。或者，上述处理过程可以由分布式数据库中的各个从节点配合执行，例如，由每个从节点根据统计的结果进行判断本从节点是否满足数据迁移的触发条件并告知其它从节点，以及接收其它从节点的判断结果，进而进行后续处理。
下面以具体的应用场景为例，对本发明实施例提供的一种从节点中的数据记录的迁移方法进行更加详细地说明。
在本实施例的分布式数据库系统中，如图2所示，该分布式数据库系统包括主节点和n个从节点。在每一个从节点中加入一个统计器模块，统计各个从节点中每条数据记录需要传输到另一个从节点(即目标从节点)进行连接的次数。例如，采用两表连接方式查询8次，在从节点1中，统计的结果如表1所示：
本实施例中，数据迁移条件：数据记录到目标从节点的传输次数最多，且该传输次数与分布式数据库系统中采用两表连接方式执行的数据记录查询的总次数的比值大于1/2；数据迁移的触发条件为：满足数据迁移条件的数据记录的条数，与本从节点中存储的数据记录的总条数的比值大于1/4。
在8次采用两表连接方式执行的数据记录查询后，根据上述对从节点1的统计结果，可以看出：数据记录ID为1的数据记录，到目标从节点2的传输次数最多，为6次，并且该传输次数与采用两表连接方式执行的数据记录查询的总次数的比值3/4大于1/2，因而满足数据记录的迁移条件；数据记录ID为2的数据记录，到目标从节点2的传输次数最多，为5次，并且该传输次数与采用两表连接方式执行的数据记录查询的总次数的比值5/8大于1/2，因而满足数据记录的迁移条件；数据记录ID为3的数据记录，到目标从节点n的传输次数最多，为7次，并且该传输次数与采用两表连接方式执行的数据记录查询的总次数的比值7/8大于1/2，因而满足数据记录的迁移条件；数据记录ID为4的数据记录，到目标从节点n的传输次数最多，为3次，但是该传输次数与采用两表连接方式执行的数据记录查询的总次数的比值3/8不大于1/2，因而不满足数据记录的迁移条件；因此，满足数据记录的迁移条件的数据记录包括数据记录ID为1、2和3的3条数据记录，与从节点1中存储的数据记录的总条数的比值3/4大于1/4，因而，主节点可以确定从节点1满足数据迁移的触发条件。对其它的从节点也进行同样的处理。如果，最终主节点判断所有从节点都满足数据迁移的触发条件，就进行数据迁移。进行数据迁移时，以从节点1为例，将数据记录ID为1、2和3的数据记录分别迁移到目标从节点2、2、n中。
迁移数据记录完成后，由于记录的物理存储已经改变，需要重新初始化统计表。
基于同样的发明构思，本发明实施例还提供一种从节点中的数据迁移的装置，如图3所示，该装置包括判断模块301和迁移模块302。
判断模块301，在分布式数据库系统中采用两表连接方式每执行一次数据记录查询后，判断各个从节点中满足数据迁移的触发条件的从节点的数量是否达到预设数量；
迁移模块302，用于：若是，将满足数据迁移的触发条件的从节点中满足数据迁移条件的数据记录迁移到目标从节点中存储；其中，数据迁移条件为：数据记录传输到目标从节点的传输次数达到预设次数；数据迁移的触发条件为：在从节点中，满足数据迁移条件的数据记录的条数达到预设条数。
由于分布式数据库系统中采用两表连接方式执行数据记录的查询过程中，其中一个从节点中的数据记录要传输到另一从节点(即目标从节点)中进行连接，从节点中的一条数据记录传输至哪一个目标从节点的传输次数较多，说明该目标从节点是该条数据记录较佳的存储从节点，本发明实施例的方案中，在分布式数据库系统中采用两表连接方式每执行一次数据记录的查询后如果从节点中的数据记录到一个目标从节点的传输次数达到预设次数，即数据记录满足数据迁移条件，且该从节点中满足数据迁移条件的数据记录的条数达到预设条数，则该从节点满足数据触发条件，且满足数据触发条件的从节点的数量达到预设数量，就将每个从节点中存储的满足数据迁移条件的数据记录迁移到该数据记录对应的传输次数达到预设次数的目标从节点中存储，这样，与现有技术相比，数据记录的存储位置就是动态变化的，可以将两个从节点之间连接次数较多的数据记录存储在同一个从节点中，因而在后续数据记录的查询的过程中，就减少了对该条数据记录到目标从节点的传输，从而减少了通信负担，提高了数据处理效率。
较佳地，数据迁移条件为：数据记录到目标从节点的传输次数最多，且该传输次数与分布式数据库系统中采用两表连接方式执行的数据记录查询的总次数的比值大于第一预设阈值。
较佳地，数据迁移的触发条件为：在从节点中，满足数据迁移条件的数据记录的条数，与本从节点中存储的数据记录的总条数的比值大于第二预设阈值。
较佳地，第一预设阈值为1/2；第二预设阈值为1/n，其中n为本从节点存储的数据记录的总条数。
较佳地，该装置还包括统计模块；统计模块，用于：在分布式数据库系统中采用两表连接方式每执行一次数据记录查询后，统计从节点中的每条数据记录传输到各个目标从节点的传输次数。
较佳地，上述预设数量为分布式数据库系统中所有从节点的数量。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (12)

1.一种从节点中的数据记录的迁移方法，应用于分布式数据库系统中，其特征在于，该方法包括：
在分布式数据库系统中采用两表连接方式每执行一次数据记录查询后，判断各个从节点中满足数据迁移的触发条件的从节点的数量是否达到预设数量；若是，将满足数据迁移的触发条件的所述从节点中满足数据迁移条件的数据记录迁移到目标从节点中存储；其中，所述数据迁移条件为：数据记录传输到所述目标从节点的传输次数达到预设次数；所述数据迁移的触发条件为：在所述从节点中，满足所述数据迁移条件的数据记录的条数达到预设条数。
2.根据权利要求1所述的方法，其特征在于，所述数据迁移条件为：数据记录到所述目标从节点的传输次数最多，且该传输次数与所述分布式数据库系统中采用两表连接方式执行的数据记录查询的总次数的比值大于第一预设阈值。
3.根据权利要求2所述的方法，其特征在于，所述数据迁移的触发条件为：在所述从节点中，满足所述数据迁移条件的数据记录的条数，与本从节点中存储的数据记录的总条数的比值大于第二预设阈值。
4.根据权利要求3所述的方法，其特征在于，所述第一预设阈值为1/2；所述第二预设阈值为1/n，其中n为本从节点存储的数据记录的总条数。
5.根据权利要求1～4任一项所述的方法，其特征在于，该方法还包括：在分布式数据库系统中采用两表连接方式每执行一次数据记录查询后，统计所述从节点中的每条数据记录传输到各个目标从节点的传输次数。
6.根据权利要求1所述的方法，其特征在于，所述预设数量为所述分布式数据库系统中所有所述从节点的数量。
7.一种从节点中的数据记录的迁移装置，其特征在于，该装置包括：
判断模块，用于：在分布式数据库系统中采用两表连接方式每执行一次数据记录查询后，判断各个从节点中满足数据迁移的触发条件的从节点的数量是否达到预设数量；
迁移模块，用于：若是，将满足数据迁移的触发条件的所述从节点中满足数据迁移条件的数据记录迁移到目标从节点中存储；其中，所述数据迁移条件为：数据记录传输到所述目标从节点的传输次数达到预设次数；所述数据迁移的触发条件为：在所述从节点中，满足所述数据迁移条件的数据记录的条数达到预设条数。
8.根据权利要求7所述的装置，其特征在于，所述数据迁移条件为：数据记录到所述目标从节点的传输次数最多，且该传输次数与所述分布式数据库系统中采用两表连接方式执行的数据记录查询的总次数的比值大于第一预设阈值。
9.根据权利要求8所述的装置，其特征在于，所述数据迁移的触发条件为：在所述从节点中，满足所述数据迁移条件的数据记录的条数，与本从节点中存储的数据记录的总条数的比值大于第二预设阈值。
10.根据权利要求9所述的装置，其特征在于，所述第一预设阈值为1/2；所述第二预设阈值为1/n，其中n为本从节点存储的数据记录的总条数。
11.根据权利要求7～10任一项所述的装置，其特征在于，该装置还包括统计模块；所述统计模块，用于：在分布式数据库系统中采用两表连接方式每执行一次数据记录查询后，统计所述从节点中的每条数据记录传输到各个目标从节点的传输次数。
12.根据权利要求7所述的装置，其特征在于，所述预设数量为所述分布式数据库系统中所有所述从节点的数量。
CN201610578746.XA 2016-07-19 2016-07-19 一种从节点中的数据记录的迁移方法及装置 Active CN106294538B (zh)

Priority Applications (5)

Application Number Priority Date Filing Date Title
CN201610578746.XA CN106294538B (zh) 2016-07-19 2016-07-19 一种从节点中的数据记录的迁移方法及装置
EP17830251.9A EP3472733A4 (en) 2016-07-19 2017-04-19 SYSTEMS AND METHOD FOR MIGRATING DATA
PCT/CN2017/081008 WO2018014613A1 (en) 2016-07-19 2017-04-19 Systems and methods for migrating data
US16/252,633 US10922004B2 (en) 2016-07-19 2019-01-19 Systems and methods for migrating data records
US17/169,391 US11620067B2 (en) 2016-07-19 2021-02-05 Systems and methods for migrating data

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610578746.XA CN106294538B (zh) 2016-07-19 2016-07-19 一种从节点中的数据记录的迁移方法及装置

Publications (2)

Publication Number Publication Date
CN106294538A true CN106294538A (zh) 2017-01-04
CN106294538B CN106294538B (zh) 2019-07-16

Family

ID=57652691

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610578746.XA Active CN106294538B (zh) 2016-07-19 2016-07-19 一种从节点中的数据记录的迁移方法及装置

Country Status (4)

Country Link
US (2) US10922004B2 (zh)
EP (1) EP3472733A4 (zh)
CN (1) CN106294538B (zh)
WO (1) WO2018014613A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107517128A (zh) * 2017-08-24 2017-12-26 北京小米移动软件有限公司 数据传输方法、装置和设备
WO2018014613A1 (en) * 2016-07-19 2018-01-25 Zhejiang Dahua Technology Co., Ltd. Systems and methods for migrating data

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103384878A (zh) * 2011-02-25 2013-11-06 数创株式会社 分布式数据库系统和分布式数据库的数据结构
CN103701916A (zh) * 2013-12-31 2014-04-02 赛凡信息科技（厦门）有限公司 分布式存储系统的动态负载均衡方法
CN103765391A (zh) * 2012-08-23 2014-04-30 数创株式会社 分布式数据库系统

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7590558B2 (en) * 2000-09-26 2009-09-15 I2 Technologies Us, Inc. System and method for facilitating electronic commerce transactions
US6708161B2 (en) * 2000-09-26 2004-03-16 I2 Technologies Us, Inc. System and method for selective database indexing
US8717948B2 (en) * 2009-07-16 2014-05-06 Telefonaktiebolaget Lm Ericsson (Publ) Technique for providing an asymmetric multipoint call between a plurality of network nodes
EP2378435B1 (en) * 2010-04-14 2019-08-28 Spotify AB Method of setting up a redistribution scheme of a digital storage system
US8825976B1 (en) * 2010-09-28 2014-09-02 Western Digital Technologies, Inc. Hybrid drive executing biased migration policy during host boot to migrate data to a non-volatile semiconductor memory
US10019503B2 (en) * 2010-12-22 2018-07-10 Microsoft Technology Licensing, Llc Database transfers using constraint free data
US8452819B1 (en) * 2011-03-22 2013-05-28 Amazon Technologies, Inc. Methods and apparatus for optimizing resource utilization in distributed storage systems
WO2013038220A1 (en) * 2011-09-15 2013-03-21 Telefonaktiebolaget L M Ericsson (Publ) Cache replacement method and system
CN103593347B (zh) * 2012-08-14 2017-06-13 中兴通讯股份有限公司 一种均衡负载的方法及分布式数据库系统
JP2015035020A (ja) * 2013-08-07 2015-02-19 富士通株式会社 ストレージシステム、ストレージ制御装置及び制御プログラム
CN106294538B (zh) 2016-07-19 2019-07-16 浙江大华技术股份有限公司 一种从节点中的数据记录的迁移方法及装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103384878A (zh) * 2011-02-25 2013-11-06 数创株式会社 分布式数据库系统和分布式数据库的数据结构
CN103765391A (zh) * 2012-08-23 2014-04-30 数创株式会社 分布式数据库系统
CN103701916A (zh) * 2013-12-31 2014-04-02 赛凡信息科技（厦门）有限公司 分布式存储系统的动态负载均衡方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018014613A1 (en) * 2016-07-19 2018-01-25 Zhejiang Dahua Technology Co., Ltd. Systems and methods for migrating data
CN107517128A (zh) * 2017-08-24 2017-12-26 北京小米移动软件有限公司 数据传输方法、装置和设备
CN107517128B (zh) * 2017-08-24 2020-06-19 北京小米移动软件有限公司 数据传输方法、装置和设备

Also Published As

Publication number Publication date
US20190155536A1 (en) 2019-05-23
US10922004B2 (en) 2021-02-16
US11620067B2 (en) 2023-04-04
CN106294538B (zh) 2019-07-16
US20210165594A1 (en) 2021-06-03
EP3472733A1 (en) 2019-04-24
EP3472733A4 (en) 2019-05-15
WO2018014613A1 (en) 2018-01-25

Similar Documents

Publication Publication Date Title
CN104937572B (zh) 用于业务和/或工作负荷处理的方法和装置
CN103929492B (zh) 业务链负载均衡方法及其装置、系统
KR102112085B1 (ko) 분산 트랜잭션 자원을 집행하기 위한 방법, 장치 및 시스템
CN107046501A (zh) 用于sdn的路径确定方法、装置、计算机设备及存储介质
CN104539725B (zh) 一种对生成的app应用进行集群打包的方法
CN107589997B (zh) 数据中心环境下保证延迟敏感程序QoS的动态调节方法
CN106294538A (zh) 一种从节点中的数据记录的迁移方法及装置
CN108681493A (zh) 数据异常检测方法、装置、服务器和存储介质
CN106059940A (zh) 一种流量控制方法及装置
CN108418752B (zh) 一种聚合组的创建方法和装置
CN108243146A (zh) 一种高效的信息提交方法
CN104199738B (zh) 一种多数据处理设备协同工作方法及系统
WO2018166249A1 (zh) 一种网络业务传输的方法及系统
CN107402797A (zh) 一种软件编译方法及装置
CN108123891A (zh) Sdn网络中使用分布式域控制器实现的动态负载均衡方法
JP6256167B2 (ja) データセンターネットワークにおけるリスク軽減
US10263755B2 (en) Method and apparatus for sending response information and computer storage medium
CN109347982A (zh) 一种数据中心的调度方法及装置
CN105373451B (zh) 一种虚拟机放置的方法及装置
WO2024092993A1 (zh) 服务功能链利润最大化映射方法和系统
CN105721234B (zh) 端口聚合方法及装置
CN106612296A (zh) 一种用户设备连接请求分配的方法及装置
CN106294445A (zh) 基于跨机房Hadoop集群的数据存储的方法及装置
CN104539661B (zh) 消息队列处理方法和装置
CN106372013A (zh) 远程内存访问方法、装置和系统

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant