CN113760937A - 数据的查缺方法、装置、电子设备及存储介质 - Google Patents

数据的查缺方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN113760937A
CN113760937A CN202111094264.4A CN202111094264A CN113760937A CN 113760937 A CN113760937 A CN 113760937A CN 202111094264 A CN202111094264 A CN 202111094264A CN 113760937 A CN113760937 A CN 113760937A
Authority
CN
China
Prior art keywords
fragment
fragments
missing
complete
target file
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111094264.4A
Other languages
English (en)
Inventor
谢磊
王晶晶
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hundsun Technologies Inc
Original Assignee
Hundsun Technologies Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hundsun Technologies Inc filed Critical Hundsun Technologies Inc
Priority to CN202111094264.4A priority Critical patent/CN113760937A/zh
Publication of CN113760937A publication Critical patent/CN113760937A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/23—Updating
    • G06F16/2365—Ensuring data consistency and integrity
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/21—Design, administration or maintenance of databases
    • G06F16/215—Improving data quality; Data cleansing, e.g. de-duplication, removing invalid entries or correcting typographical errors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22—Indexing; Data structures therefor; Storage structures
    • G06F16/2228—Indexing structures
    • G06F16/2246—Trees, e.g. B+trees
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2455—Query execution
    • G06F16/24553—Query execution of query operations

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Security & Cryptography (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Quality & Reliability (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本申请了提供一种数据的查缺方法、装置、电子设备及存储介质。其中，在数据的查缺方法中，首先首先获取目标文件对应的分片完整树。基于分片完整树所记录的目标文件的各个分片的接收结果，判断目标文件的分片是否完整。若判断出目标文件的分片不完整，则查找出分片不完整的叶子节点。利用预先构建的缺失索引映射表，查找出分片不完整的叶子节点中缺失的分片。由此可知，利用本申请的方法，可以通过预先构建的待查缺的文件对应的分片完整树来直接判断目标文件的分片是否完整。如果分片不完整，则通过分片完整树快速查找出分片不完整的叶子节点，再进一步查找出分片不完整的叶子节点中具体缺失的分片，不用对每一个分片进行遍历。

Description

数据的查缺方法、装置、电子设备及存储介质
技术领域
本申请涉及数据处理技术领域，尤其涉及一种数据的查缺方法、装置、电子设备及存储介质。
背景技术
目前，在大型网络数据传输场景中，针对一些比较大的数据文件，发送端通常会对文件进行分片传输，这就会导致接收端收到的数据，并不是连续的数据，需要将接收到的分片进行重组恢复，才能得到原始的数据。因此，接收端在接收到数据后，就需要检查接收到的分片是否完整，确保接收到的分片完整的情况下才能对分片进行重组恢复。
在现有技术中，检查接收到的分片是否完整，通常是直接去遍历每一个分片是否都接收到，这种检查方式无法快速的查询到缺失的分片，查询效率较低，同时也会给数据传输系统带来比较大的性能损耗。
发明内容
有鉴于此，本申请提供一种数据的查缺方法、装置、电子设备及存储介质，已解决现有技术中无法快速的查询到缺失的分片，查询效率较低，同时也会给数据传输系统带来比较大的性能损耗的问题。
为实现上述目的，本申请提供如下技术方案：
本申请第一方面公开了一种数据的查缺方法，包括：
获取目标文件对应的分片完整树；其中，所述目标文件为待查缺的文件；所述分片完整树预先根据所述目标文件的各个分片的接收结果构建得到，用于记录所述目标文件的各个分片的接收结果；所述分片完整树包括根节点和叶子节点；
基于所述分片完整树所记录的所述目标文件的各个分片的接收结果，判断所述目标文件的分片是否完整；
若判断出所述目标文件的分片不完整，则查找出所述分片完整树中分片不完整的叶子节点；
利用预先构建的缺失索引映射表，查找出所述分片不完整的叶子节点中缺失的分片。
可选的，上述的方法，所述分片完整树根据所述目标文件的各个分片的接收结果进行构建的过程，包括：
基于所述目标文件的各个所述分片的接收结果，记录各个所述分片对应的数值；其中，所述数值包括第一数值和第二数值，所述第一数值用于表征已接收到的分片，所述第二数值用于表征未接收到的分片；每一个分片对应一个分片编号；
将各个所述分片对应的数值按照分片编号进行排序；
对所述排序后的各个所述分片对应的数值进行分组，生成K个叶子节点；其中，K为正整数；
将所述K个叶子节点按照完整树的构建规则，构建得到所述分片完整树。
可选的，上述的方法，所述将所述K个叶子节点按照完整树的构建规则，构建得到所述分片完整树，包括：
将K个所述叶子节点进行分组；
针对每一个分组，将所述分组中的各个节点做与运算，构建出父亲节点；
判断构建出的父亲节点是否为根节点；
若判断出构建出的父亲节点为根节点，则完成所述分片完整树的构建；
若判断出构建出的父亲节点不是根节点，则将构建出的父亲节点进行分组，并将分组后的各个节点做与运算，构建出新的父亲节点，直至判断出构建出的新的父亲节点为根节点，则完成所述分片完整树的构建。
可选的，上述的方法，所述利用预先构建的缺失索引映射表，查找出所述分片不完整的叶子节点中缺失的分片，包括：
将所述分片不完整的叶子节点中记录的各个所述分片对应的数值划分为N个索引值；其中，N为正整数；
针对每一个所述索引值，查询所述缺失索引映射表中对应所述索引值的表项是否有缺失的分片；
若所述缺失索引映射表中对应所述索引值的表项有缺失的分片，则通过预设的分片编号计算公式，计算出所述缺失的分片对应的分片编号。
可选的，上述的方法，所述利用预先构建的缺失索引映射表，查找出分片不完整的叶子节点中缺失的分片之后，还包括：
针对所述缺失的分片，建立数据传输链路，对所述缺失的分片进行重新传输。
本申请第二方面公开了一种数据的查缺装置，包括：
获取单元，用于获取目标文件对应的分片完整树；其中，所述目标文件为待查缺的文件；所述分片完整树预先根据所述目标文件的各个分片的接收结果构建得到，用于记录所述目标文件的各个分片的接收结果；所述分片完整树包括根节点和叶子节点；
判断单元，用于基于所述分片完整树所记录的所述目标文件的各个分片的接收结果，判断所述目标文件的分片是否完整；
第一查找单元，用于若判断出所述目标文件的分片不完整，则查找出所述分片完整树中分片不完整的叶子节点；
第二查找单元，用于利用预先构建的缺失索引映射表，查找出所述分片不完整的叶子节点中缺失的分片。
可选的，上述的装置，所述获取单元，包括：
记录子单元，用于基于所述目标文件的各个所述分片的接收结果，记录各个所述分片对应的数值；其中，所述数值包括第一数值和第二数值，所述第一数值用于表征已接收到的分片，所述第二数值用于表征未接收到的分片；每一个分片对应一个分片编号；
排序子单元，用于将各个所述分片对应的数值按照分片编号进行排序；
第一分组子单元，用于对所述排序后的各个所述分片对应的数值进行分组，生成K个叶子节点；其中，K为正整数；
第一构建子单元，用于将所述K个叶子节点按照完整树的构建规则，构建得到所述分片完整树。
可选的，上述的装置，所述第一构建子单元，包括：
第二分组子单元，用于将K个所述叶子节点进行分组；
第二构建子单元，用于针对每一个分组，将所述分组中的各个节点做与运算，构建出父亲节点；
判断子单元，用于判断构建出的父亲节点是否为根节点；
第三构建子单元，用于若判断出构建出的父亲节点为根节点，则完成所述分片完整树的构建；
第四构建子单元，用于若判断出构建出的父亲节点不是根节点，则将构建出的父亲节点进行分组，并将分组后的各个节点做与运算，构建出新的父亲节点，直至判断出构建出的新的父亲节点为根节点，则完成所述分片完整树的构建。
可选的，上述的装置，所述第二查找单元，包括：
划分子单元，用于将所述分片不完整的叶子节点中记录的各个所述分片对应的数值划分为N个索引值；其中，N为正整数；
查询子单元，用于针对每一个所述索引值，查询所述缺失索引映射表中对应所述索引值的表项是否有缺失的分片；
计算子单元，用于若所述缺失索引映射表中对应所述索引值的表项有缺失的分片，则通过预设的分片编号计算公式，计算出所述缺失的分片对应的分片编号。
可选的，上述的装置，还包括：
数据传输单元，用于针对所述缺失的分片，建立数据传输链路，对所述缺失的分片进行重新传输。
本申请第三方面公开了一种电子设备，包括：
一个或多个处理器；
存储装置，其上存储有一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如本申请第一方面中任意一项所述的方法。
本申请第四方面公开了一种计算机存储介质，其上存储有计算机程序，其中，所述计算机程序被处理器执行时实现如本申请第一方面中任意一项所述的方法。
从上述技术方案可以看出，本申请提供的一种数据的查缺方法中，首先首先获取目标文件对应的分片完整树；其中，目标文件为待查缺的文件；分片完整树预先根据目标文件的各个分片的接收结果构建得到，用于记录目标文件的各个分片的接收结果；分片完整树包括根节点和叶子节点。基于分片完整树所记录的目标文件的各个分片的接收结果，判断目标文件的分片是否完整。若判断出目标文件的分片不完整，则查找出分片不完整的叶子节点。利用预先构建的缺失索引映射表，查找出分片不完整的叶子节点中缺失的分片。由此可知，利用本申请的方法，可以通过预先构建的待查缺的文件对应的分片完整树来直接判断目标文件的分片是否完整。如果分片不完整，则通过分片完整树快速查找出分片不完整的叶子节点，再进一步查找出分片不完整的叶子节点中具体缺失的分片，不用对每一个分片进行遍历。解决了无法快速的查询到缺失的分片，查询效率较低，同时也会给数据传输系统带来比较大的性能损耗的问题。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1为本申请实施例公开的一种数据的查缺方法的流程图；
图2为本申请另一实施例公开的步骤S101中分片完整树根据接收到的目标文件的分片进行构建的过程的一种实施方式的流程图；
图3为本申请另一实施例公开的分片完整树的示意图；
图4为本申请另一实施例公开的缺失索引映射表的示例图；
图5为本申请另一实施例公开的步骤S104的一种实施方式的流程图；
图6为本申请另一实施例公开的一种数据的查缺装置的示意图；
图7为本申请另一实施例公开的一种电子设备的示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
在本申请中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
并且，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。
由背景技术可知，在现有技术中，检查接收到的分片是否完整，通常是直接去遍历每一个分片是否都接收到，这种检查方式无法快速的查询到缺失的分片，查询效率较低，同时也会给数据传输系统带来比较大的性能损耗。
鉴于此，本申请提供一种数据的查缺方法、装置、电子设备及存储介质，已解决现有技术中无法快速的查询到缺失的分片，查询效率较低，同时也会给数据传输系统带来比较大的性能损耗的问题。
本申请实施例提供了一种数据的查缺方法，具体如图1所示，包括：
S101、获取目标文件对应的分片完整树；其中，目标文件为待查缺的文件；分片完整树预先根据目标文件的各个分片的接收结果构建得到，用于记录目标文件的各个分片的接收结果；分片完整树包括根节点和叶子节点。
需要说明的是，在数据传输场景中，在需要检查接收的数据是否完整时，首先获取目标文件对应的分片完整树，其中，目标文件为待查缺的文件。分片完整树预先根据目标文件的各个分片的接收结果构建得到，在分片完整树中，完整的记录了目标文件的所有分片的接收结果。分片完整树包括根节点和叶子节点，根节点中记录目标文件的所有分片的接收结果，叶子节点中记录预设范围的分片编号对应的分片的接收结果。
可选的，在本申请的另一实施例中，步骤S101中分片完整树根据接收到的目标文件的分片进行构建的过程的一种实施方式，如图2所示，可以包括：
S201、基于目标文件的各个分片的接收结果，记录各个分片对应的数值；其中，数值包括第一数值和第二数值，第一数值用于表征已接收到的分片，第二数值用于表征未接收到的分片；每一个分片对应一个分片编号。
需要说明的是，基于目标文件的各个分片的接收结果，记录各个分片对应的数值，例如，利用二进制数0和1进行记录，接收到的分片记录为1，未接收到的分片记录为0。为了方便记录，每一个分片对应一个分片编号，用于对分片进行识别。
为了方便数据存储，可以构建一个64位的整形数组，用于存放目标文件的各个分片的接收结果对应的数值，比如有512个分片，数组的第一个64位可以表示编号为0～63的分片，数组的第二个64位可以表示编号为64～127的分片，以此类推。这样就可以针对接收到的目标文件每一个分片，计算分片在数组中的位置，并记录相应的数值为1，对于没接收到的分片，其相应的数值则为0，计算公式如下：
Arrindex＝Splitno/64
Bitindex＝Splitno％64
Array[Arrindex]＝Array[Arrindex]|(1＜＜Bitindex)
其中，Splitno为分片编号，比如一个报文分为512个分片，就有512个分片序号；Arrindex为即叶子节点数，由分片编号对64取整得到；Bitindex为当前分片编号在指定叶子节点中的偏移位；Array[Arrindex]为保存叶子节点的数字。
当然，也可以根据实际情况构建一个队列。
S202、将各个分片对应的数值按照分片编号进行排序。
需要说明的是，在记录各个分片对应的数值之后，将各个分片对应的数值按照分片编号进行排序。
S203、对排序后的各个分片对应的数值进行分组，生成K个叶子节点；其中，K为正整数。
需要说明的是，对排序后的各个分片对应的数值进行分组，生成K个叶子节点；其中，K为正整数。比如，每64个分片的对应数值分为一组，并生成一个叶子节点，该叶子节点中保存有64个分片的对应数值。
S204、将K个叶子节点按照完整树的构建规则，构建得到分片完整树。
需要说明的是，在构建出K个叶子节点后，将K个叶子节点按照完整树的构建规则，构建得到分片完整树。
可选的，在本申请的另一示例中，步骤S204的一种实施方式，可以包括：
将K个叶子节点进行分组；针对每一个分组，将分组中的各个节点做与运算，构建出父亲节点；判断构建出的父亲节点是否为根节点；若判断出构建出的父亲节点为根节点，则完成分片完整树的构建；若判断出构建出的父亲节点不是根节点，则将构建出的父亲节点进行分组，并将分组后的各个节点做与运算，构建出新的父亲节点，直至判断出构建出的新的父亲节点为根节点，则完成分片完整树的构建。
需要说明的是，将K个叶子节点进行分组，然后根据分组好的K个叶子节点，依次将各个分组中的各个节点做与运算，构建出父亲节点。如果构建出的父亲节点为根节点，则分片完整树构建完成，如果构建出的父亲节点不是根节点，则将构建出的父亲节点继续进行分组并做与运算，构建出其更高一级的父亲节点，并判断是否为根节点。循环该操作，直至判断出构建出的新的父亲节点为根节点，则完成分片完整树的构建。
具体构建的分片完整树可参考图3的示意图，为了方便查看，图中每个节点只显示了64位的最后8位，前面56位都是默认1。
S102、基于分片完整树所记录的目标文件的各个分片的接收结果，判断目标文件的分片是否完整。
需要说明的是，参见图3所示的分片完整树，首先查看分片完整树的根节点对应的分片是否全部接收到，即查看分片完整树的根节点的每一个数值是否都为1，如果都为1，,则表示目标文件的所有分片都已经收到，数据是完整的，如果有某个数值为0，则表示目标文件的分片是有缺失的。
S103、若判断出目标文件的分片不完整，则查找出分片不完整的叶子节点。
需要说明的是，如果判断出接收到的目标文件的分片不完整，那么就根据目标文件对应的分片完整树从根节点逐一向下进行分片缺失查询，直到查找出所有分片不完整的叶子节点。例如对图3所示的分片完整树进行分片缺失查询，由图可知，该分片完整树的根节点的每一个比特不全为1，则从左子树开始向下查询，其左子树的第一个叶子节点，即0～255的叶子节点的每一个比特也不全为1，则继续向该节点的子节点查询，发现0～127的叶子节点的每一个比特位全为1，说明该节点的分片没有缺失。而128～255的叶子节点每一个比特位不全为1，则继续向该节点的子节点查询，发现128～191的叶子节点以及192～255的叶子节点的每一个比特位都不全为1，说明这两个叶子节点的分片都不完整。同样，对右字树进行查询也可以得到384～447的叶子节点以及448～511的叶子节点的分片都不完整。
S104、利用预先构建的缺失索引映射表，查找出分片不完整的叶子节点中缺失的分片。
需要说明的是，在确定出哪些叶子节点的分片有缺失后，则利用预先构建的缺失索引映射表，查找出分片不完整的叶子节点中具体缺失的分片是哪个，确定缺失的分片对应的分片编号。其中，缺失索引映射表为一个0～65535的查询表，具体如图4所示，并且每个表项包含这个值哪些比特位上是0，比如KEY为0的索引值，其所有比特位都是0，则其VALUE为(0,1,2…15)。KEY为65534的索引值，其只有第一个比特位是0，则其VALUE为(0)。
可选的，在本申请的另一实施例中，上述步骤S104的一种实施方式，如图5所示，可以包括：
S501、将分片不完整的叶子节点中记录的各个分片对应的数值划分为N个索引值；其中，N为正整数。
需要说明的是，根据预先构建的缺失索引映射表，将分片不完整的叶子节点记录的数值划分为N个索引值；其中，N为正整数。例如，由步骤S103可知，128～191的叶子节点，即叶子节点3有分片缺失，则将叶子节点3划分为4个16位的整数，将这4个16位的整数作为索引值。
S502、针对每一个索引值，查询缺失索引映射表中对应索引值的表项是否有缺失的分片。
需要说明的是，针对每一个索引值，查询缺失索引映射表中对应索引值的表项是否有缺失的分片。例如，通过缺失索引映射表查询节点3的4个索引值，发现前面三个都完整，第四个整数值为65533，由表可知其缺失的位置是：(1)。
S503、若缺失索引映射表中对应索引值的表项有缺失的分片，则通过预设的分片编号计算公式，计算出缺失的分片对应的分片编号。
需要说明的是，如果缺失索引映射表中对应索引值的表项有缺失的分片，则通过预设的分片编号计算公式，计算出缺失的分片对应的分片编号，具体公式如下：
Missingindex＝64*(Leafindex-1)+16*(Splitindex-1)+Mapindex
其中，Leafindex为叶子节点序号,Splitindex为索引值序号,Mapindex为索引映射表,Missingindex为缺失的分片编号。以节点3为例，第四个整数值为65533，由其缺失的位置是：(1)，则将数据代入公式中，计算出缺失分片的分片编号为：64*(3-1)+16*(4-1)+1＝177。因此节点3上缺失的分片是177号分片。
本申请实施例提供的一种数据的查缺方法中，首先获取目标文件对应的分片完整树；其中，目标文件为待查缺的文件；分片完整树预先根据目标文件的各个分片的接收结果构建得到，用于记录目标文件的各个分片的接收结果；分片完整树包括根节点和叶子节点。基于分片完整树所记录的目标文件的各个分片的接收结果，判断目标文件的分片是否完整。若判断出目标文件的分片不完整，则查找出分片不完整的叶子节点。利用预先构建的缺失索引映射表，查找出分片不完整的叶子节点中缺失的分片。由此可知，利用本申请的方法，可以通过预先构建的待查缺的文件对应的分片完整树来直接判断目标文件的分片是否完整。如果分片不完整，则通过分片完整树快速查找出分片不完整的叶子节点，再进一步查找出分片不完整的叶子节点中具体缺失的分片，不用对每一个分片进行遍历。解决了无法快速的查询到缺失的分片，查询效率较低，同时也会给数据传输系统带来比较大的性能损耗的问题。
可选的，在本申请的另一实施例中，执行步骤S104之后，还可以包括：
针对缺失的分片，建立数据传输链路，对缺失的分片进行重新传输。
需要说明的是，在查找出各个叶子节点中缺失的分片之后，针对这些缺失的分片，建立重新传输缺失的分片的数据传输链路，对缺失的分片进行重新传输，以获取目标文件的完整数据。
可选的，在本申请的另一实施例中，还公开了一种数据的查缺装置，如图6所示，包括：
获取单元601，用于用于获取目标文件对应的分片完整树；其中，目标文件为待查缺的文件；分片完整树预先根据目标文件的各个分片的接收结果构建得到，用于记录目标文件的各个分片的接收结果；分片完整树包括根节点和叶子节点。
判断单元602，用于基于分片完整树所记录的目标文件的各个分片的接收结果，判断目标文件的分片是否完整。
第一查找单元603，用于若判断出目标文件的分片不完整，则查找出分片完整树中分片不完整的叶子节点。
第二查找单元604，用于利用预先构建的缺失索引映射表，查找出分片不完整的叶子节点中缺失的分片。
本实施例中，获取单元601、判断单元602、第一查找单元603以及第二查找单元604的具体执行过程，可参见对应图1的方法实施例内容，此处不再赘述。
本申请实施例提供的一种数据的查缺装置中，获取单元601首先首先获取目标文件对应的分片完整树；其中，目标文件为待查缺的文件；分片完整树预先根据目标文件的各个分片的接收结果构建得到，用于记录目标文件的各个分片的接收结果；分片完整树包括根节点和叶子节点。判断单元602基于分片完整树所记录的目标文件的各个分片的接收结果，判断目标文件的分片是否完整。若判断出目标文件的分片不完整，第一查找单元603则查找出分片不完整的叶子节点。第二查找单元604利用预先构建的缺失索引映射表，查找出分片不完整的叶子节点中缺失的分片。由此可知，利用本申请的装置，可以通过预先构建的待查缺的文件对应的分片完整树来直接判断目标文件的分片是否完整。如果分片不完整，则通过分片完整树快速查找出分片不完整的叶子节点，再进一步查找出分片不完整的叶子节点中具体缺失的分片，不用对每一个分片进行遍历。解决了无法快速的查询到缺失的分片，查询效率较低，同时也会给数据传输系统带来比较大的性能损耗的问题。
可选的，在在本申请的另一实施例中，上述获取单元601的一种实施方式，包括：
记录子单元，用于基于目标文件的各个所述分片的接收结果，记录各个分片对应的数值；其中，数值包括第一数值和第二数值，第一数值用于表征已接收到的分片，第二数值用于表征未接收到的分片；每一个分片对应一个分片编号。
排序子单元，用于将各个分片对应的数值按照分片编号进行排序。
第一分组子单元，用于对排序后的各个所述分片对应的数值进行分组，生成K个叶子节点；其中，K为正整数。
第一构建子单元，用于将K个叶子节点按照完整树的构建规则，构建得到分片完整树。
本实施例中，记录子单元、排序子单元、第一分组子单元以及第一构建子单元的具体执行过程，可参见上述图2对应的方法实施例内容，此处不再赘述。
可选的，在在本申请的另一实施例中，上述第一构建子单元的一种实施方式，包括：
第二分组子单元，用于将K个叶子节点进行分组。
第二构建子单元，用于针对每一个分组，将分组中的各个节点做与运算，构建出父亲节点。
判断子单元，用于判断构建出的父亲节点是否为根节点。
第三构建子单元，用于若判断出构建出的父亲节点为根节点，则完成分片完整树的构建。
第四构建子单元，用于若判断出构建出的父亲节点不是根节点，则将构建出的父亲节点进行分组，并将分组后的各个节点做与运算，构建出新的父亲节点，直至判断出构建出的新的父亲节点为根节点，则完成分片完整树的构建。
本实施例中，第二分组子单元、第二构建子单元、判断子单元、第三构建子单元以及第四构建子单元的具体执行过程，可参见上述对应的方法实施例内容，此处不再赘述。
可选的，在在本申请的另一实施例中，上述第二查找单元604的一种实施方式，包括：
划分子单元，用于将分片不完整的叶子节点中记录的各个分片对应的数值划分为N个索引值；其中，N为正整数。
查询子单元，用于针对每一个索引值，查询缺失索引映射表中对应索引值的表项是否有缺失的分片。
计算子单元，用于若缺失索引映射表中对应索引值的表项有缺失的分片，则通过预设的分片编号计算公式，计算出缺失的分片对应的分片编号。
本实施例中，划分子单元、查询子单元以及计算子单元的具体执行过程，可参见上述图5对应的方法实施例内容，此处不再赘述。
可选的，在在本申请的另一实施例中，上述数据的查缺装置，还可以包括：
数据传输单元，用于针对缺失的分片，建立数据传输链路，对缺失的分片进行重新传输。
本实施例中，数据传输单元的具体执行过程，可参见上述对应的方法实施例内容，此处不再赘述。
本申请另一实施例还提供了一种电子设备，如图7所示，具体包括：
一个或多个处理器701。
存储装置702，其上存储有一个或多个程序。
当一个或多个程序被一个或多个处理器701执行时，使得一个或多个处理器701实现如上述实施例中任意一项方法。
本申请另一实施例还提供了计算机存储介质，其上存储有计算机程序，其中，计算机程序被处理器执行时实现如上述实施例中任意一项方法。
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统或系统实施例而言，由于其基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。以上所描述的系统及系统实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下，在其它实施例中实现。因此，本申请将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.一种数据的查缺方法，其特征在于，包括：
获取目标文件对应的分片完整树；其中，所述目标文件为待查缺的文件；所述分片完整树预先根据所述目标文件的各个分片的接收结果构建得到，用于记录所述目标文件的各个分片的接收结果；所述分片完整树包括根节点和叶子节点；
基于所述分片完整树所记录的所述目标文件的各个分片的接收结果，判断所述目标文件的分片是否完整；
若判断出所述目标文件的分片不完整，则查找出所述分片完整树中分片不完整的叶子节点；
利用预先构建的缺失索引映射表，查找出所述分片不完整的叶子节点中缺失的分片。
2.根据权利要求1所述的方法，其特征在于，所述分片完整树根据所述目标文件的各个分片的接收结果进行构建的过程，包括：
基于所述目标文件的各个所述分片的接收结果，记录各个所述分片对应的数值；其中，所述数值包括第一数值和第二数值，所述第一数值用于表征已接收到的分片，所述第二数值用于表征未接收到的分片；每一个分片对应一个分片编号；
将各个所述分片对应的数值按照分片编号进行排序；
对所述排序后的各个所述分片对应的数值进行分组，生成K个叶子节点；其中，K为正整数；
将所述K个叶子节点按照完整树的构建规则，构建得到所述分片完整树。
3.根据权利要求1所述的方法，其特征在于，所述将所述K个叶子节点按照完整树的构建规则，构建得到所述分片完整树，包括：
将K个所述叶子节点进行分组；
针对每一个分组，将所述分组中的各个节点做与运算，构建出父亲节点；
判断构建出的父亲节点是否为根节点；
若判断出构建出的父亲节点为根节点，则完成所述分片完整树的构建；
若判断出构建出的父亲节点不是根节点，则将构建出的父亲节点进行分组，并将分组后的各个节点做与运算，构建出新的父亲节点，直至判断出构建出的新的父亲节点为根节点，则完成所述分片完整树的构建。
4.根据权利要求1所述的方法，其特征在于，所述利用预先构建的缺失索引映射表，查找出所述分片不完整的叶子节点中缺失的分片，包括：
将所述分片不完整的叶子节点中记录的各个所述分片对应的数值划分为N个索引值；其中，N为正整数；
针对每一个所述索引值，查询所述缺失索引映射表中对应所述索引值的表项是否有缺失的分片；
若所述缺失索引映射表中对应所述索引值的表项有缺失的分片，则通过预设的分片编号计算公式，计算出所述缺失的分片对应的分片编号。
5.根据权利要求1所述的方法，其特征在于，所述利用预先构建的缺失索引映射表，查找出分片不完整的叶子节点中缺失的分片之后，还包括：
针对所述缺失的分片，建立数据传输链路，对所述缺失的分片进行重新传输。
6.一种数据的查缺装置，其特征在于，包括：
获取单元，用于获取目标文件对应的分片完整树；其中，所述目标文件为待查缺的文件；所述分片完整树预先根据所述目标文件的各个分片的接收结果构建得到，用于记录所述目标文件的各个分片的接收结果；所述分片完整树包括根节点和叶子节点；
判断单元，用于基于所述分片完整树所记录的所述目标文件的各个分片的接收结果，判断所述目标文件的分片是否完整；
第一查找单元，用于若判断出所述目标文件的分片不完整，则查找出所述分片完整树中分片不完整的叶子节点；
第二查找单元，用于利用预先构建的缺失索引映射表，查找出所述分片不完整的叶子节点中缺失的分片。
7.根据权利要求6所述的装置，其特征在于，所述获取单元，包括：
记录子单元，用于基于所述目标文件的各个所述分片的接收结果，记录各个所述分片对应的数值；其中，所述数值包括第一数值和第二数值，所述第一数值用于表征已接收到的分片，所述第二数值用于表征未接收到的分片；每一个分片对应一个分片编号；
排序子单元，用于将各个所述分片对应的数值按照分片编号进行排序；
第一分组子单元，用于对所述排序后的各个所述分片对应的数值进行分组，生成K个叶子节点；其中，K为正整数；
第一构建子单元，用于将所述K个叶子节点按照完整树的构建规则，构建得到所述分片完整树。
8.根据权利要求6所述的装置，其特征在于，所述第二查找单元，包括：
划分子单元，用于将所述分片不完整的叶子节点中记录的各个所述分片对应的数值划分为N个索引值；其中，N为正整数；
查询子单元，用于针对每一个所述索引值，查询所述缺失索引映射表中对应所述索引值的表项是否有缺失的分片；
计算子单元，用于若所述缺失索引映射表中对应所述索引值的表项有缺失的分片，则通过预设的分片编号计算公式，计算出所述缺失的分片对应的分片编号。
9.一种电子设备，其特征在于，包括：
一个或多个处理器；
存储装置，其上存储有一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如权利要求1至5中任意一项所述的方法。
10.一种计算机存储介质，其特征在于，其上存储有计算机程序，其中，所述计算机程序被处理器执行时实现如权利要求1至5中任意一项所述的方法。
CN202111094264.4A 2021-09-17 2021-09-17 数据的查缺方法、装置、电子设备及存储介质 Pending CN113760937A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111094264.4A CN113760937A (zh) 2021-09-17 2021-09-17 数据的查缺方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111094264.4A CN113760937A (zh) 2021-09-17 2021-09-17 数据的查缺方法、装置、电子设备及存储介质

Publications (1)

Publication Number Publication Date
CN113760937A true CN113760937A (zh) 2021-12-07

Family

ID=78796273

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111094264.4A Pending CN113760937A (zh) 2021-09-17 2021-09-17 数据的查缺方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN113760937A (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011150845A1 (zh) * 2010-11-01 2011-12-08 华为技术有限公司 验证流媒体内容完整性的方法、设备以及系统
WO2015096582A1 (zh) * 2013-12-27 2015-07-02 华为技术有限公司 一种时空数据的索引建立方法、查询方法、装置及设备
CN111432009A (zh) * 2020-03-30 2020-07-17 深圳壹账通智能科技有限公司 一种区块链数据的同步方法、装置及电子设备、存储介质
CN112860634A (zh) * 2021-02-20 2021-05-28 杭州卯方科技有限公司 基于平衡二叉树的快速查缺方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011150845A1 (zh) * 2010-11-01 2011-12-08 华为技术有限公司 验证流媒体内容完整性的方法、设备以及系统
WO2015096582A1 (zh) * 2013-12-27 2015-07-02 华为技术有限公司 一种时空数据的索引建立方法、查询方法、装置及设备
CN111432009A (zh) * 2020-03-30 2020-07-17 深圳壹账通智能科技有限公司 一种区块链数据的同步方法、装置及电子设备、存储介质
CN112860634A (zh) * 2021-02-20 2021-05-28 杭州卯方科技有限公司 基于平衡二叉树的快速查缺方法

Similar Documents

Publication Publication Date Title
US6173384B1 (en) Method of searching for a data element in a data structure
US10754853B2 (en) Virtual edge of a graph database
CN100472480C (zh) 分组处理方法和装置
CN108256076B (zh) 分布式海量数据处理方法及装置
CN109117275B (zh) 基于数据分片的对账方法、装置、计算机设备及存储介质
CN109766389B (zh) 一种基于位图索引的区块链轻客户端验证查询方法
EP3072076B1 (en) A method of generating a reference index data structure and method for finding a position of a data pattern in a reference data structure
CN111552692B (zh) 一种加减法布谷鸟过滤器
CN108566296B (zh) 网络设备分层方法、网络管理设备及计算机可读存储介质
CN110737663B (zh) 一种数据存储方法、装置、设备及存储介质
CN110769079A (zh) 一种检索ip对应地理位置的方法及装置
CN112764997B (zh) 一种日志存储的方法、装置、计算机设备和存储介质
CN110597852A (zh) 数据处理方法、装置、终端及存储介质
CN111984732B (zh) 在区块链上实现去中心化检索的方法、节点及区块链网络
CN112579007A (zh) 一种存储全链路的获取方法、装置及电子设备
CN104463460B (zh) 用于网络数据投放的排期信息的处理方法及装置
CN113760937A (zh) 数据的查缺方法、装置、电子设备及存储介质
CN112181964A (zh) 一种业务通知去重方法、装置、服务器及储存介质
CN113986931B (zh) 报表分页的方法、装置、存储介质及计算设备
CN112860634A (zh) 基于平衡二叉树的快速查缺方法
CN108984780B (zh) 基于支持重复键值树数据结构管理磁盘数据的方法和装置
CN113065419B (zh) 一种基于流量高频内容的模式匹配算法及系统
CN112463786B (zh) 数据同步方法、系统、服务器及存储介质
CN107203550B (zh) 一种数据处理方法和数据库服务器
CN105830063B (zh) 协调卷组中的小卷

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination