CN116049109A - 一种基于过滤器的文件校验方法、系统、设备和介质 - Google Patents

一种基于过滤器的文件校验方法、系统、设备和介质 Download PDF

Info

Publication number
CN116049109A
CN116049109A CN202310002606.8A CN202310002606A CN116049109A CN 116049109 A CN116049109 A CN 116049109A CN 202310002606 A CN202310002606 A CN 202310002606A CN 116049109 A CN116049109 A CN 116049109A
Authority
CN
China
Prior art keywords
filter
file
uploaded
bitmap
fragment data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310002606.8A
Other languages
English (en)
Inventor
张�杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chongqing Changan Automobile Co Ltd
Original Assignee
Chongqing Changan Automobile Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chongqing Changan Automobile Co Ltd filed Critical Chongqing Changan Automobile Co Ltd
Priority to CN202310002606.8A priority Critical patent/CN116049109A/zh
Publication of CN116049109A publication Critical patent/CN116049109A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/16—File or folder operations, e.g. details of user interfaces specifically adapted to file systems
    • G06F16/162—Delete operations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/17—Details of further file system functions
    • G06F16/1737—Details of further file system functions for reducing power consumption or coping with limited storage space, e.g. in mobile devices
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本申请提供一种基于过滤器的文件校验方法、系统、设备和介质，该方法包括：遍历所有已上传文件，将所述已上传文件通过缓存数据库中预设的过滤器映射为位图；对待上传文件进行分片，得到多个分片数据；将部分分片数据输入所述过滤器，以根据所述位图对所述部分分片数据进行验证，若所述部分分片数据不在所述过滤器中，则上传所述待上传文件。本申请只需要将部分分片数据通过过滤器进行校验便可快速判断文件是否以被上传，提高文件验证的效率。

Description

一种基于过滤器的文件校验方法、系统、设备和介质
技术领域
本申请涉及数据处理领域，尤其涉及一种基于过滤器的文件校验方法、系统、设备和介质。
背景技术
在当前大多数涉及文件上传、文件存储的系统中，为优化存储结构、节省存储资源，都会对文件的唯一性进行判断。如果上传的文件已经在系统中存在了，对执行上传操作的用户来说，上传文件成功了，但是对于文件存储系统本身来说则仅仅是进行了功能逻辑级别的处理，该文件不会被真正的上传，以此避免文件的重复上传。在对文件是否重复的判断上，不够严谨的系统会通过文件名称结合文件大小等方式对文件的重复性进行判断，严谨一些的系统会对文件进行hash运算，通过文件的hash值是否相同来判断文件是否重复。
在专利号CN112905547A中，提供了一种大文件去重的方法，主要还是通过文件类型、文件名称、文件长度、文件md5值等文件关键属性来判断文件的唯一性。在现有判断文件是否重复的技术中，它的整个实现的过程会非常耗时，并且时间也会随着文件的变大而急剧增加，尤其是在并发量大一些的情况下，会非常没有效率。以计算文件的md5值为例，一个10G以内的文件md5值计算就会耗费至少数十秒，再加上查询数据库进行比对的时间，整个过程的体验会非常差，数据延迟也会非常严重，尤其在上传重复文件的情况下，这些时间消耗就显得毫无意义，加重了业务系统的负担。
发明内容
鉴于以上现有技术存在的问题，本申请提出一种基于过滤器的文件校验方法、系统、设备和介质，主要解决现有文件唯一性判断计算复杂度高，耗时长，影响用户体验的问题。
为了实现上述目的及其他目的，本申请采用的技术方案如下。
本申请提供一种基于过滤器的文件校验方法，包括：
遍历所有已上传文件，将所述已上传文件通过缓存数据库中预设的过滤器映射为位图；
对待上传文件进行分片，得到多个分片数据；
将部分分片数据输入所述过滤器，以根据所述位图对所述部分分片数据进行验证，若所述部分分片数据不在所述过滤器中，则上传所述待上传文件。
在本申请一实施例中，将所述已上传文件通过缓存数据库中预设的过滤器映射为位图，包括：
初始化所述过滤器的过滤参数，其中，所述过滤参数包括：最大误差率、预估元素数量以及用于管理缓存连接的连接池；
根据所述最大误差率和预估元素数量确定所述过滤器生成的哈希函数个数；
对所述已上传文件进行分片，得到目标分片，将所述目标分片通过哈希运算映射为数组，其中所述数组长度等于所述哈希函数个数；
以对应的已上传文件的关键属性作为键，以所述数组的值作为索引值，生成位图，其中，位图中索引值对应位置的值被置为1。
在本申请一实施例中，根据所述最大误差率和预估元素数量确定所述过滤器生成的哈希函数个数，包括：
根据所述最大误差率和预估元素数量确定所述过滤器的长度；
根据所述过滤器的长度和所述预估元素数量确定所述哈希函数个数。
在本申请一实施例中，将所述目标分片通过哈希运算映射为数组，包括：
对所述目标分片进行预设次数的哈希运算，得到所述数组，其中所述预设次数等于所述哈希哈数个数。
在本申请一实施例中，根据所述位图对所述部分分片数据进行验证，包括：
对所述部分分片数据进行多次哈希运算得到，得到待校验数组；
遍历所述待校验数组，得到所述待校验数组中的索引值，根据所述索引值从所述位图中对应位置取值，若得到的值不为1，则所述待上传文件未被上传过。
在本申请一实施例中，根据所述位图对所述部分分片数据进行验证，还包括：
若所述部分分片数据在所述过滤器中，则生成所述待上传文件的全文件校验码，根据所述全文件校验码生成校验请求输出值文件上传的目标终端，以使所述目标终端根据所述全文校验码确定所述待上传文件在目标终端的唯一性。
在本申请一实施例中，所述全文校验码包括MD5码。
本申请还提供一种基于过滤器的文件校验系统，包括：
缓存模块，用于遍历所有已上传文件，将所述已上传文件通过缓存数据库中预设的过滤器映射为位图；
分片模块，用于对待上传文件进行分片，得到多个分片数据；
校验模块，用于将部分分片数据输入所述过滤器，以根据所述位图对所述部分分片数据进行验证，若所述部分分片数据不在所述过滤器中，则上传所述待上传文件。
本申请还提供一种计算机设备，包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现所述的基于过滤器的文件校验方法的步骤。
本申请还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现所述的基于过滤器的文件校验方法的步骤。
如上所述，本申请一种基于过滤器的文件校验方法、系统、设备和介质，具有以下有益效果。
本申请通过遍历所有已上传文件，将所述已上传文件通过缓存数据库中预设的过滤器映射为位图；对待上传文件进行分片，得到多个分片数据；将部分分片数据输入所述过滤器，以根据所述位图对所述部分分片数据进行验证，若所述部分分片数据不在所述过滤器中，则上传所述待上传文件。只需要将部分分片数据通过过滤器进行校验便可快速判断文件是否以被上传，提高文件验证的效率。
附图说明
图1为本申请一实施例中基于过滤器的文件校验方法的流程示意图。
图2为本申请一实施例中对待上传文件进行验证的流程示意图。
图3为本申请一实施例中过滤器验证的架构示意图。
图4为本申请一实施例中基于过滤器的文件校验系统的模块图。
图5位本申请一实施例中设备的结构示意图。
具体实施方式
以下通过特定的具体实例说明本申请的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本申请的其他优点与功效。本申请还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本申请的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。
需要说明的是，以下实施例中所提供的图示仅以示意方式说明本申请的基本构想，遂图式中仅显示与本申请中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。
请参阅图1，本申请提供一种基于过滤器的文件校验方法，该方法包括以下步骤。
步骤S100，遍历所有已上传文件，将所述已上传文件通过缓存数据库中预设的过滤器映射为位图。
在一实施例中，将所述已上传文件通过缓存数据库中预设的过滤器映射为位图，包括：
初始化所述过滤器的过滤参数，其中，所述过滤参数包括：最大误差率、预估元素数量以及用于管理缓存连接的连接池；
根据所述最大误差率和预估元素数量确定所述过滤器生成的哈希函数个数；
对所述已上传文件进行分片，得到目标分片，将所述目标分片通过哈希运算映射为数组，其中所述数组长度等于所述哈希函数个数；
以对应的已上传文件的关键属性作为键，以所述数组的值作为索引值，生成位图，其中，位图中索引值对应位置的值被置为1。
具体地，对已经上传至目标终端的大文件数据，可对大文件数据进行预处理，放入缓存中，缓存可采用redis缓存数据库。进一步地，在redis缓存数据库中初始化创建一个过滤器，该过滤器相关原理参照布隆过滤器，过滤器初始化时需要传入三个参数redisPool、fApp、numberApp。redisPool为redis连接池，用于管理redis连接；fApp为可以接受的最大误差率，numberApp为预估元素数量。通过fApp和numberApp可以得到应该生成的哈希函数个数number和bitmap过滤器的长度length。
在一实施例中，根据所述最大误差率和预估元素数量确定所述过滤器生成的哈希函数个数，包括：
根据所述最大误差率和预估元素数量确定所述过滤器的长度；
根据所述过滤器的长度和所述预估元素数量确定所述哈希函数个数。
在一实施例中，可通过调用Python的相关函数计算过滤器的长度和哈希函数个数。过滤器的长度length的计算方式为：
length＝(int)(-numberApp*Math.log(fpp)/(Math.log(2)*Math.log(2)))
哈希函数个数number的计算方式为：
number＝Math.max(1,(int)Math.round((double)length/numberApp*Math.log(2)))
过滤器长度越长，hash计算方法越多，误差率会更小，结果会更精确。
将所述目标分片通过哈希运算映射为数组，包括：
对所述目标分片进行预设次数的哈希运算，得到所述数组，其中所述预设次数等于所述哈希哈数个数。
通过以上步骤完成过滤器初始化后，对已上传的文件数据进行遍历，对文件进行分片，得到目标分片。将目标分片数据进行number次哈希hash运算，得到一个长度为number的数组，遍历此数组，以文件的关键属性包括但不限于文件类型为键key，以数组值为索引值index，将位图bitmap对应index位置的值置为1。以此完成文件到位图的映射。若不存在对应的数组值，则位图中的对应位置的值为0。
步骤S101，对待上传文件进行分片，得到多个分片数据；
请参阅图2，图2为本申请一实施例中对待上传文件进行验证的流程示意图。前端在上传大文件的时候，采用和后端同样的方式对大文件进行分片处理，这里的分片处理不用对整个文件进行分片，理论上只需要拿到文件第一片就可以了，业务端是否需要计算hash值也应该视具体业务场景而定，分片之后将分片数据传给后端。
步骤S102，将部分分片数据输入所述过滤器，以根据所述位图对所述部分分片数据进行验证，若所述部分分片数据不在所述过滤器中，则上传所述待上传文件。
在一实施例中，根据所述位图对所述部分分片数据进行验证，包括：
对所述部分分片数据进行多次哈希运算得到，得到待校验数组；
遍历所述待校验数组，得到所述待校验数组中的索引值，根据所述索引值从所述位图中对应位置取值，若得到的值不为1，则所述待上传文件未被上传过。
请参阅图3，图3为本申请一实施例中过滤器验证的架构示意图。在一实施例中，后端系统(即文件系统)拿到前端上传的大文件分片数据之后，调用数据初始化的方法对分片文件进行相同的T次hash运算，计算出T个hash值，将T个hash值进行与或运算，得到长度为T的整数型数组数据。然后对此数组进行遍历，依次得到数组中的number个index值，分别根据index到bitmap对应位置上去取值匹配，若取得的值是1，则表示该位置对应的值匹配。若在number个index值中，有任一一个index的值为0，则终止匹配，就能判断出传入的分片文件没有被上传过，若所有的index位置值都是1，那么该文件可能被上传过。
在一实施例中，根据所述位图对所述部分分片数据进行验证，还包括：
若所述部分分片数据在所述过滤器中，则生成所述待上传文件的全文件校验码，根据所述全文件校验码生成校验请求输出值文件上传的目标终端，以使所述目标终端根据所述全文校验码确定所述待上传文件在目标终端的唯一性。
在一实施例中，根据过滤器反馈的校验结果确定当前文件未被上传过，则跳过全文件唯一性验证，直接上传该文件；若返回的结果是该文件可能被上传过，则进一步对全文件的唯一性进行验证，此时则需要计算全文件的md5值，然后向后端系统(即目标终端)发起请求进一步验证文件的md5值。后端系统接收到前端系统的md5值验证请求，对md5值进行最后一步的数据验证，该验证方式视业务场景而定，可以直接通过数据库进行验证，也可以加入缓存验证方式进行验证。
通过上述的功能流程，我们完成了大文件上传功能对文件是否重复的验证，通过分片加redis过滤器的验证方式，我们既能大大节省文件验证的时间，也能大大减少后端系统和数据库处理文件的压力，提高了系统的整体性能。
在一实施例中，以图片应用场景为例，如果需要创建一个图片库，该图片库会存放各种交通标识、各种道路指示标识，该图库的数据量会非常大并且要求同一种标识不能重复。在这种场景之下，每一次上传图片到图片库之前，都需要对上传图片进行比对，判断该图片有没有已经存在于图片库中，如果图片不存在就上传到图库内，如果图片存在则放弃上传。通过本方法，可以将图片库图片预置于过滤器内，每一次上传图片时取图片的一片数据于过滤器中进行查找，找不到，则表示该图片一定没有上传过，可以直接上传。相比全部图片进行比对的方法，本部分比对可以节省大量的时间。
在另一实施例中，以员工信息管理场景为例，公司需要对对全公司员工发送一些重要通知，由于消息会分批次发送，另外很多员工会任职于多个部门。为避免资源的浪费，要求不能重复发送相同消息，最常用或者最低级的方式就是做员工的循环遍历，查询数据库判断员工是否已经发送，也可以使用hashset去除重复，但是这些方式的效率都会很低，在消息数和员工数达到一定的数量级之后，效率问题的体现就尤为突出。通过本示例方法，就能很简单的根据员工的某一个唯一信息进行去重判断，过滤器中不存在则一定没有发送过，可以直接发送消息。
请参阅图4，本实施例提供了一种基于过滤器的文件校验系统，用于执行前述方法实施例中所述的基于过滤器的文件校验方法。由于系统实施例的技术原理与前述方法实施例的技术原理相似，因而不再对同样的技术细节做重复性赘述。
在一实施例中，基于过滤器的文件校验系统，包括：缓存模块10，用于遍历所有已上传文件，将所述已上传文件通过缓存数据库中预设的过滤器映射为位图；分片模块11，用于对待上传文件进行分片，得到多个分片数据；校验模块12，用于将部分分片数据输入所述过滤器，以根据所述位图对所述部分分片数据进行验证，若所述部分分片数据不在所述过滤器中，则上传所述待上传文件。
本申请实施例还提供了一种过滤器的文件校验设备，该设备可以包括：一个或多个处理器；和其上存储有指令的一个或多个机器可读介质，当由所述一个或多个处理器执行时，使得所述设备执行图1所述的方法。在实际应用中，该设备可以作为终端设备，也可以作为服务器，终端设备的例子可以包括：智能手机、平板电脑、电子书阅读器、MP3(动态影像专家压缩标准语音层面3，Moving Picture Experts Group Audio Layer III)播放器、MP4(动态影像专家压缩标准语音层面4，Moving Picture Experts Group Audio Layer IV)播放器、膝上型便携计算机、车载电脑、台式计算机、机顶盒、智能电视机、可穿戴设备等等，本申请实施例对于具体的设备不加以限制。
本申请实施例还提供了一种机器可读介质，该介质中存储有一个或多个模块(programs)，该一个或多个模块被应用在设备时，可以使得该设备执行本申请实施例的图1中过滤器的文件校验方法所包含步骤的指令(instructions)。机器可读介质可以是计算机能够存储的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质(如：软盘、硬盘、磁带)、光介质(如：DVD)、或者半导体介质(如：固态硬盘Solid State Disk(SSD))等。
参阅图5，本实施例提供一种设备80，设备80可以是台式机、便携式电脑、智能手机等设备。详细的，设备80至少包括通过总线81连接的：存储器82、处理器83，其中，存储器82用于存储计算机程序，处理器83用于执行存储器82存储的计算机程序，以执行前述方法实施例中的全部或部分步骤。
上述提到的系统总线可以是外设部件互连标准(Peripheral PomponentInterconnect，简称PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture，简称EISA)总线等。该系统总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。通信接口用于实现数据库访问装置与其他设备(例如客户端、读写库和只读库)之间的通信。存储器可能包含随机存取存储器(Random Access Memory，简称RAM)，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。
上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(Digital Signal Processing，简称DSP)、专用集成电路(Application SpecificIntegrated Circuit，简称ASIC)、现场可编程门阵列(Field－Programmable Gate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
上述实施例仅例示性说明本申请的原理及其功效，而非用于限制本申请。任何熟悉此技术的人士皆可在不违背本申请的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本申请所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本申请的权利要求所涵盖。

Claims (10)

1.一种基于过滤器的文件校验方法，其特征在于，包括：
遍历所有已上传文件，将所述已上传文件通过缓存数据库中预设的过滤器映射为位图；
对待上传文件进行分片，得到多个分片数据；
将部分分片数据输入所述过滤器，以根据所述位图对所述部分分片数据进行验证，若所述部分分片数据不在所述过滤器中，则上传所述待上传文件。
2.根据权利要求1所述的基于过滤器的文件校验方法，其特征在于，将所述已上传文件通过缓存数据库中预设的过滤器映射为位图，包括：
初始化所述过滤器的过滤参数，其中，所述过滤参数包括：最大误差率、预估元素数量以及用于管理缓存连接的连接池；
根据所述最大误差率和预估元素数量确定所述过滤器生成的哈希函数个数；
对所述已上传文件进行分片，得到目标分片，将所述目标分片通过哈希运算映射为数组，其中所述数组长度等于所述哈希函数个数；
以对应的已上传文件的关键属性作为键，以所述数组的值作为索引值，生成位图，其中，位图中索引值对应位置的值被置为1。
3.根据权利要求2所述的基于过滤器的文件校验方法，其特征在于，根据所述最大误差率和预估元素数量确定所述过滤器生成的哈希函数个数，包括：
根据所述最大误差率和预估元素数量确定所述过滤器的长度；
根据所述过滤器的长度和所述预估元素数量确定所述哈希函数个数。
4.根据权利要求2所述的基于过滤器的文件校验方法，其特征在于，将所述目标分片通过哈希运算映射为数组，包括：
对所述目标分片进行预设次数的哈希运算，得到所述数组，其中所述预设次数等于所述哈希哈数个数。
5.根据权利要求1所述的基于过滤器的文件校验方法，其特征在于，根据所述位图对所述部分分片数据进行验证，包括：
对所述部分分片数据进行多次哈希运算得到，得到待校验数组；
遍历所述待校验数组，得到所述待校验数组中的索引值，根据所述索引值从所述位图中对应位置取值，若得到的值不为1，则所述待上传文件未被上传过。
6.根据权利要求1所述的基于过滤器的文件校验方法，其特征在于，根据所述位图对所述部分分片数据进行验证，还包括：
若所述部分分片数据在所述过滤器中，则生成所述待上传文件的全文件校验码，根据所述全文件校验码生成校验请求输出值文件上传的目标终端，以使所述目标终端根据所述全文校验码确定所述待上传文件在目标终端的唯一性。
7.根据权利要求6所述的基于过滤器的文件校验方法，其特征在于，所述全文校验码包括MD5码。
8.一种基于过滤器的文件校验系统，其特征在于，包括：
缓存模块，用于遍历所有已上传文件，将所述已上传文件通过缓存数据库中预设的过滤器映射为位图；
分片模块，用于对待上传文件进行分片，得到多个分片数据；
校验模块，用于将部分分片数据输入所述过滤器，以根据所述位图对所述部分分片数据进行验证，若所述部分分片数据不在所述过滤器中，则上传所述待上传文件。
9.一种计算机设备，包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述的基于过滤器的文件校验方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的基于过滤器的文件校验方法的步骤。
CN202310002606.8A 2023-01-03 2023-01-03 一种基于过滤器的文件校验方法、系统、设备和介质 Pending CN116049109A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310002606.8A CN116049109A (zh) 2023-01-03 2023-01-03 一种基于过滤器的文件校验方法、系统、设备和介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310002606.8A CN116049109A (zh) 2023-01-03 2023-01-03 一种基于过滤器的文件校验方法、系统、设备和介质

Publications (1)

Publication Number Publication Date
CN116049109A true CN116049109A (zh) 2023-05-02

Family

ID=86114227

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310002606.8A Pending CN116049109A (zh) 2023-01-03 2023-01-03 一种基于过滤器的文件校验方法、系统、设备和介质

Country Status (1)

Country Link
CN (1) CN116049109A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116599973A (zh) * 2023-07-11 2023-08-15 天津卓朗昆仑云软件技术有限公司 基于bt服务加速组件的数据传输方法和装置
CN117492405A (zh) * 2024-01-02 2024-02-02 东方电气风电股份有限公司 一种基于现场总线的风电机组控制系统校验方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116599973A (zh) * 2023-07-11 2023-08-15 天津卓朗昆仑云软件技术有限公司 基于bt服务加速组件的数据传输方法和装置
CN116599973B (zh) * 2023-07-11 2023-09-26 天津卓朗昆仑云软件技术有限公司 基于bt服务加速组件的数据传输方法和装置
CN117492405A (zh) * 2024-01-02 2024-02-02 东方电气风电股份有限公司 一种基于现场总线的风电机组控制系统校验方法
CN117492405B (zh) * 2024-01-02 2024-03-08 东方电气风电股份有限公司 一种基于现场总线的风电机组控制系统校验方法

Similar Documents

Publication Publication Date Title
WO2021164178A1 (zh) 基于云技术的文件分片上传方法、装置、设备及存储介质
CN116049109A (zh) 一种基于过滤器的文件校验方法、系统、设备和介质
CN110941598A (zh) 一种数据去重方法、装置、终端及存储介质
CN111935227A (zh) 通过浏览器上传文件的方法、浏览器和电子设备
CN107346270B (zh) 基于实时计算的基数估计的方法和系统
CN101977361A (zh) 一种批量短信预处理方法
CN110955390B (zh) 数据处理方法、装置、电子设备和存储介质
CN110069217B (zh) 一种数据存储方法及装置
CN112613964A (zh) 一种对账方法、装置、设备及存储介质
CN113297267A (zh) 数据缓存和任务处理方法、装置、设备以及存储介质
EP3349416A1 (en) Relationship chain processing method and system, and storage medium
CN112699116A (zh) 一种数据处理方法和系统
CN111125168A (zh) 一种数据处理方法、装置、电子设备及存储介质
CN113590447B (zh) 埋点处理方法和装置
CN113590322A (zh) 一种数据处理方法和装置
CN105657473A (zh) 数据处理的方法和装置
CN112804312A (zh) 文件上传方法、设备以及计算机可读介质
CN112714163A (zh) 数据传输方法、装置、电子设备、介质和计算机程序产品
CN111049877A (zh) 一种大数据对外输出方法、装置及数据开放平台
CN112732471A (zh) 接口返回数据的纠错方法和纠错装置
CN113409136B (zh) 组合服务相似度分析方法、装置、计算机系统及存储介质
US20190258728A1 (en) Footers for compressed objects
CN112235332A (zh) 一种集群的读写切换方法和装置
CN114449052B (zh) 一种数据压缩方法、装置、电子设备及存储介质
CN111914065B (zh) 短信内容验证方法、装置、计算机系统和计算机可读介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination