CN110515991A - 批量配送文件的收集方法及装置、存储介质、终端 - Google Patents

批量配送文件的收集方法及装置、存储介质、终端 Download PDF

Info

Publication number
CN110515991A
CN110515991A CN201910641276.0A CN201910641276A CN110515991A CN 110515991 A CN110515991 A CN 110515991A CN 201910641276 A CN201910641276 A CN 201910641276A CN 110515991 A CN110515991 A CN 110515991A
Authority
CN
China
Prior art keywords
file
collection
logo
collected
batch
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910641276.0A
Other languages
English (en)
Inventor
汤奇峰
蒋宇一
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Data Trading Center Ltd
Original Assignee
Shanghai Data Trading Center Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Data Trading Center Ltd filed Critical Shanghai Data Trading Center Ltd
Priority to CN201910641276.0A priority Critical patent/CN110515991A/zh
Publication of CN110515991A publication Critical patent/CN110515991A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25—Integrating or interfacing systems involving database management systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

一种批量配送文件的收集方法及装置、存储介质、终端，所述收集方法包括：监控待收集文件目录；当监控结果表明所述待收集文件目录中有标志文件生成时，对所述标志文件关联的批量配送文件进行收集操作，其中，所述标志文件用于指示关联的批量配送文件传输完毕。通过本发明提供的方案能够优化对批量配送文件的收集逻辑，提高收集效率，降低功耗。

Description

批量配送文件的收集方法及装置、存储介质、终端
技术领域
本发明涉及数据处理技术领域，具体地涉及一种批量配送文件的收集方法及装置、存储介质、终端。
背景技术
大数据已经被广泛认为是一种战略性的新型资源，人们用它定义当今时代产生的海量数据以及相关的技术发展与服务创新。在产品上，大数据处理服务目前主要面向的是在分布式系统中具备一致性(Consistency)、可用性(Availability)以及分区容错性(Partition tolerance)(简称CAP)特性的产品，以及与信息发布领域中(Real TimeBidding，简称RTB)的相关业务，其量级已达到拍字节(Petabytes，简称PB)级别。在技术上，大数据处理服务基于的基础架构是海杜普(hadoop)等分布式系统基础架构，包括hadoop生态下的数据仓库工具hive等。
为支持大数据任务处理，现有技术主要采用水槽(flume)、日志收集管理工具(logstash)等第三方组件进行数据收集。
现有的第三方组件比较适合对实时配送数据进行收集。例如，在第三方数据流通系统对数据进行实时配送期间，现有的第三方组件可以持续、实时监控并收集配送完成的数据，以实现存档目的。
但是，若采用现有第三方组件的持续收集逻辑来收集批量配送文件，由于批量配送文件是以文件为最小传输单位进行传输的，在单个文件传输完毕之前，第三方组件的持续收集操作是没有意义的。例如，当收集到一个新增文件时，第三方组件会将该新增文件存储至目标存储地址，但是，若该新增文件当前并未传输完毕，则下一时刻第三方组件会针对该新增文件再次进行收集操作，并将新收集的新增文件覆盖目标存储地址上已有的新增文件，如此反复执行收集和覆盖操作，直至新增文件传输完毕。可见，现有的第三方组件在针对批量配送文件进行收集时，收集效率低，且严重增加第三方组件所在服务器的运行功耗。
因而，亟需提供一种能够更好地对批量配送文件的收集逻辑。
发明内容
本发明解决的技术问题是如何优化对批量配送文件的收集逻辑，提高收集效率，降低功耗。
为解决上述技术问题，本发明实施例提供一种批量配送文件的收集方法，包括：监控待收集文件目录；当监控结果表明所述待收集文件目录中有标志文件生成时，对所述标志文件关联的批量配送文件进行收集操作，其中，所述标志文件用于指示关联的批量配送文件传输完毕。
可选的，所述监控待收集文件目录包括：监控所述待收集文件目录中预设类型的文件的生成信息。
可选的，所述对所述标志文件关联的批量配送文件进行收集操作包括：基于所述标志文件关联的批量配送文件的文件信息生成收集指示信息，其中，所述收集指示信息包含目标收集类型；响应于所述收集指示信息，调用所述目标收集类型关联的收集工具对所述标志文件关联的批量配送文件进行收集操作。
可选的，所述收集指示信息还包含目标存储地址以及所述标志文件关联的批量配送文件的原始存储路径；所述响应于所述收集指示信息，调用所述目标收集类型关联的收集工具对所述标志文件关联的批量配送文件进行收集操作包括：调用所述目标收集类型关联的收集工具，自所述原始存储路径读取所述标志文件关联的批量配送文件并存储至所述目标存储地址。
可选的，所述收集指示信息还包含重试次数，在调用所述目标收集类型关联的收集工具对所述标志文件关联的批量配送文件进行收集操作之后，还包括：接收收集失败反馈信息，所述收集失败反馈信息包含失败次数；当所述失败次数小于所述重试次数时，重新进行收集操作。
可选的，所述标志文件为后缀名为.flag且文件内容为空的文件。
为解决上述技术问题，本发明实施例还提供一种批量配送文件的收集装置，包括：监控模块，用于监控待收集文件目录；收集模块，当所述源模块的监控结果表明所述待收集文件目录中有标志文件生成时，对所述标志文件关联的批量配送文件进行收集操作，其中，所述标志文件用于指示关联的批量配送文件传输完毕。
可选的，所述收集模块包括：生成子模块，用于基于所述标志文件关联的批量配送文件的文件信息生成收集指示信息，其中，所述收集指示信息包含目标收集类型；调用子模块，响应于所述收集指示信息，调用所述目标收集类型关联的收集工具对所述标志文件关联的批量配送文件进行收集操作。
为解决上述技术问题，本发明实施例还提供一种存储介质，其上存储有计算机指令，所述计算机指令运行时执行上述方法的步骤。
为解决上述技术问题，本发明实施例还提供一种终端，包括存储器和处理器，所述存储器上存储有能够在所述处理器上运行的计算机指令，所述处理器运行所述计算机指令时执行上述方法的步骤。
与现有技术相比，本发明实施例的技术方案具有以下有益效果：
本发明实施例提供一种批量配送文件的收集方法，包括：监控待收集文件目录；当监控结果表明所述待收集文件目录中有标志文件生成时，对所述标志文件关联的批量配送文件进行收集操作，其中，所述标志文件用于指示关联的批量配送文件传输完毕。较之现有技术所采用的持续收集逻辑，本发明实施例的方案能够有效优化对批量配送文件的收集逻辑，提高收集效率，降低功耗。具体而言，对待收集文件目录进行监控，并在监控到批量配送文件传输完毕时才执行收集操作，使得降低无意义收集次数成为可能，优化服务器的资源配置，降低功耗。
附图说明
图1是本发明实施例的一种批量配送文件的收集方法的流程图；
图2是图1中步骤S102的一个具体实施方式的流程图；
图3是本发明实施例的一种批量配送文件的收集装置的结构示意图；
图4是本发明实施例一个典型的应用场景的示意图；
图5是图4所示应用场景中批量配送文件收集系统的操作流程示意图。
具体实施方式
如背景技术所言，现有的第三方组件在针对批量配送文件进行数据收集时，收集效率低，且严重增加第三方组件所在服务器的运行功耗。
为解决上述技术问题，本发明实施例提供一种批量配送文件的收集方法，包括：监控待收集文件目录；当监控结果表明所述待收集文件目录中有标志文件生成时，对所述标志文件关联的批量配送文件进行收集操作，其中，所述标志文件用于指示关联的批量配送文件传输完毕。
本领域技术人员理解，本发明实施例的方案能够有效优化对批量配送文件的收集逻辑，提高收集效率，降低功耗。具体而言，对待收集文件目录进行监控，并在监控到批量配送文件传输完毕时才执行收集操作，使得降低无意义收集次数成为可能，优化服务器的资源配置，降低功耗。
为使本发明的上述目的、特征和有益效果能够更为明显易懂，下面结合附图对本发明的具体实施例做详细的说明。
图1是本发明实施例的一种批量配送文件的收集方法的流程图。本实施例所述方案可以由终端执行，所述终端可以是一个或多个相通信的服务器。
具体地，参考图1，本实施例所述批量配送文件的收集方法可以包括如下步骤：
步骤S101，监控待收集文件目录；
步骤S102，当监控结果表明所述待收集文件目录中有标志文件生成时，对所述标志文件关联的批量配送文件进行收集操作，其中，所述标志文件用于指示关联的批量配送文件传输完毕。
在一个或多个实施例中，所述待收集文件目录可以是执行本实施例所述方案的终端的本地文件目录，或者，还可以是与所述终端相通信的外部设备的文件目录。
例如，可以基于非阻塞式输入输出(Non-blocking Input Output，简称NIO)实时监听所述待收集文件目录。
在一个或多个实施例中，当存在多个待收集文件目录时，可以根据用户选择针对性的监控所述多个待收集文件目录中的部分特定的待收集文件目录。其中，所述多个待收集文件目录可以属于相同或不同的服务器的文件目录；所述多个待收集文件目录可以为相同或不同数据配送系统的文件目录。
在一个或多个实施例中，所述步骤S101可以包括：监控所述待收集文件目录中预设类型的文件的生成信息。
例如，所述待收集文件目录中可以具有多种类型的文件，不同类型可以通过不同的后缀名表示。通过用户选择，本实施例的方案可以仅针对其中部分特定后缀名的文件的生成情况进行监控。
例如，所述预设类型的文件可以包括后缀名为.source、.flag、.target的文件。
在一个或多个实施例中，所述批量配送文件是以文件为最小传输单位进行配送的，单个文件包含的数据量可以相同也可以不同。以单个文件为例，在所述文件传输完毕后，会在所述待收集文件目录中生成一个文件内容为空、文件名与该文件的文件名相同且后缀名为.flag的标志文件，以标志所述文件传输完毕。
本实施例的方案通过监听所述待收集文件目录中所述标志文件的生成情况来确定合适的收集时机，以提高数据收集效率，避免终端重复执行无意义的收集操作。
在实际应用中，本领域技术人员还可以根据需要将其他后缀名的文件定义为所述标志文件。
在一个或多个实施例中，当执行本实施例所述方案时，可以监控所述待收集文件目录，并对所述待收集文件目录中所有已生成的标志文件各自关联的批量配送文件进行收集操作。
进一步地，针对在监控期间新生成的标志文件，可以在监听到所述标志文件生成后，对新生成的标志文件关联的批量配送文件实时进行收集操作。
在一个或多个实施例中，参考图2，所述步骤S102可以包括如下步骤：
步骤S1021，基于所述标志文件关联的批量配送文件的文件信息生成收集指示信息，其中，所述收集指示信息包含目标收集类型；
步骤S1022，响应于所述收集指示信息，调用所述目标收集类型关联的收集工具对所述标志文件关联的批量配送文件进行收集操作。
具体地，所述文件信息可以包括所述批量配送文件的文件名、所述批量配送文件的原始存储路径等。
进一步地，可以根据所述文件名中的特定字段确定所述批量配送文件的目标收集类型。
进一步地，不同的目标收集类型可以用于指示不同的分布式系统。例如，所述分布式系统可以包括Hadoop分布式文件系统(Hadoop Distributed File System，简称HDFS)、hive等。
进一步地，不同的收集类型可以关联不同的收集工具(sinker)。
在一个或多个实施例中，所述原始存储路径可以指向所述待收集文件目录。
或者，所述原始存储路径可以指向独立于所述待收集文件目录的文件目录，所述待收集文件目录可以专用于存储所述标志文件。
在一个或多个实施例中，所述收集指示信息还可以包含目标存储地址以及所述标志文件关联的批量配送文件的原始存储路径。
相应的，所述步骤S1022可以包括：调用所述目标收集类型关联的收集工具，自所述原始存储路径读取所述标志文件关联的批量配送文件并存储至所述目标存储地址。
具体地，所述目标存储地址可以指向所述目标收集类型指示的分布式系统的存储目录。
在一个或多个实施例中，所述收集指示信息还可以包含重试次数，在所述步骤S1022之后，本实施例所述收集方法还可以包括：接收收集失败反馈信息，所述收集失败反馈信息可以包含失败次数；当所述失败次数小于所述重试次数时，重新进行收集操作。
例如，当出现执行本实施例所述方案的终端与所述目标存储地址指向的目标存储地失去通信连接，或者网络异常等情形时，当前收集操作可能会失败。进一步地，所述终端可以在合理的重试次数内重复尝试对所述批量配送文件的收集操作，直至收集成功。
具体地，所述重试次数可以根据所述收集类型确定。例如，针对存储至HDFS的批量配送文件，所述重试次数可以为10次。
由上，采用本实施例的方案能够有效优化对批量配送文件的收集逻辑，提高收集效率，降低功耗。具体而言，对待收集文件目录进行监控，并在监控到批量配送文件传输完毕时才执行收集操作，使得降低无意义收集次数成为可能，优化服务器的资源配置，降低功耗。
图3是本发明实施例的一种批量配送文件的收集装置的结构示意图。本领域技术人员理解，本实施例所述批量配送文件的收集装置3(以下简称为收集装置3)可以用于实施上述图1和图2所示实施例中所述的方法技术方案。
具体地，本实施例所述收集装置3可以包括：监控模块31，用于监控待收集文件目录；收集模块32，当所述源模块的监控结果表明所述待收集文件目录中有标志文件生成时，对所述标志文件关联的批量配送文件进行收集操作，其中，所述标志文件用于指示关联的批量配送文件传输完毕。
在一个或多个实施例中，所述监控模块31可以包括：监控子模块311，用于监控所述待收集文件目录中预设类型的文件的生成信息。
在一个或多个实施例中，所述收集模块32可以包括：生成子模块321，用于基于所述标志文件关联的批量配送文件的文件信息生成收集指示信息，其中，所述收集指示信息包含目标收集类型；调用子模块322，响应于所述收集指示信息，调用所述目标收集类型关联的收集工具对所述标志文件关联的批量配送文件进行收集操作。
在一个或多个实施例中，所述收集指示信息还可以包含目标存储地址以及所述标志文件关联的批量配送文件的原始存储路径。
相应的，所述调用子模块322可以包括：调用单元3221，用于调用所述目标收集类型关联的收集工具，自所述原始存储路径读取所述标志文件关联的批量配送文件并存储至所述目标存储地址。
在一个或多个实施例中，所述收集指示信息还可以包含重试次数，所述收集装置3还可以包括：接收模块33，用于在调用所述目标收集类型关联的收集工具对所述标志文件关联的批量配送文件进行收集操作之后，接收收集失败反馈信息，所述收集失败反馈信息包含失败次数；重试模块34，当所述失败次数小于所述重试次数时，重新进行收集操作。
在一个或多个实施例中，所述标志文件为后缀名为.flag且文件内容为空的文件。
关于所述收集装置3的工作原理、工作方式的更多内容，可以参照图1和图2中的相关描述，这里不再赘述。
在一个典型的应用场景中，参考图4，批量配送文件收集系统4可以与第三方数据流通系统5集成于同一服务器6，并且，所述批量配送文件收集系统4可以以微服务化的工具方式独立于所述第三方数据流通系统5，实现解耦并进行文件收集。
具体地，所述批量配送文件收集系统4可以包括源模块(source)41、收集模块(collector)42、收集工具(sinker)43以及存储管理模块(stash manager)44。
关于所述源模块41的工作原理、工作方式可以参考上述图3所示实施例中针对监控模块31的相关描述。
在本场景中，所述源模块41可以实时监听位于底层的所述第三方数据流通系统5中.flag文件的生成信息，并将监听结果发送至所述收集模块42以待处理。
例如，所述源模块41可以监控所述第三方数据流通系统5中前置机或内部接收配送数据的服务器目录，并将所有监控目录下的指定监控的文件类型消息发送至所述收集模块42。
关于所述收集模块42的工作原理、工作方式可以参考上述图3所示实施例中针对收集模块32的相关描述。
在本场景中，所述收集模块42可以是基于内存的收集调度，并且支持收集(sink)及收集重试。
例如，根据源模块41监控到的文件信息，收集模块42可以调用合适的收集工具43进行数据收集。
所述收集工具43可以是以插件方式加入的，以对所述收集模块42中的待处理文件进行收集，实现数据文件到HDFS和/或hive的收集。
在本场景中，所述收集工具43可以是包含hive的Hadoop。
例如，所述收集工具43可以对所述收集模块42中的待处理文件进行收集；对于收集失败的实例可以重新放回所述收集模块42中进行重试。
所述收集工具43还可以支持收集预处理、收集过滤、收集回调、收集异常处理等个性化操作。
所述存储管理模块44可以用于向用户提供手动控制接口，如可以根据用户需求刷新源模块41的监控目录、刷新源模块41的监控文件、动态加载、卸载收集工具43插件等。
接下来结合图5对所述批量配送文件收集系统4的操作流程进行具体阐述：
所述批量配送文件收集系统4启动后，可以执行操作s1，以调用所述源模块41发起对所述待收集文件目录的监控操作。
进一步地，可以执行操作s2，以读取所述待收集文件目录下所有监控类型文件。
进一步地，可以从读取的文件信息中收集所有后缀名为.flag且文件内容为空的文件信息，并执行操作s3，以将监控结果发送至所述收集模块42。
并且，在执行图5所示任一操作期间，若所述源模块41监控得到所述待收集文件目录有新的标志文件生成，则可以实时执行所述步骤s3，以将监控结果及时发送至所述收集模块42。
响应于接收到所述监控结果，所述收集模块42可以缓存该监控结果，然后按接收顺序，依次处理各标识文件，根据标志文件关联的批量配送文件的文件类型生成收集指示信息，以调用合适的收集工具43执行收集操作。
响应于接收到所述收集指示信息，所述收集工具43可以执行操作s4以对所述批量配送文件执行收集操作。
具体地，所述收集工具43可以执行操作s41，以进行收集预处理(PreSink)操作。例如，可以对文件系统(file system)进行懒加载操作。
进一步地，所述收集工具43可以执行操作s42，以过滤待收集的文件(SinkFilter)。例如，可以过滤掉所述监控结果中已经收集完成、不符合预设收集条件的待收集文件。
进一步地，所述收集工具43可以执行操作s43，以对经过预处理和过滤操作后的待收集的批量配送文件进行收集操作。例如，可以用HDFS、hive收集文件。
进一步地，所述收集工具43可以执行操作s44，以在收集完成后进行操作(PostSink)。例如，回调、写入收集标志文件等。
在本场景的一个变化例中，所述存储管理模块44可以根据用户选择刷新监控目录。例如，所述操作s1可以替换为操作s1’，以调用所述批量配送文件收集系统4自带的接口发起刷新操作，从而调用所述源模块41监控用户指定的待收集文件目录中的文件信息，进而通过执行所述操作s2和操作s3以将对用户指定的待收集文件目录的监控结果发送至所述收集模块42。
在本场景的另一个变化例中，所述存储管理模块44可以根据用户选择刷新监控目录文件。例如，所述操作s1和操作s2可以替换为操作s1”，以调用所述批量配送文件收集系统4自带的接口发起刷新操作，从而调用所述源模块41监控用户指定的待收集文件的标志文件生成情况，进而通过执行所述操作s3以将对用户指定的待收集文件的监控结果发送至所述收集模块42。
在本场景的又一个变化例中，所述收集模块42可以重试收集。具体地，响应于接收到收集工具43发送的重试的监控信息后，所述收集模块42可以缓存该消息，并按重试时间排序，然后依次选择并调用合适的收集工具43进行重试操作。
在本场景中，所述批量配送文件配送系统4还可以支持采用http或https回调通知第三方业务系统7针对所述批量配送文件的收集信息。其中，所述第三方业务系统7可以与所述批量配送文件的传输方相通信，所述传输方可以包括数据供方和数据需方，以通过回调的方式告知所述批量配送文件的传输相关信息，如所述批量配送文件传输完毕、所述批量配送文件的订单、批次等。
进一步地，本发明实施例还公开一种存储介质，其上存储有计算机指令，所述计算机指令运行时执行上述图1和图2所示实施例中所述的方法技术方案。优选地，所述存储介质可以包括计算机可读存储介质。所述存储介质可以包括ROM、RAM、磁盘或光盘等。
进一步地，本发明实施例还公开一种终端，包括存储器和处理器，所述存储器上存储有能够在所述处理器上运行的计算机指令，所述处理器运行所述计算机指令时执行上述图1和图2所示实施例中所述的方法技术方案。例如，所述终端可以为服务器节点。
虽然本发明披露如上，但本发明并非限定于此。任何本领域技术人员，在不脱离本发明的精神和范围内，均可作各种更动与修改，因此本发明的保护范围应当以权利要求所限定的范围为准。

Claims (10)

1.一种批量配送文件的收集方法，其特征在于，包括：
监控待收集文件目录；
当监控结果表明所述待收集文件目录中有标志文件生成时，对所述标志文件关联的批量配送文件进行收集操作，其中，所述标志文件用于指示关联的批量配送文件传输完毕。
2.根据权利要求1所述的收集方法，其特征在于，所述监控待收集文件目录包括：
监控所述待收集文件目录中预设类型的文件的生成信息。
3.根据权利要求1所述的收集方法，其特征在于，所述对所述标志文件关联的批量配送文件进行收集操作包括：
基于所述标志文件关联的批量配送文件的文件信息生成收集指示信息，其中，所述收集指示信息包含目标收集类型；
响应于所述收集指示信息，调用所述目标收集类型关联的收集工具对所述标志文件关联的批量配送文件进行收集操作。
4.根据权利要求3所述的收集方法，其特征在于，所述收集指示信息还包含目标存储地址以及所述标志文件关联的批量配送文件的原始存储路径；所述响应于所述收集指示信息，调用所述目标收集类型关联的收集工具对所述标志文件关联的批量配送文件进行收集操作包括：
调用所述目标收集类型关联的收集工具，自所述原始存储路径读取所述标志文件关联的批量配送文件并存储至所述目标存储地址。
5.根据权利要求3所述的收集方法，其特征在于，所述收集指示信息还包含重试次数，在调用所述目标收集类型关联的收集工具对所述标志文件关联的批量配送文件进行收集操作之后，还包括：
接收收集失败反馈信息，所述收集失败反馈信息包含失败次数；
当所述失败次数小于所述重试次数时，重新进行收集操作。
6.根据权利要求1至5中任一项所述的收集方法，其特征在于，所述标志文件为后缀名为.flag且文件内容为空的文件。
7.一种批量配送文件的收集装置，其特征在于，包括：
监控模块，用于监控待收集文件目录；
收集模块，当所述源模块的监控结果表明所述待收集文件目录中有标志文件生成时，对所述标志文件关联的批量配送文件进行收集操作，其中，所述标志文件用于指示关联的批量配送文件传输完毕。
8.根据权利要求7所述的收集装置，其特征在于，所述收集模块包括：
生成子模块，用于基于所述标志文件关联的批量配送文件的文件信息生成收集指示信息，其中，所述收集指示信息包含目标收集类型；
调用子模块，响应于所述收集指示信息，调用所述目标收集类型关联的收集工具对所述标志文件关联的批量配送文件进行收集操作。
9.一种存储介质，其上存储有计算机指令，其特征在于，所述计算机指令运行时执行权利要求1至6任一项所述方法的步骤。
10.一种终端，包括存储器和处理器，所述存储器上存储有能够在所述处理器上运行的计算机指令，其特征在于，所述处理器运行所述计算机指令时执行权利要求1至6任一项所述方法的步骤。
CN201910641276.0A 2019-07-16 2019-07-16 批量配送文件的收集方法及装置、存储介质、终端 Pending CN110515991A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910641276.0A CN110515991A (zh) 2019-07-16 2019-07-16 批量配送文件的收集方法及装置、存储介质、终端

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910641276.0A CN110515991A (zh) 2019-07-16 2019-07-16 批量配送文件的收集方法及装置、存储介质、终端

Publications (1)

Publication Number Publication Date
CN110515991A true CN110515991A (zh) 2019-11-29

Family

ID=68623710

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910641276.0A Pending CN110515991A (zh) 2019-07-16 2019-07-16 批量配送文件的收集方法及装置、存储介质、终端

Country Status (1)

Country Link
CN (1) CN110515991A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112988694A (zh) * 2019-12-12 2021-06-18 北京车和家信息技术有限公司 集中化管理平台批量管理网络文件系统的运维方法及装置
CN114465972A (zh) * 2021-06-11 2022-05-10 北京字跳网络技术有限公司 文件夹传输的方法、装置、设备和计算机可读存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106330998A (zh) * 2015-06-19 2017-01-11 宇龙计算机通信科技(深圳)有限公司 一种文件的发送、接收方法和装置
CN106603614A (zh) * 2015-10-20 2017-04-26 北京国双科技有限公司 文件传输方法和装置
CN108512898A (zh) * 2018-02-09 2018-09-07 深圳壹账通智能科技有限公司 文件推送方法、装置、计算机设备和存储介质
CN109753493A (zh) * 2019-01-04 2019-05-14 中国银行股份有限公司 数据库间进行数据迁移的方法、装置以及设备

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106330998A (zh) * 2015-06-19 2017-01-11 宇龙计算机通信科技(深圳)有限公司 一种文件的发送、接收方法和装置
CN106603614A (zh) * 2015-10-20 2017-04-26 北京国双科技有限公司 文件传输方法和装置
CN108512898A (zh) * 2018-02-09 2018-09-07 深圳壹账通智能科技有限公司 文件推送方法、装置、计算机设备和存储介质
CN109753493A (zh) * 2019-01-04 2019-05-14 中国银行股份有限公司 数据库间进行数据迁移的方法、装置以及设备

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112988694A (zh) * 2019-12-12 2021-06-18 北京车和家信息技术有限公司 集中化管理平台批量管理网络文件系统的运维方法及装置
CN114465972A (zh) * 2021-06-11 2022-05-10 北京字跳网络技术有限公司 文件夹传输的方法、装置、设备和计算机可读存储介质
CN114465972B (zh) * 2021-06-11 2023-11-21 北京字跳网络技术有限公司 文件夹传输的方法、装置、设备和计算机可读存储介质

Similar Documents

Publication Publication Date Title
CN111091429B (zh) 电子票据标识分配方法及装置、电子票据生成系统
CN108388479B (zh) 延迟消息推送方法、装置、计算机设备及存储介质
CN109451072A (zh) 一种基于Kafka的消息缓存系统和方法
US20190266537A1 (en) Systems and methods for incident queue assignment and prioritization
CA2780013C (en) Cloud computing monitoring and management system
US8713163B2 (en) Monitoring cloud-runtime operations
CN102281190B (zh) 负载均衡装置组网方法以及服务器、客户端接入方法
CN107395729A (zh) 一种消息队列的消费系统、方法及装置
CN110308983A (zh) 资源负载均衡方法及系统、服务节点和客户端
CN109831524A (zh) 一种负载均衡处理方法及装置
CN111865622B (zh) 基于规则引擎集群的云服务计量计费方法及系统
CN110515991A (zh) 批量配送文件的收集方法及装置、存储介质、终端
CN110287266A (zh) 一种分布式系统及数据处理方法
CN114090366A (zh) 一种监控数据的方法、装置和系统
CN109039817A (zh) 一种用于流量监控的信息处理方法和装置
CN113364852A (zh) 文件的传输方法、装置和服务器
CN110519354A (zh) 一种分布式对象存储系统及其业务处理方法和存储介质
CN109656783A (zh) 系统平台监控方法及装置
CN111193789A (zh) 订阅信息推送方法、装置、计算机设备和可读存储介质
CN110807058B (zh) 一种导出数据的方法和系统
CN110519317A (zh) 一种数据传输方法以及设备
CN116775420A (zh) 基于Flink流计算的信创云平台资源展示和预警方法及系统
CN112380040B (zh) 一种消息处理的方法、装置、电子设备及存储介质
CN111831503A (zh) 一种基于监控代理的监控方法和监控代理装置
CN114598662A (zh) 消息队列集群联邦管理系统以及方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20191129

WD01 Invention patent application deemed withdrawn after publication