CN116303289A - 一种文件采集方法及装置 - Google Patents
一种文件采集方法及装置 Download PDFInfo
- Publication number
- CN116303289A CN116303289A CN202310531044.6A CN202310531044A CN116303289A CN 116303289 A CN116303289 A CN 116303289A CN 202310531044 A CN202310531044 A CN 202310531044A CN 116303289 A CN116303289 A CN 116303289A
- Authority
- CN
- China
- Prior art keywords
- file
- file set
- files
- preset
- type
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 105
- 238000012216 screening Methods 0.000 claims abstract description 44
- 238000006243 chemical reaction Methods 0.000 claims abstract description 34
- 230000006837 decompression Effects 0.000 claims abstract description 23
- 238000012545 processing Methods 0.000 claims abstract description 21
- 238000001914 filtration Methods 0.000 claims abstract description 18
- 230000008569 process Effects 0.000 claims description 25
- 238000004590 computer program Methods 0.000 claims description 10
- 230000006835 compression Effects 0.000 claims description 9
- 238000007906 compression Methods 0.000 claims description 9
- 238000012360 testing method Methods 0.000 description 42
- 238000010586 diagram Methods 0.000 description 11
- 239000004065 semiconductor Substances 0.000 description 11
- 230000006870 function Effects 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 230000014509 gene expression Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 238000005192 partition Methods 0.000 description 2
- 238000005096 rolling process Methods 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 239000013256 coordination polymer Substances 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/16—File or folder operations, e.g. details of user interfaces specifically adapted to file systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/17—Details of further file system functions
- G06F16/174—Redundancy elimination performed by the file system
- G06F16/1744—Redundancy elimination performed by the file system using compression, e.g. sparse files
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/18—File system types
- G06F16/182—Distributed file systems
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/06—Protocols specially adapted for file transfer, e.g. file transfer protocol [FTP]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
- H04L67/1097—Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Human Computer Interaction (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本申请提供一种文件采集方法及装置，该方法包括：根据预先配置的采集定时规则启动文件采集定时任务；确定文件采集定时任务的文件采集时间段；在文件采集定时任务下，根据预设的文件存储目录和预设的文件存储平台，对目标存储平台进行文件扫描，得到扫描文件集合；根据文件采集时间段对扫描文件集合进行时间段过滤，得到第一文件集合；根据预设的文件类型筛选规则，对第一文件集合进行筛选处理，得到第二文件集合；对第二文件集合进行转换解压处理，得到目标文件集合。可见，该方法能够灵活快速的进行文件数据采集，适配多样的文件存储环境和目录，且能够避免数据丢失、数据重复等问题。
Description
技术领域
本申请涉及数据处理技术领域，具体而言，涉及一种文件采集方法及装置。
背景技术
目前，在芯片测试过程中，测试机台会对每一次测试的结果都输出到文件中保留下来。大多数测试机台都会生成STDF二进制测试结果文件，即标准测试数据文件，但是也存在少部分测试机不会输出标准STDF文件，而是生成csv、txt、excel、log、map、bin、wat、summary等格式多样内容不一的文本类型的测试文件，且文件会使用zip、z、gz、7z、tar、分卷等多种压缩方式，测试文件的存储平台也各不相同，会使用FTP、SFTP、本机等多种存储方式。在半导体测试过程中，为了保证测试结果的准确性、可靠性和全面性，需要对相关测试数据进行采集。目前对于半导体测试数据的采集仅限于对标准的STDF文件做采集，且采集方法不够灵活，无法适配多样的文件存储环境和目录，无法准确的判断需要采集的半导体测试文件，采集方法往往存在数据丢失、数据重复等问题，存在一定的局限性。可见，现有采集方法不够灵活，无法适配多样的文件存储环境和目录，且存在数据丢失、数据重复等问题。
发明内容
本申请实施例的目的在于提供一种文件采集方法及装置，能够灵活快速的进行文件数据采集，适配多样的文件存储环境和目录，且能够避免数据丢失、数据重复等问题。
本申请实施例第一方面提供了一种文件采集方法，包括：
根据预先配置的采集定时规则启动文件采集定时任务；
确定所述文件采集定时任务的文件采集时间段；
在所述文件采集定时任务下，根据预设的文件存储目录和预设的文件存储平台，对目标存储平台进行文件扫描，得到扫描文件集合；
根据所述文件采集时间段对所述扫描文件集合进行时间段过滤，得到第一文件集合；
根据预设的文件类型筛选规则，对所述第一文件集合进行筛选处理，得到第二文件集合；
对所述第二文件集合进行转换解压处理，得到目标文件集合。
在上述实现过程中，该方法可以优先根据预先配置的采集定时规则启动文件采集定时任务；可见，该方法可以基于定时规则开始对数据进行采集，从而以此来实现数据的自动化采集。在启动文件采集定时任务之后，该方法可以确定文件采集定时任务的文件采集时间段；可见，该方法可以基于文件采集定时任务确定文件采集有效时长，从而以此来确定后续数据筛选基准。然后，该方法开始基于预设的文件存储目录和预设的文件存储平台，对目标存储平台进行文件扫描，得到扫描文件集合，从而以此来获取到初步的扫描文件集合。并在之后，进一步根据文件采集时间段对扫描文件集合进行时间段过滤，得到第一文件集合；再根据预设的文件类型筛选规则，对第一文件集合进行筛选处理，得到第二文件集合；可见，该方法可以基于时间要求和文件类型要求对扫描得到的大量文件进行筛选，从而得到准确且有效的文件集合，记为第二文件集合。最后，该方法再对第二文件集合进行转换解压处理，得到目标文件集合；从而以此来完成文件的采集。综上可见，该方法能够在面对不同存储方式（包括FTP、SFTP、本机等）时皆可完成文件适配采集，从而打破了文件存储方式对文件采集的桎梏；同时，通过时间和类型的限定还能够有效的提高文件采集的准确程度和可靠程度，从而有利于解决数据丢失和数据重复的问题。
进一步地，所述对所述第二文件集合进行转换解压处理，得到目标文件集合的步骤包括：
将所述第二文件集合中的文件下载到本地，得到本地文件集合；
将所述本地文件集合划分为非标准类型文件集合、压缩分卷文件集合以及其他文件集合；
对所述非标准类型文件集合进行格式转换处理，得到转换文件集合；
对所述压缩分卷文件集合进行分卷合并处理，得到合并文件集合；
汇总所述转换文件集合、所述其他文件集合和所述合并文件集合，得到待解压文件集合；
对所述待解压文件集合进行解压处理，得到解压文件集合；
根据所述文件类型筛选规则对所述解压文件集合进行筛选处理，得到目标文件集合。
进一步地，所述对所述非标准类型文件集合进行格式转换处理，得到转换文件集合的步骤包括：
将所述非标准类型文件集合中的文件转换成预设格式类型的文件，得到转换文件集合；其中，所述非标准类型包括SUMMARY类型、RAW_DATA类型、LOG类型、MAP类型以及WAT类型。
进一步地，所述对所述压缩分卷文件集合进行分卷合并处理，得到合并文件集合的步骤包括：
获取所述压缩分卷文件集合中的压缩分卷文件；
获取所述压缩分卷文件的文件路径和文件名前缀；
根据所述文件路径和所述文件名前缀获取所述压缩分卷文件对应的其他分卷文件；
按照文件名顺序将所述压缩分卷文件和所述其他分卷文件进行合并处理，得到完整压缩文件；
汇总所述完整压缩文件，得到合并文件集合。
进一步地，所述目标存储平台为FTP存储平台、SFTP存储平台或者预先配置的本机存储平台。
进一步地，所述方法还包括：
判断所述文件采集定时任务需要处理的文件是否全部处理完成；
如果是，则获取所述文件采集定时任务处理成功的文件个数以及本次需要处理的文件个数；
根据所述处理成功的文件个数和所述本次需要处理的文件个数确定本次采集的起始时间；
结束所述文件采集定时任务。
本申请实施例第二方面提供了一种文件采集装置，所述文件采集装置包括：
启动单元，用于根据预先配置的采集定时规则启动文件采集定时任务；
第一确定单元，用于确定所述文件采集定时任务的文件采集时间段；
扫描单元，用于在所述文件采集定时任务下，根据预设的文件存储目录和预设的文件存储平台，对目标存储平台进行文件扫描，得到扫描文件集合；
过滤单元，用于根据所述文件采集时间段对所述扫描文件集合进行时间段过滤，得到第一文件集合；
筛选单元，用于根据预设的文件类型筛选规则，对所述第一文件集合进行筛选处理，得到第二文件集合；
解压单元，用于对所述第二文件集合进行转换解压处理，得到采集到的目标文件集合。
在上述实现过程中，该装置可以通过启动单元来根据预先配置的采集定时规则启动文件采集定时任务；通过第一确定单元确定文件采集定时任务的文件采集时间段；通过扫描单元在文件采集定时任务下，根据预设的文件存储目录和预设的文件存储平台，对目标存储平台进行文件扫描，得到扫描文件集合；通过过滤单元来根据文件采集时间段对扫描文件集合进行时间段过滤，得到第一文件集合；通过筛选单元来根据预设的文件类型筛选规则，对第一文件集合进行筛选处理，得到第二文件集合；再通过解压单元对第二文件集合进行转换解压处理，得到采集到的目标文件集合。可见，该装置能够在面对不同存储方式（包括FTP、SFTP、本机等）时皆可完成文件适配采集，从而打破了文件存储方式对文件采集的桎梏；同时，通过时间和类型的限定还能够有效的提高文件采集的准确程度和可靠程度，从而有利于解决数据丢失和数据重复的问题。
进一步地，所述解压单元包括：
下载子单元，用于将所述第二文件集合中的文件下载到本地，得到本地文件集合；
划分子单元，用于将所述本地文件集合划分为非标准类型文件集合、压缩分卷文件集合以及其他文件集合；
转换子单元，用于对所述非标准类型文件集合进行格式转换处理，得到转换文件集合；
分卷合并子单元，用于对所述压缩分卷文件集合进行分卷合并处理，得到合并文件集合；
汇总子单元，用于汇总所述转换文件集合、所述其他文件集合和所述合并文件集合，得到待解压文件集合；
解压子单元，用于对所述待解压文件集合进行解压处理，得到解压文件集合；
筛选子单元，用于根据所述文件类型筛选规则对所述解压文件集合进行筛选处理，得到目标文件集合。
进一步地，所述转换子单元，具体用于将所述非标准类型文件集合中的文件转换成预设格式类型的文件，得到转换文件集合；其中，所述非标准类型包括SUMMARY类型、RAW_DATA类型、LOG类型、MAP类型以及WAT类型。
进一步地，所述分卷合并子单元包括：
获取模块，用于获取所述压缩分卷文件集合中的压缩分卷文件；
所述获取模块，还用于获取所述压缩分卷文件的文件路径和文件名前缀；
所述获取模块，还用于根据所述文件路径和所述文件名前缀获取所述压缩分卷文件对应的其他分卷文件；
分卷合并模块，用于按照文件名顺序将所述压缩分卷文件和所述其他分卷文件进行合并处理，得到完整压缩文件；
汇总模块，用于汇总所述完整压缩文件，得到合并文件集合。
进一步地，所述目标存储平台为FTP存储平台、SFTP存储平台或者预先配置的本机存储平台。
进一步地，所述文件采集装置还包括：
判断单元，用于判断所述文件采集定时任务需要处理的文件是否全部处理完成；
获取单元，用于在所述文件采集定时任务需要处理的文件全部处理完成时，获取所述文件采集定时任务处理成功的文件个数以及本次需要处理的文件个数；
第二确定单元，用于根据所述处理成功的文件个数和所述本次需要处理的文件个数确定本次采集的起始时间；
结束单元，用于结束所述文件采集定时任务。
本申请实施例第三方面提供了一种电子设备，包括存储器以及处理器，所述存储器用于存储计算机程序，所述处理器运行所述计算机程序以使所述电子设备执行本申请实施例第一方面中任一项所述的文件采集方法。
本申请实施例第四方面提供了一种计算机可读存储介质，其存储有计算机程序指令，所述计算机程序指令被一处理器读取并运行时，执行本申请实施例第一方面中任一项所述的文件采集方法。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1为本申请实施例提供的一种文件采集方法的流程示意图；
图2为本申请实施例提供的另一种文件采集方法的流程示意图；
图3为本申请实施例提供的一种SPLIT类型的压缩分卷文件的处理流程示意图；
图4为本申请实施例提供的一种文件采集装置的结构示意图；
图5为本申请实施例提供的另一种文件采集装置的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行描述。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。同时，在本申请的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
实施例1
请参看图1，图1为本实施例提供了一种文件采集方法的流程示意图。其中，该文件采集方法包括：
S101、根据预先配置的采集定时规则启动文件采集定时任务。
本实施例中，该方法可以预先根据需要自定义配置一些参数，该些参数可以包括：采集文件的定时任务表达式、客户名称、测试阶段（CP、FT、WAT）、工厂名称、文件存储平台类型（FTP、SFTP、LOCAL）、文件存储平台地址、文件存储平台端口、文件存储平台用户名、文件存储平台密码、重试次数、采集文件的起始时间、采集文件的结束时间、认为文件没有变化可加载的间隔时间、（STDF、RAW_DATA、LOG、MAP、WAT、SPLIT、BLACK）类型文件的前缀中缀后缀匹配规则、测试文件的存储路径等。
S102、确定文件采集定时任务的文件采集时间段。
S103、在文件采集定时任务下，根据预设的文件存储目录和预设的文件存储平台，对目标存储平台进行文件扫描，得到扫描文件集合。
本实施例中，目标存储平台为FTP存储平台、SFTP存储平台或者预先配置的本机存储平台。
S104、根据文件采集时间段对扫描文件集合进行时间段过滤，得到第一文件集合。
S105、根据预设的文件类型筛选规则，对第一文件集合进行筛选处理，得到第二文件集合。
S106、对第二文件集合进行转换解压处理，得到目标文件集合。
本实施例中，该方法中的转换解压过程至少包括非标准测试文件转换成统一格式的转换过程，和多种压缩格式和分卷压缩文件的解压过程。
本实施例中，该方法的执行主体可以为计算机、服务器等计算装置，对此本实施例中不作任何限定。
在本实施例中，该方法的执行主体还可以为智能手机、平板电脑等智能设备，对此本实施例中不作任何限定。
可见，实施本实施例所描述的文件采集方法，能够应用于对半导体测试数据的采集过程当中，以使得该方法能够采集多种多样格式的半导体测试文件，易于扩展；还能够采集多个存储平台的测试文件，提高适用性。另一方面，该方法还能够支持断线重连和重试，从而解决数据丢失和数据重复的问题，确保测试数据采集的准确性和可靠性；同时，还能够支持非标准测试文件转换成统一格式，便于后续分析和读取；并且，还能够支持多种压缩格式和分卷压缩文件，以使其能够应对多样的数据。
实施例2
请参看图2，图2为本实施例提供了一种文件采集方法的流程示意图。其中，该文件采集方法包括：
S201、根据预先配置的采集定时规则启动文件采集定时任务。
本实施例中，该方法可以优先根据自定义配置的采集定时规则启动文件采集定时任务。
S202、确定文件采集定时任务的文件采集时间段。
本实施例中，文件采集时间段具有文件采集的起始时间以及文件采集的截止时间。
在本实施例中，该方法可以在启动文件采集定时任务时，获取上一次成功的文件采集定时任务记录的文件的最新时间；若是第一次采集，则使用配置的自定义起始采集时间作为本次定时任务需要采集的文件的起始时间。
在本实施例中，该方法还可以自定义配置测试文件多长时间不变化可认为文件在存储平台生成结束，用当前定时任务的启动时间减去配置的不变化时间，再和自定义配置的采集结束时间取最小值，即作为本次采集的文件的截止时间。
S203、在文件采集定时任务下，根据预设的文件存储目录和预设的文件存储平台，对目标存储平台进行文件扫描，得到扫描文件集合。
本实施例中，目标存储平台为FTP存储平台、SFTP存储平台或者预先配置的本机存储平台。
在本实施例中，该方法可以根据自定义配置的文件存储目录和文件存储平台，开始连接到FTP、SFTP或本机存储平台并读取目录及其子目录，直到所有目录扫描完成，记录所有扫描到的文件。
在本实施例中，如果扫描文件存在连接失败时，该方法可以根据自定义配置的重连次数和重连时间间隔开始重试。
S204、根据文件采集时间段对扫描文件集合进行时间段过滤，得到第一文件集合。
本实施例中，该方法可以对扫描到的所有文件进行时间段过滤，排除掉本次定时任务的起始采集时间和截止采集时间以外的文件。
S205、根据预设的文件类型筛选规则，对第一文件集合进行筛选处理，得到第二文件集合。
本实施例中，该方法可以对第一文件集合中的文件做进一步筛选，根据自定义配置的文件类型筛选规则（包括STDF、SUMMARY、RAW_DATA、LOG、MAP、SPLIT、BLACK、WAT等类型，每种类型都包含前缀、中缀、后缀三种匹配规则）用文件名或文件路径来筛选去掉黑名单和其他未配置类型的文件。
S206、将第二文件集合中的文件下载到本地，得到本地文件集合。
本实施例中，再获取到第二文件集合之后，该方法可以其进行下载。在下载的过程中，如果发现文件存在成功下载的记录，则对应跳过处理；如果发现文件在下载过程中以失败告终，则该方法自动根据自定义配置的重连次数和重连时间间隔开始重试。
S207、将本地文件集合划分为非标准类型文件集合、压缩分卷文件集合以及其他文件集合。
S208、将非标准类型文件集合中的文件转换成预设格式类型的文件，得到转换文件集合。
本实施例中，非标准类型包括SUMMARY类型、RAW_DATA类型、LOG类型、MAP类型以及WAT类型。
本实施例中，该方法可以基于非标准类型预先自定义配置SUMMARY、RAW_DATA、LOG、MAP、WAT类型测试文件转换成统一格式文件的定时任务表达式，以及最大同时转换线程数。
作为一种可选的实施方式，将非标准类型文件集合中的文件转换成预设格式类型的文件，得到转换文件集合的步骤包括：
根据自定义配置的转换定时规则启动文件转换定时任务，获取一个采集定时任务采集到的SUMMARY、RAW_DATA、LOG、MAP、WAT类型的未被转换的文件；
若正在处理的文件达到自定义配置的最大同时转换数量时，退出定时任务；否则开启线程处理此文件；
根据文件名配置的自定义规则获取到对应的python脚本程序，通过调用python脚本转换成统一格式的文件；
对转化完成的文件进行保存。
S209、对压缩分卷文件集合进行分卷合并处理，得到合并文件集合。
作为一种可选的实施方式，对压缩分卷文件集合进行分卷合并处理，得到合并文件集合的步骤包括：
S2091、获取压缩分卷文件集合中的压缩分卷文件；
S2092、获取压缩分卷文件的文件路径和文件名前缀；
S2093、根据文件路径和文件名前缀获取压缩分卷文件对应的其他分卷文件；
S2094、按照文件名顺序将压缩分卷文件和其他分卷文件进行合并处理，得到完整压缩文件；
S2095、汇总完整压缩文件，得到合并文件集合。
本实施例中，图3示出了一种SPLIT类型的压缩分卷文件的处理流程示意图。
本实施例中，该方法可以预先配置SPLIT类型的压缩分卷文件转换及采集的定时任务表达式、最大同时转换线程数、等待其他分卷块文件的最大等待时间。
举例来说，该SPLIT类型的压缩分卷文件的转换及采集过程如下：
根据自定义配置的转换定时规则启动文件转换定时任务，获取一个采集定时任务采集到的SPLIT类型的未被转换的文件；
若正在处理的文件达到自定义配置的最大同时转换数量时，退出定时任务；否则执行下一步；
若未达到自定义配置的等待此文件对应的其他SPLIT等待时间，退出定时任务；否则开启线程处理此文件；
根据此SPLIT文件的文件路径和文件名前缀找到对应的其他分卷文件；
对找到的多个SPLIT文件按文件名顺序合并成一个完整的压缩文件；
对完整的合并文件执行后续的解压步骤，以采集到符合采集规则的所有文件。
S210、汇总转换文件集合、其他文件集合和合并文件集合，得到待解压文件集合。
S211、对待解压文件集合进行解压处理，得到解压文件集合。
本实施例中，待解压文件可能是压缩形式和嵌套压缩的形式。由于该方法支持对zip、z、tar、gz、7z等压缩文件进行解压，因此该方法此时便对其进行一层一层的递归解压，从而以此来获取到解压后的所有非压缩文件。
S212、根据文件类型筛选规则对解压文件集合进行筛选处理，得到目标文件集合。
本实施例中，该方法可以对解压后的所有文件进行再一次的筛选，从此那个人获取到真正需要的STDF、SUMMARY、RAW_DATA、LOG、MAP、SPLIT、WAT等文件。
S213、判断文件采集定时任务需要处理的文件是否全部处理完成，若是，则执行步骤S214；若否，则结束本流程。
S214、获取文件采集定时任务处理成功的文件个数以及本次需要处理的文件个数。
S215、根据处理成功的文件个数和本次需要处理的文件个数确定本次采集的起始时间。
S216、结束文件采集定时任务。
本实施例中，该方法可以逐一对上一步筛选后的文件进行保存，若已经保存过则跳过处理。并在本次定时任务需要处理的文件全部处理完成，若记录处理成功的文件个数等于本次需要处理的文件个数，则本次定时任务记录为采集的测试文件的最大的时间；若记录处理成功的文件个数大于0且小于本次需要处理的文件个数，则本次定时任务记录为第一次处理失败的测试文件的时间减去1毫秒；否则本次定时任务记录为本次采集的起始时间。
本实施例中，该方法中的转换解压过程至少包括非标准测试文件转换成统一格式的转换过程，和多种压缩格式和分卷压缩文件的解压过程。
本实施例中，该方法的执行主体可以为计算机、服务器等计算装置，对此本实施例中不作任何限定。
在本实施例中，该方法的执行主体还可以为智能手机、平板电脑等智能设备，对此本实施例中不作任何限定。
可见，实施本实施例所描述的文件采集方法，能够应用于对半导体测试数据的采集过程当中，以使得该方法能够采集多种多样格式的半导体测试文件，易于扩展；还能够采集多个存储平台的测试文件，提高适用性。另一方面，该方法还能够支持断线重连和重试，从而解决数据丢失和数据重复的问题，确保测试数据采集的准确性和可靠性；同时，还能够支持非标准测试文件转换成统一格式，便于后续分析和读取；并且，还能够支持多种压缩格式和分卷压缩文件，以使其能够应对多样的数据。
实施例3
请参看图4，图4为本实施例提供的一种文件采集装置的结构示意图。如图4所示，该文件采集装置包括：
启动单元310，用于根据预先配置的采集定时规则启动文件采集定时任务；
第一确定单元320，用于确定文件采集定时任务的文件采集时间段；
扫描单元330，用于在文件采集定时任务下，根据预设的文件存储目录和预设的文件存储平台，对目标存储平台进行文件扫描，得到扫描文件集合；
过滤单元340，用于根据文件采集时间段对扫描文件集合进行时间段过滤，得到第一文件集合；
筛选单元350，用于根据预设的文件类型筛选规则，对第一文件集合进行筛选处理，得到第二文件集合；
解压单元360，用于对第二文件集合进行转换解压处理，得到采集到的目标文件集合。
本实施例中，对于文件采集装置的解释说明可以参照实施例1或实施例2中的描述，对此本实施例中不再多加赘述。
可见，本实施例所描述的文件采集装置能够用于采集半导体测试数据，从而实现采集多种多样格式的半导体测试文件，易于扩展的效果；还能够实现对多个存储平台的测试文件进行采集，提高适用性的效果。另一方面，该装置还能够支持断线重连和重试，从而解决数据丢失和数据重复的问题，确保测试数据采集的准确性和可靠性；同时，还能够支持非标准测试文件转换成统一格式，便于后续分析和读取；并且，还能够支持多种压缩格式和分卷压缩文件，以使其能够应对多样的数据。
实施例4
请参看图5，图5为本实施例提供的一种文件采集装置的结构示意图。如图5所示，该文件采集装置包括：
启动单元310，用于根据预先配置的采集定时规则启动文件采集定时任务；
第一确定单元320，用于确定文件采集定时任务的文件采集时间段；
扫描单元330，用于在文件采集定时任务下，根据预设的文件存储目录和预设的文件存储平台，对目标存储平台进行文件扫描，得到扫描文件集合；
过滤单元340，用于根据文件采集时间段对扫描文件集合进行时间段过滤，得到第一文件集合；
筛选单元350，用于根据预设的文件类型筛选规则，对第一文件集合进行筛选处理，得到第二文件集合；
解压单元360，用于对第二文件集合进行转换解压处理，得到采集到的目标文件集合。
作为一种可选的实施方式，解压单元360包括：
下载子单元361，用于将第二文件集合中的文件下载到本地，得到本地文件集合；
划分子单元362，用于将本地文件集合划分为非标准类型文件集合、压缩分卷文件集合以及其他文件集合；
转换子单元363，用于对非标准类型文件集合进行格式转换处理，得到转换文件集合；
分卷合并子单元364，用于对压缩分卷文件集合进行分卷合并处理，得到合并文件集合；
汇总子单元365，用于汇总转换文件集合、其他文件集合和合并文件集合，得到待解压文件集合；
解压子单元366，用于对待解压文件集合进行解压处理，得到解压文件集合；
筛选子单元367，用于根据文件类型筛选规则对解压文件集合进行筛选处理，得到目标文件集合。
作为一种可选的实施方式，转换子单元363，具体用于将非标准类型文件集合中的文件转换成预设格式类型的文件，得到转换文件集合；其中，非标准类型包括SUMMARY类型、RAW_DATA类型、LOG类型、MAP类型以及WAT类型。
作为一种可选的实施方式，分卷合并子单元364包括：
获取模块，用于获取压缩分卷文件集合中的压缩分卷文件；
获取模块，还用于获取压缩分卷文件的文件路径和文件名前缀；
获取模块，还用于根据文件路径和文件名前缀获取压缩分卷文件对应的其他分卷文件；
分卷合并模块，用于按照文件名顺序将压缩分卷文件和其他分卷文件进行合并处理，得到完整压缩文件；
汇总模块，用于汇总完整压缩文件，得到合并文件集合。
本实施例中，目标存储平台为FTP存储平台、SFTP存储平台或者预先配置的本机存储平台。
作为一种可选的实施方式，文件采集装置还包括：
判断单元370，用于判断文件采集定时任务需要处理的文件是否全部处理完成；
获取单元380，用于在文件采集定时任务需要处理的文件全部处理完成时，获取文件采集定时任务处理成功的文件个数以及本次需要处理的文件个数；
第二确定单元390，用于根据处理成功的文件个数和本次需要处理的文件个数确定本次采集的起始时间；
结束单元400，用于结束文件采集定时任务。
本实施例中，对于文件采集装置的解释说明可以参照实施例1或实施例2中的描述，对此本实施例中不再多加赘述。
可见，本实施例所描述的文件采集装置能够用于采集半导体测试数据，从而实现采集多种多样格式的半导体测试文件，易于扩展的效果；还能够实现对多个存储平台的测试文件进行采集，提高适用性的效果。另一方面，该装置还能够支持断线重连和重试，从而解决数据丢失和数据重复的问题，确保测试数据采集的准确性和可靠性；同时，还能够支持非标准测试文件转换成统一格式，便于后续分析和读取；并且，还能够支持多种压缩格式和分卷压缩文件，以使其能够应对多样的数据。
本申请实施例提供了一种电子设备，包括存储器以及处理器，所述存储器用于存储计算机程序，所述处理器运行所述计算机程序以使所述电子设备执行本申请实施例1或实施例2中的文件采集方法。
本申请实施例提供了一种计算机可读存储介质，其存储有计算机程序指令，所述计算机程序指令被一处理器读取并运行时，执行本申请实施例1或实施例2中的文件采集方法。
在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本申请的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
另外，在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。
所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（ROM，Read-Only Memory）、随机存取存储器（RAM，Random Access Memory）、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅为本申请的实施例而已，并不用于限制本申请的保护范围，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应所述以权利要求的保护范围为准。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
Claims (10)
1.一种文件采集方法，其特征在于，所述方法包括：
根据预先配置的采集定时规则启动文件采集定时任务；
确定所述文件采集定时任务的文件采集时间段；
在所述文件采集定时任务下，根据预设的文件存储目录和预设的文件存储平台，对目标存储平台进行文件扫描，得到扫描文件集合；
根据所述文件采集时间段对所述扫描文件集合进行时间段过滤，得到第一文件集合；
根据预设的文件类型筛选规则，对所述第一文件集合进行筛选处理，得到第二文件集合；
对所述第二文件集合进行转换解压处理，得到目标文件集合。
2.根据权利要求1所述的文件采集方法，其特征在于，所述对所述第二文件集合进行转换解压处理，得到目标文件集合的步骤包括：
将所述第二文件集合中的文件下载到本地，得到本地文件集合；
将所述本地文件集合划分为非标准类型文件集合、压缩分卷文件集合以及其他文件集合；
对所述非标准类型文件集合进行格式转换处理，得到转换文件集合；
对所述压缩分卷文件集合进行分卷合并处理，得到合并文件集合；
汇总所述转换文件集合、所述其他文件集合和所述合并文件集合，得到待解压文件集合；
对所述待解压文件集合进行解压处理，得到解压文件集合；
根据所述文件类型筛选规则对所述解压文件集合进行筛选处理，得到目标文件集合。
3.根据权利要求2所述的文件采集方法，其特征在于，所述对所述非标准类型文件集合进行格式转换处理，得到转换文件集合的步骤包括：
将所述非标准类型文件集合中的文件转换成预设格式类型的文件，得到转换文件集合；其中，所述非标准类型包括SUMMARY类型、RAW_DATA类型、LOG类型、MAP类型以及WAT类型。
4.根据权利要求2所述的文件采集方法，其特征在于，所述对所述压缩分卷文件集合进行分卷合并处理，得到合并文件集合的步骤包括：
获取所述压缩分卷文件集合中的压缩分卷文件；
获取所述压缩分卷文件的文件路径和文件名前缀；
根据所述文件路径和所述文件名前缀获取所述压缩分卷文件对应的其他分卷文件；
按照文件名顺序将所述压缩分卷文件和所述其他分卷文件进行合并处理，得到完整压缩文件；
汇总所述完整压缩文件，得到合并文件集合。
5.根据权利要求1所述的文件采集方法，其特征在于，所述目标存储平台为FTP存储平台、SFTP存储平台或者预先配置的本机存储平台。
6.根据权利要求1所述的文件采集方法，其特征在于，所述方法还包括：
判断所述文件采集定时任务需要处理的文件是否全部处理完成；
如果是，则获取所述文件采集定时任务处理成功的文件个数以及本次需要处理的文件个数；
根据所述处理成功的文件个数和所述本次需要处理的文件个数确定本次采集的起始时间；
结束所述文件采集定时任务。
7.一种文件采集装置，其特征在于，所述文件采集装置包括：
启动单元，用于根据预先配置的采集定时规则启动文件采集定时任务；
第一确定单元，用于确定所述文件采集定时任务的文件采集时间段；
扫描单元，用于在所述文件采集定时任务下，根据预设的文件存储目录和预设的文件存储平台，对目标存储平台进行文件扫描，得到扫描文件集合；
过滤单元，用于根据所述文件采集时间段对所述扫描文件集合进行时间段过滤，得到第一文件集合；
筛选单元，用于根据预设的文件类型筛选规则，对所述第一文件集合进行筛选处理，得到第二文件集合；
解压单元，用于对所述第二文件集合进行转换解压处理，得到采集到的目标文件集合。
8.根据权利要求7所述的文件采集装置，其特征在于，所述解压单元包括：
下载子单元，用于将所述第二文件集合中的文件下载到本地，得到本地文件集合；
划分子单元，用于将所述本地文件集合划分为非标准类型文件集合、压缩分卷文件集合以及其他文件集合；
转换子单元，用于对所述非标准类型文件集合进行格式转换处理，得到转换文件集合；
分卷合并子单元，用于对所述压缩分卷文件集合进行分卷合并处理，得到合并文件集合；
汇总子单元，用于汇总所述转换文件集合、所述其他文件集合和所述合并文件集合，得到待解压文件集合；
解压子单元，用于对所述待解压文件集合进行解压处理，得到解压文件集合；
筛选子单元，用于根据所述文件类型筛选规则对所述解压文件集合进行筛选处理，得到目标文件集合。
9.一种电子设备，其特征在于，所述电子设备包括存储器以及处理器，所述存储器用于存储计算机程序，所述处理器运行所述计算机程序以使所述电子设备执行权利要求1至6中任一项所述的文件采集方法。
10.一种可读存储介质，其特征在于，所述可读存储介质中存储有计算机程序指令，所述计算机程序指令被一处理器读取并运行时，执行权利要求1至6任一项所述的文件采集方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310531044.6A CN116303289A (zh) | 2023-05-12 | 2023-05-12 | 一种文件采集方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310531044.6A CN116303289A (zh) | 2023-05-12 | 2023-05-12 | 一种文件采集方法及装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116303289A true CN116303289A (zh) | 2023-06-23 |
Family
ID=86799893
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310531044.6A Pending CN116303289A (zh) | 2023-05-12 | 2023-05-12 | 一种文件采集方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116303289A (zh) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20060143084A1 (en) * | 2004-12-28 | 2006-06-29 | Boloto, Inc. | Software and method for advertisor sponsored events within a private centrally managed local or distributed network of users and an optional associated private network card for specialty marketing identification or banking |
| US20140025809A1 (en) * | 2012-07-19 | 2014-01-23 | Cepheid | Remote monitoring of medical devices |
| JP2015026299A (ja) * | 2013-07-29 | 2015-02-05 | 株式会社日立ソリューションズ | センサデータ収集システム |
| CN115033625A (zh) * | 2022-05-30 | 2022-09-09 | 上海亿通国际股份有限公司 | 一种企业业务数据对接方法、装置和电子设备 |
| CN115964348A (zh) * | 2021-10-12 | 2023-04-14 | 网联清算有限公司 | 日志数据处理方法及装置、存储介质及电子终端 |
-
2023
- 2023-05-12 CN CN202310531044.6A patent/CN116303289A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20060143084A1 (en) * | 2004-12-28 | 2006-06-29 | Boloto, Inc. | Software and method for advertisor sponsored events within a private centrally managed local or distributed network of users and an optional associated private network card for specialty marketing identification or banking |
| US20140025809A1 (en) * | 2012-07-19 | 2014-01-23 | Cepheid | Remote monitoring of medical devices |
| JP2015026299A (ja) * | 2013-07-29 | 2015-02-05 | 株式会社日立ソリューションズ | センサデータ収集システム |
| CN115964348A (zh) * | 2021-10-12 | 2023-04-14 | 网联清算有限公司 | 日志数据处理方法及装置、存储介质及电子终端 |
| CN115033625A (zh) * | 2022-05-30 | 2022-09-09 | 上海亿通国际股份有限公司 | 一种企业业务数据对接方法、装置和电子设备 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110019067B (zh) | 一种日志分析方法及系统 | |
| CN113687974B (zh) | 客户端日志处理方法、装置及计算机设备 | |
| CN108874441B (zh) | 一种板卡配置方法、装置、服务器和存储介质 | |
| CN111367595A (zh) | 数据处理方法、程序运行方法、装置及处理设备 | |
| CN114706658A (zh) | 一种容器镜像数据处理方法、装置、设备及介质 | |
| CN111198885A (zh) | 数据的处理方法及装置 | |
| CN116303289A (zh) | 一种文件采集方法及装置 | |
| CN110457279B (zh) | 数据离线扫描方法、装置、服务器及可读存储介质 | |
| CN111090623B (zh) | 一种数据审计方法、装置、电子设备及存储介质 | |
| CN110928946A (zh) | 一种文档编辑方法、装置及终端设备 | |
| CN111679835A (zh) | 应用程序处理方法、装置、终端及存储介质 | |
| CN112579357B (zh) | 快照差量获取方法、装置、设备及存储介质 | |
| CN110096478B (zh) | 文档索引生成方法及设备 | |
| CN111400276A (zh) | 实时同步数据库迁移装置及方法 | |
| CN114281613B (zh) | 一种服务器测试方法、装置、计算机设备及存储介质 | |
| CN111124545A (zh) | 应用程序启动方法、装置、电子设备及存储介质 | |
| CN104572943A (zh) | 免安装程序清理方法及装置 | |
| CN114237976A (zh) | 一种数据获取方法及装置 | |
| CN114281769A (zh) | 磁盘上文件管理方法、装置、计算机设备及存储介质 | |
| CN110602267B (zh) | 一种高效的dns服务器acl文件去重方法 | |
| CN109491699B (zh) | 应用程序的资源检查方法、装置、设备及存储介质 | |
| CN109408547B (zh) | 一种sam注册表的读取方法、读取系统及相关装置 | |
| KR100942661B1 (ko) | 정보단말기 및 그 정보단말기의 플래쉬 메모리 백업 및 복원 방법 | |
| CN111078753A (zh) | 基于HBase数据库的时序数据的存储方法及装置 | |
| CN113868059B (zh) | 一种业务系统启动检测方法、装置、电子设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20230623 |
|
| RJ01 | Rejection of invention patent application after publication |