CN111552673B - 文件处理方法、装置、电子设备及存储介质 - Google Patents

文件处理方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN111552673B
CN111552673B CN202010356955.6A CN202010356955A CN111552673B CN 111552673 B CN111552673 B CN 111552673B CN 202010356955 A CN202010356955 A CN 202010356955A CN 111552673 B CN111552673 B CN 111552673B
Authority
CN
China
Prior art keywords
file
newly added
processing
retransmission
complementary
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010356955.6A
Other languages
English (en)
Other versions
CN111552673A (zh
Inventor
朱恕伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Migu Cultural Technology Co Ltd
China Mobile Communications Group Co Ltd
Original Assignee
Migu Cultural Technology Co Ltd
China Mobile Communications Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Migu Cultural Technology Co Ltd, China Mobile Communications Group Co Ltd filed Critical Migu Cultural Technology Co Ltd
Priority to CN202010356955.6A priority Critical patent/CN111552673B/zh
Publication of CN111552673A publication Critical patent/CN111552673A/zh
Application granted granted Critical
Publication of CN111552673B publication Critical patent/CN111552673B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10File systems; File servers
    • G06F16/17Details of further file system functions
    • G06F16/178Techniques for file synchronisation in file systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10File systems; File servers
    • G06F16/13File access structures, e.g. distributed indices
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02DCLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明实施例公开了一种文件处理方法、装置、电子设备及存储介质,所述方法包括:周期性检测预设约定目录中是否存在新增文件;当检测到所述预设约定目录中存在新增文件时,确定所述新增文件的文件类别;基于所述文件类别,对与所述新增文件对应的原文件进行处理。本发明实施例由于周期性检测预设约定目录中是否存在新增文件,并在确定存在新增文件时,根据新增文件的文件类别,对与新增文件对应的原文件进行相应的处理,从而实现了针对新增文件的主动识别和自动处理,解决了现有技术中针对新增文件处理效率低、耗时长及遗漏更新的问题。

Description

文件处理方法、装置、电子设备及存储介质
技术领域
本发明涉及计算机技术领域,具体涉及一种文件处理方法、装置、电子设备及存储介质。
背景技术
目前,文件接口交互的主要方法为定时传输,就是将文件直接移动到文件服务器,不会对已传输但进一步增加了补充内容的文件(简称补传文件)或已传输但重新生成的更新文件(简称重传文件)进行判断处理。
文件接收服务器只有在对文件进行使用的时候,才会发现文件中数据有缺失或异常。此时为了修正数据,需要文件提供方人工通知文件接收服务器,人工将补充或修正后的文件逐个传输,逐个解析处理。
由此可见,现有技术方案对于补传文件或重传文件采取的是被动方式,需要文件提供方和文件接收服务器人工处理。这种方法效率低下,人工耗时较长,且在文件提供方补传文件或重传文件后如果没有及时通知文件接收服务器将会导致更新不及时或漏更新的问题。
发明内容
针对现有技术中存在的问题,本发明实施例提出一种文件处理方法、装置、电子设备及存储介质。
具体地,本发明实施例提供了以下技术方案:
第一方面,本发明实施例提供了一种文件处理方法,包括:
周期性检测预设约定目录中是否存在新增文件;
当检测到所述预设约定目录中存在新增文件时,确定所述新增文件的文件类别;
基于所述文件类别,对与所述新增文件对应的原文件进行处理。
进一步地,当检测到所述预设约定目录中存在新增文件时,确定所述新增文件的文件类别,具体包括:
当检测到所述预设约定目录中存在新增文件时,判断所述新增文件是否为补传文件或重传文件;
相应地,基于所述文件类别,对与所述新增文件对应的原文件进行处理,具体包括:
若所述新增文件为补传文件,则基于所述补传文件对与所述补传文件对应的原文件进行追加处理;
和/或,
若所述新增文件为重传文件,则基于所述重传文件对与所述重传文件对应的原文件进行覆盖处理。
若所述新增文件为补传文件,则基于所述补传文件对与所述补传文件对应的原文件进行追加处理;和/或,若所述新增文件为重传文件,则基于所述重传文件对与所述重传文件对应的原文件进行覆盖处理。
进一步地,所述判断所述新增文件是否为补传文件或重传文件,具体包括:
判断所述新增文件的文件名是否存在于注册表中,若是,则确定所述新增文件为重传文件,否则根据所述新增文件的文件名中包含的时间戳判断所述新增文件是否为补传文件;
其中,所述注册表中存储有当前时间之前接收到的所有文件的文件名。
进一步地,根据所述新增文件的文件名中包含的时间戳判断所述新增文件是否为补传文件,具体包括:
根据所述新增文件的文件名中包含的时间戳判断所述新增文件是否为当前周期应该例行获取的文件,若是,则确定所述新增文件为正常的例行传输文件;否则,确定所述新增文件为补传文件。
进一步地,当确定所述新增文件为正常的例行传输文件时,根据所述新增文件的文件名创建文件数据表,并将所述新增文件写入所述文件数据表中。
进一步地,若所述新增文件为补传文件,则基于所述补传文件对与所述补传文件对应的原文件进行追加处理,具体包括:
若所述新增文件为补传文件,则根据所述新增文件的文件名确定与所述新增文件对应的原文件;
确定与所述原文件对应的文件数据表;
将所述新增文件追加至所述文件数据表中。
进一步地,若所述新增文件为重传文件,则基于所述重传文件对与所述重传文件对应的原文件进行覆盖处理,具体包括:
若所述新增文件为重传文件,则根据所述新增文件的文件名确定与所述新增文件对应的原文件;
确定与所述原文件对应的文件数据表;
删除所述文件数据表中的内容;
将所述新增文件写入所述文件数据表中。
第二方面,本发明实施例提供了一种文件处理装置,包括:
检测模块,用于周期性检测预设约定目录中是否存在新增文件;
判断模块,用于当检测到所述预设约定目录中存在新增文件时,确定所述新增文件的文件类别;
处理模块,用于基于所述文件类别,对与所述新增文件对应的原文件进行处理。
第三方面,本发明实施例还提供了一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现如第一方面所述的文件处理方法。
第四方面,本发明实施例还提供了一种非暂态计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现如第一方面所述的文件处理方法。
由上述技术方案可知,本发明实施例提供的文件处理方法、装置、电子设备及存储介质,由于周期性检测预设约定目录中是否存在新增文件,并在确定存在新增文件时,根据新增文件的文件类别,对与新增文件对应的原文件进行相应的处理,例如,对检测到的补传文件进行相应的追加处理或对重传文件进行相应的覆盖处理,从而实现了针对新增文件的主动识别和自动处理,解决了现有技术中针对新增文件处理效率低、耗时长及遗漏更新的问题。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些图获得其他的附图。
图1是本发明一实施例提供的文件处理方法的流程图;
图2是本发明一实施例提供的文件处理方法的实现过程示意图;
图3是本发明一实施例提供的文件处理装置的结构示意图;
图4是本发明一实施例提供的电子设备的结构示意图。
具体实施方式
下面结合附图,对本发明的具体实施方式作进一步描述。以下实施例仅用于更加清楚地说明本发明的技术方案,而不能以此来限制本发明的保护范围。
为解决接口文件交互中补传或重传处理的低效性及耗时,本发明实施例使用主动式发现的方法,且使用自动化处理代替人工处理,极大的提高了处理速度及效率。
本发明实施例提供的文件处理方法,在进行数据文件传输时,文件发送服务器不需通知文件接收服务器,只需要直接把补传和重传的文件上传到与文件接收服务器约定的约定目录即可(“补传文件”:文件名是新的,但数据是增量补充的;“重传文件”:文件名是曾经传输过的文件)。文件接收服务器通过操作系统命令自动遍历约定目录下的所有子目录和多级嵌套目录探测补传和重传的文件,补传重传的文件被文件接收服务器发现之后,会自动放入文件接收服务器的对应目录。文件接收服务器在处理数据文件时自动识别是补传还是重传,对应做追加或覆盖操作。由此可见,本发明实施例实现了补传或重传文件的主动识别和自动处理,解决了现有技术中补传或重传文件处理低效率、耗时长及遗漏更新的问题。下面将通过具体实施例对本发明提供的文件处理方法进行详细解释和说明。
图1示出了本发明一实施例提供的文件处理方法的流程图,如图1所示,本发明实施例提供的文件处理方法,应用于文件接收服务器,具体包括如下内容:
步骤101:周期性检测预设约定目录中是否存在新增文件;
在本实施例中,文件接收服务器可以根据固定的周期(比如每小时一次),使用操作系统自带的find原生方法,使用newermt在约定目录(比如/data/目录)中探测约定目录下多个接口目录中(目录个数不限,自动遍历)是否存在上个周期后生成的文件。具体可以通过文件的生成日期进行判断,例如,文件名上的时间戳方式确定文件的生成日期。
步骤102:当检测到所述预设约定目录中存在新增文件时,确定所述新增文件的文件类别;在本实施例中,当检测到所述预设约定目录中存在新增文件时,需要先确定所述新增文件的文件类别。这里的文件类别可以是补传文件、重传文件或其他类型的文件。举例来说,文件接收服务器可以使用操作系统自带的for方法,对上面步骤检测到的新增文件按文件名判断是否为补传文件或重传文件;判断的方法是:文件接收服务器在本地存储一个用于记录历次接收文件的文件名列表清单的注册表,当检测到所述预设约定目录中存在新增文件时,文件接收服务器就会判断新增文件的文件名,根据新增文件的文件名是否在所述注册表中出现进而判断新增文件是否为补传文件或重传文件。
一般来说,根据接口规范一般定义文件名为如下格式:关键字_时间戳.后缀,比如a接口在2019年1月1日1点的文件一般命名为a_2019010101.dat。
举例来说,根据新增文件的文件名是否在所述注册表中出现进而判断新增文件是否为补传文件或重传文件,具体包括:
①如果文件名在注册表中出现,则说明是重传文件;
②如果文件名未在注册表中出现,则继续判断文件名上的时间戳:a、如果时间戳是本周期应该取的时间戳说明是例行传输文件(比如12点例行取11点的数据,文件名上是11点,说明是正常例行传输的文件);b、如果时间戳不是本周期该取的时间戳说明是补传文件(比如12点例行取11点的数据,文件名上是7点,说明是补传的4个小时之前的文件)。
步骤103:基于所述文件类别,对与所述新增文件对应的原文件进行处理。
在本实施例中,基于所述文件类别,对与所述新增文件对应的原文件进行处理。例如,若所述新增文件为补传文件,则对原文件进行追加处理。这里的追加处理是指在原文件的基础上进行内容的增补。需要说明的是,当对一份文件进行多次补传时,每一次的追加处理都在上一次追加处理之后继续进行追加处理。
在本实施例中,若所述新增文件为重传文件,则直接对原文件进行覆盖处理。这里的覆盖处理是指利用新增文件替换掉原文件。
由此可见,本发明实施例使用主动式发现和自动化处理的方法,代替被动发现和人工处理,解决了针对新增文件(如补传或重传文件)处理效率低、耗时长及遗漏更新的问题。
由上述技术方案可知,本发明实施例提供的文件处理方法,由于周期性检测预设约定目录中是否存在新增文件,并在确定存在新增文件时,根据新增文件的文件类别,对与新增文件对应的原文件进行相应的处理,例如,对检测到的补传文件进行相应的追加处理或对重传文件进行相应的覆盖处理,从而实现了针对新增文件的主动识别和自动处理,解决了现有技术中针对新增文件处理效率低、耗时长及遗漏更新的问题。
进一步地,基于上述实施例的内容,在本实施例中,当检测到所述预设约定目录中存在新增文件时,确定所述新增文件的文件类别,具体包括:
当检测到所述预设约定目录中存在新增文件时,判断所述新增文件是否为补传文件或重传文件;
相应地,基于所述文件类别,对与所述新增文件对应的原文件进行处理,具体包括:
若所述新增文件为补传文件,则基于所述补传文件对与所述补传文件对应的原文件进行追加处理;
和/或,
若所述新增文件为重传文件,则基于所述重传文件对与所述重传文件对应的原文件进行覆盖处理。
由上述技术方案可知,本发明实施例提供的文件处理方法,由于周期性检测预设约定目录中是否存在补传文件或重传文件,并对检测到的补传文件或重传文件进行相应的追加处理和覆盖处理,从而实现了补传或重传文件的主动识别和自动处理,解决了现有技术中补传或重传文件处理低效率、耗时长及遗漏更新的问题。
基于上述实施例的内容,在本实施例中,所述判断所述新增文件是否为补传文件或重传文件,具体包括:
判断所述新增文件的文件名是否存在于注册表中,若是,则确定所述新增文件为重传文件,否则根据所述新增文件的文件名中包含的时间戳判断所述新增文件是否为补传文件;
其中,所述注册表中存储有当前时间之前接收到的所有文件的文件名。
在本实施例中,在判断所述新增文件是否为补传文件或重传文件时,可以通过文件名的对比来进行判断。例如,当判断获知新增文件的文件名与之前接收过的文件的文件名一致时,表示该新增文件为重传文件。当判断获知新增文件的文件名与之前接收过的文件的文件名不一致时,表示该新增文件有可能是本周期正常的例行传输文件,也可能是前面周期已发送文件的补传文件。因此,当判断获知该新增文件的文件名与之前接收过的文件的文件名不一致时,可以根据该新增文件的文件名中包含的时间戳判断该新增文件是否为补传文件。例如,根据该新增文件的文件名中包含的时间戳可以判断该新增文件是否为本周期应该例行获取的文件,若是,则确定所述新增文件为正常的例行传输文件;否则,确定所述新增文件为补传文件。
基于上述实施例的内容,在本实施例中,根据所述新增文件的文件名中包含的时间戳判断所述新增文件是否为补传文件,具体包括:
根据所述新增文件的文件名中包含的时间戳判断所述新增文件是否为当前周期应该例行获取的文件,若是,则确定所述新增文件为正常的例行传输文件;否则,确定所述新增文件为补传文件。
在本实施例中,举例来说,若时间戳是本周期应该取的时间戳,则说明是例行传输文件(比如12点例行取11点的数据,文件名上是11点,说明是正常例行传输的文件);若时间戳不是本周期该取的时间戳,则说明是补传文件(比如12点例行取11点的数据,文件名上是7点,说明是补传的4个小时之前的文件)。
基于上述实施例的内容,在本实施例中,当确定所述新增文件为正常的例行传输文件时,根据所述新增文件的文件名创建文件数据表,并将所述新增文件写入创建的文件数据表中。
在本实施例中,当确定所述新增文件为正常的例行传输文件时,可以按照文件名(例如为a_2019010111)进行正常处理,比如将新增文件a_2019010111.dat存入至a_2019010111表中。这里的文件数据表一般与文件名一一对应。
此外,需要说明的是,为方便后续判断新增文件是否为补传文件或重传文件,需要实时维护一个注册表,因此,当确定该新增文件为正常的例行传输文件时,可以将该新增文件的文件名注册到注册表中,以便于在判断后续出现的新增文件是否为补传文件或重传文件时使用。
基于上述实施例的内容,在本实施例中,若所述新增文件为补传文件,则基于所述补传文件对与所述补传文件对应的原文件进行追加处理,具体包括:
若所述新增文件为补传文件,则根据所述新增文件的文件名确定与所述新增文件对应的原文件;
确定与所述原文件对应的文件数据表;
将所述新增文件追加至所述文件数据表中。
在本实施例中,若新增文件为补传文件,则需要对原文件进行追加处理。举例来说,当新增文件为补传文件时,可以根据新增文件的文件名确定与新增文件对应的原文件。在根据新增文件的文件名确定与新增文件对应的原文件,可以根据文件名命名规则进行确定。每个文件的文件名命名规则为:接口关键字+时间戳(年、月、日、小时),当出现补传文件时,需要在时间戳之后再补充新的信息。例如,假设新增文件的文件名a_2019010107_123.dat,则按照预先设定的文件名命名规则可知,该新增文件属于对a_2019010107这一原文件的补传文件,因为两者的接口关键字和时间戳是相同的。在获知原文件的文件名后,可以确定与原文件a_2019010107对应的文件数据表,例如为a_2019010107表,然后将该新增文件追加至该a_2019010107表中。
基于上述实施例的内容,在本实施例中,若所述新增文件为重传文件,则基于所述重传文件对与所述重传文件对应的原文件进行覆盖处理,具体包括:
若所述新增文件为重传文件,则根据所述新增文件的文件名确定与所述新增文件对应的原文件;
确定与所述原文件对应的文件数据表;
删除所述文件数据表中的内容;
将所述新增文件写入所述文件数据表中。
在本实施例中,若所述新增文件为重传文件,则表示需要进行覆盖处理。例如,假设新增文件为a_2019010107.dat,则表示与所述新增文件对应的原文件也为a_2019010107.dat,由于与原文件a_2019010107.dat对应的文件数据表为a_2019010107表,因此,若进行覆盖处理,则需要对a_2019010107表中的内容进行删除,然后再写入新增文件的内容。
基于上述实施例的内容,在本实施例中,周期性检测预设约定目录中是否存在新增文件,具体包括:
根据文件名中包含的时间戳,使用find-newermt方法周期性检测预设约定目录中是否存在新增文件。
在本实施例中,文件接收服务器可以根据固定的周期(比如每小时一次),使用操作系统自带的find原生方法,使用newermt在约定目录(比如/data/目录)中探测约定目录下多个接口目录中(目录个数不限,自动遍历)是否存在上个周期后生成的文件(find{path}-newermt{time}),具体可以通过文件的生成日期(在文件名中体现)进行判断。
下面结合图2所示的实现过程示意图对本实施例提供的文件处理方法进行详细说明。本实施例提供的文件处理方法包括如下处理过程:
步骤1:文件传输方在存在补传或重传需求时不用再协调数据接收方一起操作,而是直接上传补传或重传的文件到约定的文件服务器的约定目录(比如数据接收方的ftp服务器的/data/a/目录),文件接收服务器会根据固定的周期(比如每小时一次),使用操作系统自带的find原生方法,使用newermt将在约定目录(比如/data/目录)中来探测约定目录下多个接口目录中(目录个数不限,自动遍历)是否存在上个周期后生成的文件。具体可以通过文件的生成日期进行判断,例如,文件名上的时间戳方式确定文件的生成日期。
步骤2:文件接收服务器使用操作系统自带的for方法,对步骤1探测到的最新修改的文件按文件名判断是否补传和重传;判断的方法是:文件接收端会存在一个记录历次接收文件的文件名列表清单的注册表,逐个处理本次获取的文件名,并按文件名上的时间戳来判断(接口规范一般定义文件名为:关键字_时间戳.后缀,比如a接口在2019年1月1日1点的文件一般命名为a_2019010101.dat)。1、如果文件名在注册表中说明是重传文件;2、如果文件名没在注册表中,再判断文件名上的时间戳:a)如果时间戳是本周期应该取的时间戳说明是例行传输文件(比如12点例行取11点的数据,文件名上是11点,说明是正常例行的文件);b)如果时间戳不是本周期该取的时间戳说明是补传文件(比如12点例行取11点的数据,文件名上是7点,说明是补传的4个小时之前的文件)。
步骤3:文件接收端会在步骤2判断后先把文件取到待处理目录(比如tmp目录),对文件分类处理,1、如果是正常的例行文件,按照文件名上的接口关键字(接口关键字见步骤2举例,一般不同接口有不同处理逻辑)做正常处理(比如a_2019010111.dat,就入到a_2019010111表中);并将该文件的文件名注册到注册表中,以便后续判断是否为该文件的补传文件或重传文件时使用。2、如果是重传的文件做覆盖处理(比如a_2019010107.dat,就需要对a_2019010107表数据先删后再加入),并注册文件名到注册表中;3、如果是补传的文件就对目标文件数据表做追加处理(比如a_2019010107_123.dat,就需要对a_2019010107表数据进行追加处理),并将补传文件的文件名注册到注册表中。这里,根据补传文件对目标文件数据表做追加处理可以这样理解:举例来说,将目标文件数据表中存储的原文件内容称为第一部分内容,对目标表做追加处理可以理解成将补传文件的内容作为第二部分内容存储在目标文件数据表中的第一部分内容的后面。此外,当在特殊情况下,出现对该补传文件的重传文件时,也即后续当接收到与该补传文件具有相同文件名的新文件时,可以将接收到的新文件覆盖掉目标文件数据表中的第二部分内容。
本发明实施例在文件直采环境进行实验,每次从直采机器获取按小时或按天频次的文件,若有补传或重传的文件,主动识别自动获取处理,在补传重传情况下,主动式文件接收服务器无需人工干预,自动处理,而现有技术中的被动式处理,需文件交互双方沟通协调,对补传重传的时间处理模式达成一致才行,往往延迟很久。
根据上面的描述可知,在本实施例中,在文件交互过程中针对补传或重传的例外文件使用主动式方法,提升了例外文件的发现效率,使例外文件可以尽早被解决,从而对后续流程减少影响。此外,本实施例在解决例外文件的过程中,使用自动分发和自动注册识别机制处理,优化了例外文件的处理速度。
图3示出了本发明一实施例提供的文件处理装置的结构示意图,如图3所示,本发明实施例提供的文件处理装置,包括:检测模块21、判断模块22和处理模块23,其中:
检测模块21,用于周期性检测预设约定目录中是否存在新增文件;
判断模块22,用于当检测到所述预设约定目录中存在新增文件时,确定所述新增文件的文件类别;;
处理模块23,用于基于所述文件类别,对与所述新增文件对应的原文件进行处理。
由于本实施例提供的文件处理装置,可以用于执行上述实施例提供的文件处理方法,其工作原理和有益效果类似,此处不再详述。
基于相同的发明构思,本发明又一实施例提供了一种电子设备,参见图4,所述电子设备具体包括如下内容:处理器301、存储器302、通信接口303和通信总线304;
其中,所述处理器301、存储器302、通信接口303通过所述通信总线304完成相互间的通信;所述通信接口303用于实现各设备之间的信息传输;
所述处理器301用于调用所述存储器302中的计算机程序,所述处理器执行所述计算机程序时实现上述文件处理方法的全部步骤,例如,所述处理器执行所述计算机程序时实现下述步骤:周期性检测预设约定目录中是否存在新增文件;当检测到所述预设约定目录中存在新增文件时,确定所述新增文件的文件类别;基于所述文件类别,对与所述新增文件对应的原文件进行处理。
基于相同的发明构思,本发明又一实施例提供了一种非暂态计算机可读存储介质,该计算机可读存储介质上存储有计算机程序,该计算机程序被处理器执行时实现上述文件处理方法的全部步骤,例如,所述处理器执行所述计算机程序时实现下述步骤:周期性检测预设约定目录中是否存在新增文件;当检测到所述预设约定目录中存在新增文件时,确定所述新增文件的文件类别;基于所述文件类别,对与所述新增文件对应的原文件进行处理。
此外,上述的存储器中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所描述的装置实施例仅仅是示意性的,其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本发明实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下,即可以理解并实施。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件。基于这样的理解,上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品可以存储在计算机可读存储介质中,如ROM/RAM、磁碟、光盘等,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行各个实施例或者实施例的某些部分所述的文件处理方法。
此外,在本发明中,诸如“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中,“多个”的含义是至少两个,例如两个,三个等,除非另有明确具体的限定。
此外,在本发明中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
此外,在本说明书的描述中,参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中,对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且,描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外,在不相互矛盾的情况下,本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
最后应说明的是:以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (9)

1.一种文件处理方法,其特征在于,包括:
周期性检测预设约定目录中是否存在新增文件;
当检测到所述预设约定目录中存在新增文件时,确定所述新增文件的文件类别;
基于所述文件类别,对与所述新增文件对应的原文件进行处理;
其中,所述当检测到所述预设约定目录中存在新增文件时,确定所述新增文件的文件类别,包括:
当检测到所述预设约定目录中存在新增文件时,判断所述新增文件是否为补传文件或重传文件;
相应地,所述基于所述文件类别,对与所述新增文件对应的原文件进行处理,具体包括:
若所述新增文件为补传文件,则基于所述补传文件对与所述补传文件对应的原文件进行追加处理;
和/或,
若所述新增文件为重传文件,则基于所述重传文件对与所述重传文件对应的原文件进行覆盖处理。
2.根据权利要求1所述的文件处理方法,其特征在于,所述判断所述新增文件是否为补传文件或重传文件,具体包括:
判断所述新增文件的文件名是否存在于注册表中,若是,则确定所述新增文件为重传文件,否则根据所述新增文件的文件名中包含的时间戳判断所述新增文件是否为补传文件;
其中,所述注册表中存储有当前时间之前接收到的所有文件的文件名。
3.根据权利要求2所述的文件处理方法,其特征在于,根据所述新增文件的文件名中包含的时间戳判断所述新增文件是否为补传文件,具体包括:
根据所述新增文件的文件名中包含的时间戳判断所述新增文件是否为当前周期应该例行获取的文件,若是,则确定所述新增文件为正常的例行传输文件;否则,确定所述新增文件为补传文件。
4.根据权利要求3所述的文件处理方法,其特征在于,当确定所述新增文件为正常的例行传输文件时,根据所述新增文件的文件名创建文件数据表,并将所述新增文件写入所述文件数据表中。
5.根据权利要求1~4任一项所述的文件处理方法,其特征在于,若所述新增文件为补传文件,则基于所述补传文件对与所述补传文件对应的原文件进行追加处理,具体包括:
若所述新增文件为补传文件,则根据所述新增文件的文件名确定与所述新增文件对应的原文件;
确定与所述原文件对应的文件数据表;
将所述新增文件追加至所述文件数据表中。
6.根据权利要求1~4任一项所述的文件处理方法,其特征在于,若所述新增文件为重传文件,则基于所述重传文件对与所述重传文件对应的原文件进行覆盖处理,具体包括:
若所述新增文件为重传文件,则根据所述新增文件的文件名确定与所述新增文件对应的原文件;
确定与所述原文件对应的文件数据表;
删除所述文件数据表中的内容;
将所述新增文件写入所述文件数据表中。
7.一种文件处理装置,其特征在于,包括:
检测模块,用于周期性检测预设约定目录中是否存在新增文件;
判断模块,用于当检测到所述预设约定目录中存在新增文件时,确定所述新增文件的文件类别;
处理模块,用于基于所述文件类别,对与所述新增文件对应的原文件进行处理;
其中,所述当检测到所述预设约定目录中存在新增文件时,确定所述新增文件的文件类别,包括:
当检测到所述预设约定目录中存在新增文件时,判断所述新增文件是否为补传文件或重传文件;
相应地,所述基于所述文件类别,对与所述新增文件对应的原文件进行处理,具体包括:
若所述新增文件为补传文件,则基于所述补传文件对与所述补传文件对应的原文件进行追加处理;
和/或,
若所述新增文件为重传文件,则基于所述重传文件对与所述重传文件对应的原文件进行覆盖处理。
8.一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现如权利要求1至6任一所述的文件处理方法。
9.一种非暂态计算机可读存储介质,其上存储有计算机程序,其特征在于,该计算机程序被处理器执行时实现如权利要求1至6任一所述的文件处理方法。
CN202010356955.6A 2020-04-29 2020-04-29 文件处理方法、装置、电子设备及存储介质 Active CN111552673B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010356955.6A CN111552673B (zh) 2020-04-29 2020-04-29 文件处理方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010356955.6A CN111552673B (zh) 2020-04-29 2020-04-29 文件处理方法、装置、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN111552673A CN111552673A (zh) 2020-08-18
CN111552673B true CN111552673B (zh) 2023-08-01

Family

ID=72002618

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010356955.6A Active CN111552673B (zh) 2020-04-29 2020-04-29 文件处理方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN111552673B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112256060A (zh) * 2020-10-29 2021-01-22 广东电网有限责任公司 一种输电线路无人机自动巡检的图片实时自动命名的方法
CN112860632B (zh) * 2021-01-22 2022-10-21 重庆六花网络科技有限公司 文件处理方法、终端及计算机可读存储介质

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001216188A (ja) * 2000-02-04 2001-08-10 Nec Soft Ltd ファイル表示装置及びファイル表示方法並びにファイル表示プログラムを記録した記録媒体
JP3727916B2 (ja) * 2002-11-14 2005-12-21 株式会社東芝 ファイル監視方法、ファイル監視プログラム及びコンピュータシステム
US20060117008A1 (en) * 2004-11-17 2006-06-01 Kabushiki Kaisha Toshiba File management apparatus and file management program
WO2007094052A1 (ja) * 2006-02-14 2007-08-23 Fujitsu Limited パッチ適用装置およびプログラム
JP2013206280A (ja) * 2012-03-29 2013-10-07 Fujitsu Ltd 削除ファイル検出プログラム、削除ファイル検出方法、及び、削除ファイル検出装置
CN104461563A (zh) * 2014-12-24 2015-03-25 浪潮电子信息产业股份有限公司 一种在linux下远程定时检测FTP服务器新增文件的方法
US10621388B2 (en) * 2016-07-20 2020-04-14 Sap Se Automatic delta query support for backend databases
CN106155750B (zh) * 2016-07-29 2018-09-07 腾讯科技(深圳)有限公司 一种资源文件的加载方法和装置

Also Published As

Publication number Publication date
CN111552673A (zh) 2020-08-18

Similar Documents

Publication Publication Date Title
CN104506619B (zh) 一种数据备份、恢复方法及其装置、服务器
CN111552673B (zh) 文件处理方法、装置、电子设备及存储介质
CN109284073B (zh) 数据存储方法、装置、系统、服务器、控制节点及介质
CN103473277B (zh) 文件系统的快照方法和装置
CN103095769B (zh) 跨机房的数据同步方法以及系统
CN103095758B (zh) 一种分布式文件系统及该系统中处理文件数据的方法
CN103019874B (zh) 基于数据同步实现异常处理的方法及装置
US20090077134A1 (en) Data recovery method in differential remote backup for a nas system
US10223287B2 (en) Method and system for cache management
CN111447248A (zh) 一种文件传输的方法及装置
CN103294580B (zh) 实时性能监控
CN106789741A (zh) 消息队列的消费方法及装置
CN103905441A (zh) 数据获取方法及装置
CN107766354A (zh) 一种用于保证数据正确性的方法与设备
CN113987393A (zh) 一种网页操作记录器、系统、装置及方法
CN107316176A (zh) 保单处理的控制方法和装置
US20100275060A1 (en) System and method for protecting windows system state
US20110264903A1 (en) Electronic device and method for loading configuration files using the same
CN103092745B (zh) 系统日志记录的控制方法和装置
CN103838642A (zh) 一种数据恢复方法、装置和系统
CN111797068A (zh) 一种基于区块链和ipfs的物联网数据管理系统和方法
CN101640641B (zh) 通信节点、通信方法和计算机程序
CN111177075A (zh) 一种垃圾数据的识别方法、系统、电子设备及存储介质
CN115454933A (zh) 文件处理方法、装置、设备、存储介质及程序产品
US11340590B2 (en) Data collection system, data collection method, and information storage medium

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant