CN112256647B - 一种文件处理的方法及装置 - Google Patents
一种文件处理的方法及装置 Download PDFInfo
- Publication number
- CN112256647B CN112256647B CN202011049351.3A CN202011049351A CN112256647B CN 112256647 B CN112256647 B CN 112256647B CN 202011049351 A CN202011049351 A CN 202011049351A CN 112256647 B CN112256647 B CN 112256647B
- Authority
- CN
- China
- Prior art keywords
- file
- file information
- different
- processing
- message queue
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/17—Details of further file system functions
- G06F16/1734—Details of monitoring file system events, e.g. by the use of hooks, filter drivers, logs
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/16—File or folder operations, e.g. details of user interfaces specifically adapted to file systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本申请公开一种文件处理的方法及装置。所述方法包括:定时获取文件服务器上指定目录中各文件的文件信息;将获取到的文件信息,按照指定格式写入到消息列队中,所述指定格式指示所述文件信息对应的文件所适用的处理服务;当监听到消息列队中出现文件信息后,根据所述文件信息的格式,调用对应的处理服务;利用所述处理服务,从所述文件服务器上下载与所述文件信息对应的待处理文件,并对所述待处理文件进行处理。
Description
技术领域
本申请涉及互联网领域,尤其涉及一种文件处理的方法及装置。
背景技术
随着各类业务的不断发展和改进,为了满足不同的业务需求,提出了多种业务场景,比如,在需要对大量文件进行处理的某个特定场景中,会对实时性和稳定性有较高要求。
所以,考虑到这种场景,对实时性和稳定性要求高,且文件数量较大,所以亟需提出一种方案,能够稳定高效地对文件进行处理。
发明内容
本申请实施例提供一种文件处理的方法,可以高效稳定地进行文件处理。
本申请实施例提供一种文件处理的装置,可以高效稳定地进行文件处理。
为解决上述技术问题,本申请实施例是这样实现的:
本申请实施例采用下述技术方案:
一种文件处理的方法,其特征在于,包括:
定时获取文件服务器上指定目录中各文件的文件信息;
将获取到的文件信息,按照指定格式写入到消息列队中,所述指定格式指示所述文件信息对应的文件所适用的处理服务;
当监听到消息列队中出现文件信息后,根据所述文件信息的格式,调用对应的处理服务;
利用所述处理服务,从所述文件服务器上下载与所述文件信息对应的待处理文件,并对所述待处理文件进行处理。
一种文件处理的装置,其特征在于,包括:定时任务单元、消息列队单元、服务调用单元、以及文件处理单元,其中,
所述定时任务单元,用于定时获取文件服务器上指定目录中各文件的文件信息;
所述消息列队单元,用于将获取到的文件信息,按照指定格式写入到消息列队中,所述指定格式指示所述文件信息对应的文件所适用的处理服务;
所述服务调用单元,用于当监听到消息列队中出现文件信息后,根据所述文件信息的格式,调用对应的处理服务;
所述文件处理单元,用于利用所述处理服务,从所述文件服务器上下载与所述文件信息对应的待处理文件,并对所述待处理文件进行处理。
由以上实施例提供的技术方案可见,可以定时获取文件服务器上指定目录中各文件的文件信息;并将获取到的文件信息,按照指定格式写入到消息列队中,其中指定格式可以指示文件信息对应的文件所适用的处理服务;此后,当监听到消息列队中出现文件信息后,则可以根据文件信息的格式,调用对应的处理服务;从而利用该处理服务,从文件服务器上下载与文件信息对应的待处理文件,并对其进行处理。
也即,先定时从文件服务器的指定目录中获取文件信息,并根据文件适用的处理服务,以指定格式写到消息列队中;当监听到消息列队出现新的文件信息后,则根据文件信息的格式,调用对应的处理服务,以便从文件服务器上下载并处理待处理的文件。
通过定时获取并将处理方式写入到消息列队中,且实时监听并以预定的处理方式进行文件处理的操作方式,可以从实时性和稳定性上对文件进行高效稳定的处理。
附图说明
为了更清楚地说明本申请实施例或现有的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请中记载的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的文件处理的方法的流程示意图;
图2为本申请实施例提供的文件处理的方法的示意图;
图3为本申请实施例提供的文件处理的装置的结构示意图;
图4为本申请实施例提供的电子设备的结构示意图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚,下面将结合具体实施例及相应的附图对本申请的技术方案进行清楚、完整地描述。显然,所描述的实施例仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
以下结合附图,详细说明本申请中各实施例提供的技术方案。
实施例1
本实施例提供一种文件处理的方法,可以高效稳定地对文件进行处理。假设执行主体可以用于文件处理的终端。本实施例的具体流程示意图如图1所示,包括:
步骤102:定时获取文件服务器上指定目录中各文件的文件信息。
文件服务器,可以是文件处理的需求方,将需要处理的文件进行存储的服务器,比如需求方可以将需要进行处理的文件,根据实时性需要随时存储在文件服务器中。
这里的文件服务器,可以基于文件传输协议(File Transfer Protocol,FTP),具体可以是一个用于在计算机网络上在客户端和服务器之间进行文件传输的应用层协议。
文件处理的需求方和处理方,可以预先协商文件服务器的地址,以便需求方可以将需要处理的文件上传至文件服务器,以及处理方可以从文件服务器下载并处理。
在实际应用中,还可以共同协商指定目录,比如可以有10个指定目录,存储不同类型的文件,以便处理方可以根据文件服务器的地址和指定目录,查找需要处理的文件。
基于此,文件的处理方,可以定时获取文件服务器上指定目录中的各个文件的文件信息。具体地,文件信息可以包括对文件进行描述的信息,比如文件名称、文件类型、创建修改日期、大小等。该定时获取可以根据变化的需求而确定。
在实际应用中,可能由于不同的时间段,对应有不同的实时性要求,并且可能由于不同的原因,修改指定目录,所以在一种实施方式中,为了满足不同的实时性要求,以及目录要求,在步骤102之前,本方法还可以包括:预先设置满足文件处理实时性要求、以及指定目录位置要求的定时获取任务。
具体地,可以预先设置定时任务,比如,可以基于Quartz开源框架,Quartz是一个Java下作业控制的开源框架,可以用来创建或简单或复杂的调度时间表。比如,不同的指定目录可以有不同的实时性要求,1分钟、5分钟等,所以可以根据不同指定目录对应的不同实时性要求,分别预先设置满足处理实时性要求、以及指定目录位置要求的定时获取任务。具体比如,针对指定目录1,可以预设定时获取文件信息的任务为1分钟一次,针对指定目录2,可以预设定时获取文件信息的任务为5分钟一次,等。
步骤104:将获取到的文件信息,按照指定格式写入到消息列队中,指定格式指示文件信息对应的文件所适用的处理服务。
在获取到文件信息后,可以将文件信息写入至消息列队中,以便后续可以从消息列队中获取文件信息。具体地,不同的文件可能会有不同的处理方式,比如,不同的文件类型,可能需要不同的应用程序进行处理,所以,在本步骤中,可以将文件信息,按照指定格式写入到消息列队中,而这里的指定格式,则可以指示文件信息对应的文件,所适用的处理服务。
比如,不同类型的文件,可以有不同适用的处理服务,而据此则可以预先设定不同文件类型,对应于不同的写入格式,以及对应的处理服务。具体比如,文件类型1对应于格式“__1”,对应于处理服务1,那么当获取到文件信息后,可以以“文件名__1”这样的格式写入到消息列队中。
在实际应用中,不同的指定目录也可以作为不同处理方式的判断依据,比如在实际中,不同指定目录可以分别存储不同类型的文件,同一个指定目录中的文件类型可以均相同,那么便可以以指定目录,确定出不同的处理服务,而写入到消息列队这一操作,也可以将指定目录作为指定格式的依据。
所以在一种实施方式中,将获取到的文件信息,按照指定格式写入到消息列队中,可以包括:将获取到的文件信息,按照预存的、与指定目录对应的指定格式写入到消息列队中。
具体地,获取的文件信息中,也可以包括文件服务器上的指定目录,而不同的目录可以预先对应不同的格式、以及不同的处理服务,所以可以预先进行对应存储,那么在写入消息列队时,则可以根据获取到的文件信息,从预存的对应关系中,查找与文件信息中指定目录所对应的指定格式,并以此指定格式将文件信息写入到消息列队中。
在实际用中,可以利用Kafka处理平台,实现将文件信息写入至消息列队,具体地,Kafka是一个开源流处理平台,该处理平台的目标是为处理实时数据提供一个统一、高吞吐、低延迟的平台。其持久化层本质上是一个“按照分布式事务日志架构的大规模发布\订阅消息队列”。
在本步骤中,可以通过调用Kafka处理平台中的生产者(Producer)进程,将文件信息以指定格式写入到该平台提供的消息列队中。
步骤106:当监听到消息列队中出现文件信息后,根据文件信息的格式,调用对应的处理服务。
前述步骤已经将文件信息写入至消息列队中,本步骤则可以对消息列表进行监听,这里的监听可以是实时监听,也可以具有时间间隔地监听,当监听到消息列队中出现文件信息后,则说明有了新的文件需要处理,那么此时则可以调用处理服务。
这里的监听功能,可以是利用Kafka处理平台中的消费者(Connector)进程,不断监听消息列表,从而当监听到出现新的文件信息后,根据格式调用对应的处理服务。
前文已经介绍,指定格式可以指示文件信息对应的文件所适用的处理服务,那么本步骤,则可以根据文件信息的格式,调用对应的处理服务。具体由于前述步骤在将文件信息写入到消息列队时,已经考虑到文件所适用的处理服务,那么本步骤,则可以解析写入到消息列队中的文件信息,并基于预设的对应关系,确定出需要调用的处理服务。
比如,根据前文举例,可以将“文件名__1”文件信息写入至消息列队中,那么本步骤则可以根据该文件信息,解析出可以该文件信息对应的文件,对应了处理服务1,那么则可以调用该处理服务。
在实际中,可以基于Dubbo,实现服务调用,Dubbo是一款高性能、轻量级的开源框架,它提供了核心能力:面向接口的远程方法调用,智能容错和负载均衡,以及服务自动注册和发现。这里,可以利用Dubbo框架中的远程方法调用,来调用适用于文件处理的处理服务。
步骤108:利用该处理服务,从该文件服务器上下载与该文件信息对应的待处理文件,并对该待处理文件进行处理。
在前述步骤中,已经调用了适用于对文件信息对应的文件进行处理的处理服务,那么本步骤则可以利用该处理服务,进行文件下载和文件处理。
具体地,处理服务中可以包含两个子服务,一个是下载子服务,一个是处理子服务,前者可以用于文件下载,后者可以用于文件处理。由于是从文件服务器上的指定目录获取的文件信息,那么本步骤便可以利用该处理服务中的下载子服务,从该文件服务器上下载与该文件信息对应的待处理文件,并利用该处理服务中的处理子服务,对该待处理文件进行处理。
在实际应用中,可以存在一个公共存储器,用于存储各文件信息的状态,具体地,当未下载文件时,该公共存储器中没有关于文件信息的任何记录,当从该文件服务器上下载与该文件信息对应的待处理文件完成后,则可以添加该文件信息,并添加“下载完成”的状态。
在实际应用中,可以对下载的待处理文件进行备份,那么在一种实施方式中,本方法还可以包括:将待处理文件进行备份存储。
具体地,可以创建一个共享存储区域,用于备份原始文件,该原始文件便可以是下载的待处理文件,可以通过关联文件信息的方式进行备份。这里的共享存储区域,可以基于网络文件系统(Network File System,NFS),该系统可以是一种分布式文件系统。而在实际应用中,该共享存储区域,与前文介绍的公共存储器,可以是相同的存储区域,也可以不同。
在实际应用中,在对待处理文件进行备份存储后,可以将前述“下载完成”的状态修改为“上传完成”的状态。
在对待处理文件完成处理后,则可以生成处理后的文件,此时还可以将处理后的文件存储至预设的文件数据库中,该文件数据库可以用于对处理后的文件进行备份,类似地,这里介绍的文件数据库,以及前文介绍的公共存储器、共享存储区域,可以相同也可以不同。
在实际应用中,当完成处理后,可以将前述“上传完成”的状态修改为“已完成”的状态。
在实际应用中,还可能需要给文件处理的需求方进行回执,那么在一种实施方式中,本方法还可以包括:将处理后的文件,作为回执上传至指定文件服务器。
具体地,可以由文件处理的需求方和\或处理方指定或协商一个指定的文件服务器,用于存储处理后的文件,这里的指定文件服务器,可以与前述介绍,存储待处理文件的文件服务器相同、也可以不同。
当处理完待处理的文件后,则可以将处理后的文件作为回执,上传至指定文件服务器,以便需求方可以查收。而在实际应用中,在完成回执后,还可以将前述“已完成”的状态修改为“已回执”的状态。
如图2所示,为本说明书提供的文件处理的方法的示意图,图中可以有两个文件服务器,FTP1和FTP2,前者用于存储待处理或称未处理的文件,而后者用于存储处理后的文件。
可以基于Quartz作业调度框架,预先设置满足文件处理实时性要求、以及指定目录位置要求的定时获取任务,图中可以创建定时任务服务器集群,来实现多个定时任务。
当获取到文件信息后,通过调用Kafka处理平台中的生产者进程,将文件信息按照指定格式写入到消息列队中,并且通过消费者进程监听该消息列队,当监听到信息的文件信息后,则可以通过预先创建的文件处理服务器集群,利用Dubbo框架,远程调动对应的处理服务。
通过处理服务,由文件处理服务器根据文件信息,从FTP1中下载到对应的待处理文件,并利用处理服务,对该待处理文件进行文件处理。在处理过程中,还可以将处理前的原始文件,和处理后的文件,均备份至NFS共享存储中。
在处理完成后,可以将处理后的文件作为回执上传至FTP2中,从而完成了文件处理和回执的操作。
在实际应用中,FTP1和FTP2均可以需求方的文件服务器,另外,为了安全性考虑,还可以设定FPT1用于单向下载,而FTP2用于单向上传,也即可以将下载通道和上传通道分离。
在实际应用中,当回执结束后,还可以清楚这个文件的临时数据。
由以上实施例提供的方法可见,可以定时获取文件服务器上指定目录中各文件的文件信息;并将获取到的文件信息,按照指定格式写入到消息列队中,其中指定格式可以指示文件信息对应的文件所适用的处理服务;此后,当监听到消息列队中出现文件信息后,则可以根据文件信息的格式,调用对应的处理服务;从而利用该处理服务,从文件服务器上下载与文件信息对应的待处理文件,并对其进行处理。
也即,先定时从文件服务器的指定目录中获取文件信息,并根据文件适用的处理服务,以指定格式写到消息列队中;当监听到消息列队出现新的文件信息后,则根据文件信息的格式,调用对应的处理服务,以便从文件服务器上下载并处理待处理的文件。
通过定时获取并将处理方式写入到消息列队中,且实时监听并以预定的处理方式进行文件处理的操作方式,可以从实时性和稳定性上对文件进行高效稳定的处理。
实施例2
基于相同的构思,本申请实施例2提供了一种文件处理的装置,可以高效稳定地进行文件处理。该装置的结构示意图如图3所示,包括:定时任务单元202、消息列队单元204、服务调用单元206、以及文件处理单元208,其中,
定时任务单元202,可以用于定时获取文件服务器上指定目录中各文件的文件信息;
消息列队单元204,可以用于将获取到的文件信息,按照指定格式写入到消息列队中,指定格式指示文件信息对应的文件所适用的处理服务;
服务调用单元206,可以用于当监听到消息列队中出现文件信息后,根据文件信息的格式,调用对应的处理服务;
文件处理单元208,可以用于利用处理服务,从文件服务器上下载与文件信息对应的待处理文件,并对待处理文件进行处理。
在一种实施方式中,装置还包括:文件备份单元,可以用于:
将待处理文件进行备份存储。
在一种实施方式中,装置还包括:文件回执单元,可以用于:
将处理后的文件,作为回执上传至指定文件服务器。
在一种实施方式中,装置还包括:任务设置单元,可以用于:
预先设置满足文件处理实时性要求、以及指定目录位置要求的定时获取任务。
在一种实施方式中,消息列队单元204,可以用于:
将获取到的文件信息,按照预存的、与指定目录对应的指定格式写入到消息列队中。
由以上实施例提供的方法可见,可以定时获取文件服务器上指定目录中各文件的文件信息;并将获取到的文件信息,按照指定格式写入到消息列队中,其中指定格式可以指示文件信息对应的文件所适用的处理服务;此后,当监听到消息列队中出现文件信息后,则可以根据文件信息的格式,调用对应的处理服务;从而利用该处理服务,从文件服务器上下载与文件信息对应的待处理文件,并对其进行处理。
也即,先定时从文件服务器的指定目录中获取文件信息,并根据文件适用的处理服务,以指定格式写到消息列队中;当监听到消息列队出现新的文件信息后,则根据文件信息的格式,调用对应的处理服务,以便从文件服务器上下载并处理待处理的文件。
通过定时获取并将处理方式写入到消息列队中,且实时监听并以预定的处理方式进行文件处理的操作方式,可以从实时性和稳定性上对文件进行高效稳定的处理。
图4是本申请的一个实施例电子设备的结构示意图。在硬件层面,该电子设备包括处理器,可选地还包括内部总线、网络接口、存储器。其中,存储器可能包含内存,例如高速随机存取存储器(Random-Access Memory,RAM),也可能还包括非易失性存储器(non-volatile memory),例如至少1个磁盘存储器等。当然,该电子设备还可能包括其他业务所需要的硬件。
处理器、网络接口和存储器可以通过内部总线相互连接,该内部总线可以是ISA(Industry Standard Architecture,工业标准体系结构)总线、PCI(PeripheralComponent Interconnect,外设部件互连标准)总线或EISA(Extended Industry StandardArchitecture,扩展工业标准结构)总线等。所述总线可以分为地址总线、数据总线、控制总线等。为便于表示,图4中仅用一个双向箭头表示,但并不表示仅有一根总线或一种类型的总线。
存储器,用于存放程序。具体地,程序可以包括程序代码,所述程序代码包括计算机操作指令。存储器可以包括内存和非易失性存储器,并向处理器提供指令和数据。
处理器从非易失性存储器中读取对应的计算机程序到内存中然后运行,在逻辑层面上形成文件处理的装置。处理器,执行存储器所存放的程序,并具体用于执行以下操作:
定时获取文件服务器上指定目录中各文件的文件信息;
将获取到的文件信息,按照指定格式写入到消息列队中,所述指定格式指示所述文件信息对应的文件所适用的处理服务;
当监听到消息列队中出现文件信息后,根据所述文件信息的格式,调用对应的处理服务;
利用所述处理服务,从所述文件服务器上下载与所述文件信息对应的待处理文件,并对所述待处理文件进行处理。
上述如本申请图3所示实施例提供的文件处理的装置执行的方法可以应用于处理器中,或者由处理器实现。处理器可能是一种集成电路芯片,具有信号的处理能力。在实现过程中,上述方法的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器可以是通用处理器,包括中央处理器(Central Processing Unit,CPU)、网络处理器(Network Processor,NP)等;还可以是数字信号处理器(Digital SignalProcessor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
该电子设备还可执行图3所示实施例提供的文件处理的装置在图4所示实施例的功能,本申请实施例在此不再赘述。
本申请实施例还提出了一种计算机可读存储介质,该计算机可读存储介质存储一个或多个程序,该一个或多个程序包括指令,该指令当被包括多个应用程序的电子设备执行时,能够使该电子设备执行图3所示实施例中文件处理的装置执行的方法,并具体用于执行:
定时获取文件服务器上指定目录中各文件的文件信息;
将获取到的文件信息,按照指定格式写入到消息列队中,所述指定格式指示所述文件信息对应的文件所适用的处理服务;
当监听到消息列队中出现文件信息后,根据所述文件信息的格式,调用对应的处理服务;
利用所述处理服务,从所述文件服务器上下载与所述文件信息对应的待处理文件,并对所述待处理文件进行处理。
上述实施例阐明的系统、装置、模块或单元,具体可以由计算机芯片或实体实现,或者由具有某种功能的产品来实现。一种典型的实现设备为计算机。具体的,计算机例如可以为个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任何设备的组合。
为了描述的方便,描述以上装置时以功能分为各种单元分别描述。当然,在实施本申请时可以把各单元的功能在同一个或多个软件和/或硬件中实现。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中,计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器,随机存取存储器(RAM)和/或非易失性内存等形式,如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括,但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带,磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质,可用于存储可以被计算设备访问的信息。按照本文中的界定,计算机可读介质不包括暂存电脑可读媒体(transitory media),如调制的数据信号和载波。
还需要说明的是,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
本申请可以在由计算机执行的计算机可执行指令的一般上下文中描述,例如程序模块。一般地,程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本申请,在这些分布式计算环境中,由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中,程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。
本申请中的各个实施例均采用递进的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于系统实施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
以上所述仅为本申请的实施例而已,并不用于限制本申请。对于本领域技术人员来说,本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等,均应包含在本申请的权利要求范围之内。
Claims (10)
1.一种文件处理的方法,其特征在于,包括:
定时获取文件服务器上指定目录中各文件的文件信息;
将获取到的文件信息,按照指定格式写入到消息列队中,所述指定格式指示所述文件信息对应的文件所适用的处理服务;预先设定不同文件类型,对应于不同的写入格式,以及对应的处理服务;不同指定目录作为不同处理方式的判断依据,不同指定目录分别存储不同类型的文件,同一个指定目录中的文件类型均相同,那么以指定目录,确定出不同的处理服务,而写入到消息列队这一操作,将指定目录作为指定格式的依据;获取的文件信息中,包括文件服务器上的指定目录,而不同的目录预先对应不同的格式、以及不同的处理服务,预先进行对应存储,在写入消息列队时,根据获取到的文件信息,从预存的对应关系中,查找与文件信息中指定目录所对应的指定格式,并以此指定格式将文件信息写入到消息列队中;
当监听到消息列队中出现文件信息后,根据所述文件信息的格式,调用对应的处理服务;
利用所述处理服务,从所述文件服务器上下载与所述文件信息对应的待处理文件,并对所述待处理文件进行处理。
2.如权利要求1所述的方法,其特征在于,所述方法还包括:
将所述待处理文件进行备份存储。
3.如权利要求1所述的方法,其特征在于,所述方法还包括:
将处理后的文件,作为回执上传至指定文件服务器。
4.如权利要求1所述的方法,其特征在于,所述方法还包括:
预先设置满足文件处理实时性要求、以及指定目录位置要求的定时获取任务。
5.如权利要求1所述的方法,其特征在于,将获取到的文件信息,按照指定格式写入到消息列队中,包括:
将获取到的文件信息,按照预存的、与所述指定目录对应的指定格式写入到消息列队中。
6.一种文件处理的装置,其特征在于,包括:定时任务单元、消息列队单元、服务调用单元、以及文件处理单元,其中,
所述定时任务单元,用于定时获取文件服务器上指定目录中各文件的文件信息;
所述消息列队单元,用于将获取到的文件信息,按照指定格式写入到消息列队中,所述指定格式指示所述文件信息对应的文件所适用的处理服务;预先设定不同文件类型,对应于不同的写入格式,以及对应的处理服务;不同指定目录作为不同处理方式的判断依据,不同指定目录分别存储不同类型的文件,同一个指定目录中的文件类型均相同,那么以指定目录,确定出不同的处理服务,而写入到消息列队这一操作,将指定目录作为指定格式的依据;获取的文件信息中,包括文件服务器上的指定目录,而不同的目录预先对应不同的格式、以及不同的处理服务,预先进行对应存储,在写入消息列队时,根据获取到的文件信息,从预存的对应关系中,查找与文件信息中指定目录所对应的指定格式,并以此指定格式将文件信息写入到消息列队中;
所述服务调用单元,用于当监听到消息列队中出现文件信息后,根据所述文件信息的格式,调用对应的处理服务;
所述文件处理单元,用于利用所述处理服务,从所述文件服务器上下载与所述文件信息对应的待处理文件,并对所述待处理文件进行处理。
7.如权利要求6所述的装置,其特征在于,所述装置还包括:文件回执单元,用于:
将处理后的文件,作为回执上传至指定文件服务器。
8.如权利要求6所述的装置,其特征在于,所述装置还包括:任务设置单元,用于:
预先设置满足文件处理实时性要求、以及指定目录位置要求的定时获取任务。
9.一种电子设备,包括:
处理器;以及
被设置成存储计算机可执行指令的存储器,所述可执行指令在被执行时使所述处理器执行以下操作:
定时获取文件服务器上指定目录中各文件的文件信息;
将获取到的文件信息,按照指定格式写入到消息列队中,所述指定格式指示所述文件信息对应的文件所适用的处理服务;预先设定不同文件类型,对应于不同的写入格式,以及对应的处理服务;不同指定目录作为不同处理方式的判断依据,不同指定目录分别存储不同类型的文件,同一个指定目录中的文件类型均相同,那么以指定目录,确定出不同的处理服务,而写入到消息列队这一操作,将指定目录作为指定格式的依据;获取的文件信息中,包括文件服务器上的指定目录,而不同的目录预先对应不同的格式、以及不同的处理服务,预先进行对应存储,在写入消息列队时,根据获取到的文件信息,从预存的对应关系中,查找与文件信息中指定目录所对应的指定格式,并以此指定格式将文件信息写入到消息列队中;
当监听到消息列队中出现文件信息后,根据所述文件信息的格式,调用对应的处理服务;
利用所述处理服务,从所述文件服务器上下载与所述文件信息对应的待处理文件,并对所述待处理文件进行处理。
10.一种计算机可读存储介质,所述计算机可读存储介质存储一个或多个程序,所述一个或多个程序当被包括多个应用程序的电子设备执行时,使得所述电子设备执行以下操作:
定时获取文件服务器上指定目录中各文件的文件信息;
将获取到的文件信息,按照指定格式写入到消息列队中,所述指定格式指示所述文件信息对应的文件所适用的处理服务;预先设定不同文件类型,对应于不同的写入格式,以及对应的处理服务;不同指定目录作为不同处理方式的判断依据,不同指定目录分别存储不同类型的文件,同一个指定目录中的文件类型均相同,那么以指定目录,确定出不同的处理服务,而写入到消息列队这一操作,将指定目录作为指定格式的依据;获取的文件信息中,包括文件服务器上的指定目录,而不同的目录预先对应不同的格式、以及不同的处理服务,预先进行对应存储,在写入消息列队时,根据获取到的文件信息,从预存的对应关系中,查找与文件信息中指定目录所对应的指定格式,并以此指定格式将文件信息写入到消息列队中;
当监听到消息列队中出现文件信息后,根据所述文件信息的格式,调用对应的处理服务;
利用所述处理服务,从所述文件服务器上下载与所述文件信息对应的待处理文件,并对所述待处理文件进行处理。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011049351.3A CN112256647B (zh) | 2020-09-29 | 2020-09-29 | 一种文件处理的方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011049351.3A CN112256647B (zh) | 2020-09-29 | 2020-09-29 | 一种文件处理的方法及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112256647A CN112256647A (zh) | 2021-01-22 |
CN112256647B true CN112256647B (zh) | 2022-12-09 |
Family
ID=74234780
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011049351.3A Active CN112256647B (zh) | 2020-09-29 | 2020-09-29 | 一种文件处理的方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112256647B (zh) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112988128B (zh) * | 2021-02-08 | 2022-11-29 | 中国建设银行股份有限公司 | 一种通用可配置化的数据文件加载方法及系统 |
CN112925751B (zh) * | 2021-02-20 | 2022-08-16 | 浙江大华技术股份有限公司 | 一种多通道应用处理方法及装置 |
CN114500499A (zh) * | 2021-12-29 | 2022-05-13 | 新浪网技术(中国)有限公司 | 一种互联网系统内的文件下载方法及系统 |
CN115034770A (zh) * | 2022-08-12 | 2022-09-09 | 平安银行股份有限公司 | 一种争议清算文件调度方法及装置 |
CN117376340A (zh) * | 2023-10-10 | 2024-01-09 | 曙光云计算集团有限公司 | 文件上传方法、装置、计算机设备和存储介质 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109495556A (zh) * | 2018-10-31 | 2019-03-19 | 海南高灯科技有限公司 | 一种文件处理方法及装置 |
CN110109882A (zh) * | 2019-04-02 | 2019-08-09 | 北京大麦地信息技术有限公司 | 一种在线协作处理文件的方法、装置、电子设备及服务器 |
CN110784528A (zh) * | 2019-10-22 | 2020-02-11 | 北京天融信网络安全技术有限公司 | 一种文件下载方法、装置和存储介质 |
CN111258240A (zh) * | 2018-11-30 | 2020-06-09 | 杭州海康威视数字技术股份有限公司 | 一种控制云台的方法及装置 |
CN111666745A (zh) * | 2020-06-03 | 2020-09-15 | 中国建设银行股份有限公司 | 一种文件下载方法、装置、服务器及介质 |
-
2020
- 2020-09-29 CN CN202011049351.3A patent/CN112256647B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109495556A (zh) * | 2018-10-31 | 2019-03-19 | 海南高灯科技有限公司 | 一种文件处理方法及装置 |
CN111258240A (zh) * | 2018-11-30 | 2020-06-09 | 杭州海康威视数字技术股份有限公司 | 一种控制云台的方法及装置 |
CN110109882A (zh) * | 2019-04-02 | 2019-08-09 | 北京大麦地信息技术有限公司 | 一种在线协作处理文件的方法、装置、电子设备及服务器 |
CN110784528A (zh) * | 2019-10-22 | 2020-02-11 | 北京天融信网络安全技术有限公司 | 一种文件下载方法、装置和存储介质 |
CN111666745A (zh) * | 2020-06-03 | 2020-09-15 | 中国建设银行股份有限公司 | 一种文件下载方法、装置、服务器及介质 |
Also Published As
Publication number | Publication date |
---|---|
CN112256647A (zh) | 2021-01-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112256647B (zh) | 一种文件处理的方法及装置 | |
CN108173706B (zh) | 一种多业务系统下的业务标记方法、装置及设备 | |
US20190272335A1 (en) | Data retention handling for data object stores | |
CN110413673B (zh) | 数据库数据统一采集与分发方法及系统 | |
CN111899008B (zh) | 资源转移方法、装置、设备及系统 | |
CN110602163B (zh) | 文件上传方法及装置 | |
CN111177237B (zh) | 一种数据处理系统、方法及装置 | |
CN112181378A (zh) | 业务流程的实现方法及装置 | |
CN108647102B (zh) | 异构系统的服务请求处理方法、装置和电子设备 | |
CN109345081B (zh) | 一种数据采集方法、装置及电子设备 | |
CN111625443A (zh) | 一种压力测试方法、装置、设备和存储介质 | |
CN111294377A (zh) | 一种依赖关系的网络请求发送方法、终端装置及存储介质 | |
CN110704099B (zh) | 联盟链的构建方法、装置和电子设备 | |
CN114675982A (zh) | 一种业务集成系统的数据获取通用方法及系统 | |
CN112506887A (zh) | 车辆终端can总线数据处理方法及装置 | |
CN109582476B (zh) | 数据处理方法、装置及系统 | |
CN112788151A (zh) | 数据同步的方法、装置和系统 | |
CN113986642A (zh) | 任务监控系统、方法、装置、电子设备和存储介质 | |
CN112749308A (zh) | 一种数据标注方法、装置及电子设备 | |
CN110688430B (zh) | 一种获得数据旁路的方法、装置及电子设备 | |
CN114238934A (zh) | 一种设备信息获取方法、装置、设备及介质 | |
CN109150993B (zh) | 一种获取网络请求切面的方法、终端装置及存储介质 | |
CN111796864A (zh) | 一种数据校验的方法及装置 | |
CN111796861A (zh) | 一种打包方法、装置、电子设备及存储介质 | |
CN112579189A (zh) | 配置文件更新方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
CB02 | Change of applicant information | ||
CB02 | Change of applicant information |
Address after: Room 306, No. 799, Ximen Road, Chengqiao Town, Chongming District, Shanghai 202150 Applicant after: SHANGHAI I2FINANCE SOFTWARE CO.,LTD. Address before: Room 2076, area C, building 8, No.2, Guanshan Road, Chengqiao Town, Chongming District, Shanghai 202150 Applicant before: SHANGHAI I2FINANCE SOFTWARE CO.,LTD. |
|
GR01 | Patent grant | ||
GR01 | Patent grant |