CN111190868A - 一种文件处理方法和装置 - Google Patents
一种文件处理方法和装置 Download PDFInfo
- Publication number
- CN111190868A CN111190868A CN202010002713.7A CN202010002713A CN111190868A CN 111190868 A CN111190868 A CN 111190868A CN 202010002713 A CN202010002713 A CN 202010002713A CN 111190868 A CN111190868 A CN 111190868A
- Authority
- CN
- China
- Prior art keywords
- file
- processing
- files
- processed
- type
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/17—Details of further file system functions
- G06F16/1734—Details of monitoring file system events, e.g. by the use of hooks, filter drivers, logs
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/16—File or folder operations, e.g. details of user interfaces specifically adapted to file systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种文件处理方法和装置,涉及计算机技术领域。该方法的一具体实施方式包括:定时扫描源系统送达过来的文件,对于每次扫描得到的文件集合,对文件集合中的应处理文件进行第一处理,并将第一处理得到的文件内容存入数据库表,其中,应处理文件为文件类型和文件编号均满足处理条件的文件;通过自动任务调用相应的业务组件,对数据库表中的文件内容进行第二处理。该实施方式能够检查文件的漏发、错发、是否按时到达,并可确保文件按照顺序处理,还可以确保当前工作周期(例如当日)的文件按时处理完毕,并且实时监控文件收发和处理的各种异常,对异常进行统计和告警,并直观地展现监控结果,使得业务人员可以及时发现和解决异常。
Description
技术领域
本发明涉及计算机技术领域,尤其涉及一种文件处理方法和装置。
背景技术
随着机构业务拓展出现了海外业务,部分机构的境外子机构或合作公司会采用一些境外业务系统,而相关业务文件处理又会由境内核心系统承接,以便境内核心系统处理境外的业务文件。
现有方案处理文件主要是通过批量文件处理的方式,例如机构系统通过流传输方式,将请求文件自动上送到文件收发子系统,同时将机构系统上送的查询请求文件写入文件共享空间,批量文件处理系统的定时轮询模块定期搜索数据库中的查询文件信息表,当轮询到需要处理的文件信息后处理该模块,数据检索模块根据检索结果,生成查询结果反馈文件和风险报告文件,并将它们存放在文件共享空间,文件收发子系统发现文件共享空间出现新文件后,获取该文件然后处理。
此外,现有文件处理中对异常监控是采用日志监控的方式,获取相关联的各业务系统通过log4j产生的运行日志,从运行日志中提取系统中业务运行的运行日志,根据运行日志监控异常情况。
在实现本发明过程中,发明人发现现有技术中至少存在如下问题:
批量文件处理虽然能够大批量完成文件处理,但对处理文件没有其他逻辑上的要求,无法检查文件的漏发、错发、是否按时到达,并且直接处理所有收到的文件,而不会按照一定顺序处理,不能满足文件顺序处理需求;
日志监控不能将异常信息进行统计处理后再告警,如果当判断异常的条件来自于多个模块的状态,那么日志监控很难做出统计判断。
发明内容
有鉴于此,本发明实施例提供一种文件处理方法和装置,能够检查文件的漏发、错发、是否按时到达,并可确保文件按照顺序处理,还可以确保当前工作周期(例如当日)的文件按时处理完毕,并且实时监控文件收发和处理的各种异常,对异常进行统计和告警,并直观地展现监控结果,使得业务人员可以及时发现和解决异常。
为实现上述目的,根据本发明实施例的一个方面,提供了一种文件处理方法。
一种文件处理方法,包括:定时扫描源系统送达过来的文件,对于每次扫描得到的文件集合,对所述文件集合中的应处理文件进行第一处理,并将所述第一处理得到的文件内容存入数据库表,其中,所述应处理文件为文件类型和文件编号均满足处理条件的文件;通过自动任务调用相应的业务组件,对所述数据库表中的文件内容进行第二处理。
可选地,在连续N次扫描到的文件集合中的应处理文件完成所述第一处理之后,如果某一目标应处理文件仍未进行所述第一处理,则生成所述目标应处理文件的缺失文件,并将所述缺失文件存放到文件备份路径,其中,N为预设值。
可选地,所述对所述文件集合中的应处理文件进行第一处理,包括:逐一判断所述文件集合中的文件的文件类型和文件编号是否满足所述处理条件,若满足,则按照文件格式将所述文件内容拆分到所述数据库表,然后将完成所述拆分的文件从所在路径转移到所述文件备份路径,如果所述文件备份路径中存在该完成所述拆分的文件的缺失文件,则删除该完成所述拆分的文件的缺失文件。
可选地,对于所述文件集合中的一个文件,通过如下方式判断其文件类型和文件编号是否满足所述处理条件:判断该文件的文件类型是否为当前应处理的文件类型;如果该文件的文件类型是当前应处理的文件类型,则判断该文件的文件编号是否等于所述文件备份路径中该类型文件的最大编号加1,若是,则该文件为应处理文件,否则该文件不是应处理文件;当所述文件备份路径中不包括该类型文件时,该类型文件的最大编号为0;如果该文件的文件类型不是当前应处理的文件类型,则该文件不是应处理文件。
可选地,还包括:定时将所述文件备份路径中的所述缺失文件的信息,以及对所述文件内容的第二处理结果登记在监控信息表中,以生成监控统计数据;通过预设的监控界面,加载所述监控信息表中的数据以便展示,所述监控信息表中的数据包括所述监控统计数据。
可选地,在当前的工作周期结束时,如果所述文件备份路径中不存在所述缺失文件,且对所述文件内容的第二处理结果无异常,则向特定业务组件发送切换到下一工作周期的通知信号。
可选地,所述通过自动任务调用相应的业务组件,对所述数据库表中的文件内容进行第二处理,包括:通过所述自动任务读取所述数据库表中的文件内容,并组织成联机报文发送到业务核心系统,以通过所述业务核心系统的相应业务组件处理读取的所述文件内容,得到第二处理结果,然后将所述第二处理结果返回至所述数据库表。
根据本发明实施例的另一方面,提供了一种文件处理装置。
一种文件处理装置,包括:第一文件处理模块,用于定时扫描源系统送达过来的文件,对于每次扫描得到的文件集合,对所述文件集合中的应处理文件进行第一处理,并将所述第一处理得到的文件内容存入数据库表,其中,所述应处理文件为文件类型和文件编号均满足处理条件的文件;第二文件处理模块,用于通过自动任务调用相应的业务组件,对所述数据库表中的文件内容进行第二处理。
可选地,还包括缺失文件生成模块,用于在连续N次扫描到的文件集合中的应处理文件完成所述第一处理之后,如果某一目标应处理文件仍未进行所述第一处理,则生成所述目标应处理文件的缺失文件,并将所述缺失文件存放到文件备份路径,其中,N为预设值。
可选地,所述第一文件处理模块还用于:逐一判断所述文件集合中的文件的文件类型和文件编号是否满足所述处理条件,若满足,则按照文件格式将所述文件内容拆分到所述数据库表,然后将完成所述拆分的文件从所在路径转移到所述文件备份路径,如果所述文件备份路径中存在该完成所述拆分的文件的缺失文件,则删除该完成所述拆分的文件的缺失文件。
可选地,所述第一文件处理模块包括判断子模块,用于对于所述文件集合中的一个文件,通过如下方式判断其文件类型和文件编号是否满足所述处理条件:判断该文件的文件类型是否为当前应处理的文件类型;如果该文件的文件类型是当前应处理的文件类型,则判断该文件的文件编号是否等于所述文件备份路径中该类型文件的最大编号加1,若是,则该文件为应处理文件,否则该文件不是应处理文件;当所述文件备份路径中不包括该类型文件时,该类型文件的最大编号为0;如果该文件的文件类型不是当前应处理的文件类型,则该文件不是应处理文件。
可选地,还包括监控模块,用于:定时将所述文件备份路径中的所述缺失文件的信息,以及对所述文件内容的第二处理结果登记在监控信息表中,以生成监控统计数据;通过预设的监控界面,加载所述监控信息表中的数据以便展示,所述监控信息表中的数据包括所述监控统计数据。
可选地,还包括工作周期切换模块,用于:在当前的工作周期结束时,如果所述文件备份路径中不存在所述缺失文件,且对所述文件内容的第二处理结果无异常,则向特定业务组件发送切换到下一工作周期的通知信号。
可选地,所述第二文件处理模块还用于:通过所述自动任务读取所述数据库表中的文件内容,并组织成联机报文发送到业务核心系统,以通过所述业务核心系统的相应业务组件处理读取的所述文件内容,得到第二处理结果,然后将所述第二处理结果返回至所述数据库表。
根据本发明实施例的又一方面,提供了一种电子设备。
一种电子设备,包括:一个或多个处理器;存储器,用于存储一个或多个程序,当所述一个或多个程序被所述一个或多个处理器执行时,使得所述一个或多个处理器实现本发明实施例所提供的文件处理方法。
根据本发明实施例的又一方面,提供了一种计算机可读介质。
一种计算机可读介质,其上存储有计算机程序,所述程序被处理器执行时实现本发明实施例所提供的文件处理方法。
上述发明中的一个实施例具有如下优点或有益效果:定时扫描源系统送达过来的文件,对于每次扫描得到的文件集合,对文件集合中的应处理文件进行第一处理,应处理文件为文件类型和文件编号均满足处理条件的文件,将第一处理得到的文件内容存入数据库表,通过自动任务调用相应的业务组件,对数据库表中的文件内容进行第二处理。能够检查文件的漏发、错发、是否按时到达,并可确保文件按照顺序处理。文件备份路径中不存在缺失文件,且对文件内容的第二处理结果无异常的情况下,向特定业务组件发送切换到下一工作周期的通知信号,确保当前工作周期(例如当日)的文件按时处理完毕。定时将文件备份路径中的缺失文件的信息,以及对文件内容的第二处理结果登记在监控信息表中,以生成监控统计数据,通过监控界面展示监控统计数据,实现实时监控文件收发和处理的各种异常,对异常进行统计和告警,并直观地展现监控结果,使得业务人员可以及时发现和解决异常。
上述的非惯用的可选方式所具有的进一步效果将在下文中结合具体实施方式加以说明。
附图说明
附图用于更好地理解本发明,不构成对本发明的不当限定。其中:
图1是根据本发明实施例的文件处理方法的主要步骤示意图;
图2是根据本发明一个实施例的文件接收与判定流程示意图;
图3是根据本发明一个实施例的文件内容处理流程示意图;
图4是根据本发明一个实施例的文件日终处理流程示意图;
图5是根据本发明一个实施例的交易监控流程示意图;
图6是根据本发明一个实施例的监控界面示意图;
图7是根据本发明一个实施例的文件处理的相关系统交互示意图;
图8是根据本发明实施例的文件处理装置的主要模块示意图;
图9是本发明实施例可以应用于其中的示例性系统架构图;
图10是适于用来实现本发明实施例的终端设备或服务器的计算机系统的结构示意图。
具体实施方式
以下结合附图对本发明的示范性实施例做出说明,其中包括本发明实施例的各种细节以助于理解,应当将它们认为仅仅是示范性的。因此,本领域普通技术人员应当认识到,可以对这里描述的实施例做出各种改变和修改,而不会背离本发明的范围和精神。同样,为了清楚和简明,以下的描述中省略了对公知功能和结构的描述。
图1是根据本发明实施例的文件处理方法的主要步骤示意图。
如图1所示,本发明一个实施例的文件处理方法主要包括如下的步骤S101至步骤S102。
步骤S101:定时扫描源系统送达过来的文件,对于每次扫描得到的文件集合,对文件集合中的应处理文件进行第一处理,并将第一处理得到的文件内容存入数据库表,其中,应处理文件为文件类型和文件编号均满足处理条件的文件。
步骤S102:通过自动任务调用相应的业务组件,对数据库表中的文件内容进行第二处理。
其中,源系统定时、分场次地送达文件,本发明实施例可以将扫描源系统送达过来的文件的扫描时间间隔设置为一个场次的三分之一,一个场次例如为30分钟,那么扫描时间间隔可以设置为10分钟。
在连续N次扫描到的文件集合中的应处理文件完成第一处理之后,如果某一目标应处理文件仍未进行第一处理,则生成该目标应处理文件的缺失文件,并将生成的缺失文件存放到文件备份路径,其中,N为预设值。
优选地,N可以上述的场次和扫描时间间隔来设置,例如一个场次例如为30分钟,扫描时间间隔设置为10分钟,那么N可以设置为3。
对文件集合中的应处理文件进行第一处理,具体包括:逐一判断文件集合中的文件的文件类型和文件编号是否满足处理条件,若满足,则按照文件格式将文件内容拆分到数据库表,然后将完成拆分的文件从所在路径转移到文件备份路径,如果文件备份路径中存在该完成拆分的文件的缺失文件,则删除该完成拆分的文件的缺失文件。
对于文件集合中的一个文件,通过如下方式判断其文件类型和文件编号是否满足处理条件:判断该文件的文件类型是否为当前应处理的文件类型;如果该文件的文件类型是当前应处理的文件类型,则判断该文件的文件编号是否等于文件备份路径中该类型文件的最大编号加1,若是,则该文件为应处理文件,否则该文件不是应处理文件;当文件备份路径中不包括该类型文件时,该类型文件的最大编号为0;如果该文件的文件类型不是当前应处理的文件类型,则该文件不是应处理文件。
在一个实施例中,还可以定时将文件备份路径中的缺失文件的信息,以及对文件内容的第二处理结果登记在监控信息表中,以生成监控统计数据;通过预设的监控界面,加载监控信息表中的数据以便展示,监控信息表中的数据包括监控统计数据。通过监控统计数据,业务人员可以监控到文件漏发、错发、未按时到达等异常,以及文件处理情况,以便出现异常时可以及时补发文件或解决文件处理异常问题。
在一个实施例中,在当前的工作周期结束时,如果文件备份路径中不存在缺失文件,且对文件内容的第二处理结果无异常,则向特定业务组件发送切换到下一工作周期的通知信号。
一个工作周期可以根据业务自行设置,例如可以设置每日为一个工作周期。特定业务组件通常是按照工作周期对文件处理的相关信息进行统计和记录的业务组件。以对交易文件处理为例,切换到下一工作周期的通知信号即日切信号,特定业务组件可以是会计组件。
在一个实施例中,通过自动任务调用相应的业务组件,对数据库表中的文件内容进行第二处理,具体可以包括:通过自动任务读取数据库表中的文件内容,并组织成联机报文发送到业务核心系统,以通过业务核心系统的相应业务组件处理读取的文件内容,得到第二处理结果,然后将第二处理结果返回至数据库表。
本发明实施例的文件处理方法使得境外业务系统的相关业务处理可以由境内核心系统承接,以便境内核心系统处理境外的业务文件。以银行为例,随着国内银行业务的拓展,不断开立新的海外分行以及出现了新的海外业务。考虑到境外的机构所在地的一些实际政策情况以及成本效益的考虑,部分银行的境外分行或者境外的一些合作公司,会采用一些境外的交易系统,比如Eximbills系统、Sunsystems系统、Sage系统,用于开立信用证以及内部经费分配等功能,而相关的账务又会由银行在境内的核心系统承接,本发明实施例的文件处理方法提供了一种适配机制,将这些境外交易系统和境内的核心系统相对接,以便核心系统处理境外的交易数据。
其中,本发明一个实施例的源系统可以包括上述的Sunsystems、Eximbills、Sage三个系统。其中,Sunsystem为一种财务系统,可用于管理企业经费。Eximbills为一种单证中心核心系统,常用于开立信用证等业务。Sage为一种ERP系统,用于企业各项管理,包括财务经费的管理。境内核心系统即银行核心系统,相对于境外而言,其位于境内,是用于处理银行核心业务的系统,可以包括产品服务、应用服务、销售服务、账务核心等模块。
图2是根据本发明一个实施例的文件接收与判定流程示意图。
本实施例的文件接收与判定流程主要是定时扫描源系统送达过来的文件,对于每次扫描得到的文件集合,逐一判断文件集合中的文件的文件类型和文件编号是否满足处理条件,若满足,则按照文件格式将文件内容拆分到数据库表,然后将完成拆分的文件从所在路径转移到文件备份路径,如果文件备份路径中存在该完成拆分的文件的缺失文件,则删除该完成拆分的文件的缺失文件。
以源系统为境外交易系统为例,境外交易系统每日营业期间分批次向境内银行端发送文件,如果没有交易发生,则发送空文件。
如图2所示,文件接收与判定流程具体如下。需要说明的是,图2流程中的“处理”是指上文的第一处理,不包括第二处理(对文件内容的处理),因此,以下对图2流程的说明所提及的“处理”也是指第一处理。
通过文件接收路径接收境外交易系统送达的文件,送达过来的文件位于文件存放路径中。
启用自动任务扫描文件存放路径中是否有待处理文件(S201、S202),待处理文件是源系统送达过来的且尚未进行处理的文件。根据一次扫描到的文件集合,即文件存放路径中当前所有待处理文件,生成待处理文件list(列表)(S203)。扫描时间间隔可以为一个场次的1/3,一个场次例如为30分钟,即每隔10分钟扫描一次。
对待处理文件list(简称list)中每个文件进行判断(S204),其中,先判断list中文件是否已处理完(S205)。
如果list中文件没处理完,则获取当前判断的文件(简称当前文件)的文件类型,以判断当前应处理文件的类型是否为该文件类型(S206),若是,则从文件备份路径中获取该类型文件的备份文件的最大编号(S208),否则返回步骤S204。
如果list中文件已处理完,则判断是否连续三次扫描均没有处理某一应处理类型的文件(S207),若是,则产生该类型文件的MISSING文件(即缺失文件)(S209),将产生的MISSING文件存放在文件备份路径。
在步骤S208从文件备份路径中获取该类型文件的备份文件的最大编号之后,判断该文件编号是否等于备份文件中同类型文件的最大编号加1(S210),若是,则将该当前文件按照文件格式将文件内容拆分到数据库表(S211),然后将该当前文件移到文件备份路径,如果文件备份路径中有该当前文件的MISSING文件,则删除该MISSING文件(S212),然后跳转到步骤S204,以继续判断下一文件;如果该文件编号不等于备份文件中同类型文件的最大编号加1,则返回步骤S204。
文件备份路径简称为备份路径,或称为备份文件夹、备份文件目录。
通过判断文件集合中的文件的文件类型和文件编号是否满足处理条件,使得文件类型和文件编号均满足处理条件的文件才能进行后续的第一处理和第二处理,不但成功接收境外交易系统发来的文件,还实现了按照文件编号的先后顺序处理文件,若出现文件跳位(即当前应处理文件的后续文件先于当前应处理的文件送达),则不会处理后续先送达的文件。
图3是根据本发明一个实施例的文件内容处理流程示意图。
本实施例的文件内容处理流程主要是通过自动任务调用相应的业务组件,对分析拆解到数据库表中的文件内容进行处理,包括扫描数据库表,获取拆解到数据库表的交易信息,发送联机报文给银行核心系统处理账务,并记录账务处理结果。
具体地,如图3所示,在根据不同文件格式将文件拆分到数据库的对应库表(S301,该步骤即上文S211)之后,文件例如交易相关的文件。自动任务扫描库表(S302),以得到文件中的交易信息,根据接口组联机报文(S303),并将联机报文发送给银行核心系统,外呼核心组件对文件中的交易信息进行处理(S304),核心组件是指银行核心系统处理文件中的交易信息的业务组件。获得银行核心系统的响应报文,其中包括对文件内容的处理结果,对于本例即交易结果,将交易结果入库(S305),即存入交易库表中,在文件内容的处理结果为交易成功的情况下,针对交易成功信息发送账务通知给会计组件(S306)。
图4是根据本发明一个实施例的文件日终处理流程示意图。
本实施例的文件日终处理流程主要是指,如果文件日终处理时,当天没有出现MISSING文件文件,并且账务处理结果没有异常,则可发送日切信号给会计组件。日切是指更换系统记账时间,即从当前工作日期切换到下一个工作日期。
实施例的文件日终处理流程主要涉及图4虚线框中的部分,本实施例主要对该部分详细介绍。虚线框之外的流程与图3所示实施例的流程相同,本实施例不再赘述。
如图4所示,执行日终自动任务,从交易库表中定时获取交易结果信息,另外,还定时从备份文件目录(即文件备份路径)获取MISSING文件信息(S401),判断日终是否没有MISSING文件且交易全部成功(S402),若是,则向会计组件发送日切信号(S403),反之,如果还存在MISSING文件,或者有未成功交易,则等待异常处理完毕(S404)。
本发明实施例确保文件按时按量处理,必须当日文件处理完成并没有异常才可进行日切。
图5是根据本发明一个实施例的交易监控流程示意图。
本实施例的交易监控流程设计图5的虚线框中的部分,本实施例主要对该部分详细介绍。虚线框之外的流程与图3所示实施例的流程相同,本实施例不再赘述。本实施例的交易监控流程主要是对文件内容处理监控以及文件接收情况监控,通过设计定时任务(用于监控的自动任务)从备份文件目录定时获取MISSING文件信息,以及定时从交易库表获取交易结果信息,生成监控信息,登记在监控信息表中,以对文件内容处理和文件接收情况监控(S501)。
预先开发监控界面,在打开监控界面时加载监控信息表中登记的监控信息,并定时刷新监控信息。业务人员可在监控界面查看交易信息处理情况和文件接收情况,实现了交易动态的可视化展现,便于实时查看。如果文件接收异常或交易处理异常,可以相应地及时补发文件或者处理交易异常。
图6是根据本发明一个实施例的监控界面示意图。
本发明实施例的监控界面,可以加载监控信息表中的数据以便展示,监控信息表中的数据可以包括监控统计数据(即上文的监控信息),其中具体包括对缺失文件的信息,以及对文件内容处理结果的一些统计数据,例如图6中,“本票签发记账”行对应的记录为对一个文件内容处理的统计数据,其他行记录同理。“data import”行记录为对上面六行记录的统计,统计维度包括交易量、成功数量、是否准备中、是否处理中、失败数量、是否错误、是否不确定,等等。其中失败数量“5”表示有5个缺失文件。
图7是根据本发明一个实施例的文件处理的相关系统交互示意图。
如图7所示,以银行核心系统对境外的文件处理为例,相关的系统包括源系统、NIG系统、银行核心系统(简称核心系统),其中本实施例源系统主要包括Sunsystems、Eximbills、Sage三个系统,该三个系统的功能参见上文介绍。该三个源系统每日会定时分场次地将账务文件通过文件服务器推送至NIG系统的NAS服务器。NIG系统是执行本发明实施例的文件处理流程的系统,其中包括NIG应用(AP)、NAS(Network Attached Storage,网络附属存储,又称网络存储器)、NIG数据库(DB)、SAN(存储区域网络),其中,NAS是一种专用数据存储服务器,以数据为中心,将存储设备与服务器彻底分离,集中管理数据,在本发明实施例中NAS服务器存放源系统送达过来的文件。NIG应用主要用于执行本发明实施例的文件处理方法。SAN用于存放最终处理后的文件和处理结果等数据。
NIG系统会定时轮询NAS服务器中是否有源系统送达过来的文件。如果有新文件到达,则判断该文件是否应该处理,如果满足处理条件,则开始处理。处理方法为将文件解析并将要素(文件内容)入库(存入数据库表)。入库后会有其他轮询进程处理数据库表的文件内容并发送联机报文给银行核心系统完成记账功能。如果源系统送达过来的文件有缺失,则不能继续进行处理。当日的文件内容处理出现异常或存在缺失文件,则不能进行日终处理。所有的交易处理情况会登记在交易监控信息表中,通过预先开发的交易监控界面,可以实时查询交易当前的交易状态,以便及时处理异常。
本发明实施例可以严格控制文件是否按时送达,确保文件顺序处理,确保当日的文件当日处理完毕,且保证业务人员可以及时发现交易过程的异常以尽快解决异常。
图8是根据本发明实施例的文件处理装置的主要模块示意图。
本发明一个实施例的文件处理装置800主要包括:第一文件处理模块801、第二文件处理模块802。
第一文件处理模块801,用于定时扫描源系统送达过来的文件,对于每次扫描得到的文件集合,对文件集合中的应处理文件进行第一处理,并将第一处理得到的文件内容存入数据库表,其中,应处理文件为文件类型和文件编号均满足处理条件的文件;
第二文件处理模块802,用于通过自动任务调用相应的业务组件,对数据库表中的文件内容进行第二处理。
文件处理装置800还包括缺失文件生成模块,用于在连续N次扫描到的文件集合中的应处理文件完成第一处理之后,如果某一目标应处理文件仍未进行第一处理,则生成目标应处理文件的缺失文件,并将生成的缺失文件存放到文件备份路径,其中,N为预设值。
第一文件处理模块801具体可以用于:逐一判断文件集合中的文件的文件类型和文件编号是否满足处理条件,若满足,则按照文件格式将文件内容拆分到数据库表,然后将完成拆分的文件从所在路径转移到文件备份路径,如果文件备份路径中存在该完成拆分的文件的缺失文件,则删除该完成拆分的文件的缺失文件。
第一文件处理模块801可以包括判断子模块,用于对于文件集合中的一个文件,通过如下方式判断其文件类型和文件编号是否满足处理条件:判断该文件的文件类型是否为当前应处理的文件类型;如果该文件的文件类型是当前应处理的文件类型,则判断该文件的文件编号是否等于文件备份路径中该类型文件的最大编号加1,若是,则该文件为应处理文件,否则该文件不是应处理文件;当文件备份路径中不包括该类型文件时,该类型文件的最大编号为0;如果该文件的文件类型不是当前应处理的文件类型,则该文件不是应处理文件。
在一个实施例中,文件处理装置800还可以包括监控模块,用于:定时将文件备份路径中的缺失文件的信息,以及对文件内容的第二处理结果登记在监控信息表中,以生成监控统计数据;通过预设的监控界面,加载监控信息表中的数据以便展示,监控信息表中的数据包括监控统计数据。
在一个实施例中,文件处理装置800还可以包括工作周期切换模块,用于:在当前的工作周期结束时,如果文件备份路径中不存在缺失文件,且对文件内容的第二处理结果无异常,则向特定业务组件发送切换到下一工作周期的通知信号。
在一个实施例中,第二文件处理模块802具体可以用于:通过自动任务读取数据库表中的文件内容,并组织成联机报文发送到业务核心系统,以通过业务核心系统的相应业务组件处理读取的文件内容,得到第二处理结果,然后将第二处理结果返回至数据库表。
另外,在本发明实施例中文件处理装置的具体实施内容,在上面所述文件处理方法中已经详细说明了,故在此重复内容不再说明。
图9示出了可以应用本发明实施例的文件处理方法或文件处理装置的示例性系统架构900。
如图9所示,系统架构900可以包括终端设备901、902、903,网络904和服务器905。网络904用以在终端设备901、902、903和服务器905之间提供通信链路的介质。网络904可以包括各种连接类型,例如有线、无线通信链路或者光纤电缆等等。
用户可以使用终端设备901、902、903通过网络904与服务器905交互,以接收或发送消息等。终端设备901、902、903上可以安装有各种通讯客户端应用,例如购物类应用、网页浏览器应用、搜索类应用、即时通信工具、邮箱客户端、社交平台软件等(仅为示例)。
终端设备901、902、903可以是具有显示屏并且支持网页浏览的各种电子设备,包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等等。
服务器905可以是提供各种服务的服务器,例如对用户利用终端设备901、902、903所浏览的购物类网站提供支持的后台管理服务器(仅为示例)。后台管理服务器可以对接收到的产品信息查询请求等数据进行分析等处理,并将处理结果(例如目标推送信息、产品信息--仅为示例)反馈给终端设备。
需要说明的是,本发明实施例所提供的文件处理方法一般由服务器905执行,相应地,文件处理装置一般设置于服务器905中。
应该理解,图9中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要,可以具有任意数目的终端设备、网络和服务器。
下面参考图10,其示出了适于用来实现本申请实施例的终端设备或服务器的计算机系统1000的结构示意图。图10示出的终端设备或服务器仅仅是一个示例,不应对本申请实施例的功能和使用范围带来任何限制。
如图10所示,计算机系统1000包括中央处理单元(CPU)1001,其可以根据存储在只读存储器(ROM)1002中的程序或者从存储部分1008加载到随机访问存储器(RAM)1003中的程序而执行各种适当的动作和处理。在RAM 1003中,还存储有系统1000操作所需的各种程序和数据。CPU 1001、ROM 1002以及RAM 1003通过总线1004彼此相连。输入/输出(I/O)接口1005也连接至总线1004。
以下部件连接至I/O接口1005:包括键盘、鼠标等的输入部分1006;包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分1007;包括硬盘等的存储部分1008;以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分1009。通信部分1009经由诸如因特网的网络执行通信处理。驱动器1010也根据需要连接至I/O接口1005。可拆卸介质1011,诸如磁盘、光盘、磁光盘、半导体存储器等等,根据需要安装在驱动器1010上,以便于从其上读出的计算机程序根据需要被安装入存储部分1008。
特别地,根据本发明公开的实施例,上文参考流程图描述的过程可以被实现为计算机软件程序。例如,本发明公开的实施例包括一种计算机程序产品,其包括承载在计算机可读介质上的计算机程序,该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中,该计算机程序可以通过通信部分1009从网络上被下载和安装,和/或从可拆卸介质1011被安装。在该计算机程序被中央处理单元(CPU)1001执行时,执行本申请的系统中限定的上述功能。
需要说明的是,本发明所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本申请中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本申请中,计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质,该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输,包括但不限于:无线、电线、光缆、RF等等,或者上述的任意合适的组合。
附图中的流程图和框图,图示了按照本申请各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分,上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个接连地表示的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图或流程图中的每个方框、以及框图或流程图中的方框的组合,可以用执行规定的功能或操作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
描述于本发明实施例中所涉及到的模块可以通过软件的方式实现,也可以通过硬件的方式来实现。所描述的模块也可以设置在处理器中,例如,可以描述为:一种处理器包括第一文件处理模块、第二文件处理模块。其中,这些模块的名称在某种情况下并不构成对该模块本身的限定,例如,第一文件处理模块还可以被描述为“用于定时扫描源系统送达过来的文件,对于每次扫描得到的文件集合,对文件集合中的应处理文件进行第一处理,并将第一处理得到的文件内容存入数据库表的模块”。
作为另一方面,本发明还提供了一种计算机可读介质,该计算机可读介质可以是上述实施例中描述的设备中所包含的;也可以是单独存在,而未装配入该设备中。上述计算机可读介质承载有一个或者多个程序,当上述一个或者多个程序被一个该设备执行时,使得该设备包括:定时扫描源系统送达过来的文件,对于每次扫描得到的文件集合,对所述文件集合中的应处理文件进行第一处理,并将所述第一处理得到的文件内容存入数据库表,其中,所述应处理文件为文件类型和文件编号均满足处理条件的文件;通过自动任务调用相应的业务组件,对所述数据库表中的文件内容进行第二处理。
根据本发明实施例的技术方案,定时扫描源系统送达过来的文件,对于每次扫描得到的文件集合,对文件集合中的应处理文件进行第一处理,应处理文件为文件类型和文件编号均满足处理条件的文件,将第一处理得到的文件内容存入数据库表,通过自动任务调用相应的业务组件,对数据库表中的文件内容进行第二处理。能够检查文件的漏发、错发、是否按时到达,并可确保文件按照顺序处理。文件备份路径中不存在缺失文件,且对文件内容的第二处理结果无异常的情况下,向特定业务组件发送切换到下一工作周期的通知信号,确保当前工作周期(例如当日)的文件按时处理完毕。定时将文件备份路径中的缺失文件的信息,以及对文件内容的第二处理结果登记在监控信息表中,以生成监控统计数据,通过监控界面展示监控统计数据,实现实时监控文件收发和处理的各种异常,对异常进行统计和告警,并直观地展现监控结果,使得业务人员可以及时发现和解决异常。
上述具体实施方式,并不构成对本发明保护范围的限制。本领域技术人员应该明白的是,取决于设计要求和其他因素,可以发生各种各样的修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等,均应包含在本发明保护范围之内。
Claims (10)
1.一种文件处理方法,其特征在于,包括:
定时扫描源系统送达过来的文件,对于每次扫描得到的文件集合,对所述文件集合中的应处理文件进行第一处理,并将所述第一处理得到的文件内容存入数据库表,其中,所述应处理文件为文件类型和文件编号均满足处理条件的文件;
通过自动任务调用相应的业务组件,对所述数据库表中的文件内容进行第二处理。
2.根据权利要求1所述的方法,其特征在于,在连续N次扫描到的文件集合中的应处理文件完成所述第一处理之后,如果某一目标应处理文件仍未进行所述第一处理,则生成所述目标应处理文件的缺失文件,并将所述缺失文件存放到文件备份路径,其中,N为预设值。
3.根据权利要求2所述的方法,其特征在于,所述对所述文件集合中的应处理文件进行第一处理,包括:
逐一判断所述文件集合中的文件的文件类型和文件编号是否满足所述处理条件,若满足,则按照文件格式将所述文件内容拆分到所述数据库表,然后将完成所述拆分的文件从所在路径转移到所述文件备份路径,如果所述文件备份路径中存在该完成所述拆分的文件的缺失文件,则删除该完成所述拆分的文件的缺失文件。
4.根据权利要求3所述的方法,其特征在于,对于所述文件集合中的一个文件,通过如下方式判断其文件类型和文件编号是否满足所述处理条件:
判断该文件的文件类型是否为当前应处理的文件类型;
如果该文件的文件类型是当前应处理的文件类型,则判断该文件的文件编号是否等于所述文件备份路径中该类型文件的最大编号加1,若是,则该文件为应处理文件,否则该文件不是应处理文件;当所述文件备份路径中不包括该类型文件时,该类型文件的最大编号为0;
如果该文件的文件类型不是当前应处理的文件类型,则该文件不是应处理文件。
5.根据权利要求2所述的方法,其特征在于,还包括:
定时将所述文件备份路径中的所述缺失文件的信息,以及对所述文件内容的第二处理结果登记在监控信息表中,以生成监控统计数据;
通过预设的监控界面,加载所述监控信息表中的数据以便展示,所述监控信息表中的数据包括所述监控统计数据。
6.根据权利要求2所述的方法,其特征在于,在当前的工作周期结束时,如果所述文件备份路径中不存在所述缺失文件,且对所述文件内容的第二处理结果无异常,则向特定业务组件发送切换到下一工作周期的通知信号。
7.根据权利要求1所述的方法,其特征在于,所述通过自动任务调用相应的业务组件,对所述数据库表中的文件内容进行第二处理,包括:
通过所述自动任务读取所述数据库表中的文件内容,并组织成联机报文发送到业务核心系统,以通过所述业务核心系统的相应业务组件处理读取的所述文件内容,得到第二处理结果,然后将所述第二处理结果返回至所述数据库表。
8.一种文件处理装置,其特征在于,包括:
第一文件处理模块,用于定时扫描源系统送达过来的文件,对于每次扫描得到的文件集合,对所述文件集合中的应处理文件进行第一处理,并将所述第一处理得到的文件内容存入数据库表,其中,所述应处理文件为文件类型和文件编号均满足处理条件的文件;
第二文件处理模块,用于通过自动任务调用相应的业务组件,对所述数据库表中的文件内容进行第二处理。
9.一种电子设备,其特征在于,包括:
一个或多个处理器;
存储器,用于存储一个或多个程序,
当所述一个或多个程序被所述一个或多个处理器执行时,使得所述一个或多个处理器实现如权利要求1-7中任一所述的方法。
10.一种计算机可读介质,其上存储有计算机程序,其特征在于,所述程序被处理器执行时实现如权利要求1-7中任一所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010002713.7A CN111190868A (zh) | 2020-01-02 | 2020-01-02 | 一种文件处理方法和装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010002713.7A CN111190868A (zh) | 2020-01-02 | 2020-01-02 | 一种文件处理方法和装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN111190868A true CN111190868A (zh) | 2020-05-22 |
Family
ID=70708132
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010002713.7A Pending CN111190868A (zh) | 2020-01-02 | 2020-01-02 | 一种文件处理方法和装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111190868A (zh) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112000542A (zh) * | 2020-07-23 | 2020-11-27 | 中国建设银行股份有限公司 | 文件传输状态的监控方法及相关设备 |
CN112612758A (zh) * | 2020-12-26 | 2021-04-06 | 中国农业银行股份有限公司 | 一种控制生成报文的方法及装置 |
CN113806454A (zh) * | 2021-09-24 | 2021-12-17 | 四川新网银行股份有限公司 | 一种解决数据仓库账务日切测试数据采集的方法及系统 |
CN115080310A (zh) * | 2022-06-28 | 2022-09-20 | 上海中汇亿达金融信息技术有限公司 | 基于业务状态自动恢复后台数据的方法和系统 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20040243653A1 (en) * | 2003-05-30 | 2004-12-02 | Chung-I Lee | System and method for generating an alarm when an abnormal database backup status occurs |
CN101582064A (zh) * | 2008-05-15 | 2009-11-18 | 阿里巴巴集团控股有限公司 | 一种大数据量数据处理方法及系统 |
CN103248707A (zh) * | 2013-05-22 | 2013-08-14 | 北京奇虎科技有限公司 | 文件访问方法、系统以及设备 |
CN104850635A (zh) * | 2015-05-24 | 2015-08-19 | 华东电网有限公司 | 一种多数据源环境下数据缺失自动检查及集中监控方法 |
CN106650473A (zh) * | 2016-12-01 | 2017-05-10 | 中国工商银行股份有限公司 | 校验多文件封装包的方法及系统、发送装置、接收装置 |
CN110245115A (zh) * | 2019-05-28 | 2019-09-17 | 阿里巴巴集团控股有限公司 | 一种文件处理方法、引擎及系统 |
-
2020
- 2020-01-02 CN CN202010002713.7A patent/CN111190868A/zh active Pending
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20040243653A1 (en) * | 2003-05-30 | 2004-12-02 | Chung-I Lee | System and method for generating an alarm when an abnormal database backup status occurs |
CN101582064A (zh) * | 2008-05-15 | 2009-11-18 | 阿里巴巴集团控股有限公司 | 一种大数据量数据处理方法及系统 |
CN103248707A (zh) * | 2013-05-22 | 2013-08-14 | 北京奇虎科技有限公司 | 文件访问方法、系统以及设备 |
CN104850635A (zh) * | 2015-05-24 | 2015-08-19 | 华东电网有限公司 | 一种多数据源环境下数据缺失自动检查及集中监控方法 |
CN106650473A (zh) * | 2016-12-01 | 2017-05-10 | 中国工商银行股份有限公司 | 校验多文件封装包的方法及系统、发送装置、接收装置 |
CN110245115A (zh) * | 2019-05-28 | 2019-09-17 | 阿里巴巴集团控股有限公司 | 一种文件处理方法、引擎及系统 |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112000542A (zh) * | 2020-07-23 | 2020-11-27 | 中国建设银行股份有限公司 | 文件传输状态的监控方法及相关设备 |
CN112612758A (zh) * | 2020-12-26 | 2021-04-06 | 中国农业银行股份有限公司 | 一种控制生成报文的方法及装置 |
CN113806454A (zh) * | 2021-09-24 | 2021-12-17 | 四川新网银行股份有限公司 | 一种解决数据仓库账务日切测试数据采集的方法及系统 |
CN113806454B (zh) * | 2021-09-24 | 2023-06-06 | 四川新网银行股份有限公司 | 一种解决数据仓库账务日切测试数据采集的方法及系统 |
CN115080310A (zh) * | 2022-06-28 | 2022-09-20 | 上海中汇亿达金融信息技术有限公司 | 基于业务状态自动恢复后台数据的方法和系统 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111190868A (zh) | 一种文件处理方法和装置 | |
US9521104B2 (en) | Outgoing communications inventory | |
CN108874567B (zh) | 一种服务处理方法及系统 | |
US8973001B2 (en) | Processing transaction requests using a load balancing utility and multiple operating parameters | |
US20160294651A1 (en) | Method, apparatus, and computer program product for monitoring an electronic data exchange | |
US9967255B2 (en) | System and method for secure distribution of communications | |
CN111861745B (zh) | 一种业务风控方法和装置 | |
CN114416769A (zh) | 待办任务查询方法、装置及电子设备 | |
US20150081570A1 (en) | Customer preference management and notification systems | |
CN110647706A (zh) | 网页访问请求的处理方法、装置以及设备、存储介质 | |
CN111600942B (zh) | 报表处理方法、装置及设备 | |
CN111259032A (zh) | 一种业务处理方法和装置 | |
US20160132399A1 (en) | Implementing change data capture by interpreting published events as a database recovery log | |
CN115496544A (zh) | 一种数据处理的方法和装置 | |
EP4145300A1 (en) | Method and apparatus for processing order data | |
CN116263926A (zh) | 基于区块链的对账方法、装置和系统 | |
CN113627934A (zh) | 一种交易数据获取方法及相关设备 | |
CN113344680A (zh) | 一种订单处理方法、相关装置、设备及存储介质 | |
CN113157461A (zh) | 一种在执行任务单过程中传送消息的方法和装置 | |
CN112783677A (zh) | 一种服务异常的监控方法和装置 | |
JP7408180B1 (ja) | 顧客開発推進システム | |
CN115658810A (zh) | 查询账户数据的方法、装置、电子设备和计算机可读介质 | |
CN115187358B (zh) | 一种对账引擎数据处理系统及其工作方法 | |
CN111105315B (zh) | 保单请求处理方法、装置、介质及电子设备 | |
CN111144777B (zh) | 资源转移方法、装置、电子设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
TA01 | Transfer of patent application right | ||
TA01 | Transfer of patent application right |
Effective date of registration: 20220923 Address after: 25 Financial Street, Xicheng District, Beijing 100033 Applicant after: CHINA CONSTRUCTION BANK Corp. Address before: 25 Financial Street, Xicheng District, Beijing 100033 Applicant before: CHINA CONSTRUCTION BANK Corp. Applicant before: Jianxin Financial Science and Technology Co.,Ltd. |