CN114168549A - 文件处理方法及装置 - Google Patents
文件处理方法及装置 Download PDFInfo
- Publication number
- CN114168549A CN114168549A CN202111507591.8A CN202111507591A CN114168549A CN 114168549 A CN114168549 A CN 114168549A CN 202111507591 A CN202111507591 A CN 202111507591A CN 114168549 A CN114168549 A CN 114168549A
- Authority
- CN
- China
- Prior art keywords
- file
- target node
- processed
- identifier
- mapping relation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title abstract description 13
- 238000013507 mapping Methods 0.000 claims abstract description 95
- 238000000034 method Methods 0.000 claims abstract description 59
- 238000012545 processing Methods 0.000 claims description 22
- 230000005540 biological transmission Effects 0.000 claims description 15
- 230000008569 process Effects 0.000 description 22
- 238000012546 transfer Methods 0.000 description 11
- 238000010586 diagram Methods 0.000 description 6
- 230000009471 action Effects 0.000 description 3
- 230000007246 mechanism Effects 0.000 description 3
- 230000001960 triggered effect Effects 0.000 description 3
- 241000720945 Hosta Species 0.000 description 2
- 230000001419 dependent effect Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 230000036962 time dependent Effects 0.000 description 1
- 238000013024 troubleshooting Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/17—Details of further file system functions
- G06F16/172—Caching, prefetching or hoarding of files
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/22—Indexing; Data structures therefor; Storage structures
- G06F16/2282—Tablespace storage structures; Management thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2455—Query execution
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明提供了一种文件处理方法及装置,该方法包括:当检测到预设的主机执行第一批量作业所发送的待处理文件时,获取待处理文件的文件标识;判断预设的映射关系表中是否记录文件标识;若映射关系表中记录文件标识,则在映射关系表中获取文件标识对应的目标节点的目标节点信息;根据目标节点信息向目标节点传输所述待处理文件;在成功将待处理文件传输到目标节点的情况下,向所述目标节点发送文件送达通知,所述文件送达通知用于指示所述待处理文件对应的第二批量作业的文件依赖条件已满足,所述文件依赖条件为所述目标节点执行所述第二批量作业所依赖的条件。应用本发明实施例提供的方法,能够提升批量任务和操作系统运行的稳定性。
Description
技术领域
本发明涉及计算机技术领域,特别涉及一种文件处理方法及装置。
背景技术
目前目前国内各大银行各类业务除了联机交易的处理之外,还包含大量的批量交易处理。据不完全统计,随着近年来金融业的迅猛发展,银行业务系统中近70%的操作是通过批量任务的形式完成的,日均运行批量作业数量常达数十万乃至百万之多。这些作业通常按需运行在不同的操作系统平台,有一个常见的场景是IBM主机端执行批量作业将文件传输至类Unix系统的节点设备触发的批量作业执行。
现有技术方案中,主机和节点设备通过文件传输串联,由节点设备通过文件扫描机制触发批量作业,然而,在文件路径和数量较大时,文件扫描程序的系统开销也随之增加,如果此时开放端上的批量作业任务同样繁忙,则会影响批量任务和操作系统稳定运行的风险。
发明内容
本发明所要解决的技术问题是提供一种文件处理方法,能够提升批量任务和操作系统运行的稳定性。
本发明还提供了一种文件处理装置,用以保证上述方法在实际中的实现及应用。
一种文件处理方法,应用于中间节点,所述方法包括:
当检测到预设的主机执行第一批量作业所发送的待处理文件时,获取所述待处理文件的文件标识;
判断预设的映射关系表中是否记录所述文件标识;
若所述映射关系表中记录所述文件标识,则在所述映射关系表中获取所述文件标识对应的目标节点的目标节点信息;
根据所述目标节点信息向所述目标节点传输所述待处理文件;
在成功将待处理文件传输到所述目标节点的情况下,向所述目标节点发送文件送达通知,所述文件送达通知用于指示出所述待处理文件对应的第二批量作业的文件依赖条件已满足,所述文件依赖条件为所述目标节点执行所述第二批量作业所依赖的条件。
上述的方法,可选的,所述判断预设的映射关系表中是否记录所述文件标识,包括:
遍历所述映射关系表中的主机文件标识;
若所述映射关系表中存在与所述文件标识一致的主机文件标识,则判定所述映射关系表中已记录所述文件标识;
若所述映射关系表中不存在与所述文件标识一致的主机文件标识,则判断所述映射关系表中未记录所述文件标识。
上述的方法,可选的,向所述目标节点发送文件送达通知之后,还包括:
当接收到所述目标节点发送的报错指令时,获取所述报错指令对应的报错文件标识;
在所述映射关系表中确定所述报错文件标识对应的源端文件信息。
上述的方法,可选的,所述根据所述目标节点信息向所述目标节点传输所述待处理文件之后,还包括:
在向所述目标节点传输所述待处理文件失败情况下,重新向所述目标节点传输所述待处理文件。
上述的方法,可选的,还包括:
若所述映射关系表中未记录所述文件标识,则发送文件处理异常通知。
一种文件处理装置,所述包括:
第一获取单元,用于当检测到预设的主机执行第一批量作业所发送的待处理文件时,获取所述待处理文件的文件标识;
判断单元,用于判断预设的映射关系表中是否记录所述文件标识;
第二获取单元,用于若所述映射关系表中记录所述文件标识,则在所述映射关系表中获取所述文件标识对应的目标节点的目标节点信息;
传输单元,用于根据所述目标节点信息向所述目标节点传输所述待处理文件;
通知单元,用于在成功将待处理文件传输到所述目标节点的情况下,向所述目标节点发送文件送达通知,所述文件送达通知用于指示出所述待处理文件对应的第二批量作业的文件依赖条件已满足,所述文件依赖条件为所述目标节点执行所述第二批量作业所依赖的条件。
上述的装置,可选的,所述判断单元,包括:
遍历子单元,用于遍历所述映射关系表中的主机文件标识;
第一判定子单元,用于若所述映射关系表中存在与所述文件标识一致的标识,则判定所述映射关系表中已记录所述文件标识;
第二判定子单元,用于若所述映射关系表中不存在与所述文件标识一致的主机文件标识,则判断所述映射关系表中未记录所述文件标识。
上述的装置,可选的,还包括:
第三获取单元,用于当接收到所述目标节点发送的报错指令时,获取所述报错指令对应的报错文件标识;
确定单元,用于在所述映射关系表中确定所述报错文件标识对应的源端文件信息。
上述的装置,可选的,还包括:
执行单元,用于在向所述目标节点传输所述待处理文件失败情况下,重新向所述目标节点传输所述待处理文件。
上述的装置,可选的,还包括:
发送单元,用于若所述映射关系表中未记录所述文件标识,则发送文件处理异常通知。
与现有技术相比,本发明包括以下优点:
本发明提供了一种文件处理方法及装置,其中,当检测到预设的主机执行第一批量作业所发送的待处理文件时,获取待处理文件的文件标识;判断预设的映射关系表中是否记录文件标识;若映射关系表中记录文件标识,则在映射关系表中获取文件标识对应的目标节点的目标节点信息;根据目标节点信息向目标节点传输待处理文件;在成功将待处理文件传输到目标节点的情况下,向目标节点发送文件送达通知,文件送达通知用于指示待处理文件对应的第二批量作业的文件依赖条件已满足,文件依赖条件为目标节点执行第二批量作业所依赖的条件。应本发明实施例提供的方法,能够通过中间节点向目标节点转发待处理文件,并在成功向目标节点传输待处理文件后,向目标节点发送文件送达通知,可以避免目标节点在数据量较大的情况下,耗费大量的系统资源扫描待处理文件,能够提升批量任务和操作系统运行的稳定性,并且目标节点中设置有映射关系表,在批量作业发生故障的情况下,可以通过映射关系表快速定位故障。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据提供的附图获得其他的附图。
图1为本发明提供的一种文件处理方法的方法流程图;
图2为本发明提供的一种判断映射关系表中是否记录文件标识的过程的流程图;
图3为本发明提供的又一种文件处理方法的方法流程图;
图4为本发明提供的一种文件传输的过程的示例图;
图5为本发明提供的一种文件处理装置的结构示意图;
图6为本发明提供的一种电子设备的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
在本申请中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
目前,主机和节点设备通过文件传输串联,由节点设备通过文件扫描机制触发批量作业,然而,在文件路径和数量较大时,文件扫描程序的系统开销也随之增加,如果此时开放端上的批量作业任务同样繁忙,则会影响批量任务和操作系统稳定运行的风险。
基于此,本发明实施例提供了一种文件处理方法,该方法可以应用于中间节点,所述方法的方法流程图如图1所示,具体包括:
S101:当检测到预设的主机执行第一批量作业所发送的待处理文件时,获取所述待处理文件的文件标识。
在本发明实施例中,主机在执行第一批量作业,以将待处理文件通过FTP/SFTP、或者XCOM文件传输工具将文件传输至中间节点上的主机文件临时目录。
其中,中间节点可以按预设的时间间隔对主机文件临时目录进行扫描。
S102:判断预设的映射关系表中是否记录所述文件标识,若是,则执行S103,若否,则执行S106。
在本发明实施例中,该映射关系表中记录主机文件标识、主机作业标识、开放端文件路径、开放端文件标识、开放端待触发作业标识、目标节点标识、目标节点信息之间的对应关系。
其中,可以将文件标识与映射关系表中的主机文件标识进行逐一比对,以确定映射关系表中是否记录该文件标识。
S103:在所述映射关系表中获取所述文件标识对应的目标节点的目标节点信息。
在本发明实施例中,目标节点可以为开放端,目标节点信息可以为IP地址,根据文件标识与目标节点信息之间的映射关系,可以获取到文件标识对应的目标节点的目标节点信息。
S104:根据所述目标节点信息向所述目标节点传输所述待处理文件。
在本发明实施例中,可以根据目标节点的IP地址,将待处理文件发往目标节点,将待处理文件发往目标节点后,检测是否已成功将待处理文件传输到目标节点,当接收到第一反馈信息时,确定已成功将待处理文件传输到目标节点,当接收到第二反馈信息时,确定向所述目标节点传输所述待处理文件失败。
S105:在成功将待处理文件传输到所述目标节点的情况下,向所述目标节点发送文件送达通知,所述文件送达通知用于向所述目标节点指示出所述待处理文件对应的第二批量作业的文件依赖条件已满足,所述文件依赖条件为所述目标节点执行所述第二批量作业所依赖的条件。
在本发明实施例中,目标节点执行第二批量作业所依赖的条件的数量为至少一个,例如,可以包括文件依赖条件和时间依赖条件等,在目标节点执行第二批量作业所依赖的所有条件均满足的情况下,该目标节点执行第二批量作业。
其中,文件依赖条件可以是获取到该第二批量作业对应的待处理文件。
S106:发送文件处理异常通知。
在本发明实施例中,可以向主机发送文件处理异常通知,也可以通过短信、邮件等形式向技术人员发送文件处理异常通知,使得技术人员处理异常的待处理文件。
应本发明实施例提供的方法,能够通过中间节点向目标节点转发待处理文件,并在成功向目标节点传输待处理文件后,向目标节点发送文件送达通知,可以避免目标节点在数据量较大的情况下,耗费大量的系统资源扫描待处理文件,能够提升批量任务和操作系统运行的稳定性,并且目标节点中设置有映射关系表,在批量作业发生故障的情况下,可以通过映射关系表快速定位故障。
在本发明提供的实施例中,基于上述的实施过程,具体的,所述判断预设的映射关系表中是否记录所述文件标识的过程,如图2所示,具体包括:
S201:遍历所述映射关系表中的各个主机文件标识,以判断映射关系表中是否存在与该文件标识一致的主机文件标识。
在本发明实施例中,映射关系表中记录有多个主机文件标识,该主机文件标识可以为主机需要向中间节点发送的各个待处理文件的标识。
S202:若所述映射关系表中存在与所述文件标识一致的主机文件标识,则判定所述映射关系表中已记录所述文件标识。
S203:若所述映射关系表中不存在与所述文件标识一致的主机文件标识,则判断所述映射关系表中未记录所述文件标识。
应用本发明实施例提供的方法,通过遍历映射关系表中的主机文件标识,可以快速的确定出映射关系表中是否记录该文件标识。
参见图3,为本发明实施例提供了又一种文件处理方法的方法流程图,具体包括如下步骤:
S301:当检测到预设的主机执行第一批量作业所发送的待处理文件时,获取所述待处理文件的文件标识。
S302:判断预设的映射关系表中是否记录所述文件标识;若是,则执行S303,若否,则执行S306。
S303:若所述映射关系表中记录所述文件标识,则在所述映射关系表中获取所述文件标识对应的目标节点的目标节点信息。
S304:根据所述目标节点信息向所述目标节点传输所述待处理文件。
S305:在成功将待处理文件传输到所述目标节点的情况下,向所述目标节点发送文件送达通知,所述文件送达通知用于指示所述待处理文件对应的第二批量作业的文件依赖条件已满足,所述文件依赖条件为所述目标节点执行所述第二批量作业所依赖的条件。
S306:若所述映射关系表中未记录所述文件标识,则发送文件处理异常通知。
其中,S301-S306的实施过程及原理与图1中的S101-S106一致,此处不再赘述。
S307:当接收到所述目标节点发送的报错指令时,获取所述报错指令对应的报错文件标识。
在本发明实施例中,可以对该报错指令进行解析,获得报错指令中包括的报错文件标识。
S308:在所述映射关系表中确定所述报错文件标识对应的源端文件信息。
在本发明实施例中,该源端文件信息可以指的是主机文件名,还可以在映射关系表中确定报错文件标识对应的主机作业标识,即,主机执行的第一批量作业的标识。
应用本发明实施例提供的方法,在目标节点执行第二批量作业报错的情况下,可以快速的定位故障。
在本发明提供的实施例中,基于上述的实施过程,具体的,所述根据所述目标节点信息向所述目标节点传输所述待处理文件之后,还包括:
在向所述目标节点传输所述待处理文件失败情况下,重新向所述目标节点传输所述待处理文件。
本发明实施例提供的方法,通过设计传输失败的重发机制,可以提高向目标节点发送待处理文件的成功率。
参见图4,为本发明实施例提供的一种文件传输的过程的示例图;其中,主机可以向文件传输中间节点(中间节点)发送待处理文件,由中间节点根据文件对应关系二维表将待处理文件传输到开放端,由批量调度工具向开发端发送文件送达通知。具体流程如下:
步骤一:主机执行批量作业,使用FTP/SFTP或其他文件传输工具(如XCOM)将文件传输至文件传输中间节点上的主机文件临时目录。
步骤二:文件传输中间节点上部署的服务程序扫描主机文件临时目录,若扫描到文件则检索文件对应关系二维表,若该文件被登记在文件对应关系二维表上,则准备创建FTP/SFTP传输任务。
步骤三:根据文件对应关系二维表中的传输目标节点信息将文件发送至目标节点
步骤四:传输任务成功后,调用自研批量调度工具的Restful API通知文件已送达
步骤五:自研批量调度工具将文件送达通知转换为作业触发条件,触发目标节点的批量作业执行。
在一些实施例中,中间节点存放映射关系表,该映射关系表可以是文件对应关系二维表,表中包含了主机文件、开放文件以及开放端批量作业映射关系,该映射关系可以放在csv文件或数据库表中,如表1所示:
表1
在本发明实施例中,由于使用了中间节点与主机直连,因此,可以通过映射关系表维护主机、中间节点和目标节点的信息,如主机名、IP地址等。
例如,中间节点接收到主机端文件BATFILE.DATA.PARTA后,暂存在中间节点的主机文件临时目录,并最终发往目标节点HOSTA,文件路径为/home/batuser/file/data,文件名为data_a。
在本发明实施例中,为了排障时方便从开放端追溯到主机端源文件,二维表中记录主机端批量作业名、主机端文件名、开放端文件路径及文件名、开放端待触发的批量作业名。
例如,在开放端批量作业PROCRPT报错后,可以快速定位到文件report_a,如果需要还能够迅速定位到主机文件BATFILE.REPORT.PARTA及其对应的主机作业。
在一些实施例中,中间节点扫描接收主机端传输文件的指定路径,在主机文件到达后向目标节点发送文件。在本发明实施例中,主机批量作业将主机文件传输至中间节点的主机文件临时目录,为了便于管理临时目录可根据主机作业名或业务需求分类创建子目录。例如主机将BATFILE.DATA.PARTA传输至中间节点后,暂存在路径/home/batuser/tmp/batfile/data/mfbatjb1/下,文件名为parta。中间节点部署的服务程序会定时扫描这类主机文件临时目录,对照映射关系表,若文件到达,则创建SFTP或FTP任务向目标节点传输文件。若临时目录中有文件未登记在二维表中,则不会创建传输任务。
在一些实施例中,中间节点在文件成功传输至开放端目标节点后,调用自研批量调度工具的Restful API,通知文件到达。在本发明实施例中,传输任务成功后,中间节点部署的服务程序会调用自研批量调度工具的Restful API,通知批量调度工具,主机文件已传输至开放端目标节点。调度工具会将该通知转换为批量作业触发条件,触发后续作业运行。
具体的,文件发送成功的报文示例如下:
{
status:success,
mainframe_filename:BATFILE.DATA.PARTA,
mainframe_jobname:MFBATJB1,
linux_filename:/home/batuser/file/data/data_a,
linux_jobname:PROCDATA
}
在一些实施例中,主机端执行批量作业MFBATJB1将文件BATFILE.DATA.PARTA传输至中间节点,中间节点部署的服务程序扫描到该文件并调起传输任务将文件传输至HOSTA,然后发送HTTP请求调用调度工具的Restful API,通知调度工具PROCDATA作业依赖的文件已传输成功,调度工具接收该请求并标记PROCDATA作业的文件依赖条件已满足,待该作业其他依赖条件(如执行时间等)满足后,即可调起该作业执行。
与图1所述的方法相对应,本发明实施例还提供了一种文件处理装置,用于对图1中方法的具体实现,本发明实施例提供的文件处理装置可以应用于电子设备中,其结构示意图如图5所示,具体包括:
第一获取单元501,用于当检测到预设的主机执行第一批量作业所发送的待处理文件时,获取所述待处理文件的文件标识;
判断单元502,用于判断预设的映射关系表中是否记录所述文件标识;
第二获取单元503,用于若所述映射关系表中记录所述文件标识,则在所述映射关系表中获取所述文件标识对应的目标节点的目标节点信息;
传输单元504,用于根据所述目标节点信息向所述目标节点传输所述待处理文件;
通知单元505,用于在成功将待处理文件传输到所述目标节点的情况下,向所述目标节点发送文件送达通知,所述文件送达通知用于指示所述待处理文件对应的第二批量作业的文件依赖条件已满足,所述文件依赖条件为所述目标节点执行所述第二批量作业所依赖的条件。
应本发明实施例提供的装置,能够通过中间节点向目标节点转发待处理文件,并在成功向目标节点传输待处理文件后,向目标节点发送文件送达通知,可以避免目标节点在数据量较大的情况下,耗费大量的系统资源扫描待处理文件,并且目标节点中设置有映射关系表,在批量作业发生故障的情况下,可以通过映射关系表快速定位故障。
在本发明提供的一实施例中,基于上述的实施过程,具体的,所述判断单元,包括:
遍历子单元,用于遍历所述映射关系表中的主机文件标识;
第一判定子单元,用于若所述映射关系表中存在与所述文件标识一致的标识,则判定所述映射关系表中已记录所述文件标识;
第二判定子单元,用于若所述映射关系表中不存在与所述文件标识一致的主机文件标识,则判断所述映射关系表中未记录所述文件标识。
在本发明提供的一实施例中,基于上述的实施过程,具体的,还包括:
第三获取单元,用于当接收到所述目标节点发送的报错指令时,获取所述报错指令对应的报错文件标识;
确定单元,用于在所述映射关系表中确定所述报错文件标识对应的源端文件信息。
在本发明提供的一实施例中,基于上述的实施过程,具体的,还包括:
执行单元,用于在向所述目标节点传输所述待处理文件失败情况下,重新向所述目标节点传输所述待处理文件。
在本发明提供的一实施例中,基于上述的实施过程,具体的,还包括:
发送单元,用于若所述映射关系表中未记录所述文件标识,则发送文件处理异常通知。
上述本发明实施例公开的文件处理装置中的各个单元和模块具体的原理和执行过程,与上述本发明实施例公开的文件处理方法相同,可参见上述本发明实施例提供的文件处理方法中相应的部分,这里不再进行赘述。
本发明实施例还提供了一种存储介质,所述存储介质包括存储的指令,其中,在所述指令运行时控制所述存储介质所在的设备执行上述文件处理方法。
本发明实施例还提供了一种电子设备,其结构示意图如图6所示,具体包括存储器601,以及一个或者一个以上的指令602,其中一个或者一个以上指令602存储于存储器601中,且经配置以由一个或者一个以上处理器603执行所述一个或者一个以上指令602进行以下操作:
当检测到预设的主机执行第一批量作业所发送的待处理文件时,获取所述待处理文件的文件标识;
判断预设的映射关系表中是否记录所述文件标识;
若所述映射关系表中记录所述文件标识,则在所述映射关系表中获取所述文件标识对应的目标节点的目标节点信息;
根据所述目标节点信息向所述目标节点传输所述待处理文件;
在成功将待处理文件传输到所述目标节点的情况下,向所述目标节点发送文件送达通知,所述文件送达通知用于指示所述待处理文件对应的第二批量作业的文件依赖条件已满足,所述文件依赖条件为所述目标节点执行所述第二批量作业所依赖的条件。
需要说明的是,本说明书中的各个实施例均采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似的部分互相参见即可。对于装置类实施例而言,由于其与方法实施例基本相似,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
最后,还需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
为了描述的方便,描述以上装置时以功能分为各种单元分别描述。当然,在实施本发明时可以把各单元的功能在同一个或多个软件和/或硬件中实现。
通过以上的实施方式的描述可知,本领域的技术人员可以清楚地了解到本发明可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品可以存储在存储介质中,如ROM/RAM、磁碟、光盘等,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例或者实施例的某些部分所述的方法。
以上对本发明所提供的一种文件处理方法进行了详细介绍,本文中应用了具体个例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想;同时,对于本领域的一般技术人员,依据本发明的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本发明的限制。
Claims (10)
1.一种文件处理方法,其特征在于,所述包括:
当检测到预设的主机执行第一批量作业所发送的待处理文件时,获取所述待处理文件的文件标识;
判断预设的映射关系表中是否记录所述文件标识;
若所述映射关系表中记录所述文件标识,则在所述映射关系表中获取所述文件标识对应的目标节点的目标节点信息;
根据所述目标节点信息向所述目标节点传输所述待处理文件;
在成功将所述待处理文件传输到所述目标节点的情况下,向所述目标节点发送文件送达通知,所述文件送达通知用于指示出所述待处理文件对应的第二批量作业的文件依赖条件已满足,所述文件依赖条件为所述目标节点执行所述第二批量作业所依赖的条件。
2.根据权利要求1所述的方法,其特征在于,所述判断预设的映射关系表中是否记录所述文件标识,包括:
遍历所述映射关系表中的主机文件标识;
若所述映射关系表中存在与所述文件标识一致的主机文件标识,则判定所述映射关系表中已记录所述文件标识;
若所述映射关系表中不存在与所述文件标识一致的主机文件标识,则判断所述映射关系表中未记录所述文件标识。
3.根据权利要求1所述的方法,其特征在于,所述向所述目标节点发送文件送达通知之后,还包括:
当接收到所述目标节点发送的报错指令时,获取所述报错指令对应的报错文件标识;
在所述映射关系表中确定所述报错文件标识对应的源端文件信息。
4.根据权利要求1所述的方法,其特征在于,所述根据所述目标节点信息向所述目标节点传输所述待处理文件之后,还包括:
在向所述目标节点传输所述待处理文件失败情况下,重新向所述目标节点传输所述待处理文件。
5.根据权利要求1所述的方法,其特征在于,还包括:
若所述映射关系表中未记录所述文件标识,则发送文件处理异常通知。
6.一种文件处理装置,其特征在于,所述包括:
第一获取单元,用于当检测到预设的主机执行第一批量作业所发送的待处理文件时,获取所述待处理文件的文件标识;
判断单元,用于判断预设的映射关系表中是否记录所述文件标识;
第二获取单元,用于若所述映射关系表中记录所述文件标识,则在所述映射关系表中获取所述文件标识对应的目标节点的目标节点信息;
传输单元,用于根据所述目标节点信息向所述目标节点传输所述待处理文件;
通知单元,用于在成功将所述待处理文件传输到所述目标节点的情况下,向所述目标节点发送文件送达通知,所述文件送达通知用于指示出所述待处理文件对应的第二批量作业的文件依赖条件已满足,所述文件依赖条件为所述目标节点执行所述第二批量作业所依赖的条件。
7.根据权利要求6所述的装置,其特征在于,所述判断单元,包括:
遍历子单元,用于遍历所述映射关系表中的主机文件标识;
第一判定子单元,用于若所述映射关系表中存在与所述文件标识一致的标识,则判定所述映射关系表中已记录所述文件标识;
第二判定子单元,用于若所述映射关系表中不存在与所述文件标识一致的主机文件标识,则判断所述映射关系表中未记录所述文件标识。
8.根据权利要求6所述的装置,其特征在于,还包括:
第三获取单元,用于当接收到所述目标节点发送的报错指令时,获取所述报错指令对应的报错文件标识;
确定单元,用于在所述映射关系表中确定所述报错文件标识对应的源端文件信息。
9.根据权利要求6所述的装置,其特征在于,还包括:
执行单元,用于在向所述目标节点传输所述待处理文件失败情况下,重新向所述目标节点传输所述待处理文件。
10.根据权利要求6所述的装置,其特征在于,还包括:
发送单元,用于若所述映射关系表中未记录所述文件标识,则发送文件处理异常通知。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111507591.8A CN114168549A (zh) | 2021-12-10 | 2021-12-10 | 文件处理方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111507591.8A CN114168549A (zh) | 2021-12-10 | 2021-12-10 | 文件处理方法及装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN114168549A true CN114168549A (zh) | 2022-03-11 |
Family
ID=80485727
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111507591.8A Pending CN114168549A (zh) | 2021-12-10 | 2021-12-10 | 文件处理方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114168549A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114793232A (zh) * | 2022-04-01 | 2022-07-26 | 中国工商银行股份有限公司 | 业务处理方法、装置、电子设备及存储介质 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108491549A (zh) * | 2018-04-09 | 2018-09-04 | 深圳市茁壮网络股份有限公司 | 一种分布式存储系统中文件目录的创建方法及装置 |
CN112148676A (zh) * | 2019-06-26 | 2020-12-29 | 深圳市茁壮网络股份有限公司 | 一种文件访问请求处理方法、装置及服务器 |
CN112306965A (zh) * | 2020-10-02 | 2021-02-02 | 中盈优创资讯科技有限公司 | 数据写入存储方法、装置、设备和计算机可读存储介质 |
CN112953983A (zh) * | 2019-12-10 | 2021-06-11 | 中盈优创资讯科技有限公司 | Sftp传输方法及装置 |
CN113392085A (zh) * | 2021-06-11 | 2021-09-14 | 中国工商银行股份有限公司 | 一种分布式文件批量处理方法及平台 |
-
2021
- 2021-12-10 CN CN202111507591.8A patent/CN114168549A/zh active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108491549A (zh) * | 2018-04-09 | 2018-09-04 | 深圳市茁壮网络股份有限公司 | 一种分布式存储系统中文件目录的创建方法及装置 |
CN112148676A (zh) * | 2019-06-26 | 2020-12-29 | 深圳市茁壮网络股份有限公司 | 一种文件访问请求处理方法、装置及服务器 |
CN112953983A (zh) * | 2019-12-10 | 2021-06-11 | 中盈优创资讯科技有限公司 | Sftp传输方法及装置 |
CN112306965A (zh) * | 2020-10-02 | 2021-02-02 | 中盈优创资讯科技有限公司 | 数据写入存储方法、装置、设备和计算机可读存储介质 |
CN113392085A (zh) * | 2021-06-11 | 2021-09-14 | 中国工商银行股份有限公司 | 一种分布式文件批量处理方法及平台 |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114793232A (zh) * | 2022-04-01 | 2022-07-26 | 中国工商银行股份有限公司 | 业务处理方法、装置、电子设备及存储介质 |
CN114793232B (zh) * | 2022-04-01 | 2024-02-06 | 中国工商银行股份有限公司 | 业务处理方法、装置、电子设备及存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US7984334B2 (en) | Call-stack pattern matching for problem resolution within software | |
US6434605B1 (en) | Automatic detection and recovery for problems arising with interconnected queue managers | |
JP4494330B2 (ja) | ポリシ制御方法、装置及びプログラム | |
US7624309B2 (en) | Automated client recovery and service ticketing | |
CN101918922A (zh) | 用于计算机网络中的自动数据异常修正的系统和方法 | |
CN113238913A (zh) | 服务器故障智能推送方法、装置、设备及存储介质 | |
US9720776B2 (en) | Server system, method for controlling the same, and program for executing parallel distributed processing | |
US6836881B2 (en) | Remote tracing of data processing nodes in an asynchronous messaging network | |
CN111752696B (zh) | 一种基于rpc及线程锁的分布式定时任务调度方法 | |
CN111694797A (zh) | 一种文件上传及解析方法、装置、服务器及介质 | |
CN113452607A (zh) | 分布式链路采集的方法、装置、计算设备和存储介质 | |
CN114168549A (zh) | 文件处理方法及装置 | |
JP3872412B2 (ja) | 総合サービス管理システム及び方法 | |
US8103905B2 (en) | Detecting and recovering from process failures | |
JPH07104844B2 (ja) | 割込み方法 | |
CN108880873B (zh) | 一种应用于异构系统的事务补偿方法和装置 | |
CN112445519B (zh) | 文件变更控制方法、装置、设备及存储介质 | |
CN113672634A (zh) | 保单数据的校验方法、装置、设备及存储介质 | |
US8380729B2 (en) | Systems and methods for first data capture through generic message monitoring | |
CN110188008B (zh) | 作业调度主备切换方法、装置、计算机设备及存储介质 | |
CN114153583A (zh) | 任务状态管理方法、任务管理系统和任务调用系统 | |
CN110362464B (zh) | 软件分析方法及设备 | |
CN114168390A (zh) | 一种基于重试机制的分布式一致性事务执行方法 | |
KR20170127876A (ko) | 로그 결함 분석 기반 장애 대응 시스템 및 방법 | |
CN112596867A (zh) | 一种悬挂事务处理方法及一种分布式数据库系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |