CN101378336B - 一种业务管理系统中批量文件的处理方法 - Google Patents

一种业务管理系统中批量文件的处理方法 Download PDF

Info

Publication number
CN101378336B
CN101378336B CN2008102165412A CN200810216541A CN101378336B CN 101378336 B CN101378336 B CN 101378336B CN 2008102165412 A CN2008102165412 A CN 2008102165412A CN 200810216541 A CN200810216541 A CN 200810216541A CN 101378336 B CN101378336 B CN 101378336B
Authority
CN
China
Prior art keywords
batch documents
processing
line
terminal
batch
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN2008102165412A
Other languages
English (en)
Other versions
CN101378336A (zh
Inventor
叶小伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
ZTE Corp
Original Assignee
ZTE Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ZTE Corp filed Critical ZTE Corp
Priority to CN2008102165412A priority Critical patent/CN101378336B/zh
Publication of CN101378336A publication Critical patent/CN101378336A/zh
Application granted granted Critical
Publication of CN101378336B publication Critical patent/CN101378336B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明涉及一种业务管理系统中批量文件的处理方法，所述业务管理系统包括数据库、业务处理机、终端，该方法为：对于每个批量文件，所述终端将其中的命令逐行发送给业务处理机，由其进行业务循环处理，同时记录下当前处理的批量文件名称及处理行数；在业务处理过程中，若业务处理环境发生异常，则在业务处理环境恢复正常后，所述终端根据记录的批量文件名称及处理行数查找对应批量文件的对应行，以此行为起点，继续逐行发送给业务处理机，由其进行业务循环处理。本发明保证了终端所获取的结果文件的完整性，且与业务处理机所形成的结果文件保持了一致性，保证形成的结果文件中的数据不重复，具有良好的可分析性。

Description

一种业务管理系统中批量文件的处理方法
技术领域
本发明涉及一种业务管理系统中批量文件的处理方法。
背景技术
在业务管理系统中，业务处理机具有对批量文件进行业务循环处理的功能，该功能给业务处理带来了非常大的便利。批量文件处理的要求很简单，就是对于终端上传的一系列文件，进行业务循环处理并形成结果文件。
目前，通用的一种简单的批量文件处理模式如附图1所示，其原理为：定时器触发批量文件开始执行后，终端将批量文件中的命令逐行发送给业务处理机，业务处理机对所接收到的命令进行业务循环处理，每处理完一条，就记录下处理结果，同时会将处理结果反馈给终端，终端最终会形成一个结果文件。这样就产生了两个结果文件：业务处理机所形成的结果文件和终端所形成的结果文件。
在业务处理过程中，业务处理环境可能会异常终止(如业务处理机或终端发生故障)，此时，在业务处理环境恢复正常时，终端会重新将批量文件逐行发送给业务处理机进行处理，这样，就可能有一部分行的命令被重复处理，终端所形成的结果文件中会出现数据重复问题，不便于用户进行分析处理。
发明内容
本发明所要解决的技术问题是提供一种业务管理系统中批量文件的处理方法，保证形成的结果文件中的数据不重复，具有良好的可分析性。
为解决上述技术问题，本发明是通过以下技术方案实现的：
一种业务管理系统中批量文件的处理方法，所述业务管理系统包括数据库、业务处理机、终端，该方法为：
对于每个批量文件，所述终端将其中的命令逐行发送给业务处理机，由其进行业务循环处理，同时记录下当前处理的批量文件名称及处理行数；
在业务处理过程中，若业务处理环境发生异常，则在业务处理环境恢复正常后，所述终端根据记录的批量文件名称及处理行数查找对应批量文件的对应行，以此行为起点，继续逐行发送给业务处理机，由其进行业务循环处理。
上述方法中，对于每个批量文件，终端将其中的命令逐行发送给业务处理机之前进行预处理：建立对应于该批量文件的初始的结果文件，在其中设置所述批量文件各行的默认处理结果；然后，将所述批量文件及结果文件存储于数据库中。
上述方法中，所述终端对批量文件进行预处理时，还对该批量文件中各行的合法性进行检验，根据检验结果对其中不合法的行进行标记；
同时，对于不合法的行，所述终端在结果文件中设置其默认处理结果为不合法，对于合法的行，在结果文件中设置其默认处理结果为未处理。
上述方法中，在每个批量文件的处理过程中，所述业务处理机每处理完一行命令，将其处理结果存储于数据库中对应于该批量文件的结果文件中；在该批量文件的处理完成后，终端从数据库中直接导出结果文件。
上述方法中，所述终端导出结果文件后，对其中的处理结果分类保存。
本发明具有以下有益效果：
1)对于每个批量文件，业务处理机每处理完一行命令后，将处理结果存储于数据库中的结果文件中，当此批量文件全部处理完后，终端直接从数据库中导出结果文件，这样保证了终端所获取的结果文件的完整性，且与业务处理机所形成的结果文件保持了一致性；
2)终端在向业务处理机每发送一行命令时就记录下当前处理的批量文件名称和处理行数，这样，若当业务处理环境异常终止时，则在业务处理环境恢复正常时，终端可根据记录内容从未处理行继续向业务处理机发送命令进行处理，这样避免了业务处理机进行不必要的重复处理，且所形成的结果文件中数据不重复，便于后续的分析处理。
附图说明
图1是现有技术中的批量文件的处理方法示意图；
图2是本发明实施例中批量文件的处理方法流程图。
具体实施方式
本发明的核心思想为：对现有的批量文件的处理流程进行优化，主要表现在两个方面：①对于每个批量文件，业务处理机每处理完一行命令后，将处理结果存储于数据库中的结果文件中，当此批量文件全部处理完后，终端直接从数据库中导出结果文件，这样保证了终端所获取的结果文件的完整性，且与业务处理机保持了一致性；②终端在向业务处理机每发送一行命令时就记录下当前处理的批量文件名称和处理行数，这样，若当业务处理环境异常终止时，则在业务处理环境恢复正常时，终端可根据记录内容从未处理行继续向业务处理机发送命令进行处理。
下面将结合附图及具体实施例对本发明作进一步描述：
请参阅图2，该图所示为本实施例中的批量文件的处理方法，具体包括以下步骤：
201、定时器触发，批量文件开始执行，初始化配置文件。
202、终端检查是否存在记录的批量文件名称及行数，如果存在，则转入步骤204；如果不存在，则转入步骤203。
203、对待处理的批量文件进行预处理：首先，对该批量文件中各行的合法性进行检验，根据检验结果对其中不合法的行进行标记；然后，建立对应于该批量文件的初始的结果文件，在其中设置所述批量文件各行的默认处理结果(对于不合法的行，默认处理结果为不合法；对于合法的行，默认处理结果为未处理)；最后，将所述批量文件及结果文件存储于数据库中。预处理之后进入204。
204、若终端未记录批量文件名称及行数，则将上述批量文件的第一行命令发送给业务处理机；若终端记录有批量文件名称及处理行数，则根据记录查找对应批量文件的对应行，以该行为起点，继续向业务处理机发送命令。
205、终端记录下当前发送给业务处理进行处理的行所属批量文件的名称，以及在该文件中的行数。
206、业务处理机对所接收到的命令进行业务处理，将处理结果保存于数据库中对应的结果文件中，并将该结果返回给终端。
207、终端接收到返回结果后判断当前批量文件是否处理完毕，若不是，则向业务处理机发送下一行命令，并转步骤205；若是，则进入步骤208。
208、终端从数据库中直接导出结果文件，并对其中的处理结果分类保存。
209、终端判断是否全部批量文件处理完毕，若不是，则进入下一个批量文件的处理过程，转203；若是，则结束该流程。
以上实施例仅用以说明本发明的技术方案而非限制，仅仅参照较佳实施例对本发明进行了详细说明。本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的精神和范围，均应涵盖在本发明的权利要求范围当中。

Claims (5)

1.一种业务管理系统中批量文件的处理方法，所述业务管理系统包括数据库、业务处理机、终端，其特征在于，该方法为：
对于每个批量文件，所述终端将其中的命令逐行发送给业务处理机，由其进行业务循环处理，同时所述终端记录下当前处理的批量文件名称及处理行数；
在业务处理过程中，若业务处理环境发生异常，则在业务处理环境恢复正常后，所述终端根据记录的批量文件名称及处理行数查找对应批量文件的对应行，以此行为起点，继续逐行发送给业务处理机，由其进行业务循环处理。
2.如权利要求1所述的业务管理系统中批量文件的处理方法，其特征在于，所述方法中，
对于每个批量文件，终端将其中的命令逐行发送给业务处理机之前进行预处理：建立对应于该批量文件的初始的结果文件，在其中设置所述批量文件各行的默认处理结果；然后，将所述批量文件及结果文件存储于数据库中。
3.如权利要求2所述的业务管理系统中批量文件的处理方法，其特征在于，所述终端对批量文件进行预处理时，还对该批量文件中各行的合法性进行检验，根据检验结果对其中不合法的行进行标记；
同时，对于不合法的行，所述终端在结果文件中设置其默认处理结果为不合法，对于合法的行，在结果文件中设置其默认处理结果为未处理。
4.如权利要求2或3所述的业务管理系统中批量文件的处理方法，其特征在于，在每个批量文件的处理过程中，所述业务处理机每处理完一行命令，将其处理结果存储于数据库中对应于该批量文件的结果文件中；在该批量文件的处理完成后，终端从数据库中直接导出结果文件。
5.如权利要求4所述的业务管理系统中批量文件的处理方法，其特征在于，所述终端导出结果文件后，对其中的处理结果分类保存。
CN2008102165412A 2008-09-24 2008-09-24 一种业务管理系统中批量文件的处理方法 Expired - Fee Related CN101378336B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN2008102165412A CN101378336B (zh) 2008-09-24 2008-09-24 一种业务管理系统中批量文件的处理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN2008102165412A CN101378336B (zh) 2008-09-24 2008-09-24 一种业务管理系统中批量文件的处理方法

Publications (2)

Publication Number Publication Date
CN101378336A CN101378336A (zh) 2009-03-04
CN101378336B true CN101378336B (zh) 2011-01-05

Family

ID=40421693

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2008102165412A Expired - Fee Related CN101378336B (zh) 2008-09-24 2008-09-24 一种业务管理系统中批量文件的处理方法

Country Status (1)

Country Link
CN (1) CN101378336B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107203531A (zh) * 2016-03-16 2017-09-26 阿里巴巴集团控股有限公司 一种文件处理方法和装置
CN107977206B (zh) * 2017-11-14 2020-11-27 北京思特奇信息技术股份有限公司 一种批量业务数据文件处理方法及装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1588865A (zh) * 2004-09-03 2005-03-02 杭州恒生电子股份有限公司 关联数据批处理的方法
CN1859355A (zh) * 2005-12-28 2006-11-08 华为技术有限公司 一种对批量业务进行处理的方法
CN101179393A (zh) * 2006-12-14 2008-05-14 腾讯科技（深圳）有限公司 一种实现文件断点续传的方法及系统

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1588865A (zh) * 2004-09-03 2005-03-02 杭州恒生电子股份有限公司 关联数据批处理的方法
CN1859355A (zh) * 2005-12-28 2006-11-08 华为技术有限公司 一种对批量业务进行处理的方法
CN101179393A (zh) * 2006-12-14 2008-05-14 腾讯科技（深圳）有限公司 一种实现文件断点续传的方法及系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
JP特开2007-179304A 2007.07.12
宋少华等.一种面向文件传输领域应用服务器的设计.《计算机与现代化》.2006,(第134期),105-107,111. *

Also Published As

Publication number Publication date
CN101378336A (zh) 2009-03-04

Similar Documents

Publication Publication Date Title
CN101782919B (zh) 一种网页表单数据输出方法、装置及表单处理系统
US7624118B2 (en) Data processing over very large databases
CN107704539B (zh) 大规模文本信息批量结构化的方法及装置
CN106528275A (zh) 数据任务的处理方法及任务调度器
CN101221530B (zh) 一种测试用例自动导入方法
CN102012896B (zh) 一种实现文件内容批量修改的方法和装置
CN101158954B (zh) 一种在计算机存储中识别重复数据的方法
CN102467516A (zh) 设备控制过程中的日志记录方法、装置及系统
CN104317601B (zh) 一种文件接口开发方法及系统
CN102045268B (zh) 一种电子邮件数据恢复方法及装置
CN101673266A (zh) 音频、视频内容的搜索方法
CN102663067B (zh) 一种基于Linux操作系统终端的文件打开方法
CN109145040A (zh) 一种基于双消息队列的数据治理方法
CN105045905B (zh) 一种基于全文检索的日志维护方法及系统
CN102546730A (zh) 数据处理方法、装置及系统
EP3373162B1 (en) Data persistence method and system in stream computing
CN103177022A (zh) 一种恶意文件搜索方法及装置
CN105159820A (zh) 一种系统日志数据传输方法及装置
CN101378336B (zh) 一种业务管理系统中批量文件的处理方法
CN107959587A (zh) 基于海量文件的处理结果日志合并装置及方法
CN111427917A (zh) 搜索数据处理方法及相关产品
CN104104724A (zh) 用于客户端的操作方式的推送方法和通讯系统
CN108683643B (zh) 一种基于流式处理的数据脱敏系统及其脱敏方法
CN100576182C (zh) 计算机文件的实时监控系统和方法
CN105631032A (zh) 基于抽象语义推荐的问答知识库建立方法、装置及系统

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20110105

Termination date: 20160924