CN115328979A - 一种数据自动处理系统及方法 - Google Patents
一种数据自动处理系统及方法 Download PDFInfo
- Publication number
- CN115328979A CN115328979A CN202210774484.XA CN202210774484A CN115328979A CN 115328979 A CN115328979 A CN 115328979A CN 202210774484 A CN202210774484 A CN 202210774484A CN 115328979 A CN115328979 A CN 115328979A
- Authority
- CN
- China
- Prior art keywords
- automatic
- script
- charge
- scheduling
- module
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012545 processing Methods 0.000 title claims abstract description 46
- 238000000034 method Methods 0.000 title claims abstract description 28
- 238000013515 script Methods 0.000 claims abstract description 55
- 230000008569 process Effects 0.000 claims abstract description 15
- 238000012550 audit Methods 0.000 claims abstract description 12
- 230000002159 abnormal effect Effects 0.000 claims description 6
- 238000003672 processing method Methods 0.000 claims description 4
- 230000006872 improvement Effects 0.000 description 7
- 239000000126 substance Substances 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 230000009466 transformation Effects 0.000 description 3
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000004806 packaging method and process Methods 0.000 description 1
- 238000002407 reforming Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/25—Integrating or interfacing systems involving database management systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/48—Program initiating; Program switching, e.g. by interrupt
- G06F9/4806—Task transfer initiation or dispatching
- G06F9/4843—Task transfer initiation or dispatching by program, e.g. task dispatcher, supervisor, operating system
- G06F9/4881—Scheduling strategies for dispatcher, e.g. round robin, multi-level priority queues
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/40—Business processes related to the transportation industry
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Business, Economics & Management (AREA)
- Databases & Information Systems (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Economics (AREA)
- Data Mining & Analysis (AREA)
- Human Resources & Organizations (AREA)
- Marketing (AREA)
- Primary Health Care (AREA)
- Strategic Management (AREA)
- Tourism & Hospitality (AREA)
- General Business, Economics & Management (AREA)
- Meter Arrangements (AREA)
Abstract
本发明提供一种数据自动处理系统及方法，涉及数据处理技术领域，包括：公共组件、业务模块和自动化调度模块；公共组件，用于统一日志记录组件、连接数据库组件及定义公共变量；业务模块，用于设置移动佣金出账脚本、固网业务佣金出账脚本和佣金自动稽核脚本；自动化调度模块，用于配置业务模块多个脚本的依赖关系，并对各脚本进行调度，完成自动化出账及自动化稽核。本发明通过对数据处理侧进行改造，规避了当前采用存储过程进行月度佣金出账对应用上云的影响，采用脚本进行数据自动处理和自动调度，解放人工，实现自动化出账，保障出账的及时性和准确性，实现自动化佣金出账。
Description
技术领域
本发明涉及数据处理技术领域，尤其是涉及一种数据自动处理系统及方法。
背景技术
云是中国电信转型升级的承载基础，应用上云的规划和实施，是中国电信云战略的重要组成。
中国电信要求所有应用都完成上云，建设统一的PaaS平台和开发运营一体化平台，全面支撑新系统上云和老系统迁移上云，打造全集团上云生态，提升业务交付上云速度。
渠道中心作为OLTP(联机事务处理)类系统进行上云改造，目前系统佣金出账采用存储过程处理，数据出错率高，人工投入大，且无法保障出账的及时性和准确性，同时上云改造要求不允许使用存储过程，因此需要进行改造。
发明内容
针对上述问题，本发明提供了一种数据自动处理系统及方法，采用脚本及调度模块，自动化调度脚本完成佣金出账处理过程，解放人工，实现自动化佣金出账，减少数据出错率，提高出账的及时性和准确性。
为实现上述目的，本发明公开了一种数据自动处理系统，包括：公共组件、业务模块和自动化调度模块；
所述公共组件，用于：
统一日志记录组件、连接数据库组件及定义公共变量；
所述业务模块，用于：
设置移动佣金出账脚本、固网业务佣金出账脚本和佣金自动稽核脚本；
所述自动化调度模块，用于：
配置所述业务模块多个脚本的依赖关系，并对各脚本进行调度，完成自动化出账及自动化稽核。
作为本发明的进一步改进，所述日志记录组件对基础日志进行全方位记录，包括脚本名称，脚本内容，执行时间，异常代码，错误行号，执行时长。
作为本发明的进一步改进，所述配置所述业务模块各脚本的依赖关系，包括：配置所述业务模块多个脚本之间的执行顺序。
作为本发明的进一步改进，所述自动化调度模块还用于设置定时任务，所述自动化调度模块根据定时任务调度完成自动化出账和自动化稽核。
本发明还提供了一种数据自动处理方法，包括：
输入系统参数，包括任务名称、处理业务数据日期和日志记录函数；
系统与数据库组件开启连接，根据所述处理业务数据日期获取业务数据；
自动调度模块根据任务名称及依赖关系依次调度各脚本；
各脚本根据所述业务数据进行出账或稽核处理，得到出账或稽核结果；
所述日志记录函数记录数据自动处理过程日志。
作为本发明的进一步改进，定义所述处理业务数据日期的格式；
在根据所述处理业务数据日期获取业务数据时，对多数处理业务数据日期的格式进行验证，若通过，则进行脚本调度；若不通过，则退出执行。
作为本发明的进一步改进，在所述自动化调度模块设置定时任务，所述自动调度模块根据定时任务的开始时间调度完成自动化出账和自动化稽核。
作为本发明的进一步改进，所述日志记录函数记录数据自动处理过程日志；包括：
记录脚本名称，脚本内容，执行时间，异常代码，错误行号，执行时长。
与现有技术相比，本发明的有益效果为：
通过对数据处理侧进行改造，规避了当前采用存储过程进行月度佣金出账对应用上云的影响，采用脚本进行数据自动处理和自动调度，解放人工，实现自动化出账，保障出账的及时性和准确性，实现自动化佣金出账。
附图说明
图1为本发明一种实施例公开的数据自动处理系统示意图；
图2为本发明一种实施例公开的数据自动处理方法流程图；
图3为本发明一种实施例公开的数据库连接执行程序示意图；
图4为本发明一种实施例公开的日志记录函数执行程序示意图；
图5为本发明一种实施例公开的定义时间格式及参数验证过程示意图；
图6为本发明一种实施例公开的设置定时任务自动调度处理过程示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
下面结合附图对本发明做进一步的详细描述：
如图1所示，本发明提供的一种数据自动处理系统，包括：公共组件、业务模块和自动化调度模块；
(1)公共组件，用于：
统一日志记录组件、连接数据库组件及定义公共变量；
其中，
统一日志记录组件、连接数据库组件及定义公共变量均属于封装公共组件，为后续业务模块处理提供支撑；
具体的，
日志记录组件对基础日志进行全方位记录，包括脚本名称，脚本内容，执行时间，异常代码，错误行号，执行时长。
(2)业务模块，用于：
设置移动佣金出账脚本、固网业务佣金出账脚本和佣金自动稽核脚本；
其中，
编写业务模块的各脚本，通过各脚本完成佣金出账。
(3)自动化调度模块，用于：
配置业务模块多个脚本的依赖关系，并对各脚本进行调度，完成自动化出账及自动化稽核。
其中，包括：
配置业务模块多个脚本之间的执行顺序；
通过执行顺序使多个脚本之间相互依赖，按照指定的顺序正确执行，完成出账和稽核。
进一步的，
自动化调度模块还用于设置定时任务，自动化调度模块根据定时任务调度完成自动化出账和自动化稽核。
如图2所示，本发明还提供了一种数据自动处理方法，包括：
S1、如图3所示，输入系统参数；
其中，包括：
任务名称、处理业务数据日期和日志记录函数；
进一步的，对于处理业务数据日期：
若处理昨日数据，则输入昨日的日期：
若处理上月的数据，则输入上月1号的日期；
具体的，
需定义处理业务数据日期的格式。
S2、如图3所示，系统与数据库组件开启连接，根据处理业务数据日期获取业务数据；
其中，
如图5所示，在根据处理业务数据日期获取业务数据时，对多数处理业务数据日期的格式进行验证，若通过，则进行脚本调度；若不通过，则退出执行。
S3、自动调度模块根据任务名称及依赖关系依次调度各脚本；
其中，
如图6所示，在自动化调度模块设置定时任务，自动调度模块根据定时任务的开始时间调度完成自动化出账和自动化稽核。
S4、各脚本根据业务数据进行出账或稽核处理，得到出账或稽核结果；
其中，
各脚本执行过程中日志记录函数记录执行情况。
S5、如图4所示，日志记录函数记录数据自动处理过程日志。
其中，
记录脚本名称，脚本内容，执行时间，异常代码，错误行号，执行时长。
本发明的优点：
本发明通过对数据处理侧进行改造，规避了当前采用存储过程进行月度佣金出账对应用上云的影响，采用脚本进行数据自动处理和自动调度，解放人工，实现自动化出账，保障出账的及时性和准确性，实现自动化佣金出账。
以上仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (8)
1.一种数据自动处理系统，其特征在于，包括：公共组件、业务模块和自动化调度模块；
所述公共组件，用于：
统一日志记录组件、连接数据库组件及定义公共变量；
所述业务模块，用于：
设置移动佣金出账脚本、固网业务佣金出账脚本和佣金自动稽核脚本；
所述自动化调度模块，用于：
配置所述业务模块多个脚本的依赖关系，并对各脚本进行调度，完成自动化出账及自动化稽核。
2.根据权利要求1所述的系统，其特征在于：所述日志记录组件对基础日志进行全方位记录，包括脚本名称，脚本内容，执行时间，异常代码，错误行号，执行时长。
3.根据权利要求1所述的系统，其特征在于：所述配置所述业务模块各脚本的依赖关系，包括：配置所述业务模块多个脚本之间的执行顺序。
4.根据权利要求1所述的系统，其特征在于：所述自动化调度模块还用于设置定时任务，所述自动化调度模块根据定时任务调度完成自动化出账和自动化稽核。
5.一种数据自动处理方法，基于如权利要求1～4任一项所述的系统，其特征在于，包括：
输入系统参数，包括任务名称、处理业务数据日期和日志记录函数；
系统与数据库组件开启连接，根据所述处理业务数据日期获取业务数据；
自动调度模块根据任务名称及依赖关系依次调度各脚本；
各脚本根据所述业务数据进行出账或稽核处理，得到出账或稽核结果；
所述日志记录函数记录数据自动处理过程日志。
6.根据权利要求5所述的方法，其特征在于：定义所述处理业务数据日期的格式；
在根据所述处理业务数据日期获取业务数据时，对多数处理业务数据日期的格式进行验证，若通过，则进行脚本调度；若不通过，则退出执行。
7.根据权利要求5所述的方法，其特征在于：在所述自动化调度模块设置定时任务，所述自动调度模块根据定时任务的开始时间调度完成自动化出账和自动化稽核。
8.根据权利要求5所述的方法，其特征在于：所述日志记录函数记录数据自动处理过程日志；包括：
记录脚本名称，脚本内容，执行时间，异常代码，错误行号，执行时长。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210774484.XA CN115328979A (zh) | 2022-07-01 | 2022-07-01 | 一种数据自动处理系统及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210774484.XA CN115328979A (zh) | 2022-07-01 | 2022-07-01 | 一种数据自动处理系统及方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115328979A true CN115328979A (zh) | 2022-11-11 |
Family
ID=83918072
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210774484.XA Pending CN115328979A (zh) | 2022-07-01 | 2022-07-01 | 一种数据自动处理系统及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115328979A (zh) |
-
2022
- 2022-07-01 CN CN202210774484.XA patent/CN115328979A/zh active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN102236672B (zh) | 一种数据导入方法及装置 | |
| CN101827346B (zh) | 一种计费系统自动测试方法及装置 | |
| CN109871309B (zh) | 一种计费系统测试案例生成方法和系统 | |
| CN108632047B (zh) | 一种资费数据的确定方法及装置 | |
| CN102831188A (zh) | 提醒信息设置方法及终端 | |
| US9430219B2 (en) | Revision safe upgrade in a hybrid cloud landscape | |
| CN110689417A (zh) | 一种基于账务体系的结算方法及系统、存储介质及终端 | |
| CN108830715A (zh) | 批量文件部分回盘处理方法和系统 | |
| CN112052653A (zh) | 一种报表附注信息的填写方法及财务机器人 | |
| CN102955739A (zh) | 一种提高性能测试脚本重用率的方法 | |
| EP2413279B1 (en) | Account reconciliation server | |
| CN113111125A (zh) | 一种基于区块链的业务存证方法 | |
| CN115328979A (zh) | 一种数据自动处理系统及方法 | |
| CN113868219A (zh) | 账套数据的迁移方法、装置、电子设备及计算机存储介质 | |
| US20070198927A1 (en) | Computer-implemented systems and methods for an automated application interface | |
| CN109324963B (zh) | 自动测试收益结果的方法及终端设备 | |
| CN112256978B (zh) | 一种基于数据模型的数据处理方法、装置、介质 | |
| CN110489398B (zh) | 一种不同财务系统批量财务数据迁移的方法及系统 | |
| CN114511314A (zh) | 一种支付账户管理的方法、装置、计算机设备和存储介质 | |
| CN114510497A (zh) | 一种变量加工方法、装置、设备及可读存储介质 | |
| CN108021389A (zh) | 一种Android中引入ARouter的方法及装置 | |
| US20080004827A1 (en) | Externalized metric calculation engine | |
| CN111179060A (zh) | 转账处理过程中的交易路径选择方法及装置 | |
| CN111488335A (zh) | 基于规则的数据自动修复方法及系统 | |
| CN116579866B (zh) | 一种基于Spark和Hadoop的数据对账方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |