CN108363617B - 一种ssr上的离线清单异步导入方法 - Google Patents

一种ssr上的离线清单异步导入方法 Download PDF

Info

Publication number
CN108363617B
CN108363617B CN201810007634.8A CN201810007634A CN108363617B CN 108363617 B CN108363617 B CN 108363617B CN 201810007634 A CN201810007634 A CN 201810007634A CN 108363617 B CN108363617 B CN 108363617B
Authority
CN
China
Prior art keywords
task
processing
import
offline list
asynchronous
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810007634.8A
Other languages
English (en)
Other versions
CN108363617A (zh
Inventor
徐飞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhengzhou Yunhai Information Technology Co Ltd
Original Assignee
Zhengzhou Yunhai Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhengzhou Yunhai Information Technology Co Ltd filed Critical Zhengzhou Yunhai Information Technology Co Ltd
Priority to CN201810007634.8A priority Critical patent/CN108363617B/zh
Publication of CN108363617A publication Critical patent/CN108363617A/zh
Application granted granted Critical
Publication of CN108363617B publication Critical patent/CN108363617B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/48—Program initiating; Program switching, e.g. by interrupt
    • G06F9/4806—Task transfer initiation or dispatching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/23—Updating
    • G06F16/2372—Updates performed during offline database operations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明提供一种SSR上的离线清单异步导入方法，涉及任务调度、任务分片处理技术，本发明通过将程序管控离线清单进行异步导入；在SSR集中管理平台中导入程序管控离线清单时，系统不会立即执行导入操作，而是生成一条任务记录，告知用户将在系统空闲时执行导入操作；异步任务框架会每隔一段时间扫描待处理的任务记录，并将记录锁定进行执行。结合SSR的特点对程序管控离线清单实现异步导入，导入过程用户不可感知，避免了用户长时间等待。

Description

一种SSR上的离线清单异步导入方法
技术领域
本发明涉及任务调度、任务分片处理技术，尤其涉及一种SSR上的离线清单异步导入方法。
背景技术
由于离线导入清单文件一般较大，实时处理文件的效率问题成为瓶颈，而系统对于此部分数据的实时性要求不高，因此可以采用异步的方式，优化用户感知。任务调度可以保证任务在系统空闲时进行导入操作，避免实时导入对系统性能的消耗，避免对其他业务产生影响，将任务分片处理，减少每次处理的数据量，减少数据库长事务，减轻对数据库性能的影响。
发明内容
为了解决以上技术问题，本发明提出了一种SSR上的离线清单异步导入方法。通过将程序管控离线清单进行异步导入，来解决SSR集中管理平台离线清单导入效率低导致的超时和用户感知不良等问题。
本发明的技术方案是：
一种SSR上的离线清单异步导入方法：
针对离线清单导入任务处理流程：
1)将文件解密后生成明文保存到文件服务器；
2)读取解密后的文件记载到数据库离线清单缓存表中；
3)分批处理离线清单缓存数据，每一百条处理一次，处理成功后更新任务中的成功失败数量以及异常信息，直至所有数据处理完成；
4)任务处理结束删除明文文件；
5)用户在页面查询自己提交的任务并查看进度和详细信息。
异步导入模块分为三部分：
第一部分是任务创建，用户在页面选择文件后，系统将用户输入保存到异步任务中，提示用户任务已创建，系统将在空闲时进行导入处理。
第二部分是任务调度，进程每隔一段时间扫描任务表，查找状态为待处理的任务，查找后进行任务锁定，此处需要独立事务，锁定后执行任务处理。
第三部分是任务处理，调度进程会根据不同的任务名称和任务类型调用不同的处理方法，针对离线清单导入的处理需要先将文件解密保存，然后将明文加载到数据库中，每次读取一百条数据进行导入处理。
本发明的有益效果是
任务调度可以保证任务在系统空闲时进行导入操作，避免实时导入对系统性能的消耗，避免对其他业务产生影响，将任务分片处理，减少每次处理的数据量，减少数据库长事务，减轻对数据库性能的影响。
附图说明
图1是本发明的工作流程图。
具体实施方式
下面对本发明的内容进行更加详细的阐述：
本发明通过将程序管控离线清单进行异步导入，来解决SSR集中管理平台离线清单导入效率低导致的超时和用户感知不良等问题。
异步导入模块分为三部分：
第一部分是任务创建，用户在页面选择文件后，系统将用户输入保存到异步任务中，提示用户任务已创建，系统将在空闲时进行导入处理。
第二部分是任务调度，进程每隔一段时间扫描任务表，查找状态为待处理的任务，查找后进行任务锁定，此处需要独立事务，锁定后执行任务处理。
第三部分是任务处理，调度进程会根据不同的任务名称和任务类型调用不同的处理方法，针对离线清单导入的处理需要先将文件解密保存，然后将明文加载到数据库中，每次读取一百条数据进行导入处理。

Claims (2)

1.一种SSR上的离线清单异步导入方法，其特征在于，
通过将程序管控离线清单进行异步导入；在SSR集中管理平台中导入程序管控离线清单时，系统不会立即执行导入操作，而是生成一条任务记录，告知用户将在系统空闲时执行导入操作；异步任务框架会每隔一段时间扫描待处理的任务记录，并将记录锁定进行执行；
针对离线清单导入任务处理流程：
1)将文件解密后生成明文保存到文件服务器；
2)读取解密后的文件记载到数据库离线清单缓存表中；
3)分批处理离线清单缓存数据，每一百条处理一次，处理成功后更新任务中的成功失败数量以及异常信息，直至所有数据处理完成；
4)任务处理结束删除明文文件；
5)用户在页面查询自己提交的任务并查看进度和详细信息。
2.根据权利要求1所述的方法，其特征在于，
主要分为三部分：
第一部分是任务创建，用户在页面选择文件后，系统将用户输入保存到异步任务中，提示用户任务已创建，系统将在空闲时进行导入处理；
第二部分是任务调度，进程每隔一段时间扫描任务表，查找状态为待处理的任务，查找后进行任务锁定，此处需要独立事务，锁定后执行任务处理；
第三部分是任务处理，调度进程会根据不同的任务名称和任务类型调用不同的处理方法，针对离线清单导入的处理需要先将文件解密保存，然后将明文加载到数据库中，每次读取一百条数据进行导入处理。
CN201810007634.8A 2018-01-04 2018-01-04 一种ssr上的离线清单异步导入方法 Active CN108363617B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810007634.8A CN108363617B (zh) 2018-01-04 2018-01-04 一种ssr上的离线清单异步导入方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810007634.8A CN108363617B (zh) 2018-01-04 2018-01-04 一种ssr上的离线清单异步导入方法

Publications (2)

Publication Number Publication Date
CN108363617A CN108363617A (zh) 2018-08-03
CN108363617B true CN108363617B (zh) 2021-06-22

Family

ID=63010749

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810007634.8A Active CN108363617B (zh) 2018-01-04 2018-01-04 一种ssr上的离线清单异步导入方法

Country Status (1)

Country Link
CN (1) CN108363617B (zh)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101119408A (zh) * 2007-08-16 2008-02-06 中兴通讯股份有限公司 一种实现接口数据一致性的接口、方法及通信系统
CN101710411A (zh) * 2009-12-01 2010-05-19 中国建设银行股份有限公司 一种实时任务处理方法及其设备
US7921416B2 (en) * 2006-10-20 2011-04-05 Yahoo! Inc. Formal language and translator for parallel processing of data
CN102253860A (zh) * 2011-07-13 2011-11-23 深圳市万兴软件有限公司 一种异步操作方法及异步操作管理装置
CN103218449A (zh) * 2013-04-26 2013-07-24 中国农业银行股份有限公司 报表日间操作异步处理方法与系统
CN105069149A (zh) * 2015-08-24 2015-11-18 电子科技大学 一种面向结构化列式数据的分布式并行数据导入方法
CN105389209A (zh) * 2015-12-25 2016-03-09 中国建设银行股份有限公司 一种异步批量任务处理方法及系统
CN105700958A (zh) * 2016-01-07 2016-06-22 北京京东尚科信息技术有限公司 一种任务自动拆分以及子任务并行执行的方法及其系统

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7921416B2 (en) * 2006-10-20 2011-04-05 Yahoo! Inc. Formal language and translator for parallel processing of data
CN101119408A (zh) * 2007-08-16 2008-02-06 中兴通讯股份有限公司 一种实现接口数据一致性的接口、方法及通信系统
CN101710411A (zh) * 2009-12-01 2010-05-19 中国建设银行股份有限公司 一种实时任务处理方法及其设备
CN102253860A (zh) * 2011-07-13 2011-11-23 深圳市万兴软件有限公司 一种异步操作方法及异步操作管理装置
CN103218449A (zh) * 2013-04-26 2013-07-24 中国农业银行股份有限公司 报表日间操作异步处理方法与系统
CN105069149A (zh) * 2015-08-24 2015-11-18 电子科技大学 一种面向结构化列式数据的分布式并行数据导入方法
CN105389209A (zh) * 2015-12-25 2016-03-09 中国建设银行股份有限公司 一种异步批量任务处理方法及系统
CN105700958A (zh) * 2016-01-07 2016-06-22 北京京东尚科信息技术有限公司 一种任务自动拆分以及子任务并行执行的方法及其系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
分布式非事务列式存储引擎的设计与实现;甘茂然;《万方平台》;20151203;全文 *

Also Published As

Publication number Publication date
CN108363617A (zh) 2018-08-03

Similar Documents

Publication Publication Date Title
CN110309218B (zh) 一种数据交换系统和数据写入方法
CN106649828B (zh) 一种数据查询方法及系统
US8620946B2 (en) Storage and searching of temporal entity information
US8473955B2 (en) Reducing processing overhead and storage cost by batching task records and converting to audit records
CN111506556A (zh) 一种多源异构的结构化数据同步方法
CN106919697B (zh) 一种将数据同时导入多个Hadoop组件的方法
CN105630934A (zh) 一种数据统计方法及系统
CN109389299A (zh) 工作流流程部署方法、装置、计算机设备和存储介质
CN104317957A (zh) 一种报表处理的开放平台、系统及报表处理方法
CN111784318A (zh) 数据处理方法、装置、电子设备及存储介质
US20230418879A1 (en) System and method of data transformation
CN106874343B (zh) 一种时序数据库的数据删除方法及系统
CN111753015B (zh) 支付清算系统的数据查询方法及装置
CN106919566A (zh) 一种基于海量数据的查询统计方法及系统
CN108363617B (zh) 一种ssr上的离线清单异步导入方法
US8229946B1 (en) Business rules application parallel processing system
CN114610803A (zh) 一种数据处理方法、装置、电子设备和存储介质
CN115033646A (zh) 一种基于Flink&Doris构建实时数仓系统的方法
CN111259082B (zh) 大数据环境下实现全量数据同步的方法
CN111125047B (zh) 冷热数据目录识别方法及装置
CN111125045B (zh) 一种轻量级etl处理平台
CN109063201B (zh) 一种基于混合存储方案的impala在线交互式查询方法
CN109344145B (zh) 一种基于数据标准规范的数据清洗方法、装置和系统
CN111241191A (zh) 一种数据库的同步方法及装置
CN115544096B (zh) 数据查询方法、装置、计算机设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant