CN107229466A - 用于企业分支机构进行业务开发的方法、系统和存储介质 - Google Patents

用于企业分支机构进行业务开发的方法、系统和存储介质 Download PDF

Info

Publication number
CN107229466A
CN107229466A CN201710308366.9A CN201710308366A CN107229466A CN 107229466 A CN107229466 A CN 107229466A CN 201710308366 A CN201710308366 A CN 201710308366A CN 107229466 A CN107229466 A CN 107229466A
Authority
CN
China
Prior art keywords
branch
data
batch processing
open system
processing operation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710308366.9A
Other languages
English (en)
Other versions
CN107229466B (zh
Inventor
陈浩忠
吴泽童
邱俊凌
范戈
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Construction Bank Corp
Original Assignee
China Construction Bank Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Construction Bank Corp filed Critical China Construction Bank Corp
Priority to CN201710308366.9A priority Critical patent/CN107229466B/zh
Publication of CN107229466A publication Critical patent/CN107229466A/zh
Application granted granted Critical
Publication of CN107229466B publication Critical patent/CN107229466B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F8/00Arrangements for software engineering
    • G06F8/30Creation or generation of source code
    • G06F8/31Programming languages or programming paradigms
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q40/00Finance; Insurance; Tax strategies; Processing of corporate or income taxes
    • G06Q40/02Banking, e.g. interest calculation or account maintenance

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Business, Economics & Management (AREA)
  • Accounting & Taxation (AREA)
  • Finance (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Economics (AREA)
  • Development Economics (AREA)
  • Computing Systems (AREA)
  • Marketing (AREA)
  • Strategic Management (AREA)
  • Technology Law (AREA)
  • General Business, Economics & Management (AREA)
  • Financial Or Insurance-Related Operations Such As Payment And Settlement (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本文公开了一种用于企业分支机构进行业务开发的方法、系统和存储介质。其中,用于企业分支机构进行业务开发的开放系统包括:卸数装数模块,执行企业总部标准数据的装载;批处理模块,按照设定的批处理顺序调度各分支机构所开发的数据处理作业对数据进行加工;数据管控模块,设定数据操作范围以使所述数据处理作业在设定的数据操作范围内进行;数据传输模块,将所述数据处理作业加工完成的结果文件传输至该数据处理作业对应的分支机构。根据本发明实施方式,通过开放系统为分支机构业务开发提供了另外一种实现方式,即总部实现平台功能,分支机构在此平台(即本文所述的开放系统)上开发特色功能,达到总分协同开发,满足分支机构特色需求的效果。

Description

用于企业分支机构进行业务开发的方法、系统和存储介质
技术领域
本发明涉及计算机数据处理技术,具体地,涉及一种用于企业分支机构进行业务开发的方法、系统和存储介质。
背景技术
目前针对银行分行的特色需求,一般采用两种方式:第一种是在总行系统实现分行的特色需求,另外一种是分行自己搭建特色系统。前者增加了总行系统的复杂度,且特色功能不具备推广性,客观上造成了总行系统日渐繁杂,难以维护;后者易产生数据割据,不利于大数据平台建设,且一定程度造成资源重复建设。
发明内容
为此,本发明实施方式一种用于企业分支机构进行业务开发的方法、系统和存储介质。
在本发明实施方式中,用于企业分支机构进行业务开发的开放系统可以包括:
卸数装数模块,执行企业总部标准数据的装载;
批处理模块,按照设定的批处理顺序调度各分支机构所开发的数据处理作业对数据进行加工;
数据管控模块,设定数据操作范围以使所述数据处理作业在设定的数据操作范围内进行;
数据传输模块,将所述数据处理作业加工完成的结果文件传输至该数据处理作业对应的分支机构。
相应地,根据本发明实施方式的在开放系统上企业分支机构进行业务开发的方法可以包括:
执行企业总部标准数据的装载;
按照设定的批处理顺序调度各分支机构所开发的数据处理作业在设定的数据操作范围内运行以对数据进行加工;
将所述数据处理作业加工完成的结果文件传输至该数据处理作业对应的分支机构。
此外,本发明实施方式还提供了一种计算机可读存储介质,其上存储有计算机可执行的指令,其中,该指令被处理器执行以实现本文任意一项实施方式所述的处理或方法中的全部或部分步骤。
根据本发明实施方式,通过开放系统为分支机构业务开发提供了另外一种实现方式,即总部实现平台功能,分支机构在此平台(即本文所述的开放系统)上开发特色功能,达到总分协同开发,满足分支机构特色需求的效果。
附图说明
图1是根据本发明实施方式的用于企业分支机构进行业务开发的开放系统的框图;
图2是根据本发明实施方式的在开放系统上企业分支机构进行业务开发的方法的流程图;
图3是根据本发明实施方式的房改开放区处理的总流程图;
图4是根据本发明实施方式的开放区的数据管控的整体架构图;
图5是根据本发明实施方式的开放区的动态数据查询的流程图;
图6是根据本发明实施方式的日志处理和同步的整体架构图。
具体实施方式
为了便于理解本发明技术方案的各个方面、特征以及优点,下面结合附图对本发明进行具体描述。应当理解,下述的各种实施方式只用于举例说明,而非用于限制本发明的保护范围。
图1示出了根据本发明实施方式的用于企业分支机构进行业务开发的开放系统。在本发明的一种实施方式中,所述开放系统可以包括,但不限于以下程序模块:
卸数装数模块1100,执行企业总部标准数据的装载;
批处理模块1200,按照设定的批处理顺序调度各分支机构所开发的数据处理作业对数据进行加工;
数据管控模块1300,设定数据操作范围以使所述数据处理作业在设定的数据操作范围内进行;
数据传输模块1400,将所述数据处理作业加工完成的结果文件传输至该数据处理作业对应的分支机构。
在本发明的可选实施方式中,所述卸数装数模块1100通过扫描第一系统向所述开放系统发送数据文件并按照文件类型调度装数逻辑完成企业总部标准数据的装载。其中,所述企业总部可包括银行总行,所述分支机构可包括银行分行,所述第一系统可包括银行个人信贷系统、房改金融系统。本领域技术人员应当理解,本发明不限于应用于银行领域,还可以应用于保险、证券、旅游等其他领域。
在本发明的可选实施方式中,所述批处理模块1200按照设定的批处理顺序调度各分支机构所开发的数据处理作业对数据进行加工可包括:将各分支机构提交的动态批处理任务登记到动态任务表,定时扫描所述动态任务表,将符合条件的批处理任务调起执行。可选地或附加地,所述批处理模块1200还可进行述操作:临时批处理任务的新增、调起的批处理任务的状态查询、跳过、终止、重启操作。相应地,所述数据传输模块1400将所述数据处理作业加工完成的结果文件传输至该数据处理作业对应的分支机构可包括:将所述批处理模块调起的批处理任务执行结束后生成的卸数文件发送至各分支机构各指定的节点。
在本发明的可选实施方式中,所述开放系统的数据库可以包括:公共数据库表和各分支机构的自有数据库表。其中,所述数据管控模块1300设定数据操作范围可包括:使各分支机构只能访问各自的自有数据库表和公共数据库表。可选地,对公共数据库表的访问可包括:按照各分支机构对公共数据库表进行分片,使各分支机构只能访问所属分片的数据。
在本发明的其他可选实施方式中,所述数据传输模块1400还将各分支机构的数据处理作业产生的日志传输给相应的分支机构。
图2示出了根据本发明实施方式的一种在开放系统上企业分支机构进行业务开发的方法。在本发明的一种实施方式中,所述方法可以包括:
2100.执行企业总部标准数据的装载;
2200.按照设定的批处理顺序调度各分支机构所开发的数据处理作业在设定的数据操作范围内运行以对数据进行加工;
2300.将所述数据处理作业加工完成的结果文件传输至该数据处理作业对应的分支机构。
根据本发明的一种可选实施方式,在步骤2100中,通过扫描第一系统向所述开放系统发送数据文件并按照文件类型调度装数逻辑完成所述企业总部标准数据的装载。作为选择,所述企业总部可包括银行总行,所述分支机构可包括银行分行,所述第一系统可包括银行个人信贷系统、房改金融系统。
根据本发明的一种可选实施方式,在步骤2200中,按照设定的批处理顺序调度各分支机构所开发的数据处理作业可以包括:将各分支机构提交的动态批处理任务登记到动态任务表,定时扫描所述动态任务表,将符合条件的批处理任务调起执行。此外,可选地,所述方法还包括执行下述操作:临时批处理任务的新增、调起的批处理任务的状态查询、跳过、终止、重启操作。根据本发明的另一可选实施方式,在步骤2300中,将所述数据处理作业加工完成的结果文件传输至该数据处理作业对应的分支机构可包括:将所述批处理模块调起的批处理任务执行结束后生成的卸数文件发送至各分支机构各指定的节点。
在本发明的可选实施方式中,所述开放系统的数据库可包括公共数据库表和各分支机构的自有数据库表。其中,所述方法还可包括设定数据操作范围,具体而言,所述设定数据操作范围可包括:使各分支机构只能访问各自的自有数据库表和公共数据库表。其中,对公共数据库表的访问包括:按照各分支机构对公共数据库表进行分片,使各分支机构只能访问所属分片的数据。
在本发明的其他可选实施方式中,所述方法还可包括:将各分支机构的数据处理作业产生的日志传输给相应的分支机构。
根据本发明的一种实施方式,提供了一种计算机可读存储介质,其上存储有计算机可执行的指令,该指令被处理器执行以进行下述操作或步骤:
执行企业总部标准数据的装载;
按照设定的批处理顺序调度各分支机构所开发的数据处理作业在设定的数据操作范围内运行以对数据进行加工;
将所述数据处理作业加工完成的结果文件传输至该数据处理作业对应的分支机构。
根据本发明的一种可选实施方式,所述指令被处理器执行以通过扫描第一系统向所述开放系统发送数据文件并按照文件类型调度装数逻辑完成所述企业总部标准数据的装载。其中,所述企业总部可包括银行总行,所述分支机构可包括银行分行,所述第一系统可包括银行个人信贷系统、房改金融系统。
根据本发明的另一可选实施方式,所述指令被处理器执行以通过下述方式按照设定的批处理顺序调度各分支机构所开发的数据处理作业:将各分支机构提交的动态批处理任务登记到动态任务表,定时扫描所述动态任务表,将符合条件的批处理任务调起执行。
根据本发明的另一可选实施方式,所述指令被处理器执行以还进行下述操作:临时批处理任务的新增、调起的批处理任务的状态查询、跳过、终止、重启操作。
根据本发明的另一可选实施方式,将所述数据处理作业加工完成的结果文件传输至该数据处理作业对应的分支机构包括:所述指令被处理器执行以将所述批处理模块调起的批处理任务执行结束后生成的卸数文件发送至各分支机构各指定的节点。
根据本发明的另一可选实施方式,所述开放系统的数据库可包括:公共数据库表和各分支机构的自有数据库表。并且,所述指令被处理器执行以设定数据操作范围,其中,所述设定数据操作范围可包括:使各分支机构只能访问各自的自有数据库表和公共数据库表。可选地,对公共数据库表的访问包括:按照各分支机构对公共数据库表进行分片,使各分支机构只能访问所属分片的数据。
根据本发明的另一可选实施方式,所述指令被处理器执行以将各分支机构的数据处理作业产生的日志传输给相应的分支机构。
根据本发明各种不同实施方式,通过开放系统为分支机构业务开发提供了另外一种实现方式,即总部实现平台功能,分支机构在此平台(即本文所述的开放系统)上开发特色功能,达到总分协同开发,满足分支机构特色需求的效果。下面以银行系统为例,对本发明提出的技术方案进行详细说明。
针对银行分行特色业务系统平台不统一、运维难度大、软件资产流失、规范不统一等缺陷,提出分行特色上收,建立房金业务开放区,即用于分行业务开发的开放系统。房金业务开放区是在P8平台(即中国建设银行新一代信息系统中产品服务J2EE平台(P8),P8在新一代七层架构中,与P6/P7一样处于产品服务层,P8平台采用基础数据变化捕获工具和文件传输工具,以准实时或定时批量模式将业务数据以增量或全量的方式同步到P9平台。)上,居于个贷、房改金融等业务系统的共性功能以外,为分行提供一个由分行开发、以满足分行特色业务需求的区域,拥有独立的数据库和应用节点。
房金业务开放区是作为个贷分行特色业务应用开发专用区域,结合房改业务形成统一的个人贷款相关整体数据应用开发区域,将个贷客户信息、个贷账户信息、个贷合作方信息、个人客户归集信息、公积金缴存信息、住房维修资金等信息统一存放,支持分行的特色个人贷款、房改相关业务实现的统一平台,支持分行在该平台上开发特色应用,获取文件处理结果并通过渠道下载到分行,在提升银行业务管理水平,增强业务风险防范及控制能力下满足分行的实际管理要求。
不同分行特色应用的开发和部署都集中在房金业务开放区上进行,为规避不同分行之间的操作风险,因此开放区特色平台需要提供一套数据管控组件,划定不同分行的数据操作范围,防止数据操作混乱。
分行开放区日志组件负责给分行应用组件输出日志,本组件基于开放框架的日志组件,通过配置文件的形式使用自定义的LogFactory(LogFactory即Log4j的日志工厂类,用于根据日志配置,生成应用日志)获取相应分行日志Log类,并通过日志级别的动态调整产生各分行不同级别日志文件。在本发明实施方式中,开放区处理的总流程如图3所示。
(1)分行开放区卸数装数
分行开放区卸数装数组件用于扫描房改金融组件、个贷组件(例如,中心端的中心数据库Oracle(甲骨文公司的一款关系数据库管理系统)、中心数据库DB2(DB2就是IBM开发的一种大型关系型数据库平台)等)向开放区发送的数据文件,并按照文件类型调度装数逻辑完成开发区总行标准数据的装载。
(2)数据管控
不同分行特色应用的开发和部署都集中在房金业务开放区上进行,为规避不同分行之间的操作风险,开放区特色平台提供一套数据管控组件,划定不同分行的数据操作范围,防止数据操作混乱。
具体地,为每一家分行建立一个Oracle数据库用户,对不同的用户分配不同的权限,分行用户只能访问自有数据库表和公共数据库表。对公共数据库表的访问是通过建立视图的方式来进行访问,并对公共数据按照分行来进行分片,通过视图来设置分行用户访问指定的数据分片,从而进行数据权限控制。分行自有数据则通过数据库用户来限定所属分行进行访问。
在开放区的开发平台中为每家分行配置不同数据库用户的数据源,要求分行特色应用开发只能使用分行数据源进行数据库访问,进而通过数据源来控制数据库的操作范围。
数据查询功能提供分行操作人员自定义SQL(结构化查询语言)语句查询数据库中的数据,该查询操作受到数据权限的控制,只能查询本分行所属的数据。平台服务根据交易报文中的分行号来分配不同的查询权限。结合数据权限控制,不同分行用户的操作将采用不同的数据源进行操作,通过数据库来控制数据权限。
在本发明的可选实施方式中,数据管控整体架构图如图4所示,开放区数据库共包括两部分资源:公共区数据和分行特色数据。其中,公共区数据是指由总行各个组件同步到开放区的数据,分行特色数据是指分行根据需要自行创建的数据库表。不同分行在数据库中使用不同的数据库用户,对公共数据通过建立数据库视图的方式,为不同分行的数据库用户分配分行所属数据的访问权限。同时授权分行用户对自有的分行数据库表有查询和更新权限。
数据库视图:针对公共区数据按分行进行分片,对每一张表建立视图,并将视图跟分行数据库用户关联起来,授权分行用户只能查询访问该分行所属分片的数据。
数据访问控制:通过Oracle数据对不同分行的用户进行授权,可以直接访问分行特色数据,公共区的数据只能通过数据库视图进行访问。
数据库访问组件:根据不同的分行配置不同数据库用户的数据源,限定分行特色应用开发采用分行自有的数据源,仅能查询分行所属的公共数据,查询和更新分行自有数据库表。
因分行运维需求,需要开放接口给分行查询数据库的能力,所以开放区提供了动态数据查询,如图5所示。开发动态数据查询界面,用户可以录入查询SQL进行分页查询(例如,但不限于,分页查询固定每页显示20条数据,以防止报文超长,SQL语句仅限于查询语句,禁止采用其它DDL关键字,禁止使用通配符查询,如select*),P2(中国建行新一代信息系统的P2平台即前端)界面上首先会进行SQL语句的校验,然后通过P4(中国建行新一代信息系统的P4平台即中间件平台)寻址调用P8的数据查询服务。P8上的动态数据查询服务在接收到P2页面提交的SQL语句后首先进行校验,防止数据的非法操作,限定只能做查询操作,然后根据交易报文中分行号选择对应的数据源进行数据库访问(禁止访问公共区数据实体表)。调用分页查询接口,将查询结果转换成JSON格式的字符串作为返回报文的一个字段返回到P2前端页面。
P2前端页面在接收到动态查询的结果报文,解析报文当中的JSON对象,在Grid(网格)组件中展示查询结果。
(3)批处理调度
批处理组件主要负责对房金业务开放区批处理任务提供支持,具体来说,批处理组件提供批处理任务的调度、执行、监控等三大部分功能,以满足房金业务开放区业务处理需要,各部分功能详细描述如下:
任务调度
房金业务开放区批处理任务统一采用周期定时方式,由quartz框架调起。其中,Quartz是OpenSymphony开源组织在Job scheduling领域又一个开源项目,它可以与J2EE与J2SE应用程序相结合也可以单独使用。
任务执行
批处理组件任务执行部分主要基于SpringBatch(一个轻量级的、完善的批处理框架,旨在帮助企业建立健壮、高效的批处理应用,提供了大量可重用的组件,包括了日志、追踪、事务、任务作业统计、任务重启、跳过、重复、资源管理。)及其自定义封装实现,提供如下领域对象(见表1):
表1
Job repository 用来持久化Job的元数据
Job launcher 用来启动Job
Job 一个批处理任务所需要完成的工作
Step Job的一个阶段,Job由一组Step构成
Item 从数据源读出或写入一条数据记录
Chunk 给定数量的Item的集合
Item Reader 从给定的数据源读取Item集合
Item Processor 在Item写入数据源之前进行数据处理
Item Writer 把Chunk中包含的Item写入数据源
任务执行的核心部件有Job、Step、JobLauncher和JobRepository等。JobLuncher用来运行一个Job,而JobRepository则用于完成Spring Batch本身的数据库访问,针对每个批处理任务配置一个Job,一个Job可以根据业务需求包含多个Step,其中,Step是批处理中一个基本步骤,包括了读数据、处理数据和写数据3个部分,可以由ItemReader、ItemProcessor和ItemWriter分别负责,也可以由一个Tasklet(Tasklet是Linux内核中可延迟执行机制、或中断下半部的一种)完成3个部分的操作。
批处理组件支持各分行以shell脚本(Shell脚本与Windows/Dos下的批处理相似,也就是用各类命令预先放入到一个文件中,方便一次性执行的一个程序文件,主要是方便管理员进行设置或者管理用)的形式提交动态批处理任务,所有分行提交的动态批处理任务都会登记在动态任务表中,批处理组件提供轮询程序定时扫描动态任务表,并将符合条件的批处理任务调起执行,任务执行结束后,批处理组件将shell脚本生成的卸数文件发往分行各指定节点,具体流程如下:
1.分行在测试环境提交shell脚本,批处理组件根据shell脚本生成MD5校验码,并同时将相关信息插入动态任务表,此时任务状态为“未审核”;
2.Shell脚本在测试环境通过测试之后,由分行人员在生产环境重新提交,此时处理过程与步骤1相同;
3.总行审核人员线下校验该shell脚本测试环境和生产环境生成的MD5校验码是否相同,如是则审核通过,否则审核不通过,并相应修改记录状态;
4.批处理组件定时轮询动态任务表,将状态为“审核通过”的动态任务调起执行;
5.动态任务执行完成后,由批处理组件调用文件卸数框架将生成文件发送至各分行指定BDE(即Inprise公司的数据库引擎,它结合了SQL Links允许程序员通过它能够连接到各种不同的数据库)节点。由于文件卸数框架是定时扫描指定目录下的指定文件,所以分行提交的shell脚本生成的卸数文件必须按照批处理组件规范命名,且在文件生成后,shell脚本需将文件拷贝至指定目录。
此外,批处理组件还提供监控页面及相应监控功能,包括临时批处理任务新增(含复核校验)、批处理任务执行状态查询、跳过、终止、重启等功能,以全面支持房金业务开放区批处理业务。
批处理组件对外接口主要用于批处理任务监控部分,包括以下接口(见表2):
表2
(3)日志处理和同步
分行开放区日志组件负责给分行应用组件输出日志,本组件基于开放框架的日志组件,通过配置文件的形式使用自定义的LogFactory获取相应分行日志Log类,并通过日志级别的动态调整产生各分行不同级别日志文件。
具体而言,作为一个例子,本组件提供功能包括:每家分行产生等级为debug、info、error三个日志文件,日志文件采用Rolling方法(Rolling是Log4j产生日志的术语,即根据配置每小时、或者每天生成一个日志文件)每小时生成新日志文件转存;用户可以通过界面输入时间间隔下载查看相应的日志文件;日志文件存储周期将受限制,采用定时任务进行删除应用服务器端日志文件,并且定时将日志文件通过BDE传送到分行指定BDE节点。
通过Log4j(Log4j是Apache的一个开源项目)日志配置文件,根据类路径为每家分行配置一个logger,每个logger引用Debug、Info、Error三个不同级别的FileAppender产生日志文件,各自使用自己的日志文件,便于管控。本组件输出采用DailyRollingFileAppender设置每小时转存新的日志文件。用户不需要过多地关心其他分行日志调用;日志下载功能主要是方便用户获取所需时间间隔内的相应日志文件,组件将使用新一代文件传输组件传输日志;日志文件存储周期将受限制,组件采用定时任务进行删除应用服务器端日志文件,并且定时将日志文件通过BDE传送到分行指定BDE节点。
如图6所示,每家分行配置一个logger,每个logger引用Debug、Info、Error三个不同级别的FileAppender产生日志文件,各分行使用自己的日志文件,存储于分行的日志文件中内。Appender的具体实现使用DailyRollingFile Appender,设置每小时转存新的日志文件。日志下载功能主要是方便用户获取所需时间间隔内的相应日志文件,组件将使用新一代文件传输组件传输日志;日志文件存储周期将受限制,组件采用定时任务进行删除应用服务器端日志,并且定时将日志文件通过BDE传送到分行指定BDE节点。
根据上述实施方式可知,采用本发明技术方案的房金业务开放区具有以下优点:
(1)开放区允许分行在上面开发自己的特色需求,拥有独立的应用和数据库服务器,不会对总行系统带来复杂度的增加和运维的压力。
(2)开放区全行只部署一套,所有的数据都集中在一起,不会造成重复建设等浪费。
(3)分行通过开放区,可以快速开发和释放自己的特色需求,不需要等待总行统一开发,加快了对分行特色需求的响应速度。
(4)开放区为分行特色开发提供了另外一种实现方式,即总行实现平台功能,分行在此平台上开发特色功能,达到总分行协同开发,满足分行特色需求的效果。
(5)开放区的数据管控,规避不同分行之间的操作风险,提供一套数据管控组件,划定不同分行的数据操作范围,防止数据操作混乱,同时限制分行针对公共数据的修改删除等写操作,保证开放区与源数据系统的一致性。
(6)批处理调度组件满足了分行多种调度方式的需求,同时支持批处理任务处理任务依赖关系的灵活配置,同时提供了批处理任务重跑,补跑,监控等功能。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到本发明可借助软件结合硬件平台的方式来实现。基于这样的理解,本发明的技术方案对背景技术做出贡献的全部或者部分可以以软件产品的形式体现出来,该计算机软件产品可以存储在存储介质中,如ROM/RAM、磁碟、光盘等,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例或者实施例的某些部分所述的方法。
本领技术人员应当理解,以上所公开的仅为本发明的实施方式而已,当然不能以此来限定本发明之权利范围,依本发明实施方式所作的等同变化,仍属本发明权利要求所涵盖的范围。

Claims (21)

1.一种用于企业分支机构进行业务开发的开放系统,其特征在于,所述开放系统包括:
卸数装数模块,执行企业总部标准数据的装载;
批处理模块,按照设定的批处理顺序调度各分支机构所开发的数据处理作业对数据进行加工;
数据管控模块,设定数据操作范围以使所述数据处理作业在设定的数据操作范围内进行;
数据传输模块,将所述数据处理作业加工完成的结果文件传输至该数据处理作业对应的分支机构。
2.如权利要求1所述的开放系统,其特征在于,所述卸数装数模块通过扫描第一系统向所述开放系统发送数据文件并按照文件类型调度装数逻辑完成企业总部标准数据的装载。
3.如权利要求2所述的开放系统,其特征在于,
所述企业总部包括银行总行,
所述分支机构包括银行分行,
所述第一系统包括银行个人信贷系统、房改金融系统。
4.如权利要求1所述的开放系统,其特征在于,所述批处理模块按照设定的批处理顺序调度各分支机构所开发的数据处理作业对数据进行加工包括:
将各分支机构提交的动态批处理任务登记到动态任务表,
定时扫描所述动态任务表,将符合条件的批处理任务调起执行。
5.如权利要求4所述的开放系统,其特征在于,所述批处理模块还执行下述操作:临时批处理任务的新增、调起的批处理任务的状态查询、跳过、终止、重启操作。
6.如权利要求4所述的开放系统,其特征在于,所述数据传输模块将所述数据处理作业加工完成的结果文件传输至该数据处理作业对应的分支机构包括:
将所述批处理模块调起的批处理任务执行结束后生成的卸数文件发送至各分支机构各指定的节点。
7.如权利要求1所述的开放系统,其特征在于,所述开放系统的数据库包括:公共数据库表和各分支机构的自有数据库表。
8.如权利要求7所述的开放系统,其特征在于,所述数据管控模块设定数据操作范围包括:
使各分支机构只能访问各自的自有数据库表和公共数据库表。
9.如权利要求8所述的开放系统,其特征在于,对公共数据库表的访问包括:
按照各分支机构对公共数据库表进行分片,
使各分支机构只能访问所属分片的数据。
10.如权利要求1所述的开放系统,其特征在于,所述数据传输模块还将各分支机构的数据处理作业产生的日志传输给相应的分支机构。
11.一种在开放系统上企业分支机构进行业务开发的方法,其特征在于,所述方法包括:
执行企业总部标准数据的装载;
按照设定的批处理顺序调度各分支机构所开发的数据处理作业在设定的数据操作范围内运行以对数据进行加工;
将所述数据处理作业加工完成的结果文件传输至该数据处理作业对应的分支机构。
12.如权利要求11所述的方法,其特征在于,通过扫描第一系统向所述开放系统发送数据文件并按照文件类型调度装数逻辑完成所述企业总部标准数据的装载。
13.如权利要求2所述的方法,其特征在于,
所述企业总部包括银行总行,
所述分支机构包括银行分行,
所述第一系统包括银行个人信贷系统、房改金融系统。
14.如权利要求11所述的方法,其特征在于,按照设定的批处理顺序调度各分支机构所开发的数据处理作业包括:
将各分支机构提交的动态批处理任务登记到动态任务表,
定时扫描所述动态任务表,将符合条件的批处理任务调起执行。
15.如权利要求14所述的方法,其特征在于,所述方法还包括执行下述操作:临时批处理任务的新增、调起的批处理任务的状态查询、跳过、终止、重启操作。
16.如权利要求14所述的方法,其特征在于,将所述数据处理作业加工完成的结果文件传输至该数据处理作业对应的分支机构包括:
将所述批处理模块调起的批处理任务执行结束后生成的卸数文件发送至各分支机构各指定的节点。
17.如权利要求11所述的方法,其特征在于,所述开放系统的数据库包括:公共数据库表和各分支机构的自有数据库表。
18.如权利要求17所述的方法,其特征在于,所述方法还包括设定数据操作范围,
其中,所述设定数据操作范围包括:使各分支机构只能访问各自的自有数据库表和公共数据库表。
19.如权利要求18所述的方法,其特征在于,对公共数据库表的访问包括:
按照各分支机构对公共数据库表进行分片,
使各分支机构只能访问所属分片的数据。
20.如权利要求1所述的方法,其特征在于,所述方法还包括:将各分支机构的数据处理作业产生的日志传输给相应的分支机构。
21.一种计算机可读存储介质,其上存储有计算机可执行的指令,其特征在于,该指令被处理器执行以实现权利要求11至20任意一项所述的方法的全部或部分步骤。
CN201710308366.9A 2017-05-04 2017-05-04 用于企业分支机构进行业务开发的方法、系统和存储介质 Active CN107229466B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710308366.9A CN107229466B (zh) 2017-05-04 2017-05-04 用于企业分支机构进行业务开发的方法、系统和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710308366.9A CN107229466B (zh) 2017-05-04 2017-05-04 用于企业分支机构进行业务开发的方法、系统和存储介质

Publications (2)

Publication Number Publication Date
CN107229466A true CN107229466A (zh) 2017-10-03
CN107229466B CN107229466B (zh) 2020-12-08

Family

ID=59934153

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710308366.9A Active CN107229466B (zh) 2017-05-04 2017-05-04 用于企业分支机构进行业务开发的方法、系统和存储介质

Country Status (1)

Country Link
CN (1) CN107229466B (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108734572A (zh) * 2018-05-29 2018-11-02 中国建设银行股份有限公司 冲还贷处理方法及相关装置
CN108762745A (zh) * 2018-05-25 2018-11-06 中国光大银行股份有限公司 业务的脚本生成方法及装置
CN109325045A (zh) * 2018-09-21 2019-02-12 中国银行股份有限公司 一种开立银行的方法及装置
CN110661854A (zh) * 2019-09-10 2020-01-07 中国建设银行股份有限公司 一种分行需求处理方法和装置
CN111882431A (zh) * 2020-08-04 2020-11-03 武汉众邦银行股份有限公司 一种基于nlp深度学习智能消息推送方法
CN112579320A (zh) * 2020-12-16 2021-03-30 中国建设银行股份有限公司 一种开放系统与zos系统之间的通信方法及装置

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1588865A (zh) * 2004-09-03 2005-03-02 杭州恒生电子股份有限公司 关联数据批处理的方法
CN101017546A (zh) * 2007-03-12 2007-08-15 中国建设银行股份有限公司 一种用于可分类数据批处理的方法及装置
US20080040249A1 (en) * 2006-01-20 2008-02-14 Jpmorgan Chase Bank, N.A. Method for transaction processing in a capture and deposit
CN101877109A (zh) * 2010-04-08 2010-11-03 苏州德融嘉信信用管理技术有限公司 基于网上银行业务平台的应用系统工具集
US8572547B1 (en) * 2007-05-04 2013-10-29 United Services Automobile Association (Usaa) Systems and methods for a development environment
CN105446807A (zh) * 2015-11-10 2016-03-30 中国建设银行股份有限公司 批处理方法及装置
CN105677465A (zh) * 2015-12-31 2016-06-15 中国建设银行股份有限公司 应用于银行跑批处理的数据处理方法及装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1588865A (zh) * 2004-09-03 2005-03-02 杭州恒生电子股份有限公司 关联数据批处理的方法
US20080040249A1 (en) * 2006-01-20 2008-02-14 Jpmorgan Chase Bank, N.A. Method for transaction processing in a capture and deposit
CN101017546A (zh) * 2007-03-12 2007-08-15 中国建设银行股份有限公司 一种用于可分类数据批处理的方法及装置
US8572547B1 (en) * 2007-05-04 2013-10-29 United Services Automobile Association (Usaa) Systems and methods for a development environment
CN101877109A (zh) * 2010-04-08 2010-11-03 苏州德融嘉信信用管理技术有限公司 基于网上银行业务平台的应用系统工具集
CN105446807A (zh) * 2015-11-10 2016-03-30 中国建设银行股份有限公司 批处理方法及装置
CN105677465A (zh) * 2015-12-31 2016-06-15 中国建设银行股份有限公司 应用于银行跑批处理的数据处理方法及装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
高小龙: "中国农业银行金融服务平台系统的设计与开发", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108762745A (zh) * 2018-05-25 2018-11-06 中国光大银行股份有限公司 业务的脚本生成方法及装置
CN108734572A (zh) * 2018-05-29 2018-11-02 中国建设银行股份有限公司 冲还贷处理方法及相关装置
CN109325045A (zh) * 2018-09-21 2019-02-12 中国银行股份有限公司 一种开立银行的方法及装置
CN109325045B (zh) * 2018-09-21 2021-09-28 中国银行股份有限公司 一种开立银行的方法及装置
CN110661854A (zh) * 2019-09-10 2020-01-07 中国建设银行股份有限公司 一种分行需求处理方法和装置
CN110661854B (zh) * 2019-09-10 2022-02-11 中国建设银行股份有限公司 一种分行需求处理方法和装置
CN111882431A (zh) * 2020-08-04 2020-11-03 武汉众邦银行股份有限公司 一种基于nlp深度学习智能消息推送方法
CN112579320A (zh) * 2020-12-16 2021-03-30 中国建设银行股份有限公司 一种开放系统与zos系统之间的通信方法及装置

Also Published As

Publication number Publication date
CN107229466B (zh) 2020-12-08

Similar Documents

Publication Publication Date Title
CN107229466A (zh) 用于企业分支机构进行业务开发的方法、系统和存储介质
EP2597573B1 (en) Test data generation
US10318501B2 (en) Systems and methods for assessing data quality
US7433887B2 (en) Method and apparatus for metadata driven business logic processing
US7836508B2 (en) Data masking application
JP2768433B2 (ja) 物理データベース設計システム
US8001521B2 (en) Meta-date driven implementation of business objects and their transactional behavior
US7917770B2 (en) Configurable data masking for software testing
CA2957674C (en) Testing insecure computing environments using random data sets generated from characterizations of real data sets
JP2010524060A (ja) 分散コンピューティングにおけるデータマージング
CN106503912A (zh) 一种数据服务系统
US7877417B2 (en) Method and apparatus for exchanging data with a database
US7627554B2 (en) Uniform financial reporting system interface utilizing staging tables having a standardized structure
US10929343B2 (en) System and method for prior period adjustment processing
CN110659999A (zh) 一种数据处理方法、装置及电子设备
US10474748B2 (en) Contextual natural language input processing in enterprise applications based on static and dynamic application parameters
US20200133941A1 (en) Multitenant architecture for prior period adjustment processing
US20110289041A1 (en) Systems and methods for managing assignment templates
US8229946B1 (en) Business rules application parallel processing system
Reagan et al. Web applications on Azure
US20040267773A1 (en) Generation of repeatable synthetic data
CN113515528B (zh) 基于大数据和oracle海量数据的资产筛选系统和方法
US20220019566A1 (en) System and method for integrating systems to implement data quality processing
Scalzo Database Benchmarking and Stress Testing
US20100071067A1 (en) Program for resource security in a database management system

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant