CN104317963A - 一种数据处理方法及装置 - Google Patents

一种数据处理方法及装置 Download PDF

Info

Publication number
CN104317963A
CN104317963A CN201410647921.7A CN201410647921A CN104317963A CN 104317963 A CN104317963 A CN 104317963A CN 201410647921 A CN201410647921 A CN 201410647921A CN 104317963 A CN104317963 A CN 104317963A
Authority
CN
China
Prior art keywords
identifier
record
data
tables
deletion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201410647921.7A
Other languages
English (en)
Other versions
CN104317963B (zh
Inventor
黄海明
罗烨敏
莫婷婷
吴志浩
倪洁琼
王学益
吴双
陈柏年
张志辉
陈晓燕
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Construction Bank Corp
Original Assignee
China Construction Bank Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Construction Bank Corp filed Critical China Construction Bank Corp
Priority to CN201410647921.7A priority Critical patent/CN104317963B/zh
Publication of CN104317963A publication Critical patent/CN104317963A/zh
Application granted granted Critical
Publication of CN104317963B publication Critical patent/CN104317963B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/23Updating
    • G06F16/2379Updates performed during online database operations; commit processing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22Indexing; Data structures therefor; Storage structures
    • G06F16/2282Tablespace storage structures; Management thereof
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/23Updating
    • G06F16/2379Updates performed during online database operations; commit processing
    • G06F16/2386Bulk updating operations
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/23Updating
    • G06F16/2393Updating materialised views

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

一种单表双视图机制的数据处理方法和装置,包括:在日终批量作业之前,为数据表的所有记录分配第一标识符;在日终批量作业中,当更新记录时,复制更新前的记录,将复制的更新前的记录对应的标识符由第一标识符更新为第二标识符,并执行更新记录操作,将更新后的记录对应的标识符由第一标识符更新为第三标识符;当插入记录时,执行插入记录操作,为插入后的记录分配第三标识符;当删除记录时,复制删除前的记录,将复制的删除前的记录对应的标识符由第一标识符更新为第二标识符,并执行删除记录操作;基于数据表创建第一视图和第二视图,第一视图包括第一标识符和第二标识符对应的记录;所述第二视图包括第一标识符和第三标识符对应的记录。

Description

一种数据处理方法及装置
技术领域
本发明涉及数据处理技术,尤其涉及一种数据处理方法及装置。
背景技术
银行7x24机制是指在日终批量作业过程中保持不间断的联机作业交易,从而为用户提供7x24小时连续服务,其中,如何在日终批量作业过程中区分day1数据和day2数据是银行7x24机制中的关键问题。
目前,国内银行的银行7x24机制的解决方案多采用双表存储机制,例如兴业银行股份有限公司(中国专利申请:200310116036.8)中的实现银行不间断服务的数据处理方法和系统,以及中国工商银行股份有限公司(中国专利申请:200510132633.9)的一种实现连续服务的数据处理方法和系统,上述两种方案都是采用双表独立存储day1数据和day2数据对应供日终批量作业及联机作业独立使用,其中,第一种方案在日终批量作业结束后,在双表数据合并过程中(称为补账),系统处于停顿状态,对外的服务处于“断点”,将导致核心银行系统本身,以及和核心银行系统相联系的各类对外的自助设备停止对外服务,不能做到7×24小时连续服务,第二种方案虽然可以避免上述问题,但由于全程采用双表存储,在一定程度上增加了一倍的数据资源,对系统的消耗增加巨大。
相比之下,目前银行系统的单表存储双记录存储机制不被广泛使用,由于该机制在表结构上设计复杂,一个数据表的数据需要同时区分day1数据和day2数据,普通的做法是从业务逻辑上区分,例如账户余额,表结构中会采用当日余额及上日余额的字段来区分,这使得双记录产生过程需要优化每个业务处理程序,额外增加程序逻辑处理双记录的数据生成,同时在日终批量作业结束后,对day1数据和day2数据的清除与合并也需要考虑业务逻辑,整体难度大且容易出错。
发明内容
本发明实施例提供了一种单表双视图机制的数据处理方法和装置,可解决双表存储机制的高消耗以及数据合并过程中“断点”问题,同时可避免单表存储双记录存储机制中复杂的业务逻辑设计。
本发明实施例的第一方面提供一种数据处理方法,用于对银行系统数据库中存放业务数据的数据表进行处理,包括:
在日终批量作业之前,为数据表的所有记录分配第一标识符;
在日终批量作业中,联机作业对所述数据表的修改情形包括更新记录、插入记录和删除记录;当所述联机作业更新记录时,在所述数据表中复制更新前的记录,将所述复制的更新前的记录对应的标识符由第一标识符更新为第二标识符,并在所述数据表中执行更新记录操作,将更新后的记录对应的标识符由第一标识符更新为第三标识符;当所述联机作业插入记录时,在所述数据表中执行插入记录操作,为插入后的记录分配第三标识符;当所述联机作业删除记录时,在所述数据表中复制删除前的记录,将所述复制的删除前的记录对应的标识符由第一标识符更新为第二标识符,并在所述数据表中执行删除记录操作;
基于所述数据表创建第一视图和第二视图,所述第一视图包括所述第一标识符和第二标识符对应的所述记录;所述第二视图包括所述第一标识符和第三标识符对应的所述记录。
可选地,在所述日终批量作业结束后,在所述数据表中删除所述第二标识符对应的记录,并将所述第三标识符更新为第一标识符。
可选地,为所述数据表的增加字段,所述字段的取值包括所述第一标识符、第二标识符和第三标识符。
可选地,所述字段的名称为image,所述第一标识符为空值。
本发明实施例第二方面提供了一种数据处理装置,用于对银行系统数据库中存放业务数据的数据表进行处理,包括:
分配单元,用于在日终批量作业之前,为数据表的所有记录分配第一标识符;
修改处理单元,用于在日终批量作业中,联机作业对所述数据表的修改情形包括更新记录、插入记录和删除记录;当所述联机作业更新记录时,在所述数据表中复制更新前的记录,将所述复制的更新前的记录对应的标识符由第一标识符更新为第二标识符,并在所述数据表中执行更新记录操作,将更新后的记录对应的标识符由第一标识符更新为第三标识符;当所述联机作业插入记录时,在所述数据表中执行插入记录操作,为插入后的记录分配第三标识符;当所述联机作业删除记录时,在所述数据表中复制删除前的记录,将所述复制的删除前的记录对应的标识符由第一标识符更新为第二标识符,并在所述数据表中执行删除记录操作;
视图创建单元,用于基于修改后的数据表创建第一视图和第二视图,所述第一视图包括所述第一标识符和第二标识符对应的所述记录;所述第二视图包括所述第一标识符和第三标识符对应的所述记录。
可选地,所述装置还包括:
数据合并单元,用于在所述日终批量作业结束后,在所述数据表中删除所述第二标识符对应的记录,并将所述第三标识符更新为第一标识符。
可选地,所述装置还包括:
字段增加单元,用于为所述数据表的增加字段,所述字段的取值包括所述第一标识符、第二标识符和第三标识符。
可选地,所述字段的名称为image,所述第一标识符为空值。
本发明实施例提供的技术方案中,采用单表物理结构存放业务数据,在日终批量作业之前,为数据表的所有记录分配第一标识符,在日终批量作业中,当联机作业更新记录时,在数据表中复制更新前的记录,将复制的更新前的记录对应的标识符由第一标识符更新为第二标识符,并在数据表中执行更新记录操作,将更新后的记录对应的标识符由第一标识符更新为第三标识符;当联机作业插入记录时,在数据表中执行插入记录操作,为插入后的记录分配第三标识符;当联机作业删除记录时,在数据表中复制删除前的记录,将复制的删除前的记录对应的标识符由第一标识符更新为第二标识符,并在数据表中执行删除记录操作,通过上述处理可知,第一标识和第二标识符标识的记录为day1数据,第一标识和第三标识符标识的记录为day2数据,并基于数据表创建包含第一标识符和第二标识符对应的记录的第一视图,以供日终批量作业引用,基于数据表创建包含第一标识符和第三标识符对应的记录的第二视图,以供联机作业引用,从而将通过标识符区分出的day1数据和day2数据分别存放在两个视图中,由于日终批量作业和联机作业可以独立分别独立引用各自对应的视图中的数据,实现逻辑独立,且视图为基于数据表产生的虚拟表,并不在数据库中以存储的数据值集形式存在,可达到了只引用单份数据表的低消耗效果。因此相对于现有技术,本发明实施例可解决双表存储机制的高消耗以及数据合并过程中“断点”问题,同时可避免单表存储双记录存储机制中复杂的业务逻辑设计。
附图说明
图1为本发明实施例中数据处理方法一个实施例示意图;
图2为联机作业更新记录时的处理流程的应用场景示意图;
图3为联机作业插入记录时的处理流程的应用场景示意图;
图4为联机作业删除记录时的处理流程的应用场景示意图;
图5为本发明实施例中日终批量作业过程中获取Day1数据和Day2数据的处理流程的应用场景示意图;
图6为本发明实施例中数据处理装置一个实施例示意图。
具体实施方式
本发明实施例提供了一种单表双视图机制的数据处理方法和装置,可解决双表存储机制的高消耗以及数据合并过程中“断点”问题,同时可避免单表存储双记录存储机制中复杂的业务逻辑设计,以下分别进行详细说明。
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”“第四”等(如果存在)是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
首先,对本发明中的一些技术术语进行解释和说明:
日终批量作业:银行系统在夜间对当天发生的业务进行批量处理的一系列作业过程,如计提结息需求,报表需求等。
联机作业:银行系统全天候提供的不间断服务的作业过程。
Day1(当日)数据:当天银行系统日终批量作业过程中,需要用到的处理数据。
Day2(次日)数据:当天银行系统日终批量作业过程中,不间断的联机交易需要继续处理的数据。
7x24:一周7天,每天24小时的缩写,常指银行业务提供全天候不间断服务。
请参阅图1,本发明实施例中数据处理方法一个实施例包括:
本实施例中的数据处理方法用于对银行系统数据库中存放业务数据的数据表进行处理,需要说明的是,本实施例中存放业务数据的数据表均采用单物理表结构。
101、在日终批量作业之前,为数据表的所有记录分配第一标识符;
在本实施例中,作为优选,可以将第一标识设置为空值。
当进入日终批量作业过程后,在整个日终批量作业中,联机作业不断触发数据表中数据的变动,在本实施例中,联机作业中的联机程序对数据表的修改情形包括更新记录、插入记录和删除记录。
需要说明的是,在日终批量作业中,如果某些记录未被联机作业修改,则这些记录的标识符保持为第一标识符,且这些记录同时为Day1数据和Day2数据,分别被日终批量作业和联机作业引用。
下面分别介绍在上述三种修改情形下,针对涉及被联机作业修改的记录,如何分别取得属于Day1数据的记录和属于Day2数据的记录:
(1)联机作业更新记录:
102、当联机作业更新记录时,在数据表中复制更新前的记录,将该复制的更新前的记录对应的标识符由第一标识符更新为第二标识符,并在数据表中执行更新记录操作,将更新后的记录对应的标识符由第一标识符更新为第三标识符;
在本实施例中,如果联机作业需要对某一记录进行更新,则在更新前,更新记录触发模块在数据表中复制更新前的记录(该更新前的记录为Day1数据),将该复制的更新前的记录对应的标识符由第一标识符更新为第二标识符,以通过第二标识符来标识属于Day1数据的记录,在由联机程序在数据表中执行更新记录操作以将更新后的记录替换原记录后,更新记录触发模块将更新后的记录(该更新后的记录为Day2数据)对应的标识符由第一标识符更新为第三标识符,以通过第二标识符来标识属于Day2数据的记录。
下面以一具体的应用场景对上述联机作业更新记录时的处理流程进行详细描述,如图2所示,具体的:
第一标识符为空值,第二标识符取值为D1,第三标识符取值为D2;
如果数据表中的记录Rec.#1(包含A)被联机作业更新,在更新前,更新记录触发模块会将原来空值的更新前的记录复制一条新的记录(左1,包含A)写到该数据表中,并将该新的记录的标识符置为D1,在由联机程序在数据表中执行更新记录操作以将原来的记录Rec.#1(包含A)更新为新的Rec.#1(右1,包含B)后,更新记录触发模块将新的Rec.#1的标识符置为D2。可见,在联机作业更新记录时的处理流程中,针对该被更新的记录Rec.#1,数据表中保留有两个记录,分别为标识有D1的更新前的Rec.#1(包含A)和标识有D2的更新后的Rec.#1(包含B),其中,更新前的Rec.#1(包含A)为Day1数据,更新后的Rec.#1(包含B)为Day2数据。
(2)、联机作业插入记录
103、当联机作业插入记录时,在数据表中执行插入记录操作,为插入后的记录分配第三标识符;
在本实施例中,如果联机作业需要在数据表中插入某一记录,则由联机程序在数据表中执行插入记录操作以将待插入的记录插入到数据表中,由于该插入的记录为Day2数据,因而通过插入记录触发模块为插入后的记录分配第三标识符。
下面在图2应用场景的基础上对上述联机作业插入记录时的处理流程进行详细描述,如图3所示,具体的:
如果联机作业要在数据表中插入记录Rec.#4,则由联机程序在数据表中执行插入记录操作以将待插入的记录Rec.#4插入到数据表中,并通过插入记录触发模块将Rec.#4的标识符置为D2,在这过程中,数据表的其他记录不作改动。
(3)联机作业删除记录
104、当联机作业删除记录时,在数据表中复制删除前的记录,将复制的删除前的记录对应的标识符由第一标识符更新为第二标识符,并在数据表中执行删除记录操作;
在本实施例中,如果联机作业需要删除数据表中的某一记录,则在删除前,删除记录触发模块复制删除前的记录,将复制的删除前的记录对应的标识符由第一标识符更新为第二标识符,之后再由联机程序在数据表中执行删除记录操作,以将原记录从数据表中删除。
下面在图3应用场景的基础上对上述联机作业删除记录时的处理流程进行详细描述,如图4所示,具体的:
如果联机作业需要删除数据表中的记录Rec.#2,在删除前,更新记录触发模块对Rec.#2进行复制,将复制后的Rec.#2(右1)写到该数据表中,并将复制的Rec.#2对应的标识符置为D1,之后,再由联机程序删除原Rec.#2(左2)。
需要说明的是,上述步骤102、步骤103以及步骤104之间并不存在时序等关联关系,而是根据联机作业的修改情形触发数据处理装置中的修改处理单元执行相应的处理流程。需要强调的是,在本实施例中,修改处理单元基于联机程序的基础上额外增设有更新记录触发模块、插入记录触发模块以及删除记录触发模块,随着联机作业不断触发数据表中数据的变动,针对涉及被联机作业修改的记录,可以通过上述记录触发模块、插入记录触发模块以及删除记录触发模块自动产生属于Day1数据的记录和属于Day2数据的记录。
在日终批量作业中,针对涉及被联机作业修改的记录,通过上述步骤102、步骤103以及步骤104可以在一个数据表中保存并区分出哪些属于Day1数据,哪些属于Day2数据,针对整个数据表,可知,属于Day1数据的包括第一标识和第二标识符对应的记录,属于Day2数据的包括第一标识符和第三标识符对应的记录。
105、基于数据表创建第一视图和第二视图,第一视图包括第一标识符和第二标识符对应的记录;第二视图包括第一标识符和第三标识符对应的记录;
在该数据表保存并通过标识符可区别出全部Day1数据和Day2数据时,基于该数据表创建逻辑视图,其中,第一视图包括第一标识符和第二标识符对应的记录,以将Day1数据存放到第一视图中,供日终批量作业引用,第二视图包括第一标识符和第三标识符对应的记录,以将Day2数据存放到第二视图中,供联机作业引用。由于逻辑视图作为物理数据表的映射,避免了物理方式的硬件资源占用问题,可是实现日终批量作业和联机作业在只引用单物理数据表的情况下,通过构建分独立的逻辑视图来达到逻辑独立的目的。
下面在图4应用场景的基础上对本发明实施例中日终批量作业过程中获取Day1数据和Day2数据的处理流程进行详细描述,如图5所示,具体的:
日终批量作业使用第一视图Day1_view,其包括标识符为空值和D1对应的记录,例如,Rec.#1(左1,包含A)、Rec.#2、Rec.#3;
联机作业使用第二视图Day2_view,其包括标识符为空值和D2对应的记录,例如,Rec.#3、Rec.#4、Rec.#1(右2,包含B)。在本实施例中,在日终批量作业结束后,经联机作业修改后的整个数据表可以通过标识符区分出Day1数据和Day2数据,因此在数据合并过程中,可以继续利用上述标识符快速简单地完成数据合并,具体的:
在日终批量作业结束后,数据表里存在大量的标识符为第一标识符、第二标识符以及第三标识符的记录,而标识符为第二标识符的数据已经对于银行系统来说,已经没有意义,在整个数据合并过程中,只需要删除第二标识符对应的记录即可,同时,第一标识符和第三标识符对应的记录作为实时数据,继续在当天的联机作业中使用,在进入日间联机模式后,数据表中各记录的标识符更新为第一标识符。
可选地,在本实施例中,对记录进行标识的方式可以通过在数据表中增加字段的方式来实现,具体的:
为数据表的增加字段,该字段的取值包括该第一标识符、该第二标识符和该第三标识符,以通过字段的取值对相应的记录进行标识,例如,在本实施例中,该字段的名称可以为image,该第一标识符为空值,该第二标识符为D1,该第三标识符为D2,则在基于数据表创建视图时,利用image字段便可以对Day1数据和Day2数据进行区分。需要说明的是,在其他一些实施例中,也可以采用其他方式对记录进行标识,具体此处不作限定。
本发明实施例提供的技术方案中,采用单表物理结构存放业务数据,在日终批量作业之前,为数据表的所有记录分配第一标识符,在日终批量作业中,当联机作业更新记录时,在数据表中复制更新前的记录,将复制的更新前的记录对应的标识符由第一标识符更新为第二标识符,并在数据表中执行更新记录操作,将更新后的记录对应的标识符由第一标识符更新为第三标识符;当联机作业插入记录时,在数据表中执行插入记录操作,为插入后的记录分配第三标识符;当联机作业删除记录时,在数据表中复制删除前的记录,将复制的删除前的记录对应的标识符由第一标识符更新为第二标识符,并在数据表中执行删除记录操作,通过上述处理可知,第一标识和第二标识符标识的记录为day1数据,第一标识和第三标识符标识的记录为day2数据,并基于数据表创建包含第一标识符和第二标识符对应的记录的第一视图,以供日终批量作业引用,基于数据表创建包含第一标识符和第三标识符对应的记录的第二视图,以供联机作业引用,从而将通过标识符区分出的day1数据和day2数据分别存放在两个视图中,由于日终批量作业和联机作业可以独立分别独立引用各自对应的视图中的数据,实现逻辑独立,且视图为基于数据表产生的虚拟表,并不在数据库中以存储的数据值集形式存在,可达到了只引用单份数据表的低消耗效果。因此相对于现有技术,本发明实施例可解决双表存储机制的高消耗以及数据合并过程中“断点”问题,同时可避免单表存储双记录存储机制中复杂的业务逻辑设计。
上面对本发明实施例中的数据处理方法进行了描述,下面对本发明实施例中的数据处理装置进行描述,请参阅图6,本发明实施例中数据处理装置一个实施例包括:
本发明实施例中的数据处理装置用于对银行系统数据库中存放业务数据的数据表进行处理,具体包括:
分配单元601,用于在日终批量作业之前,为数据表的所有记录分配第一标识符;
修改处理单元602,用于在日终批量作业中,联机作业对所述数据表的修改情形包括更新记录、插入记录和删除记录;当所述联机作业更新记录时,在所述数据表中复制更新前的记录,将所述复制的更新前的记录对应的标识符由第一标识符更新为第二标识符,并在所述数据表中执行更新记录操作,将更新后的记录对应的标识符由第一标识符更新为第三标识符;当所述联机作业插入记录时,在所述数据表中执行插入记录操作,为插入后的记录分配第三标识符;当所述联机作业删除记录时,在所述数据表中复制删除前的记录,将所述复制的删除前的记录对应的标识符由第一标识符更新为第二标识符,并在所述数据表中执行删除记录操作;
视图创建单元603,用于基于修改后的数据表创建第一视图和第二视图,所述第一视图包括所述第一标识符和第二标识符对应的所述记录;所述第二视图包括所述第一标识符和第三标识符对应的所述记录。
为便于理解,下面以一具体应用场景为例,对本实施例中数据处理装置内部运作流程进行描述:
在日终批量作业之前,分配单元601为数据表的所有记录分配第一标识符;在日终批量作业中,联机作业对所述数据表的修改情形包括更新记录、插入记录和删除记录;当所述联机作业更新记录时,修改处理单元602在所述数据表中复制更新前的记录,将所述复制的更新前的记录对应的标识符由第一标识符更新为第二标识符,并在所述数据表中执行更新记录操作,将更新后的记录对应的标识符由第一标识符更新为第三标识符;当所述联机作业插入记录时,修改处理单元602在所述数据表中执行插入记录操作,为插入后的记录分配第三标识符;当所述联机作业删除记录时,修改处理单元602在所述数据表中复制删除前的记录,将所述复制的删除前的记录对应的标识符由第一标识符更新为第二标识符,并在所述数据表中执行删除记录操作;视图创建单元603基于修改后的数据表创建第一视图和第二视图,所述第一视图包括所述第一标识符和第二标识符对应的所述记录;所述第二视图包括所述第一标识符和第三标识符对应的所述记录。
可选地,在本实施例中,所述装置还包括:
数据合并单元604,用于在所述日终批量作业结束后,在所述数据表中删除所述第二标识符对应的记录,并将所述第三标识符更新为第一标识符。
可选地,在本实施例中,所述装置还包括:
字段增加单元605,用于为所述数据表的增加字段,所述字段的取值包括所述第一标识符、第二标识符和第三标识符。
可选地,在本实施例中,所述字段的名称为image,所述第一标识符为空值。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统,装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在本申请所提供的几个实施例中,应该理解到,所揭露的系统,装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-OnlyMemory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述,以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (8)

1.一种数据处理方法,用于对银行系统数据库中存放业务数据的数据表进行处理,其特征在于,包括:
在日终批量作业之前,为数据表的所有记录分配第一标识符;
在日终批量作业中,联机作业对所述数据表的修改情形包括更新记录、插入记录和删除记录;当所述联机作业更新记录时,在所述数据表中复制更新前的记录,将所述复制的更新前的记录对应的标识符由第一标识符更新为第二标识符,并在所述数据表中执行更新记录操作,将更新后的记录对应的标识符由第一标识符更新为第三标识符;当所述联机作业插入记录时,在所述数据表中执行插入记录操作,为插入后的记录分配第三标识符;当所述联机作业删除记录时,在所述数据表中复制删除前的记录,将所述复制的删除前的记录对应的标识符由第一标识符更新为第二标识符,并在所述数据表中执行删除记录操作;
基于所述数据表创建第一视图和第二视图,所述第一视图包括所述第一标识符和第二标识符对应的所述记录;所述第二视图包括所述第一标识符和第三标识符对应的所述记录。
2.如权利要求1所述的数据处理方法,其特征在于,在所述日终批量作业结束后,在所述数据表中删除所述第二标识符对应的记录,并将所述第三标识符更新为第一标识符。
3.如权利要求1或2所述的数据处理方法,其特征在于,所述方法还包括:
为所述数据表的增加字段,所述字段的取值包括所述第一标识符、第二标识符和第三标识符。
4.如权利要求3所述的数据处理方法,其特征在于,所述字段的名称为image,所述第一标识符为空值。
5.一种数据处理装置,用于对银行系统数据库中存放业务数据的数据表进行处理,其特征在于,包括:
分配单元,用于在日终批量作业之前,为数据表的所有记录分配第一标识符;
修改处理单元,用于在日终批量作业中,联机作业对所述数据表的修改情形包括更新记录、插入记录和删除记录;当所述联机作业更新记录时,在所述数据表中复制更新前的记录,将所述复制的更新前的记录对应的标识符由第一标识符更新为第二标识符,并在所述数据表中执行更新记录操作,将更新后的记录对应的标识符由第一标识符更新为第三标识符;当所述联机作业插入记录时,在所述数据表中执行插入记录操作,为插入后的记录分配第三标识符;当所述联机作业删除记录时,在所述数据表中复制删除前的记录,将所述复制的删除前的记录对应的标识符由第一标识符更新为第二标识符,并在所述数据表中执行删除记录操作;
视图创建单元,用于基于修改后的数据表创建第一视图和第二视图,所述第一视图包括所述第一标识符和第二标识符对应的所述记录;所述第二视图包括所述第一标识符和第三标识符对应的所述记录。
6.如权利要求5所述的数据处理装置,其特征在于,所述装置还包括:
数据合并单元,用于在所述日终批量作业结束后,在所述数据表中删除所述第二标识符对应的记录,并将所述第三标识符更新为第一标识符。
7.如权利要求5或6所述的数据处理装置,所述装置还包括:
字段增加单元,用于为所述数据表的增加字段,所述字段的取值包括所述第一标识符、第二标识符和第三标识符。
8.如权利要求7所述的数据处理装置,其特征在于,所述字段的名称为image,所述第一标识符为空值。
CN201410647921.7A 2014-11-14 2014-11-14 一种数据处理方法及装置 Active CN104317963B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201410647921.7A CN104317963B (zh) 2014-11-14 2014-11-14 一种数据处理方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201410647921.7A CN104317963B (zh) 2014-11-14 2014-11-14 一种数据处理方法及装置

Publications (2)

Publication Number Publication Date
CN104317963A true CN104317963A (zh) 2015-01-28
CN104317963B CN104317963B (zh) 2017-10-24

Family

ID=52373195

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410647921.7A Active CN104317963B (zh) 2014-11-14 2014-11-14 一种数据处理方法及装置

Country Status (1)

Country Link
CN (1) CN104317963B (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106168960A (zh) * 2016-06-30 2016-11-30 努比亚技术有限公司 一种数据资源的调整装置及其调整方法
CN106991606A (zh) * 2017-03-29 2017-07-28 恒生电子股份有限公司 交易数据处理方法及装置
CN107451958A (zh) * 2017-08-09 2017-12-08 中国科学院海洋研究所 一种面向ArcGIS极地矢量场可视化的角度转换算法
CN109101473A (zh) * 2018-08-09 2018-12-28 北京百度网讯科技有限公司 用于处理二维数据表的方法和装置
CN110083596A (zh) * 2018-05-16 2019-08-02 陈刚 一种数据历史跟踪和数据变化历史跟踪的方法
CN110659295A (zh) * 2019-09-25 2020-01-07 北京浪潮数据技术有限公司 一种基于hawq记录有效数据的方法、装置和介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070192254A1 (en) * 1997-10-29 2007-08-16 William Hinkle Multi-processing financial transaction processing system
CN101118501A (zh) * 2007-09-06 2008-02-06 上海交通大学 基于网格的补偿事务自动产生方法
CN101158977A (zh) * 2007-11-21 2008-04-09 金蝶软件(中国)有限公司 一种对多业务单据数据的处理方法及系统
US8423564B1 (en) * 2006-10-31 2013-04-16 Ncr Corporation Methods and apparatus for managing and updating stored information
CN103136200A (zh) * 2011-11-22 2013-06-05 中兴通讯股份有限公司 数据更新信息获取方法、装置及数据同步方法、装置
CN103514064A (zh) * 2012-06-28 2014-01-15 国际商业机器公司 记录备份信息的方法和装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070192254A1 (en) * 1997-10-29 2007-08-16 William Hinkle Multi-processing financial transaction processing system
US8423564B1 (en) * 2006-10-31 2013-04-16 Ncr Corporation Methods and apparatus for managing and updating stored information
CN101118501A (zh) * 2007-09-06 2008-02-06 上海交通大学 基于网格的补偿事务自动产生方法
CN101158977A (zh) * 2007-11-21 2008-04-09 金蝶软件(中国)有限公司 一种对多业务单据数据的处理方法及系统
CN103136200A (zh) * 2011-11-22 2013-06-05 中兴通讯股份有限公司 数据更新信息获取方法、装置及数据同步方法、装置
CN103514064A (zh) * 2012-06-28 2014-01-15 国际商业机器公司 记录备份信息的方法和装置

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106168960A (zh) * 2016-06-30 2016-11-30 努比亚技术有限公司 一种数据资源的调整装置及其调整方法
CN106168960B (zh) * 2016-06-30 2019-06-18 努比亚技术有限公司 一种数据资源的调整装置及其调整方法
CN106991606A (zh) * 2017-03-29 2017-07-28 恒生电子股份有限公司 交易数据处理方法及装置
CN107451958A (zh) * 2017-08-09 2017-12-08 中国科学院海洋研究所 一种面向ArcGIS极地矢量场可视化的角度转换算法
CN107451958B (zh) * 2017-08-09 2019-09-13 中国科学院海洋研究所 一种面向ArcGIS极地矢量场可视化的角度转换方法
CN110083596A (zh) * 2018-05-16 2019-08-02 陈刚 一种数据历史跟踪和数据变化历史跟踪的方法
CN109101473A (zh) * 2018-08-09 2018-12-28 北京百度网讯科技有限公司 用于处理二维数据表的方法和装置
CN109101473B (zh) * 2018-08-09 2022-07-19 北京百度网讯科技有限公司 用于处理二维数据表的方法和装置
CN110659295A (zh) * 2019-09-25 2020-01-07 北京浪潮数据技术有限公司 一种基于hawq记录有效数据的方法、装置和介质

Also Published As

Publication number Publication date
CN104317963B (zh) 2017-10-24

Similar Documents

Publication Publication Date Title
CN104317963A (zh) 一种数据处理方法及装置
EP3646204B1 (en) Systems and methods of database tenant migration
CN103154950B (zh) 重复数据删除方法及装置
DE112012005037B4 (de) Verwalten von redundanten unveränderlichen Dateien unter Verwendung von Deduplizierungen in Speicher-Clouds
US7418546B2 (en) Storage resource management method for storage system
US11436194B1 (en) Storage system for file system objects
CN101577735B (zh) 一种接管故障元数据服务器的方法、装置及系统
CN103034566B (zh) 虚拟机还原的方法和装置
CN100464334C (zh) 应用于数据仓库的数据增量备份与恢复的方法
CN107766374B (zh) 一种海量小文件存储读取的优化方法和系统
CN105938457A (zh) 数据的过滤方法、装置及数据读取系统
EP3051408B1 (en) Data operating method and device
CN105339903A (zh) 恢复文件系统对象
CN107562931A (zh) 数据抽取系统和数据抽取方法
CN103544077A (zh) 数据处理方法及装置、共享存储设备
CN104298681A (zh) 一种数据存储方法及装置
US20150006485A1 (en) High Scalability Data Management Techniques for Representing, Editing, and Accessing Data
CN102202087A (zh) 一种标识存储设备的方法及系统
CN103631967A (zh) 一种带自增量标识字段的数据表的处理方法及装置
CN104281717A (zh) 一种建立海量id映射关系的方法
CN101702219A (zh) 一种物料信息生成方法和装置
CN103106271A (zh) 一种基于海量数据的数据库备份及恢复方法和系统
CN104268097B (zh) 一种元数据处理方法及系统
CN102855288B (zh) 差异数据的处理方法和装置
CN103729301A (zh) 数据处理方法和装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant