CN108897773A - 一种透明在线式数据库匿名化数据并行迁移方法 - Google Patents

一种透明在线式数据库匿名化数据并行迁移方法 Download PDF

Info

Publication number
CN108897773A
CN108897773A CN201810549933.4A CN201810549933A CN108897773A CN 108897773 A CN108897773 A CN 108897773A CN 201810549933 A CN201810549933 A CN 201810549933A CN 108897773 A CN108897773 A CN 108897773A
Authority
CN
China
Prior art keywords
anonymization
data
needing
view
moving method
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810549933.4A
Other languages
English (en)
Other versions
CN108897773B (zh
Inventor
曾永丰
张湖
吴勇
王石娇
尹鹏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hunan Ge Anxin Technology Co Ltd
Original Assignee
Hunan Ge Anxin Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hunan Ge Anxin Technology Co Ltd filed Critical Hunan Ge Anxin Technology Co Ltd
Priority to CN201810549933.4A priority Critical patent/CN108897773B/zh
Publication of CN108897773A publication Critical patent/CN108897773A/zh
Application granted granted Critical
Publication of CN108897773B publication Critical patent/CN108897773B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

一种透明在线式数据库匿名化数据并行迁移方法，包括以下步骤：(1)给确定需要匿名化表增加一个标志位字段和对用的匿名化字段；(2)对需要匿名化表进行改名，同时创建与需要匿名化表同名的视图，并使各字段名称及数量与需要匿名化表相同；(3)对同名视图创建insert/增加、update/修改和delete/删除触发器；(4)依据未迁移标志位循环小批量获取未迁移的数据，把需要匿名化的数据匿名化更新到表中；直到全部更新完成；(5)应用系统的业务操作数据按照通过视图的行增、删、改和查询实时更对应表数据。利用本发明能解决数据迁移过程中需要关停业务信息系统，达到业务信息系统的数据迁移与服务的在线式透明化。

Description

一种透明在线式数据库匿名化数据并行迁移方法
技术领域
本发明涉及一种透明在线式数据库匿名化数据并行迁移方法，属于数据安全保护领域。
背景技术
随着信息化建设的逐步深入应用，各业务对业务系统的实时在线要求越来越高，而目前对现有信息数据的匿名化保护，都需要停业务进行单独的数据迁移用来达到数据同步的一致性。
发明内容
本发明所要解决的技术问题是，针对现有技术存在的不足，提供一种透明在线式数据库匿名化数据并行迁移方法，解决数据迁移过程中需要关停业务信息系统，达到业务信息系统的数据迁移与服务的在线式透明化。
本发明解决其技术问题所采用的技术方案是：一种透明在线式数据库匿名化数据并行迁移方法，包括以下步骤：
(1)给确定需要匿名化表增加一个标志位字段(NULL表示未迁移，1表示已经迁移)和对用的匿名化字段；
(2)对需要匿名化表进行改名(加_GAFF)，同时创建与需要匿名化表同名的视图，并使各字段名称及数量与需要匿名化表相同；
(3)对同名视图创建insert/增加、update/修改和delete/删除触发器；使得视图具备与原表具备相同的insert、update、delete和select使用功能；
(4)依据未迁移标志位循环小批量获取未迁移的数据，把需要匿名化的数据匿名化更新到表中；直到全部更新完成；
(5)应用系统的业务操作数据按照通过视图的行增、删、改和查询实时更对应表数据。
本发明之透明在线式数据库匿名化数据并行迁移方法，通过构建同名视图和对应触发器，达到应用系统对数据库的透明性和业务系统运行的不中断，同时完成对实时数据的匿名化；另外通过独立的迁移工具不断迁移需要匿名化数据，完成对历史数据的匿名化处理；两个独立运行，通过表的标志位把两部分分开，同时又把数据处理合并一起，达到在线和透明性。
附图说明
图1为本发明的流程框图；
图2为本发明的原理图。
具体实施方式
以下结合附图及实施例对本发明作进一步说明。
参照附图，一种透明在线式数据库匿名化数据并行迁移方法，包括以下步骤：
(1)给确定需要匿名化表增加一个标志位字段(NULL表示未迁移，1表示已经迁移)和对用的匿名化字段；
(2)对需要匿名化表进行改名(加_GAFF)，同时创建与需要匿名化表同名的视图，并使各字段名称及数量与需要匿名化表相同；
(3)对同名视图创建insert/增加、update/修改和delete/删除触发器；使得视图具备与原表具备相同的insert、update、delete和select使用功能；
(4)依据未迁移标志位循环小批量获取未迁移的数据，把需要匿名化的数据匿名化更新到表中；直到全部更新完成；
(5)应用系统的业务操作数据按照通过视图的行增、删、改和查询实时更对应表数据。
实施例
本实施例包括以下步骤：
(1)安装构建一个oracle数据库，创建一张业务数据表，并填充10万左右的业务数据，其数据结构如下(需要匿名化处理数据字段为：C_XM，C_LXFS、C_ADDR、C_SFZID)；
表名：T_LIS_HZSFXX
列名 中文名 数据类型 长度
N_ID 序号 整型 8
C_XM 姓名 字符 40
C_LXFS 联系方式 字符 20
C_ADDR 住址 字符 100
C_SFZID 身份证号 字符 18
(2)通过oracle数据库的PL/SQL运行把表结构变为下列表格，同时把表名改为T_LIS_HZSFXX_GAFF；
具体执行sql语句：
ALTER TABLE T_LIS_HZSFXX ADD C_XM_GAFF VARCHAR2(100)；
ALTER TABLE T_LIS_HZSFXX ADD C_LXFS_GAFF VARCHAR2(100)；
ALTER TABLE T_LIS_HZSFXX ADD C_ADDR_GAFF VARCHAR2(100)；
ALTER TABLE T_LIS_HZSFXX ADD C_SFZID_GAFF VARCHAR2(300)；
ALTER TABLE T_LIS_HZSFXX ADD N_ENGAFF number(1)；
ALTER TABLE T_LIS_HZSFXX RENAME TO T_LIS_HZSFXX_GAFF；
(3)通过oracle的PL/SQL创建原T_LIS_HZSFXX(改为T_LIS_HZSFXX_GAFF)的同名视图(T_LIS_HZSFXX)，且字段与原表一致；具体语句实现如下：
(4)运行数据迁移工具对历史10万数据进行并行数据迁移，即把表T1_GAFF的C_XM、C_LXFS、C_ADDR和C_SFZID的数据匿名化迁移到字段C_XM_GAFF、C_LXFS_GAFF、C_ADDR_GAFF和C_SFZID_GAFF。

Claims (5)

1.一种透明在线式数据库匿名化数据并行迁移方法，其特征在于，包括以下步骤：
(1)给确定需要匿名化表增加一个标志位字段和对用的匿名化字段；
(2)对需要匿名化表进行改名，同时创建与需要匿名化表同名的视图，并使各字段名称及数量与需要匿名化表相同；
(3)对同名视图创建insert/增加、update/修改和delete/删除触发器；使得视图具备与原表具备相同的insert、update、delete和select使用功能；
(4)依据未迁移标志位循环小批量获取未迁移的数据，把需要匿名化的数据匿名化更新到表中；直到全部更新完成；
(5)应用系统的业务操作数据按照通过视图的行增、删、改和查询实时更对应表数据。
2.根据权利要求1所述的透明在线式数据库匿名化数据并行迁移方法，其特征在于，步骤(1)中，NULL表示未迁移。
3.根据权利要求1或2所述的透明在线式数据库匿名化数据并行迁移方法，其特征在于，步骤(1)中，1表示已经迁移。
4.根据权利要求1或2所述的透明在线式数据库匿名化数据并行迁移方法，其特征在于，步骤(2)中，对需要匿名化表进行改名加_GAFF。
5.根据权利要求3所述的透明在线式数据库匿名化数据并行迁移方法，其特征在于，步骤(2)中，对需要匿名化表进行改名加_GAFF。
CN201810549933.4A 2018-05-31 2018-05-31 一种透明在线式数据库匿名化数据并行迁移方法 Active CN108897773B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810549933.4A CN108897773B (zh) 2018-05-31 2018-05-31 一种透明在线式数据库匿名化数据并行迁移方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810549933.4A CN108897773B (zh) 2018-05-31 2018-05-31 一种透明在线式数据库匿名化数据并行迁移方法

Publications (2)

Publication Number Publication Date
CN108897773A true CN108897773A (zh) 2018-11-27
CN108897773B CN108897773B (zh) 2019-12-27

Family

ID=64343685

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810549933.4A Active CN108897773B (zh) 2018-05-31 2018-05-31 一种透明在线式数据库匿名化数据并行迁移方法

Country Status (1)

Country Link
CN (1) CN108897773B (zh)

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050020259A1 (en) * 2001-12-18 2005-01-27 Herrero Juan Antonio Sanchez Method for migrating subscriber data between different home servers of a telecommunications network
CN101266606A (zh) * 2007-03-15 2008-09-17 阿里巴巴公司 一种基于Oracle数据库的在线数据迁移方法
CN101504706A (zh) * 2009-03-03 2009-08-12 中国科学院软件研究所 数据库信息加密方法和系统
CN101504668A (zh) * 2009-03-24 2009-08-12 北京理工大学 一种支持密文索引的数据库透明加密方法
CN101706803A (zh) * 2009-11-27 2010-05-12 天津工业大学 一种织造车间生产数据的迁移方法
CN102243629A (zh) * 2010-05-12 2011-11-16 北京安华金和科技有限公司 一种基于多级视图和触发器的数据库透明加解密方法
US20120036165A1 (en) * 2010-08-04 2012-02-09 Sap Ag Upgrading column-based databases
US20120041933A1 (en) * 2010-08-11 2012-02-16 Sap Ag Online data migration
CN105359147A (zh) * 2013-07-09 2016-02-24 甲骨文国际公司 在线数据库迁移
CN106203170A (zh) * 2016-07-19 2016-12-07 北京同余科技有限公司 基于角色的数据库动态脱敏服务方法和系统
US9720606B2 (en) * 2010-10-26 2017-08-01 Avago Technologies General Ip (Singapore) Pte. Ltd. Methods and structure for online migration of data in storage systems comprising a plurality of storage devices

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050020259A1 (en) * 2001-12-18 2005-01-27 Herrero Juan Antonio Sanchez Method for migrating subscriber data between different home servers of a telecommunications network
CN101266606A (zh) * 2007-03-15 2008-09-17 阿里巴巴公司 一种基于Oracle数据库的在线数据迁移方法
CN101504706A (zh) * 2009-03-03 2009-08-12 中国科学院软件研究所 数据库信息加密方法和系统
CN101504668A (zh) * 2009-03-24 2009-08-12 北京理工大学 一种支持密文索引的数据库透明加密方法
CN101706803A (zh) * 2009-11-27 2010-05-12 天津工业大学 一种织造车间生产数据的迁移方法
CN102243629A (zh) * 2010-05-12 2011-11-16 北京安华金和科技有限公司 一种基于多级视图和触发器的数据库透明加解密方法
US20120036165A1 (en) * 2010-08-04 2012-02-09 Sap Ag Upgrading column-based databases
US20120041933A1 (en) * 2010-08-11 2012-02-16 Sap Ag Online data migration
US9720606B2 (en) * 2010-10-26 2017-08-01 Avago Technologies General Ip (Singapore) Pte. Ltd. Methods and structure for online migration of data in storage systems comprising a plurality of storage devices
CN105359147A (zh) * 2013-07-09 2016-02-24 甲骨文国际公司 在线数据库迁移
CN106203170A (zh) * 2016-07-19 2016-12-07 北京同余科技有限公司 基于角色的数据库动态脱敏服务方法和系统

Also Published As

Publication number Publication date
CN108897773B (zh) 2019-12-27

Similar Documents

Publication Publication Date Title
CN108027818B (zh) 基于图的查询
Taylor et al. Darcy flow solutions with a free surface
US10180992B2 (en) Atomic updating of graph database index structures
CN102128628B (zh) 电子地图的差异分析方法及差异分析装置
JP2018119967A (ja) コンピュータ実装方法、データ処理システム、及びデータストレージデバイス
CN108153897A (zh) 一种plsql程序代码生成方法及系统
CN102128627B (zh) 电子地图的差异分析方法及差异分析装置
CN105335411A (zh) 用于数据处理的方法和系统
CN103425762A (zh) 基于Hadoop平台的电信运营商海量数据处理方法
US20170255708A1 (en) Index structures for graph databases
CN112597284B (zh) 公司名称的匹配方法、装置、计算机设备及存储介质
CN103097657A (zh) 用以产生非结构化网格且进行并行储集层模拟的机器、计算机程序产品和方法
US11500836B2 (en) Systems and methods of creation and deletion of tenants within a database
US20050149482A1 (en) Method of updating a database created with a spreadsheet program
CN106326438A (zh) 一种人员信息的关联方法
CN104462462B (zh) 基于业务变化频度的数据仓库建模方法和建模装置
CN106557307A (zh) 业务数据的处理方法及处理系统
CN111126461A (zh) 基于机器学习模型解释的智慧审计方法
CN108897773A (zh) 一种透明在线式数据库匿名化数据并行迁移方法
CN113553458A (zh) 图数据库中的数据导出方法及装置
US9732593B2 (en) Systems, methods, and computer medium to optimize storage for hydrocarbon reservoir simulation
CN105930478A (zh) 基于要素对象空间信息指纹的空间数据变化捕获方法
US10409787B1 (en) Database migration
WO2020176518A1 (en) Systems and methods for computed resource hydrocarbon reservoir simulation and development
CN105447605A (zh) 一种面向aps生产模型的动态建模方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant