CN103853843A

CN103853843A - 一种基于主数据映射实现跨安全域数据集中的方法

Info

Publication number: CN103853843A
Application number: CN201410104295.7A
Authority: CN
Inventors: 郎松涛; 史作祥; 黄存胜
Original assignee: Inspur Group Shandong General Software Co Ltd
Current assignee: Inspur Group Shandong General Software Co Ltd
Priority date: 2014-03-20
Filing date: 2014-03-20
Publication date: 2014-06-11
Anticipated expiration: 2034-03-20
Also published as: CN103853843B

Abstract

本发明公开了一种基于主数据映射实现跨安全域数据集中的方法，属于数据集成ETL领域。该方法通过主数据一致性检查及映射，并通过中间件进行数据整合，实现跨安全域的主数据和业务数据的统一：通过定义主数据配置，配置主数据表、字段、被引用字段信息，实现主数据一致性检查的配置；通过对主数据检查结果，进行主数据的映射定义并定义数据抽取规则，在数据集中时依据主数据映射进行数据的抽取、转换和加载；通过备份数据库的方式实现低安全域向高安全域的数据集中。与现有技术相比，本发明的方法可以对不同安全域的数据进行集中，实现物理隔离情况下的数据共享，具有安全性高，对生产环境影响小等特点。

Description

一种基于主数据映射实现跨安全域数据集中的方法

技术领域

本发明涉及数据集成ETL（数据提取、转换和加载）领域，具体地说是一种基于主数据映射实现跨安全域数据集中的方法。

背景技术

跨不同安全域的数据交换的问题是由于网络安全的发展而产生的问题，为确保网络信息系统的安全，对拥有不同网络安全需求的系统进行网络安全域的划分，针对不同的网络采取网络隔离技术，用于防止外部的非法攻击和内部数据的泄漏。但是在信息系统实际应用过程中，信息需要在不同安全域信息系统中进行共享和交换，网络隔离和数据交换是天生的一对矛盾，如何在高安全域(内网)数据不泄露的情况下，同时解决好网络安全和实现数据交换是很多安全技术人员一直探索的话题，因此，打破由网络安全隔离造成的众多的信息孤岛已经成为迫切需要解决的问题。

发明内容

本发明的技术任务是针对上述现有技术的不足，提供一种基于主数据映射实现跨安全域数据集中的方法。本发明在详细分析了当前在信息安全要求较高的行业，不同安全域、物理隔离的网络环境下，数据集成面临的各种问题，提出了一种信息集成的技术途径和实现方法。解决了对信息安全要求较高的行业、不同安全域环境下数据共享的方式，实现了物理隔离环境下的数据共享。通过在低安全域备份数据库的方式，统一导入至高安全域中来实现数据的集中和共享；通过物理隔离的不同系统的主数据一致性检查和映射匹配，来实现主数据及业务数据的统一。

本发明的技术任务是按以下方式实现的：一种基于主数据映射实现跨安全域数据集中的方法，其特点是通过主数据一致性检查及映射，并通过中间件进行数据整合，实现跨安全域的主数据和业务数据的统一：

通过定义主数据配置，配置主数据表、字段、被引用字段信息，实现主数据一致性检查的配置；

通过对主数据检查结果，进行主数据的映射定义并定义数据抽取规则，在数据集中时依据主数据映射进行数据的抽取、转换和加载；

通过备份数据库的方式实现低安全域向高安全域（内网）的数据集中。

具体来说，上述方法包括低安全域业务数据库的镜像备份与还原、高安全域（内网）与低安全域的主数据的一致性检查及匹配：

低安全域业务数据库的镜像备份与还原：以高安全域（内网）的应用系统为主数据中心，在各个跨域的数据库进行数据共享或数据集中时，将低安全域的数据库备份、刻盘并还原至高安全域（内网）中；

高安全域（内网）与低安全域的主数据的一致性检查及匹配：在每次数据集成时，对所有的主数据进行一致性检查，如有不符合的主数据，根据各个应用系统业务数据的使用进行自动或手动匹配，确保在集中数据库内各业务系统的数据的可用和有效。

主数据进行一致性检查时，对于检查通过的主数据进行自动映射；对于检查不同的主数据进行手工映射，将主数据的对应关系和转换逻辑存储于映射表中。

进行数据集中时，将各个部署节点的数据集中至集中数据库，根据映射关系和转换逻辑进行数据转换，将业务数据和主数据进行统一。

上述低安全域包括外网、独立网路及内网单位独立网路。

另外，可以将每次数据集成的操作记录都记录在系统中，例如：操作人、操作时间、操作的数据、是否有异常信息等。如果出现数据问题，能够及时跟踪处理，可以作为防抵赖的重要依据。

已通过测试验证，本发明的基于主数据映射实现跨安全域数据集中的方法实现了跨安全域的数据集成和数据共享，解决了不同物理隔离网络环境下的信息孤岛的问题。与现有技术相比具有以下突出地有益效果：

（一）安全性高

切断了高安全域到低安全域的数据流向，彻底避免了泄密数据的可能。大大减少了应用系统安全保密的风险。

（二）对生产环境影响小

由于本方案采用数据集中库的方式，尽量减小了对于各个网络的生产库的影响，对于各生产库而言，仅限于进行抽取数据，对生产环境影响较小。

附图说明

附图1是本发明方法中数据流向图；

附图2是本发明实施例中的数据集中操作流程图；

附图3是本发明实施例中的手工映射的流程图。

具体实施方式

参照说明书附图以具体实施例对本发明的基于主数据映射实现跨安全域数据集中的方法作以下详细地说明。

如附图1所示：本发明的基于主数据映射实现跨安全域数据集中的方法主要通过以下两个步骤实现数据集中：

1、低安全域(外网)业务数据库的镜像备份与还原

以内网的应用系统为主数据中心，在各个跨域的数据库进行数据共享或数据集中时，首先将外网、各个独立网络的数据库备份、刻盘并还原至内网中，这样所有的跨域的各个应用系统的数据就统一在内网中，大大减轻了跨域数据集成的压力。

2、高安全域(内网)与外网的主数据的一致性检查及匹配。

主数据的统一是数据集成中一项非常重要的工作，同时也本方案数据集中最为关键的一个环节，在各个网内的应用系统主数据上要保持统一，本方案针对于此，在每次数据集成时，都会将所有的主数据进行一致性检查，如有不符合的主数据，将根据各个应用系统业务数据的使用进行自动匹配，确保在集中库内各业务系统的数据的可用和有效。

从上述方法数据流向图可知，最核心的部分就是主数据一致性检查及业务数据映射，从而实现数据的大集中。

上述方法在整个数据集中操作流程上分为四步操作，操作流程如附图1所示。

1、系统参数设置

系统参数的设置主要设置数据集中时系统级的参数的初始，包括主数据的映射内容的配置。

2、外网数据备份及恢复

此步骤由于是不同安全域的内外网隔离，只能通过备份外网的数据库，通过刻盘操作导入至内网并恢复新库中形成镜像库。

3、主数据一致性检查

根据第一步主数据配置的内容，对内网中各个信息库的数据进行一致性检查，根据检查的不同结构进行数据的映射匹配。

4、数据映射匹配

根据上一步的检查结果，对于检查通过的主数据进行自动映射，对于检查不同的主数据进行手工映射，将主数据的对应关系和转换逻辑存储于映射表中。

数据映射存储如下：

Figure 2014101042957100002DEST_PATH_IMAGE002

手工映射的流程如附图2所示。

5、数据集中

将各个部署节点的数据集中至集中库，根据第四步映射关系和转换逻辑进行数据转换，将业务数据和主数据进行统一。

上述方法涉及的核心代码如下：

1、主数据一致性检查

Hashtable retVaule = new Hashtable();

string strKJNU = strKJND;//会计年度

try

{

IGSPDatabase DbSrc = GSPDataSource.Current.GetDatabase(strDbSrcId);

IGSPDatabase DbTar = GSPDataSource.Current.GetDatabase(strDbTarId);

//先遍历DCJCNR表去获取要检查的表

if (CheckItemsList.Count > 0)//存在要检查的表项数量

{

foreach (Dcjcnr CheckItem in CheckItemsList)

{

string strTableName = string.Empty;//要检查的表名称

string strYJZD = string.Empty;//依据字段

string strJCZD = string.Empty;//检查字段

string strYYZD = string.Empty;//被引用字段

string strZD = string.Empty;//要显示的字段

StringBuilder sbSQL = new StringBuilder();

DataTable dtSrc = new DataTable();

DataTable dtTar = new DataTable();

DataTable mydatatable = new DataTable();

if (CheckItem.Dcjcnr_Isnd.Equals("1"))

{

//是年度表

strTableName = CheckItem.Dcjcnr_Table + strKJND;//拼接当前会计年度

}

else

{

strTableName = CheckItem.Dcjcnr_Table;

}

strJCZD = GetCheckItem(CheckItem, ref strYJZD, ref strYYZD);//获取检查字段以及依据字段

strZD = GetDisplayCol(CheckItem); //获取显示字段

mydatatable = CreatDataTable(strZD,true);//形成要显示展示结果对应的datatable

sbSQL.Append("SELECT " + strZD);

sbSQL.Append(" FROM " + strTableName);

sbSQL.Append(" WHERE 1=1 ");

if (!string.IsNullOrEmpty(CheckItem.Dcjcnr_Jctj))

{

sbSQL.Append(" AND " + CheckItem.Dcjcnr_Jctj);

}

if (string.IsNullOrEmpty(strYJZD))

{

string Message = "表"+CheckItem.Dcjcnr_Table+"需要设置依据字段！";

throw new Exception(Message);

}

#region 第一步：获取要进行比较数据的2个datatable

dtSrc = DbSrc.ExecuteDataSet(sbSQL.ToString()).Tables[0];//获取B库中要比较的这张表的内容

dtTar = DbTar.ExecuteDataSet(sbSQL.ToString()).Tables[0];//获取A库中要比较的这张表的内容

#endregion

#region 第二步：比较2个datatable，把数据不一致的，添加到结果的datatable中.然后再放置到hashtable中

///分成2步，1.先遍历datatableb 把datatablea中没有的，datatableb中有的加到返回的datatable中去

///2.再遍历datatablea 把datatableb中没有的，datatablea中有的加到返回的datatable中去

mydatatable = FillDataCheckResult(mydatatable, dtSrc, dtTar, strZD, strYJZD, strJCZD, strYYZD,true);

mydatatable = FillDataCheckResult(mydatatable, dtTar, dtSrc, strZD, strYJZD, strJCZD, strYYZD,false);

#endregion

retVaule.Add(CheckItem.Dcjcnr_Table, mydatatable);

}

return retVaule;

}catch(Exception e)

{

throw(e);

}

2、主数据映射

//1.从HASHTABLE中取出所有数据

if (HtData.Count == 0)

{

obj.IsPass = false; //标识检查不通过

obj.ErrorSetup = "5"; //没有任何数据

}

else

{

#region HashTable检查顺序

Data = new Dictionary<string, DataTable>();

for (int i = 0; i < SelectCheckList.Count; i++)

{

foreach (DictionaryEntry de in HtData)

{

string TableName = string.Empty;

if (de.Key.ToString().Contains(',')) //年度表

{

TableName = de.Key.ToString().Split(',')[1];

if (TableName == SelectCheckList[i].Dcjcnr_Table)

{

Data.Add(de.Key.ToString(), de.Value as DataTable);

break;

}

else

{

TableName = de.Key.ToString();

if (TableName == SelectCheckList[i].Dcjcnr_Table)

{

Data.Add(TableName, de.Value as DataTable);

break;

}

#endregion

}

foreach (var De in Data)

{

string Column = string.Empty; //获得的源库列名

string ColText = string.Empty; //表中的字段名

bool IsFind = false;

if (!obj.IsPass)

break;

string TableName = De.Key; //表名

string NewTableName = string.Empty;

if (TableName.Contains(','))

{

TableName = De.Key.ToString().Split(',')[0];

NewTableName = De.Key.ToString().Split(',')[1];

}

DataTable dt = De.Value; //表数据

string VMID = string.Empty; //得到的VMID

#region 数据一致性检查触发

if (!Flag) //数据一致性检查触发

{

DataRow[] dr = DsMapping.Tables[0].Select("dcysgx_table='" + TableName + "' and dcysgx_linkid='" + DBLinkID + "' "); //根据表名过滤dcysgx

if (dr.Length == 0)

continue;

string MappingValueID = dr[0]["dcysgx_mappingvalueid"].ToString(); //得到dcysgx从表的mappingvalueid

DataRow[] datarow = DsMAPPINGVALUE.Tables[0].Select("dcmappingvalue_mappingvalueid='" + MappingValueID + "'"); //根据mappingvalueid得到VMID

foreach (DataRow item in datarow)

{

VMID += item["dcmappingvalue_vmid"].ToString() + ","; //拼加VMID

Count++;

}

IsFind = true;

}

#endregion

#region 数据集中时触发

else //数据集中时触发

{

DataRow[] TBName = DsMapping.Tables[0].Select("dcysgx_linkid='" + DBLinkID + "'"); //根据DBLinkID得到表名

if (TBName.Length == 0)

{

obj.IsPass = false;

obj.ErrorSetup = "6"; //DBLINKID没有对应的表

}

foreach (DataRow item in TBName)

{

if (item["dcysgx_table"].ToString() == TableName) //用得到的表名和Hashtable里表名去比较

{

IsFind = true;

string MappingValueID = item["dcysgx_mappingvalueid"].ToString(); //得到mappingvalueid

foreach (DataRow row in datarow)

{

VMID += row["dcmappingvalue_vmid"].ToString() + ","; //拼加VMID

}

break;

}

#endregion.

Claims

1.一种基于主数据映射实现跨安全域数据集中的方法，其特征在于通过主数据一致性检查及映射，并通过中间件进行数据整合，实现跨安全域的主数据和业务数据的统一：

通过备份数据库的方式实现低安全域向高安全域的数据集中。

2.根据权利要求1所述的基于主数据映射实现跨安全域数据集中的方法，其特征在于，该方法包括低安全域业务数据库的镜像备份与还原、高安全域与低安全域的主数据的一致性检查及匹配：

低安全域业务数据库的镜像备份与还原：以高安全域的应用系统为主数据中心，在各个跨域的数据库进行数据共享或数据集中时，将低安全域的数据库备份、刻盘并还原至高安全域中；

高安全域与低安全域的主数据的一致性检查及匹配：在每次数据集成时，对所有的主数据进行一致性检查，如有不符合的主数据，根据各个应用系统业务数据的使用进行自动或手动匹配，确保在集中数据库内各业务系统的数据的可用和有效。

3.根据权利要求2所述的基于主数据映射实现跨安全域数据集中的方法，其特征在于，主数据进行一致性检查时，对于检查通过的主数据进行自动映射；对于检查不同的主数据进行手工映射，将主数据的对应关系和转换逻辑存储于映射表中。

4.根据权利要求3所述的基于主数据映射实现跨安全域数据集中的方法，其特征在于，进行数据集中时，将各个部署节点的数据集中至集中数据库，根据映射关系和转换逻辑进行数据转换，将业务数据和主数据进行统一。

5.根据权利要求1所述的基于主数据映射实现跨安全域数据集中的方法，其特征在于，所述低安全域包括外网、独立网路及内网单位独立网路。