CN104063482B

CN104063482B - 一种面向不动产登记的业务数据整合方法

Info

Publication number: CN104063482B
Application number: CN201410313907.3A
Authority: CN
Inventors: 张丰; 杜震洪; 刘仁义; 郑少楠; 郭绿奕
Original assignee: Zhejiang University ZJU
Current assignee: Zhejiang University ZJU
Priority date: 2014-07-03
Filing date: 2014-07-03
Publication date: 2017-10-03
Anticipated expiration: 2034-07-03
Also published as: CN104063482A

Abstract

本发明公开了一种面向不动产登记的业务数据整合方法，包括如下步骤：根据房产、宗地、林地、草原等不动产登记单元的不同结构构建不动产登记统一数据模型；针对每种异构数据库与统一数据模型之间的数据联系建立数据转换规则；采用ETL技术将不同类型的不动产数据转换成符合不动产登记规则的数据；建立房产、草原、林地与宗地之间的关系，完成业务数据的整合。本发明在不动产登记领域具有重要的实际应用价值，有效减少了人为操作的繁琐性，并且确保了经过转换后的不动产业务数据正确并且可用，应用前景较为广阔。

Description

一种面向不动产登记的业务数据整合方法

技术领域

本发明涉及不动产登记信息化建设领域，尤其涉及一种面向不动产登记的业务数据整合方法。

背景技术

在不动产登记领域中，“业务数据”是集成平台的核心数据之一，不动产登记业务数据隶属于不同部门不同系统，必然涉及到异构数据的集成。异构数据集成方法根据集成模式可以分为集中式数据集成方法以及分布式数据集成方法，根据集成技术分可以分为基于元数据的数据集成方法基于语义的数据集成方法。由于不动产登记涉及到日常办公，存在大量的增、删、改、查等操作，对于数据一致性要求非常高，而目前存在的分布式数据集成管理方案对于业务数据的一致性并不能完全保证，因此需要将业务数据集中管理。

在传统的 EAI（Enterprise Application Integration，企业级应用集成）解决方案中，通常需要构建数据库之间的适配器或者XML 数据转换模板，这种方式需要维护多个数据库之间的数据转换关系，不够灵活。实现异构数据库之间的数据转换需要对数据库之间的数据结构进行有效对比，确定模型间的映射关系，并且能够基于数据字典的内容描述数据抽取以及数据加载的方式。为此，不少学者提出采用混合本体技术完成异构数据源的转换问题。混合本体技术能够提供描述不同数据库之间的数据模型的对比，任意增减业务数据库不会影响全局数据库与其他数据库之间的关系。通过建立局部本体与全局本体之间的映射关系，可以转换为业务数据库与核心数据库之间的数据转换规则，利用转换规则实现目标数据库之间的转换。值得注意的是，本体技术适用于大量的异构数据集成领域，也就说其通用性远大于其实用性。对于一个专业领域，领域内本体的构建过程需要大量专家的指导参与，甚至是国家政策方面的指导规划。可见通过开发数据交换接口灵活度太低，而构建不动产领域本体则代价太高，不切实际。

不动产登记单元的概念在法律中有其定义的一致性，可以以此为依据构建不动产领域中的数据的统一描述模型，并且以此建立每个数据源与不动产登记单元的映射关系，完成异构数据的转换与统一管理。

发明内容

本发明的目的在于针对现有技术的不足，提供一种面向不动产登记的业务数据整合方法。

本发明的目的是通过以下技术方案来实现的，一种面向不动产登记的业务数据整合方法，包括以下步骤：

（1）根据房产、宗地、林地、草原等不动产登记单元的不同结构构建不动产登记统一数据模型；具体包括以下子步骤：

（1.1）将具有明确的界址和界限，在地理空间上具有确定性和唯一性，具有独立的使用价值的一个登记实体定义为一个不动产登记单元；

（1.2）将登记主体、登记客体、登记主客体之间的关系即权利、文件和部门这五类概念定义为概念模型；其中登记主体类模型包括：自然人与非自然人；登记客体类模型包括宗地、房产、林地、草原；权利类模型包括所有权、使用权和他物物权；

（1.3）将业务办理的过程定义为过程模型，一个完整的过程模型需要一个或者多个流程来构成，一个流程由多个任务构成；

（2）针对每种异构数据库与统一数据模型之间的数据联系建立数据转换规则；具体包括以下子步骤：

（2.1）将待整合的不动产数据库定义为数据源；所述数据源拥有不同的数据结构；采用各个数据源中已有的数据字典作为数据源的描述；该描述采用XML的格式进行存储，并且遵循以下原则：每个数据源采用一个独立的XML文档存储；单个数据源中采用一个XML类表示一张关系型数据表；关系型数据表中的字段类型由字段类型type决定，“Type=Primarykey”表示该字段为数据表的主键，“Type= Refkey”表示该字段为该数据表的外键；

（2.2）建立数据源与统一数据模型之间的数据转换规则，具体为：在数据库中建立数据转换表并创建元数据表、待转字段、目标字段、目标表、转换规则字段；

将数据转换规则抽象为数据转换函数，所述数据转换函数包括简单数据转换函数和复杂数据转换函数：简单数据转换函数将需要处理的相关字段描述为数据转换函数的若干个参数，对于不同类型的字段，存在一对一转换，一对多转换两种方式：一对一转换是由一个字段作为参数的函数，一对多转换是由多个字段作为参数的函数；复杂数据转换函数为简单数据转换函数的组合、拆分、关系运算、布尔运算以及格式转换等的复合；

（3）采用ETL技术将不同类型的不动产数据转换成符合不动产登记规则的数据，包括以下子步骤：

（3.1）根据步骤（2）中的数据源描述XML文档，生成相应的SQL脚本，将原始数据存储在临时数据库中；

（3.2）遍历临时数据库中每一个字段，先后调用该字段对应的转换规则，将转换后的目标数据拼接成SQL语句并以文件方式存储；

（3.3）对步骤（3.2）得到的文件进行切割，以2000行SQL语句为一个模块，批量载入到内存中进行更新与提交。

（4）建立房产、草原、林地与宗地之间的关系，完成业务数据的整合；具体包括以下子步骤：

（4.1）将统一数据模型中的登记主体与登记主体所有的不动产登记实体进行关联；

（4.2）构建不动产登记实体之间的关联表，记录其他登记实体与土地登记实体的关联情况。

本发明与现有技术相比具有的有益效果：

（1）首次总结了不动产登记实体所涉及的数据标准，采用该数据转化规则指导数据转化流程，确保最终数据成果的可用性及正确性。

（2）将数据转换规则抽象为转换函数的形式，将转换字段与目标字段抽象为转换函数的参数以及值，最大可能的将转换过程与实际业务脱离，增加该方法的可复用性。

（3）不同类型的不动产登记数据不再孤立存储，可以检索到权利人信息其名下的所有登记实体以及每个登记实体的相互关系。

附图说明

图1 为本发明中不动产登记统一模型示意图；

图2 为本发明中不动产登记过程模型示意图；

图3 为本发明中数据抽取、转换、载入详细过程示意图。

具体实施方式

下面结合附图和具体实施例对本发明作进一步详细说明。

本发明一种面向不动产登记的业务数据整合方法，包括以下步骤：

实施例

面向不动产登记的业务数据整合方法应用在异构业务数据库向不动产数据库进行转换的过程中。其中涉及到的业务数据转换算法实现的逻辑是，首先载入数据转换规则于与内存中，在处理区中获取一条记录，对于该条记录中对应的字段以及参数传递给数据转换规则函数，执行函数，若运行正常，则将记录转储到XML文件中，否则抛出异常，并且将异常数据转储到异常文件中。其伪代码如下：

//数据转换方法

XmlDocument ruleXmlFile = GetRulefile(filepath);

Map Rules = GetTransFromRule(ruleXmlFile);//获取转换规则到内存中

Datatable dt = GetDataArea(number);//从数据库中获取待处理数据，并且转 存到内存中

XmlDocument targetFile =new XmlDocument();//创建数据文档

for(int i = 0;i<dt.rows.count;i++){

node = targetFile.addNode(nodeName);//创建一个数据节点

for(int j = 0 ;j<dt.line.count ;j++){

//根据每行数据的每一个单元进行转化

Data data = Rules.transForm (dt.row [i][j]);

if(data == null){Log.file(data);//记录异常日志 continue;}

else{node.addNodes(data,i,j,datatype);}//若转换成功则在 节点中创建子节点存储数据和与之对应的数据类型

}

该算法时间复杂度较高为 O(N²)次，需要连接源数据库，在大规模文件中速度较慢。本算法采用 XML 文件控制文档结构，并且采用消息队列传输文件，这种解决方法能够提高数据规范性以及传输安全性。比起传统的读取业务数据库——转换业务数据——写入文本文件的方式更为科学。数据载入算法的核心思想是遍历 XML 文件叶子节点或者文本文件每一行（本文以 XML 文件为例），生成SQL 语句，存储数据。

//数据载入算法

//根据业务类型解析对应的XML文件得到非叶子节点的描述

MessageNode messageNode[] = getmessageParentNodeArray(business);

//循环非叶子节点数组，得到非叶子节点节点名称，生成 SQL 语句，存储数据

for(int i = 0;i<messageNode.length;i++){

MessageNode messageNodeLeft[] = messageNode[i].getLetfNode();

//循环叶子节点，生成 SQL 语句

String sql = ‘’;

for(int j =0;j<messageNodeLeft.length;j++)

{sql += createSQL(messageNode[i],messageNodeLeft [j]);}

}

excuateSQLinsert(sql);//向目标数据库中执行sql语句插入数据。

Claims

1.一种面向不动产登记的业务数据整合方法，其特征在于，包括以下步骤：

(1)根据房产、宗地、林地、草原这些不动产登记单元的不同结构构建不动产登记统一数据模型；具体包括以下子步骤：

(1.1)将具有明确的界址和界限，在地理空间上具有确定性和唯一性，具有独立的使用价值的一个登记实体定义为一个不动产登记单元；

(1.2)将登记主体、登记客体、登记主客体之间的关系即权利、文件和部门这五类概念定义为概念模型；其中登记主体类模型包括：自然人与非自然人；登记客体类模型包括宗地、房产、林地、草原；权利类模型包括所有权、使用权和他物物权；

(1.3)将业务办理的过程定义为过程模型，一个完整的过程模型需要一个或者多个流程来构成，一个流程由多个任务构成；

(2)针对每种异构数据库与统一数据模型之间的数据联系建立数据转换规则；具体包括以下子步骤：

(2.1)将待整合的不动产数据库定义为数据源；所述数据源拥有不同的数据结构；采用各个数据源中已有的数据字典作为数据源的描述；该描述采用XML的格式进行存储，并且遵循以下原则：每个数据源采用一个独立的XML文档存储；单个数据源中采用一个XML类表示一张关系型数据表；关系型数据表中的字段类型由字段类型type决定，“Type＝Primarykey”表示该字段为数据表的主键，“Type＝Refkey”表示该字段为该数据表的外键；

(2.2)建立数据源与统一数据模型之间的数据转换规则，具体为：在数据库中建立数据转换表并创建元数据表、待转字段、目标字段、目标表、转换规则字段；

将数据转换规则抽象为数据转换函数，所述数据转换函数包括简单数据转换函数和复杂数据转换函数：简单数据转换函数将需要处理的相关字段描述为数据转换函数的若干个参数，对于不同类型的字段，存在一对一转换，一对多转换两种方式：一对一转换是由一个字段作为参数的函数，一对多转换是由多个字段作为参数的函数；复杂数据转换函数为简单数据转换函数的组合、拆分、关系运算、布尔运算以及格式转换的复合；

(3)采用ETL技术将不同类型的不动产数据转换成符合不动产登记规则的数据，包括以下子步骤：

(3.1)根据步骤(2)中的数据源描述XML文档，生成相应的SQL脚本，将原始数据存储在临时数据库中；

(3.2)遍历临时数据库中每一个字段，先后调用该字段对应的转换规则，将转换后的目标数据拼接成SQL语句并以文件方式存储；

(3.3)对步骤(3.2)得到的文件进行切割，以2000行SQL语句为一个模块，批量载入到内存中进行更新与提交；

(4)建立房产、草原、林地与宗地之间的关系，完成业务数据的整合；具体包括以下子步骤：

(4.1)将统一数据模型中的登记主体与登记主体所有的不动产登记实体进行关联；

(4.2)构建不动产登记实体之间的关联表，记录其他登记实体与土地登记实体的关联情况。