CN102156699A - 一种基于jdom解析技术的数据迁移方法 - Google Patents

一种基于jdom解析技术的数据迁移方法 Download PDF

Info

Publication number
CN102156699A
CN102156699A CN2010101123034A CN201010112303A CN102156699A CN 102156699 A CN102156699 A CN 102156699A CN 2010101123034 A CN2010101123034 A CN 2010101123034A CN 201010112303 A CN201010112303 A CN 201010112303A CN 102156699 A CN102156699 A CN 102156699A
Authority
CN
China
Prior art keywords
data
database
jdom
migration
xml document
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN2010101123034A
Other languages
English (en)
Inventor
陈巍
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Individual
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Priority to CN2010101123034A priority Critical patent/CN102156699A/zh
Publication of CN102156699A publication Critical patent/CN102156699A/zh
Pending legal-status Critical Current

Links

Landscapes

  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明提供了一种基于JDOM解析技术的数据迁移方法,包括以下步骤:针对不同的注册用户分配不同的操作权限;客户端发出数据迁移命令,通过JDBC接口连接访问数据库,源数据库上的数据通过模式映射存储到XML文档中并按数据类型进行分类;采用JDOM解析技术对XML文档进行解析,解析获取的数据以二维数组进行存储,通过定义不同数据类型之间的映射关系,将数据以正确的数据类型自动的导入到数据库内。本发明使用JDOM对XML文档中的数据进行解析,提高了与JAVA语言的兼容性并相应的提高了通用性,本发明特别适用于数据库类别相对固定的大批量的数据迁移,迁移的效率高且迁移的误差小。

Description

一种基于JDOM解析技术的数据迁移方法
技术领域
本发明涉及了一种异构数据库数据迁移处理方法,具体的说是一种以JDOM解析技术为基础的结合XML相关技术的数据迁移方法。
背景技术
网络技术的发展以及信息量的增加,使得网络上形成了分布的数量巨大的异构信息源,同时,各企事业内部由于地理位置或新需求的增加也形成了一个分布式的、异构的且数量巨大的数据集合。异构的数据源出现的一个很重要的原因是由于多种商业数据库的同时存在。异构数据源形式多样,从结构上来区分可以为结构化数据比如关系数据库,半结构化的数据比如Web页面,而且存在着完全非结构化的数据如一般的文本文件、电子邮件、演示文稿和各种文档,这些数据源往往在地理位置上分布,数据格式和代码不统一,这些问题的产生直接推动了对异构数据源的数据共享和透明访问的需求的产生。如何对异构的数据库数据进行正确而有效的迁移,从而维持一个一致的,完整的全局模式,进而提高学习和生产的效率,体现了数据迁移的具体实现方案重要意义。
JDOM是一个开源项目,它作为一种轻量级API被制定,遵循了DOM的基础规则。相对于DOM,JDOM的优点在于:JDOM为Java平台专用;JDOM取消了严格的层次结构这一限制;JDOM使用类驱动而非接口继承的方式;创建一个JDOM对象相对容易且符合Java的编程规范。
发明内容
为了实现异构数据库之间的数据共享,避免传统上利用DOM技术解析XML文档的局限性,本发明提供了一种高效的、兼容性更好的基于JDOM解析技术的异构数据库数据迁移方法,该方法通过将源数据库上的数据通过模式映射存储到XML文档中,再通过JDOM解析技术对XML文档进行自动地解析,对解析获得的数据进行存储并按照目的数据库的数据类型格式进行导入。
本发明的目的是通过以下技术方案来实现:
基于JDOM解析技术的数据迁移方法,其特征在于包含以下几个步骤:
1)用户注册以及登录:
基于数据安全性的考虑,给不同的用户分配不同的操作权限,在分配用户的权限时,包含数据迁移请求的权限和对数据库数据进行操纵的权限两部分,用户登录时服务器端对没有注册的用户或登录后的越权操作分别抛出不同的异常。
2)获取待迁移数据:
客户端发出数据迁移命令之后,使用JDBC接口连接访问数据库,源数据库上的数据通过模式映射存储到XML文档中,XML文档依照数据类型进行分类。
3)导入迁移数据:
利用JDOM对XML文档进行解析,解析时对XML文档进行先序遍历,使用二维数组进行存储,遍历结束时存储转换的过程相应的结束。数据导入之前,定义不同数据类型之间的映射关系,通过数据类型的映射,数据以正确的数据类型自动的导入到数据库内。
本发明对涉及迁移的数据在两种异构数据库,以及XML文档中的存在形式在迁移结束之后给出对比结果,分别列出数据类型、值及其对应关系,用以后续对迁移结果的正确性作出评估。
本发明使用JDOM对XML文档中的数据进行解析,在与JAVA语言的兼容性方面以及通用性方面进一步提高,在创建一个JDOM对象方面相对容易且符合Java的编程规范,使得数据迁移的功能更加容易实现。
本发明特别适用于数据库类别相对固定的大批量的数据迁移,迁移的效率高且迁移的误差小。
具体实施方式
一种本发明所述的基于JDOM解析技术的数据迁移方法,包含以下步骤:
用户注册以及登录:服务器接受到注册请求信息,对用户的信息进行校验,如果校验成功则回复注册成功信息,并赋予其正确的权限,否则用户注册失败,系统抛出对应的异常信息。用户登录时服务器端对没有注册的用户或登录后越权的操作将分别抛出不同的异常。
获取待迁移数据:客户端发出数据迁移命令之后,通过JDBC接口连接访问数据库,源数据库上的数据通过模式映射或者模板映射存储到XML文档中,XML文档依照数据类型或其它自定义规则对数据进行分类。
导入迁移数据:利用JDOM解析技术对存储数据的XML文档进行解析,解析时对XML文档进行先序遍历,使用二维数组进行存储,数据的解析过程即是对XML文档的一次遍历过程,遍历结束时,存储转换的过程相应的结束。数据在导入之前,定义不同数据类型之间的映射关系,通过数据类型的映射,将数据以正确的类型导入到数据库内。
本发明对涉及迁移的数据在两种异构数据库,以及XML文档中的存在形式在迁移结束之后给出对比结果,用以对迁移的正确性进行评估或追踪迁移出错的原因;使用JDOM对XML文档进行解析,提高了与JAVA的兼容性也因此提高了系统的通用性;同时,本发明特别适用于数据库类型相对固定的大批量的数据迁移,可以提高迁移的效率以及减小迁移过程中的误差。

Claims (2)

1.一种基于JDOM解析技术的数据迁移方法,其特征在于包含以下几个步骤:
1)客户端向服务器发送注册请求,用户登录后对用户的操作进行跟踪,越权的操作将抛出相应的异常。
2)获取待迁移数据:
客户端发出数据迁移命令之后,使用JDBC接口连接访问数据库,数据库上的数据通过模式映射之后存储到XML文档中,XML文档依照数据类型进行分类存储。
3)导入迁移数据:
利用JDOM对XML文档进行解析,解析时对XML文档进行先序遍历,使用二维数组进行存储,遍历结束时存储转换的过程相应的结束。
解析获取的数据在导入数据库之前,定义异构数据库之间数据类型之间的映射关系,通过数据类型的映射,建立不同数据类型之间的对应关系,数据按正确的数据类型自动的导入到数据库内。
2.根据权利要求1所述的基于JDOM解析技术的数据迁移方法,其特征在于:对步骤2)和步骤3)所涉及的具体操作保存到特定的文件,并显示到前台以便进行正确性评估。
CN2010101123034A 2010-02-11 2010-02-11 一种基于jdom解析技术的数据迁移方法 Pending CN102156699A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN2010101123034A CN102156699A (zh) 2010-02-11 2010-02-11 一种基于jdom解析技术的数据迁移方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN2010101123034A CN102156699A (zh) 2010-02-11 2010-02-11 一种基于jdom解析技术的数据迁移方法

Publications (1)

Publication Number Publication Date
CN102156699A true CN102156699A (zh) 2011-08-17

Family

ID=44438200

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2010101123034A Pending CN102156699A (zh) 2010-02-11 2010-02-11 一种基于jdom解析技术的数据迁移方法

Country Status (1)

Country Link
CN (1) CN102156699A (zh)

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102760164A (zh) * 2012-06-12 2012-10-31 上海方正数字出版技术有限公司 一种关系数据库管理系统与xml数据库管理系统之间数据交换的方法
CN104102652A (zh) * 2013-04-08 2014-10-15 国家电网公司 一种非结构化数据存储系统及方法
CN104484472A (zh) * 2014-12-31 2015-04-01 天津南大通用数据技术股份有限公司 一种混合多种异构数据源的数据库集群及实现方法
CN105159970A (zh) * 2015-08-25 2015-12-16 浪潮(北京)电子信息产业有限公司 一种数据库数据迁移系统及方法
CN105740462A (zh) * 2016-03-02 2016-07-06 上海新炬网络信息技术有限公司 一种支持不同环境之间的数据迁移方法
CN105808539A (zh) * 2014-12-29 2016-07-27 北京航天测控技术有限公司 一种数据导出导入方法及装置
CN106227776A (zh) * 2016-07-18 2016-12-14 四川君逸数码科技股份有限公司 一种支撑智慧金融的数据预处理方法和装置
CN107295043A (zh) * 2016-03-31 2017-10-24 阿里巴巴集团控股有限公司 一种对用户进行迁移的方法和设备
CN109189756A (zh) * 2018-06-29 2019-01-11 平安科技(深圳)有限公司 电子装置、数据迁移的方法及存储介质
CN109960709A (zh) * 2019-04-18 2019-07-02 上海达梦数据库有限公司 一种数据库驱动的处理方法、装置、设备及存储介质
CN110110151A (zh) * 2018-01-05 2019-08-09 北大方正集团有限公司 资源包解析入库的方法、系统、计算机设备和存储介质
CN111414390A (zh) * 2020-03-20 2020-07-14 北京思特奇信息技术股份有限公司 一种数据处理方法和系统
CN113297180A (zh) * 2021-06-01 2021-08-24 平安证券股份有限公司 数据迁移方法、装置、电子设备及存储介质

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102760164A (zh) * 2012-06-12 2012-10-31 上海方正数字出版技术有限公司 一种关系数据库管理系统与xml数据库管理系统之间数据交换的方法
CN104102652B (zh) * 2013-04-08 2017-05-24 国家电网公司 一种非结构化数据存储系统及方法
CN104102652A (zh) * 2013-04-08 2014-10-15 国家电网公司 一种非结构化数据存储系统及方法
CN105808539A (zh) * 2014-12-29 2016-07-27 北京航天测控技术有限公司 一种数据导出导入方法及装置
CN104484472A (zh) * 2014-12-31 2015-04-01 天津南大通用数据技术股份有限公司 一种混合多种异构数据源的数据库集群及实现方法
CN105159970A (zh) * 2015-08-25 2015-12-16 浪潮(北京)电子信息产业有限公司 一种数据库数据迁移系统及方法
CN105740462A (zh) * 2016-03-02 2016-07-06 上海新炬网络信息技术有限公司 一种支持不同环境之间的数据迁移方法
CN107295043A (zh) * 2016-03-31 2017-10-24 阿里巴巴集团控股有限公司 一种对用户进行迁移的方法和设备
CN106227776A (zh) * 2016-07-18 2016-12-14 四川君逸数码科技股份有限公司 一种支撑智慧金融的数据预处理方法和装置
CN110110151A (zh) * 2018-01-05 2019-08-09 北大方正集团有限公司 资源包解析入库的方法、系统、计算机设备和存储介质
CN110110151B (zh) * 2018-01-05 2022-05-10 北大方正集团有限公司 资源包解析入库的方法、系统、计算机设备和存储介质
CN109189756A (zh) * 2018-06-29 2019-01-11 平安科技(深圳)有限公司 电子装置、数据迁移的方法及存储介质
CN109960709A (zh) * 2019-04-18 2019-07-02 上海达梦数据库有限公司 一种数据库驱动的处理方法、装置、设备及存储介质
CN109960709B (zh) * 2019-04-18 2021-02-05 上海达梦数据库有限公司 一种数据库驱动的处理方法、装置、设备及存储介质
CN111414390A (zh) * 2020-03-20 2020-07-14 北京思特奇信息技术股份有限公司 一种数据处理方法和系统
CN113297180A (zh) * 2021-06-01 2021-08-24 平安证券股份有限公司 数据迁移方法、装置、电子设备及存储介质

Similar Documents

Publication Publication Date Title
CN102156699A (zh) 一种基于jdom解析技术的数据迁移方法
US11250344B2 (en) Machine learning based analytics platform
US8954480B2 (en) End-to-end interoperability and workflows from building architecture design to one or more simulations
KR101925165B1 (ko) 외부 데이터 소스로부터의 데이터를 이용한 데이터베이스 쿼리 응답의 강화 기법
CN102567436A (zh) 多租户系统
CN102402559A (zh) 一种数据库升级脚本的生成方法和装置
CN103744960A (zh) 一种基于云平台的元数据索引模型及方法
CN107016084A (zh) 一种地名地址快速定位与查询的方法
US20110106853A1 (en) Declarative model security pattern
CN106383720A (zh) 一种软件产品原型的云端分享协作方法
CN101945126A (zh) 森林资源异构数据分布式管理系统
CN103020301A (zh) 一种多维度数据查询和存储方法及系统
CN105224631A (zh) 搭建行业开放云的系统及编制xbrl财务报表的方法
US11334601B2 (en) Unified data model
CN104598587A (zh) 发票真伪查询方法和系统
WO2024016850A1 (zh) 处理数据冲突的方法、系统、电子设备及计算机可读存储介质
CN104572894A (zh) 在商业智能中利用xml描述业务模型的方法及商业智能系统
CN105278961A (zh) 生成数据库表结构文档的方法及系统
CN105843899A (zh) 一种可简化编程的大数据自动化解析方法及系统
US11514240B2 (en) Techniques for document marker tracking
CN105912723A (zh) 一种自定义字段的存储方法
US8090658B2 (en) System and method of member unique names
CN108959952B (zh) 数据平台权限控制方法、装置和设备
CN104252463B (zh) 一种基于web系统的db2数据库管理方法
CN104391921A (zh) 用于异构模型管理的地理空间决策元模型构建方法及系统

Legal Events

Date Code Title Description
DD01 Delivery of document by public notice

Addressee: Chen Wei

Document name: Notification of Passing Preliminary Examination of the Application for Invention

C06 Publication
PB01 Publication
DD01 Delivery of document by public notice

Addressee: Chen Wei

Document name: Notification of Publication of the Application for Invention

DD01 Delivery of document by public notice

Addressee: Chen Wei

Document name: Notification of before Expiration of Request of Examination as to Substance

DD01 Delivery of document by public notice

Addressee: Chen Wei

Document name: Notification that Application Deemed to be Withdrawn

C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20110817