CN1477558A - 在不兼容的电脑间高效转换异质数据的系统 - Google Patents
在不兼容的电脑间高效转换异质数据的系统 Download PDFInfo
- Publication number
- CN1477558A CN1477558A CNA021420408A CN02142040A CN1477558A CN 1477558 A CN1477558 A CN 1477558A CN A021420408 A CNA021420408 A CN A021420408A CN 02142040 A CN02142040 A CN 02142040A CN 1477558 A CN1477558 A CN 1477558A
- Authority
- CN
- China
- Prior art keywords
- data
- file
- computer
- metadata
- subdata
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明涉及一种数据转换系统,用以将一数据文件在两不兼容的电脑间高效转换。根据本发明,先根据一预定参考文件对一描述文件所记录的关于该数据文件的数据类型及数据格式自动地做语意分析并产生元数据参照文件。该预定参考文件定义了两不兼容的电脑间各类数据类型及各类数据格式转换的规则。随后,管理者可选择对元数据参照文件内所记录的数据栏目、数据类型及数据格式做修改、增加、删减、分割或合并,再产生修订后的元数据参照文件。最后,根据修订后的元数据参照文件,自动地将数据文件在不兼容的两电脑间转换。通过本发明可以将早期电脑系统中的数据高效地转至目前采用的电脑系统内,以缩短数据转换时间、降低数据转换成本,更利于后续的应用。
Description
技术领域
本发明涉及一种数据转换系统,特别是一种在不兼容的电脑之间高效转换异质数据的数据转换系统。
背景技术
随着信息技术的进步以及网络技术的发展,对于数据管理的需求己不再局限于仅仅是将数据储存起来而已。储存好的数据进一步可以进行更广泛的运用,例如,提供给数据仓储系统(Data Warehouse)、数据超市系统(Data Mart)、数据采撷(Data Mining)、决策主管信息系统(ExecutiveInformation System)、Web方式远程报表与动态报表、行销企划人员即兴式查询(Ad-hoc Query)、多通道服务传递系统(Multi-Channel)以及与CRM前端系统整合(CTI,Sales Force Automation)等系统运用。
然而,上述可被运用的数据必须能被现行电脑系统甚至是开放式平台(Open platform)所读取。早期(Legacy)电脑系统内所储存的数据,例如IBM的大型主机(Main frame),必须经过转换为现行电脑系统所能识读的数据,才能被上述各种先进的数据应用。
由于早期对于电脑的需求多为运用来储存大量的数据,因此,采用大型电脑的多为金融业以及邮政业。随着将数据转换至开放式平台的趋势,目前数据转换己成为金融业以及储存有大量仅能被早期大型主机读取的数据的单位的繁重工作。
一般电脑系统对于文件结构的安排,大多是将储存在数据文件内的数据依照数据栏目排列,若该数据文件是一数据库,上述的数据栏目即为该数据库的数据字段。并且,储存在每一个数据栏目内的数据都具有一特定的数据类型以及数据格式。电脑系统在设计上多半会储存对应数据文件的描述文件,在描述文件内存有对其所对应的数据文件的数据栏目的定义、对应数据栏目的数据类型以及数据格式。
对早期电脑系统(例如一主机)内所储存的数据的转换,以往的作法是先由人工对该主机所存的描述文件内所储存的信息做语意分析。接着,在主机内撰写一个转换程序(业界通称为主机程序)将数据文件先转换为中继文件。随后在目标电脑系统内撰写一支转换程序(业界通称为终端程序),将中继文件转换为目标电脑可读取的数据文件。然而,还需要载入程序的协助,才能顺利地将数据文件从主机转换至目标电脑。若是有300个数据文件欲做转换,即需要耗费时间撰写300支主机程序、300支终端程序以及300支载入程序,才能顺利地将300个数据文件做转换。明显地,现行将大型主机内的数据转换至开放式平台的作法,不但要耗费大量程序人员的人力,而且需耗费大型主机的运算资源,影响到大型主机原有需执行的工作。
再以建构数据仓储系统为例,依照过去经验,数据仓储系统的建置有三分之二的时间花费在处理数据的转换上。因此,若能缩短数据转换的时间,即可大幅缩短数据仓储的建置时间。需强调的是,不仅仅是对于在早期大型主机与开放式平台间的数据转换,凡是在两不兼容的电脑系统间转换异质数据,皆会有高效率地转换数据的需求。然而,就先前技术而言,其以人工做语意分析的作法以及耗掉数据来源电脑大量运作资源的作法,明显地会降低数据转换的效率。
发明内容
因此,本发明的目的之一是在提供一种数据转换系统,特别地,本发明所提供数据转换系统是用以在不兼容的电脑之间,以极高的效率转换异质数据,尤其是将早期电脑系统内的数据转换至开放式平台。借此实现高效率、低成本的数据转换工作,以利后续对转换过的数据的其它应用。
根据本发明的第一较佳具体实施例,一种数据转换系统是提供来将一数据文件从一第一电脑转换至一第二电脑。该数据文件包含按多个栏目排列的数据,储存在该多个栏目中的每一个栏目内的数据具有一特定的第一数据类型以及一特定的第一数据格式。所有的第一数据类型以及所有的第一数据格式可被该第一电脑识读,但不可被该第二电脑识读。一描述文件储存于该第一电脑内,描述了该多个栏目的定义以及相对应的第一数据类型与第一数据格式。一预定参考文件是事先提供的,且定义了该第一电脑与该第二电脑之间各类数据类型及各类数据格式转换的规则。根据本发明的较佳具体实施例,首先从该第一电脑处撷取该描述文件。接着根据该预定参考文件,对该描述文件内所的所有第一数据类型以及所有第一数据格式做语意分析,进而产生一第一元数据参照文件。该第一元数据参照文件包含该多个栏目的定义、多个中间数据类型以及多个中间数据格式。该多个中间数据类型中的每一个中间数据类型可被该第二电脑识读,并且对应该多个第一数据类型中的一个第一数据类型。该多个中间数据格式中的每一个中间数据格式可被该第二电脑识读,并且对应该多个第一数据格式中的一个第一数据格式。随后,选择性地修改该多个中间数据类型以及该多个中间数据格式,进而修改成为多个第二数据类型以及多个第二数据格式,并产生一第二元数据参照文件来代替该第一元数据参照文件。该第二元数据参照文件包含了该多个栏目的定义、该多个第二数据类型以及该多个第二数据格式,其中,每一个第二数据类型可被第二电脑识读,并且对应该多个第一数据类型中的一个第一数据类型,每一个第二数据格式可被第二电脑识读,并且对应该多个第一数据格式中的一个第一数据格式。最后,根据该第二元数据参照文件,将该数据文件内的数据从该第一电脑转换至该第二电脑,使在该第二电脑内该数据文件所转换的数据是依照该多个栏目、每一个栏目所对应的第二数据类型以及对应的第二数据格式排列。
关于本发明的优点与精神可以通过以下的发明详述及附图进行进一步说明。
附图说明
图1是根据本发明的第一较佳实施例的数据转换系统10的示意图;
图2是根据本发明的第一较佳实施例的数据转换处理流程;
图3是根据本发明的第一较佳实施例的数据转换处理流程;
图4是应用本发明将数据转换后的后续应用的范例。
具体实施方式
本发明的目的即在提供一种在不兼容的电脑之间高效地转换异质数据的系统。借此可将早期电脑系统中的数据有效率、快速地转至开放式平台上,以降低数据转换成本,利于后续的应用。以下将通过本发明的数个较佳具体实施例,来详细解说根据本发明的数据转换系统的结构以及其运作流程。
图1描绘了根据本发明的第一较佳具体实施例的数据转换系统10的结构。该数据转换系统10分别与一第一电脑20(即储存原数据文件的来源电脑)以及一第二电脑30(即数据文件欲转换到的目标电脑)连结,用以将一数据文件从该第一电脑20处转换至该第二电脑30处。该数据文件包含依据多个栏目排列的数据。若该数据文件是一数据库,上述的栏目即为该数据库的数据字段。储存在该多个栏目中每一个栏目内的数据具有一特定的第一数据类型(例如,单字节数据类型、双字节数据类型或其他特殊的数字数据类型等)以及一特定的数据格式(例如,小数点位数或货币种类等)。需注意的是,所有的第一数据类型以及所有的第一数据格式可被该第一电脑20识读,但不可被该第二电脑30识读。储存在该第一电脑20中的一描述文件(Description file)描述了该多个栏目的定义以及相对应的第一数据类型与第一数据格式。事先提供的一预定参考文件(Reference file)用于定义该第一电脑20与该第二电脑30之间各类数据类型及各类数据格式转换的规则。
在一具体实施例中,该第一数据类型包含选自从EBCDIC数据类型、New Host Code数据类型、Comp数据类型及Comp-3数据类型所组成的一组当中的一个数据类型。在一具体实施例中,该第二电脑30是一开放式平台(Open platform),例如,Microsoft的NT平台。
如图1所示,该数据转换系统10包含一输入模块11、一语意分析模块12、一元数据参照文件储存模块14、一编辑模块16以及一数据转换模块18。该输入模块11是用以从该第一电脑20处撷取该描述文件及该数据文件。
该语意分析模块12储存该预定参考文件,并且从输入模块11处接收该描述文件。根据该预定参考文件,该语意分析模块12对该描述文件内的所有第一数据类型以及所有第一数据格式做语意分析(Parsing),并产生一第一元数据参照文件(Metadata)。该第一元数据参照文件包含了该多个栏目的定义、多个中间数据类型以及多个中间数据格式。需注意的是,该多个中间数据类型中的每一个中间数据类型可被该第二电脑30识读,并且对应该多个第一数据类型中的一个第一数据类型。该多个中间数据格式中的每一个中间数据格式可被该第二电脑30识读,并且对应该多个第一数据格式中的一个第一数据格式。该元数据参照文件储存模块14是用以储存该第一元数据参照文件。需强调的是,不同于先前技术,根据本发明的数据转换系统10中的语意分析系统是自动对描述文件内的信息做语意分析,而非以传统的人工的方式进行。单就此点,就已免除了先前技术需由程序员以人工方式对描述文件做语意分析,以及由程序员撰写在该第一电脑内执行的转换程序的过程。明显地,此种作法免除了先前技术所需大量的程序员人力,并且大幅度地缩短了整体数据转换的时间。
随后,该编辑模块16从该元数据参照文件储存模块14处撷取该第一元数据参照文件。该编辑模块16是用以选择性地修改该多个中间数据类型以及该多个中间数据格式,进而修改成为多个第二数据类型以及多个第二数据格式,并且产生一第二元数据参照文件储存至该元数据参照文件储存模块14内,以代替该第一元数据参照文件。第二元数据参照文件是包含该多个栏目的定义、该多个第二数据类型以及该多个第二数据格式。需注意的是,该多个第二数据类型中的每一个第二数据类型可被第二电脑30识读,并且对应该多个栏目中的一个栏目。该多个第二数据格式中的每一个第二数据格式可被第二电脑30识读,并且对应该多个栏目中的一个栏目。
在实际应用中,该编辑模块1 6由一管理者操作。亦即,将中间数据类型及中间数据格式修改成第二数据类型及第二数据格式的功能权限是提供给该管理者的。因此,在一具体实施例中,该数据转换系统10进一步包含一操作者界面162,如图1所示。该操作者界面162连接了该编辑模块16。且该数据转换系统10与一操作端电脑40连结,该管理者即可通过该操作端电脑40连结至该操作者界面162对该编辑模块16操作。
该数据转换模块18从该输入模块11处接收该数据文件,并且从该元数据参照文件储存模块14处撷取该第二元数据参照文件。该数据转换模块18根据该第二元数据参照文件,将该数据文件内的数据从该第一电脑20转换至该第二电脑30,使在该第二电脑30内该数据文件所转换的数据依照该多个栏目、每一个栏目对应的第二数据类型以及每一个栏目对应的第二数据格式排列。
一般在将早期电脑内的数据转换至现行的电脑时,大多会考虑对数据栏目进行一重新规划,为的是在进行数据转换之前做好数据字段的重新规划,以提升整体数据转换的效率。因此,在另一较佳具体实施例中,该编辑模块16进一步选择性对该多个栏目做增加、删减、分割或合并,并且对该被增加、删减、分割或合并的栏目所对应的第二数据类型及第二数据格式同步地相对应的修订。亦即,提供对数据栏目做增加、删减、分割或是合并的功能权限给管理者。
以下将详述根据本发明的第一较佳具体实施例的数据转换系统10所执行的数据转换处理流程。该数据转换处理流程是用以将一数据文件从图1中所示的该第一电脑20转换至该第二电脑30。需再次强调,该数据文件包含按多个栏目排列的数据,储存在该多个栏目中每一个栏目内的数据具有一特定的第一数据类型。所有的第一数据类型以及所有的第一数据格式可被该第一电脑20识读,但不可被该第二电脑30识读。储存在该第一电脑20的一描述文件描述了该多个栏目的定义以及相对应的第一数据类型与第一数据格式。事先提供的一预定参考文件定义了在该第一电脑20与该第二电脑30之间各类数据类型及各类数据格式转换的规则。
图2表示了根据本发明的第一较佳实施例的数据转换处理流程,处理时首先执行步骤S50,从该第一电脑处20撷取该描述文件。
随后执行步骤S52,根据该预定参考文件,对该描述文件内的所有第一数据类型以及所有第一数据格式做语意分析,进而产生一第一元数据参照文件。该第一元数据参照文件包含了该多个栏目的定义、多个中间数据类型以及多个中间数据格式。需注意的是,该多个中间数据类型中的每一个中间数据类型可被该第二电脑30识读,并且对应该多个第一数据类型中的一个第一数据类型。该多个中间数据格式中的每一个中间数据格式可被该第二电脑30识读,并且对应该多个第一数据格式中的一个第一数据格式。
接着执行步骤S54,选择性地修改该多个中间数据类型以及该多个中间数据格式,进而修改成为多个第二数据类型以及多个第二数据格式,并且产生一第二元数据参照文件以代替该第一元数据参照文件。该第二元数据参照文件是包含该多个栏目的定义、该多个第二数据类型以及该多个第二数据格式。需注意的是,该多个第二数据类型中的每一个第二数据类型可被该第二电脑30识读,并且对应该多个第一数据类型中的一个第一数据类型。该多个第二数据格式中的每一个第二数据格式可被该第二电脑30识读,并且对应该多个第一数据格式中的一个第一数据格式。
最后执行步骤S56,根据该第二元数据参照文件,将该数据文件内的数据从该第一电脑20转换至该第二电脑30,使在该第二电脑30内该数据文件的所转换的数据是依照该多个栏目、每一个栏目所对应的第二数据类型以及每一个栏目所对应的第二数据格式排列。
此外,对于一些大型主机,例如IBM的大型主机,其对文件结构的安排,会有一主数据文件(Main data file)包含多个子数据文件(Sub-data file)的情况。此外,上述多个子数据文件之间存在有子文件层次(Sub-file level)的层次关系,例如,一DL/1文件(主数据文件)经解构(Destructure)会有多个VSAM文件(子数据文件)产生,并且该多个VSAM文件之间存有一层次关系。本发明的第二较佳具体实施例的目的即在于将上述包含多个子数据文件的主数据文件高效转换至一现行电脑内。
根据本发明的第二较佳具体实施例的数据转换系统的基本结构与根据本发明的第一较佳具体实施例的数据转换系统10的结构相同,请参照图1所示。因此,以下将通过图1所揭示的数据转换系统10,来详细说根据本发明的第二较佳具体实施例的数据转换系统的各个功能模块以及其间的运作。
根据本发明的第二较佳具体实施例,欲从该第一电脑20转换至该第二电脑30的数据文件是一上述主数据文件文件结构。该主数据文件包含多个子数据文件,并且该多个子数据文件中的每一个子数据文件是包含按多个栏目排列的数据。在每一个子数据文件内储存的该多个栏目中,每一个栏目内的数据有一特定的第一数据类型以及一特定的第一数据格式。需注意的是,所有的第一数据类型以及所有的第一数据格式可被该第一电脑20识读,但不可被该第二电脑30识读。储存在该第一电脑20内的一描述文件描述了该多个栏目的定义以及相对应的第一数据类型与第一数据格式。事先提供的一预定参考文件定义了该第一电脑20与该第二电脑30之间各类数据类型及各类数据格式转换的规则。
如图1所示,该数据转换系统10包含一输入模块11、一语意分析模块12、一元数据参照文件储存模块14、一编辑模块16以及一数据转换模块18。该输入模块11是用以从该第一电脑20处撷取该描述文件及该主数据文件。
该语意分析模块12储存该预定参考文件,并从输入模块11处接收该描述文件。该语意分析模块12根据该预定参考文件对该描述文件所储存对应每一个子数据文件的所有第一数据类型以及所有第一数据格式做语意分析,并产生一第一元数据参照文件。该第一元数据参照文件是包含每一个子数据文件的多个栏目的定义、每一个子数据文件所对应的多个中间数据类型以及多个中间数据格式,其中每一个电间数据类型可被该第二电脑30识读,且对应该子数据文件的多个第一数据类型中的一个第一数据类型,每一个中间数据格式可被该第二电脑30识读。该元数据参照文件储存模块14用以储存该第一元数据参照文件。
随后,该编辑模块16从该元数据参照文件储存模块14处撷取该第一元数据参照文件。该编辑模块16是用以选择性地修改对应每一个子数据文件的多个中间数据类型以及多个中间数据格式,进而修改成为多个第二数据类型以及多个第二数据格式,并且产生一第二元数据参照文件回存至该元数据参照文件储存模块14内,以代替该第一元数据参照文件。第二元数据参照文件是包含每一个子数据文件的多个栏目的定义、每一个子数据文件所对应的多个第二数据类型以及多个第二数据格式,其中每一个第二数据类型可被该第二电脑30识读,并且对应该个子数据文件的多个第一数据类型中的一个第一数据类型,每一个第二数据格式可被该第二电脑30识读,并且对应该个子数据文件的多个第一数据格式中的一个第一数据格式。
在实际应用中,该编辑模块16是由一管理者所操作。亦即,将中间数据类型及中间数据格式修改成第二数据类型及第二数据格式的功能权限是提供给该管理者的。因此,在一具体实施例中,该数据转换系统10进一步包含一操作者界面162,如图1所示。该操作者界面162连接了该编辑模块16,且该数据转换系统10还与一操作端电脑40连结,该管理者即可通过该操作端电脑40连结至该操作者界面162对该编辑模块16操作。
在另一较佳具体实施例中,该编辑模块16进一步选择性地将每一个子数据文件的多个栏目做增加、删减、分割或合并,并且对该被增加、删减、分割或合并的栏目所对应的第二数据类型及第二数据格式同步地做相对应的修订,亦即,将对数据栏目做增加、删减、分割或是合并的功能权限提供给管理者。
最后,该数据转换模块18从该输入模块11处接收该主数据文件,并且从该元数据参照文件储存模块14处撷取该第二元数据参照文件。该数据转换模块18是用以根据该第二元数据参照文件,将该主数据文件内的数据从该第一电脑20转换至该第二电脑30,使在该第二电脑30内己转换的主数据文件所包含的多个子数据文件中每一个子数据文件内的数据是依照该子数据文件的多个栏目、每一个栏目所对应的第二数据类型以及每一个栏目所对应的第二数据格式排列。
如前所述,若干大型主机对该主数据文件的文件结构的安排,在该主数据文件的多个子数据文件之间存有一层次关系。因此,在另一较佳具体实施例中,该多个子数据文件之间是存有一层次关系。该描述文件、该第一元数据参照文件以及该第二元数据参照文件皆存有该层次关系。经该数据转换模块18所转换的主数据文件所包含的多个子数据文件之间同样存有该层次关系。在一具体实施例中,该主数据文件是一DL/1文件,并且每一个子数据文件是一VSAM文件。
为提供更改存于该多个数据文件之间的层次关系给管理者,在另一较佳具体实施例中,该编辑模块16进一步选择性地对该多个子数据文件之间的层次关系做变动。该第二元数据参照文件是存有变动后的层次关系,经该数据转换模块18所转换的主数据文件所包含的多个子数据文件之间存有变动后的层次关系。亦即,管理者可以对该多个子数据文件彼此间的层次关系对变动、调整。
以下将详述根据本发明的第二较佳具体实施例的数据转换系统10所执行的数据转换处理流程。该数据转换处理流程是用以将一主数据文件从图1中所示的该第一电脑20转换至该第二电脑30。需再次强调,该主数据文件包含多个子数据文件,该多个子数据文件中的每一个子数据文件是包含按多个栏目排列的数据,在每一个子数据文件内储存的该多个栏目中每一个栏目内的数据是具有一特定的第一数据类型以及一特定的第一数据格式。所有的第一数据类型以及所有的第一数据格式可被该第一电脑20识读,但不可被该第二电脑30识读。储存于该第一电脑20的一描述文件描述了每一个子数据文件的多个栏目的定义以及相对应的第一数据类型与第一数据格式。事先提供的一预定参考文件定义了在该第一电脑20与该第二电脑30之间各类数据类型及各类数据格式转换的规则。
请参照图3所示,首先执行步骤S60,从该第一电脑处20撷取该描述文件。
随后执行步骤S62,根据该预定参考文件,对该描述文件所储存对应每一个子数据文件的所有的第一数据类型以及所有的第一数据格式做语意分析,进而产生一第一元数据参照文件。该第一元数据参照文件是包含每一个子数据文件的多个栏目的定义、每一个子数据文件所对应的多个中间数据类型以及多个中间数据格式,其中,每一个中间数据类型可被该第二电脑30识读,并且对应该个子数据文件的多个第一数据类型中的一个第一数据类型,每一个中间数据格式可被该第二电脑30识读,并且对应该个子数据文件的多个第一数据格式中的一个第一数据格式。
接着执行步骤S64,选择性地修改对应每一个子数据文件的多个中间数据类型以及多个中间数据格式,进而修改成为多个第二数据类型以及多个第二数据格式,并且产生一第二元数据参照文件。该第二元数据参照文件是包含每一个子数据文件的多个栏目的定义、每一个子数据文件所对应的多个第二数据类型以及多个第二数据格式,其中,每一个第二数据类型可被该第二电脑30识读,并对应该个子数据文件的多个第一数据类型中的一个第一数据类型,每一个第二数据格式可被该第二电脑30识读,并且对应该个子数据文件的多个第一数据格式中的一个第一数据格式。
最后执行步骤S66,根据该第二元数据参照文件,将该主数据文件内的数据从该第一电脑20转换至该第二电脑30,使在该第二电脑30内已转换的主数据文件所包含的多个子数据文件中每一个子数据文件内的数据是依照个子数据文件的多个栏目、每一个栏目所对应的第二数据类型以及每一个栏目所对应的第二数据格式排列。
经应用本发明将数据有效率的转换后,更有利于后续的应用。如图4所示,该第二电脑30是一数据仓储系统的范例,连接该数据仓储系统30的后续应用服务器或工作站的范例包含图4中所示的数据采撷工作站321、中间层(Middle tier)服务器322、CRM前端服务器323、OLAP(On-lineanalytical processing)服务器324、Ad-hoc Query报告产生工作站325以及EIS(Execution instruction sets)工作站326等。以利现行对开放式平台上的数据的详加运用,例如,数据采撷(Data Mining)、决策主管信息系统(Executive Information System)、Web版远程报表与动态报表、行销企划人员即兴式查询(Ad-hoc Query)、多通道服务传递系统(Multi-Channel)以及与CRM前端系统整合(CTI,Sales Force Automation)等等运用。
需再次强调,在不兼容地脑系统间转换数据所使用的先前技术必须分别在两不兼容的电脑系统上撰写转换程序,明显地,转换的过程复杂、处理能量小,并且会耗掉储存欲转换数据文件的原电脑系统的运算能量。相比之下,应用本发明转换数据文件,转换过程简单、处理能量大,并且集中在根据本发明的数据转换系统内处理,不会耗掉储存欲转换数据文件的原电脑系统的运算能量。
为更加突显先前技术与采用本发明所需成本、经费存有相当大的落差,以下将通过金融业在一IBM主机与一Window NT平台间转换数据的实例详加解说。请参照表1,表1所列数据由此300个需做转换的数据文件为比较基础,依序将两种作法对所需撰写的程序(或设定参数)、转文件时间、人力经费以及维护人力的估算列出,借以比较采用先前技术与应用本发明所花费转换时间以及人力成本。由表1所列出的数据,可以清楚地看出应用本发明做数据转换,与先前技术比较,免除了对程序员大量人力的需求,可以大幅度地节省转换成本,并且可以大幅度地缩短转换时间。表1
工作项目 | 先前技术 | 本发明 |
300个数据文件 | 300个主机程序、300个终端程序、300个载入程序 | 图形化设定300组参数(300个元数据参照文件) |
转换文件工时 | 约主机程序员5人、终端程序员3人,费时6~8个月 | 2人约不到1个月 |
人力经费 | 12万/人·月×8人×7月=672万 | 12万/人·月×2人×1月=24万 |
维护人力 | 主机程序员1人、终端程序员1人 | 终端程序员1人 |
以上较佳具体实施例更加清楚地描述本发明的特征与精神,但上述所揭露的较佳具体实施例并非用来对本发明的范畴加以限制。相反地,其目的是希望能将各种改变及具有相等性的安排涵盖在本发明所欲保护的专利范围内。因此,本发明的保护范围应根据上述的说明作最宽广的解释,以使其涵盖所有可能的改变以及具有相等性的安排。
Claims (13)
1.一种在不兼容的电脑间高效转换异质数据的数据处理系统,用以将一数据文件从一第一电脑转换至一第二电脑,该数据文件包含依据多个栏目排列的数据,储存在该多个栏目中每一栏目内的数据都有一特定的第一数据类型及一特定的第一数据格式,所有第一数据类型和所有第一数据格式能被该第一电脑识读,但不能被该第二电脑识读,储存在该第一电脑内的一描述文件描述了该多个栏目的定义和相对应的第一数据类型与第一数据格式,事先提供的一预定参考文件定义了在该第一电脑与该第二电脑之间各类数据类型及各类数据格式转换的规则,其特征在于,该数据处理系统包含:
一输入模块,用以从该第一电脑处撷取该描述文件及该数据文件;
一语意分析模块,用以储存所述的预定参考文件,并从输入模块处接收所述的描述文件,并根据该预定参考文件,对该描述文件内的所有第一数据类型和所有第一数据格式做语意分析,并产生一第一元数据参照文件,该第一元数据参照文件包含该多个栏目的定义、多个中间数据类型以及多个中间数据格式,其中每一个中间数据类型可被该第二电脑识读,并对应该多个第一数据类型中的一个第一数据类型,每一个中间数据格式可被该第二电脑识读,并且对应该多个第一数据格式中的一个第一数据格式;
一元数据参照文件储存模块,用以储存该第一元数据参照文件;
一编辑模块,用以从该元数据参照文件储存模块处撷取该第一元数据参照文件,并选择性地将该多个中间数据类型和该多个中间数据格式修改为多个第二数据类型和多个第二数据格式,再产生一第二元数据参照文件,并回存至该元数据参照文件储存模块,以代替该第一元数据参照文件,该第二元数据参照文件包含该多个栏目的定义、该多个第二数据类型以及该多个第二数据格式,其中每一个第二数据类型可被该第二电脑识读,并且对应该多个第一数据类型中的一个第一数据类型,每一个第二数据格式可被该第二电脑识读,且对应该多个第一数据格式中的一个第一数据格式;以及
一数据转换模块,用以从该输入模块处接收该数据文件和从该元数据参照文件储存模块处撷取该第二元数据参照文件,并根据该第二元数据参照文件,将该数据文件内的数据从该第一电脑转换至该第二电脑,使在该第二电脑内该数据文件的所转换的数据是依照该多个栏目、每一个栏目所对应的第二数据类型以及每一个栏目所对应的第二数据格式排列。
2、如权利要求1所述的数据处理系统,其特征在于所述的编辑模块进一步选择性地对该多个栏目做增加、删减、分割或合并,并且对该被增加、删减、分割或合并的栏目所对应的第二数据类型及第二数据格式同步地做相对应的修订。
3、如权利要求2所述的数据处理系统,其特征在于所述的多个第一数据类型包含选自从EBCDIC数据类型、New Host Code数据类型、Comp数据类型及Comp-3数据类型所组成的一组中的一个数据类型。
4、如权利要求3所述的数据处理系统,其特征在于所述的第二电脑是一开放式平台。
5、如权利要求4所述的数据处理系统,其特征在于该数据处理系统进一步包含一与所述编辑模块相连接的操作界面,所述的数据处理系统通过该操作界面与一操作端电脑相连结,一管理者通过该操作端电脑连结至该操作者界面以对该编辑模块进行操作。
6、一种在不兼容的电脑间高效转换异质数据的系统,用以将一主数据文件从一第一电脑转换至一第二电脑,该主数据文件包含多个子数据文件,该多个子数据文件中的每一个子数据文件包含依据多个栏目排列的数据,在每一个子数据文件内储存的该多个栏目中的每一个栏目内的数据具有一特定的第一数据类型以及一特定的第一数据格式,所有的第一数据类型以及所有的第一数据格式可被该第一电脑识读但不可被该第二电脑识读,储存在该第一电脑内的一描述文件描述了每一个子数据文件的多个栏目的定义以及相对应的第一数据类型与第一数据格式,事先提供的一预定参考文件定义了在该第一电脑与该第二电脑之间各类数据类型及各类数据格式转换的规则,其特征在于,该数据处理系统包含:
一输入模块,用以从该第一电脑处撷取该描述文件及该主数据文件;
一语意分析模块,该语意分析模块储存该预定参考文件,并且从输入模块处接收该描述文件,该语意分析模块是用以根据该预定参考文件,对该描述文件所储存对应每一个子数据文件的所有第一数据类型以及所有第一数据格式做语意分析,进而产生一第一元数据参照文件,该第一元数据参照文件是包含每一个子数据文件的多个栏目的定义、每一个子数据文件所对应的多个中间数据类型以及多个中间数据格式,其中每一个中间数据类型可被该第二电脑识读,并且对应该个子数据文件的多个第一数据类型中的一个第一数据类型,每一个中间数据格式可被该第二电脑识读,并且对应该个子数据文件的多个第一数据格式中的一个第一数据格式;
一元数据参照文件储存模块,用以储存该第一元数据参照文件;
一编辑模块,该编辑模块从该元数据参照文件储存模块处撷取该第一元数据参照文件,该编辑模块是。用以选择性地修改对应每一个子数据文件的多个中间数据类型以及多个中间数据格式,进而修改成为多个第二数据类型以及多个第二数据格式,并且产生一第二元数据参照文件回存至该元数据参照文件储存模块以代替该第一元数据参照文件,该第二元数据参照文件是包含每一个子数据文件的多个栏目的定义、每一个子数据文件所对应的多个第二数据类型以及多个第二数据格式,其中每一个第二数据类型可被该第二电脑识读,并且对应该个子数据文件的多个第一数据类型中的一个第一数据类型,每一个第二数据格式可被该第二电脑识读,并且对应该个子数据文件的多个第一数据格式中的一个第一数据格式;以及
一数据转换模块,该数据转换模块从该输入模块处接收该主数据文件并且从该元数据参照文件储存模块处撷取该第二元数据参照文件,该数据转换模块根据该第二元数据参照文件将该主数据文件内的数据从该第一电脑转换至该第二电脑,使在该第二电脑内已转换的主数据文件所包含的多个子数据文件中每一个子数据文件内的数据是依照各子数据文件的多个栏目、每一个栏目所对应的第二数据类型以及每一个栏目所对应的第二数据格式排列。
7、如权利要求6所述的数据处理系统,其特征在于所述的编辑模块进一步选择性地将每一个子数据文件的多个栏目做增加、删减、分割或合并,并且对该被增加、删减、分割或合并的栏目所对应的第二数据类型及第二数据格式同步地做相对应的修订。
8、如权利要求7所述的数据处理系统,其特征在于所述的所有第一数据类型包含选自由EBCDIC数据类型、New Host Code数据类型、Comp数据类型及Comp-3数据类型所组成的一组当中的一个数据类型。
9、如权利要求8所述的数据处理系统,其特征在于所述的第二电脑是一开放式平台。
10、如权利要求9所述的数据处理系统,其特征在于所述的多个子数据文件的间存有一层次关系,该描述文件、该第一元数据参照文件及该第二元数据参照文件皆存有该层次关系,经该数据转换模块所转换的主数据文件所包含的多个子数据文件之间同样存有该层次关系。
11、如权利要求10所述的数据处理系统,其特征在于所述的编辑模块进一步选择性地对该多个子数据文件之间的层次关系做变动,该第二元数据参照文件是存有变动后的层次关系,经该数据转换模块所转换的主数据文件所包含的多个子数据文件之间存有变动后的层次关系。
12、如权利要求6所述的数据处理系统,其特征在于所述的主数据文件是一DL/1文件,并且每一个子数据文件是一VSAM文件。
13、如权利要求12所述的数据处理系统,其特征在于,进一步包含一操作界面,该操作界面是连接该编辑模块,该数据处理系统并且通过该操作界面与一操作端电脑相连结,一管理者是通过该操作端电脑连结至该操作者界面对该编辑模块操作。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CNA021420408A CN1477558A (zh) | 2002-08-23 | 2002-08-23 | 在不兼容的电脑间高效转换异质数据的系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CNA021420408A CN1477558A (zh) | 2002-08-23 | 2002-08-23 | 在不兼容的电脑间高效转换异质数据的系统 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN1477558A true CN1477558A (zh) | 2004-02-25 |
Family
ID=34147927
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CNA021420408A Pending CN1477558A (zh) | 2002-08-23 | 2002-08-23 | 在不兼容的电脑间高效转换异质数据的系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN1477558A (zh) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN100407198C (zh) * | 2004-05-07 | 2008-07-30 | 三星电子株式会社 | 用于同步元数据的方法和设备以及存储介质 |
CN102741812A (zh) * | 2010-01-12 | 2012-10-17 | 高通股份有限公司 | 通过元数据抽取执行动态语言 |
CN103425521A (zh) * | 2012-05-24 | 2013-12-04 | 腾讯科技(深圳)有限公司 | 数据同步方法和装置 |
CN106649310A (zh) * | 2015-10-29 | 2017-05-10 | 北京国双科技有限公司 | 数据获取的方法及装置 |
-
2002
- 2002-08-23 CN CNA021420408A patent/CN1477558A/zh active Pending
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN100407198C (zh) * | 2004-05-07 | 2008-07-30 | 三星电子株式会社 | 用于同步元数据的方法和设备以及存储介质 |
CN102741812A (zh) * | 2010-01-12 | 2012-10-17 | 高通股份有限公司 | 通过元数据抽取执行动态语言 |
US9003380B2 (en) | 2010-01-12 | 2015-04-07 | Qualcomm Incorporated | Execution of dynamic languages via metadata extraction |
CN103425521A (zh) * | 2012-05-24 | 2013-12-04 | 腾讯科技(深圳)有限公司 | 数据同步方法和装置 |
CN103425521B (zh) * | 2012-05-24 | 2017-03-15 | 腾讯科技(深圳)有限公司 | 数据同步方法和装置 |
CN106649310A (zh) * | 2015-10-29 | 2017-05-10 | 北京国双科技有限公司 | 数据获取的方法及装置 |
CN106649310B (zh) * | 2015-10-29 | 2020-04-24 | 北京国双科技有限公司 | 数据获取的方法及装置 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US7240059B2 (en) | System and method for configuring a parallel-processing database system | |
US7293024B2 (en) | Method for sorting and distributing data among a plurality of nodes | |
US7805341B2 (en) | Extraction, transformation and loading designer module of a computerized financial system | |
US6434558B1 (en) | Data lineage data type | |
US7281000B2 (en) | Method for efficient query execution using dynamic queries in database environments | |
US8676843B2 (en) | Failure recovery in a parallel-processing database system | |
US20040098359A1 (en) | Method and system for parallel processing of database queries | |
EP1643364A1 (en) | Systems and methods for general aggregation of characteristics and key figures | |
US20040098372A1 (en) | Global-results processing matrix for processing queries | |
US20040098374A1 (en) | Query scheduling in a parallel-processing database system | |
CN1159665C (zh) | 创建定制数据库的方法和设备 | |
CN1656457A (zh) | 管理本机应用程序数据的系统和方法 | |
CN1653418A (zh) | 向作为不同类实例的对象提供通用内存管理代码 | |
CN101042751A (zh) | 一种灵活、可扩展动态统计的实现方法及系统 | |
CN106528898A (zh) | 将非关系型数据库数据转换到关系型数据库的方法及装置 | |
CN116361487A (zh) | 一种多源异构政策知识图谱构建和存储方法及系统 | |
CN1783063A (zh) | 历史数据归档和查询装置及方法 | |
CN1825306A (zh) | 基于关系数据库的xml数据存储与访问方法 | |
CN1275160C (zh) | 一种数据库备份方法 | |
CN1728166A (zh) | 一种产品数据管理系统的集成方法 | |
Jun et al. | The research & application of ETL tool in business intelligence project | |
CN1477558A (zh) | 在不兼容的电脑间高效转换异质数据的系统 | |
CN1877573A (zh) | 多层次数据库系统结构 | |
CN1737795A (zh) | 多数据源协同条件下的数据挖掘和知识发现方法 | |
CN101036140A (zh) | 产生分析数据结构的自定义等级体系的系统和方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C02 | Deemed withdrawal of patent application after publication (patent law 2001) | ||
WD01 | Invention patent application deemed withdrawn after publication |