CN106156227A - 一种数据传输方法及装置 - Google Patents

一种数据传输方法及装置 Download PDF

Info

Publication number
CN106156227A
CN106156227A CN201510200985.7A CN201510200985A CN106156227A CN 106156227 A CN106156227 A CN 106156227A CN 201510200985 A CN201510200985 A CN 201510200985A CN 106156227 A CN106156227 A CN 106156227A
Authority
CN
China
Prior art keywords
data
data type
type
abstract
converted
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201510200985.7A
Other languages
English (en)
Inventor
陈守元
邓小勇
何健超
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alibaba Group Holding Ltd
Original Assignee
Alibaba Group Holding Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alibaba Group Holding Ltd filed Critical Alibaba Group Holding Ltd
Priority to CN201510200985.7A priority Critical patent/CN106156227A/zh
Priority to PCT/CN2016/079649 priority patent/WO2016173428A1/zh
Publication of CN106156227A publication Critical patent/CN106156227A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25Integrating or interfacing systems involving database management systems
    • G06F16/258Data format conversion from or to a database

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种数据传输方法及装置,用于在源数据系统与目的数据系统间传输数据,所述数据传输方法从源数据系统读取数据的当前字段,根据当前字段的数据类型、以及预设的抽象数据类型与源数据系统的数据类型的对应关系,将当前字段映射到预设的抽象数据类型;读取已经映射为抽象数据类型的当前字段,根据预设的抽象数据类型与目的数据系统数据类型的对应关系,将已经映射为抽象数据类型的当前字段映射到目的数据系统对应的数据类型。对应地,本发明的数据传输装置包括读模块和写模块。本发明的方法及装置通过设定统一的抽象数据类型,完成任意异构数据系统之间数据的传输,同时不存在数据转换失真现象和数据类型丢失的情况。

Description

一种数据传输方法及装置
技术领域
本发明属于数据库技术领域,尤其涉及异构数据系统之间数据传输方法及装置。
背景技术
在当前大数据时代,越来越多的企业与公司逐渐意识到对大数据的获取、分析、挖掘可以为后期商务决策、市场预估、公司发展等提供极具价值的参考模型。大数据能够发挥的价值基于数据量之大、数据入口之大、数据采集规模之大,能提供充分的数据依据为企业发展服务。然而大数据需要解决的首要问题在于将大量用户、系统生成的数据进行大集中,只有数据大集中才能产生大数据。如图1所示,各类在线业务系统(用户中心、商品中心、交易中心)下生成的海量数据存放在各类异构数据系统之中,数据同步需要将各类数据源生成的数据进行传输、同步、汇总到统一的大数据存储/计算体系之中(例如Hadoop、或者阿里集团的ODPS)。
因此数据同步将直接面临各类数据类型不一、存取接口不一、事务模型不一、流量控制模型不一,等各类问题。同时,随着对接的数据存储日益增长,数据同步将面临几何级的数据传输通道增加,给后期数据同步能力扩展造成了巨大的开发、运维、技术支持成本。
对于一个复杂的数据同步网络,如图2所示,在网络中存在很多不同的数据源时,如同时存在Hadoop、Mysql、Oracle、Sqlserver、ODPS等数据源,将这些数据源进行数据同步比较困难。Sqoop是Hadoop开源社区提供的基于Hadoop MapReduce运行框架,将Hadoop和RDBMS间数据同步的工具,Sqoop在解决异构数据传输过程中,仅仅面对Hadoop/HDFS和RDBMS两类存储系统的交互,使用了最简单的CSV文本作为传输交换协议。以Mysql传输数据到HDFS为例:
用户使用Sqoop Client启动Sqoop,Sqoop在Hadoop上启动MapReduce的Job,该Job实际运行的是Sqoop的数据传输任务。Sqoop在MapReduce的Map阶段启动数据通道,将Mysql数据进行抽取同时转为CSV格式作为中间格式。Sqoop将上述CSV格式数据直接写入Hadoop/HDFS文件系统中。然而该方法仅仅支持Hadoop和RDBMS间数据同步,存在如下的技术问题:
a.数据传输易失真:以开源社区的Sqoop为例,数据全部使用CSV文本格式进行保存,存在将其他非String类型转为String类型的过程,该过程容易导致数据转换失真。
b.部分类型无法支持:以开源社区的Sqoop为例,由于文本化的CSV格式决定了不能转换为String格式的数据必定是无法支持的,导致同步产品功能存在缺陷,例如二进制数据无法通过该方式进行数据传输。
c.数据类型丢失:一旦其他类型转为String,类型完全丢失,对于类型存在强要求的传输领域无法适配,例如数据同步用户要求源端为整形数据,到目标端一定全部为整形数据,否则失败。但由于类型丢失,该需求无法完成。
d.数据类型转换行为未定义,使用各个数据源的转换方式,没有统一的转换行为定义,导致数据同步对接不同数据系统使用不同的转换方式,转换行为随数据系统变化而变化,甚至随数据系统特定版本变化而变化,导致数据系统升级易导致数据同步数据变化诱发数据质量问题。
发明内容
本发明的目的就是提供一种数据传输方法及装置,解决现有技术仅支持特定的数据系统间的数据传输,并且存在数据失真、数据类型丢失等技术问题。
为了实现上述目的,本发明技术方案如下:
一种数据传输方法,用于在源数据系统与目的数据系统间传输数据,其特征在于,所述数据传输方法包括步骤:
从源数据系统读取数据的当前字段,根据当前字段的数据类型、以及预设的抽象数据类型与源数据系统的数据类型的对应关系,将当前字段映射到预设的抽象数据类型;
读取已经映射为抽象数据类型的当前字段,根据预设的抽象数据类型与目的数据系统数据类型的对应关系,将已经映射为抽象数据类型的当前字段映射到目的数据系统对应的数据类型。
其中,所述预设的抽象数据类型包括Long、Double、String、Date、Bool和Bytes,对应不同的源数据系统和目的数据系统,分别预设有抽象数据类型与源数据系统的数据类型的映射关系表、抽象数据类型与目的数据系统的数据类型的映射关系表;
进一步地,所述根据当前字段的数据类型、以及预设的抽象数据类型与源数据系统的数据类型的对应关系,将当前字段映射到预设的抽象数据类型,包括步骤:
判断当前字段的数据类型,查找抽象数据类型与源数据系统的数据类型的映射关系表,找到直接对应的抽象数据类型;
将当前字段的数据类型映射到所找到的直接对应的抽象数据类型;
同理,所述根据预设的抽象数据类型与目的数据系统数据类型的对应关系,将已经映射为抽象数据类型的当前字段映射到目的数据系统对应的数据类型,包括步骤:
根据当前字段的抽象数据类型,查找抽象数据类型与目的数据系统的数据类型的映射关系表,找到直接对应的目的数据系统的数据类型;
将当前字段的抽象数据类型映射到直接对应的目的数据系统的数据类型。
本发明所述Long支持无限长度,所述Double支持无限精度,所述String支持无限字符长度。
进一步地,所述数据传输方法,还包括步骤:
当读取的抽象数据类型当前字段的数据类型在目的数据系统中没有可以直接映射的对应数据类型时,将当前字段对应的抽象数据类型转换为与目的数据系统数据类型有直接映射关系的抽象数据类型。
通过本步骤可以有效降低抽象数据类型与源数据系统和目的数据系统数据类型之间映射关系表的复杂度。
进一步地,所述将当前字段对应的抽象数据类型转换为与目的数据系统数据类型有直接映射关系的抽象数据类型,具体转换规则包括:
1)、Long转换为Date,将Long数值视作Unix时间戳转换为Date,精度为毫秒;
2)、Long转换为Bool,0视为false,否则为true;
3)、String转换为Long,整数型字符串支持转换为Long,否则报错,不支持科学计数法字符串;
4)、String转换为Double,浮点型字符串支持转换为Long,否则报错,不支持科学计数法;
5)、String转换为Date,根据自定义时间格式满足用户时间格式时转换,否则报错;
6)、String转换为Bool,“true”转为true,”false”转为false,其他报错;
7)、Date转为Long,将Date转为Unix时间戳;
8)、Date转换为String,根据自定义时间格式转换为字符串;
9)、Bool转换为Long,true转为1,false转为0;
10)、Bytes转换为String,根据用户指定的字符集编码转为String。
本发明还提出了一种数据传输装置,用于在源数据系统与目的数据系统间传输数据,所述数据传输装置包括:
读模块,用于从源数据系统读取数据的当前字段,根据当前字段的数据类型、以及预设的抽象数据类型与源数据系统的数据类型的对应关系,将当前字段映射到预设的抽象数据类型;
写模块,用于读取已经映射为抽象数据类型的当前字段,根据预设的抽象数据类型与目的数据系统数据类型的对应关系,将已经映射为抽象数据类型的当前字段映射到目的数据系统对应的数据类型。
进一步地,所述数据传输装置还设置有配置模块,用于预设抽象数据类型,所述预设的抽象数据类型包括Long、Double、String、Date、Bool和Bytes,对应不同的源数据系统和目的数据系统,分别预设有抽象数据类型与源数据系统的数据类型的映射关系表、抽象数据类型与目的数据系统的数据类型的映射关系表;
则,所述读模块在将当前字段映射到预设的抽象数据类型时,执行如下操作:
判断当前字段的数据类型,查找抽象数据类型与源数据系统的数据类型的映射关系表,找到直接对应的抽象数据类型;
将当前字段的数据类型映射到所找到的直接对应的抽象数据类型;
同理,所述写模块在将已经映射为抽象数据类型的当前字段映射到目的数据系统对应的数据类型,执行如下操作:
根据当前字段的抽象数据类型,查找抽象数据类型与目的数据系统的数据类型的映射关系表,找到直接对应的目的数据系统的数据类型;
将当前字段的抽象数据类型映射到直接对应的目的数据系统的数据类型。
进一步地,所述写模块还用于在读取的抽象数据类型当前字段的数据类型在目的数据系统中没有可以直接映射的对应数据类型时,将当前字段对应的抽象数据类型转换为与目的数据系统数据类型有直接映射关系的抽象数据类型。
本发明提出的数据传输方法及装置,通过设定统一的抽象数据类型,完成任意异构数据系统之间数据的传输,同时不存在数据转换失真现象;采用了最大精度/长度保存中间数据,避免数据精度丢失情况;支持二进制类型数据传输,其他更多类型也可以通过扩展抽象数据类型来支持,即使出现新开发的数据库也能同样很好的支持;并且由于使用抽象数据类型来进行传输,避免数据类型丢失情况。
附图说明
图1为大数据存储/计算系统数据传输示意图;
图2为复杂的数据传输网络示意图;
图3为本发明数据系统之间数据传输方法流程图;
图4为本发明不同数据系统间数据传输示意图;
图5为本发明数据传输装置结构示意图。
具体实施方式
下面结合附图和实施例对本发明技术方案做进一步详细说明,以下实施例不构成对本发明的限定。
如图3所示,本发明实施例一种数据传输方法包括如下步骤:
步骤S1、从源数据系统读取数据的当前字段,根据当前字段的数据类型、以及预设的抽象数据类型与源数据系统的数据类型的对应关系,将当前字段映射到预设的抽象数据类型。
本实施例预设了能适配绝大部分主流数据类型的抽象数据类型,具体如表1所示:
抽象数据类型 备注说明
Long(整形类型) 无限长度,支持所有定点数,包括Int、Short、Long、BigInteger
Double(浮点类型) 无限精度,支持所有浮点数,包括Float、Double、BigDecimal
String(字符串类型) 无限字符长度,支持字符串类型,使用通用字符集(Unicode)
Date(时间类型) 支持时间类型,包括日期、时间、日期时间类型
Bool(布尔类型) 支持布尔值
Bytes(字节类型) 支持二进制,例如存放诸如MP3等非结构化数据
表1
如表1所示,本实施例预设的抽象数据类型覆盖范围广,能够对接绝大部分数据系统支持的主流数据类型,从而能够将不同数据系统的数据类型映射到预设的抽象数据类型上,或从预设的抽象数据类型转换为目的数据系统需要的数据类型。
以Mysql为例,具有如表2所示的列表,详细设置了Mysql各种数据类型与本实施例抽象数据类型的映射关系:
抽象数据类型 Mysql插件对应类型
Long int,tinyint,smallint,mediumint,int,bigint
Double float,double,decimal
String varchar,char,tinytext,text,mediumtext,longtext,year
Date date,datetime,timestamp,time
Bool bit,bool
Bytes tinyblob,mediumblob,blob,longblob,varbinary
表2
对于从Mysql抽取数据的逻辑,该逻辑的过程如下:
读取源数据系统的当前字段,判断该字段的数据类型,如果是int、tinyint、smallint、mediumint、int、bigint等数据类型,就转换为抽象数据类型Long,如果是float、double、decimal等数据类型,就转换为抽象数据类型Double,其他根据表2以此类推。
容易理解的是,对于Hadoop、Oracle、Sqlserver、ODPS等数据系统,同样设置有如表2类似的列表,便于根据设置的列表完成源数据系统与本实施例抽象数据类型的转换,或完成本实施例抽象数据类型与目的数据系统数据类型的转换。在本实施例中不一一列举其他数据系统数据类型与本实施例抽象数据类型的对应关系。
进一步地,表1也只预设了目前绝大多数主流数据系统数据类型与本实施例抽象数据类型的映射关系,本技术领域人员应该知道,对于未列出的映射关系,可以在实际的应用中进行扩展设置。
例如其他更多类型可以通过扩展抽象数据类型来支持,即使出现新开发的数据库也能同样很好的支持,例如为支持一种新数据系统新定义的JSON字段类型,同样扩展抽象数据类型的种类,即可实现JSON类型对接。
步骤S2、读取已经映射为抽象数据类型的当前字段,根据预设的抽象数据类型与目的数据系统数据类型的对应关系,将已经映射为抽象数据类型的当前字段映射到目的数据系统对应的数据类型。
从源数据系统读取的当前字段映射为本实施例统一的抽象数据类型后,可以直接存储在内存之中,便于进行读取并转换为目的数据系统对应的数据类型,也可以存储在专门的存储设备中,本发明并不限于具体的实现形式。
而将当前字段写入到目的数据系统中时,抽象数据类型与目的数据系统的数据类型对应关系同样如表1所示,如果目的数据系统是Mysql,则采用表2的对应关系进行转换,表2是表1的一种具体实施例。
容易理解的是,所有对接的数据系统的数据抽取、写入均使用表1的数据模型进行传递数据,将不同的数据源支持的不同数据类型统一抽象到同一套数据模型中,保证所有的数据系统使用同一套协议进行通信,使得任意异构数据存储均可以实现互联互通。图4示出了几个不同数据系统间按照本发明数据传输方法进行传输的示意图。
通过上述步骤就实现了抽取数据到写入数据的数据传输阶段全部使用抽象数据类型进行传输。同时为避免类似CSV格式数据类型传输过程丢失情况,本实施例抽象数据类型采用了强数据类型(数据类型之间建立对应关系),而非类似CSV的弱数据类型,不会导致数据失真。而现有技术对于数据传输处理各个数据类型的转换交由各个数据系统自行处理,以Sqoop为例,Sqoop将数据全部使用文本化的CSV格式,这样在数据传输到目的数据系统过程将文本化的数据转换到目的数据格式依靠目的数据系统自行转换,转换过程不统一且不可靠。
由于现有技术中存在非常多种类的数据系统,各公司的数据系统数据类型不一,有些源数据系统的数据类型在目的数据系统中没有同类的数据类型。例如:源数据系统Mysql中的Date,在目的数据系统如阿里巴巴的OTS中就没有同类的数据类型,但是OTS中有bigint,用户需要用bigint来与Mysql中的Date数据类型对应。
为了解决上述问题,本实施例采用先将Mysql中的Date映射为抽象数据类型的Date,然后将抽象数据类型Date的数据转换为抽象数据类型Long,而抽象数据类型Long与bigint存在直接的映射关系,这样就很方便地将抽象数据类型Long映射到目的数据系统OTS中的bigint。
这样做的好处是,在设定目的数据系统数据类型与抽象数据类型的映射关系时,只需要设定Long与bigint的映射关系,而不要设置Date与bigint的映射关系。否则每一种抽象数据类型都对应非常复杂的其他数据系统的数据类型,将导致数据类型间的映射关系混乱,表2的内容将非常复杂。
因此,本实施例的数据传输方法还包括步骤:
当读取的抽象数据类型当前字段的抽象数据类型在目的数据系统中没有可以直接映射的对应数据类型时,将当前字段对应的抽象数据类型转换为与目的数据系统数据类型有直接映射关系的抽象数据类型。
即将抽象数据类型Date向转换为抽象数据类型Long,由于抽象数据类型Long与目的数据系统的bigint有直接映射关系,从而在写入目的数据系统时,可以从抽象数据类型Long映射到bigint。
本实施例针对不同抽象数据类型之间的相互转换,内置不同的规则,避免跨类型数据转换行为未定义。表3示出了一种典型的抽象数据类型之间的转换关系:
表3
其中,Y表示自动类型转换或同类型转换,N表示不能跨类型转换,数字代表有条件类型转换:
[1]Long转换为Date,将Long数值视作Unix时间戳转换为Date,精度为毫秒。
[2]Long转换为Bool,0视为false,否则为true。
[3]String转换为Long,整数型字符串支持转换为Long,否则报错。不支持科学计数法字符串。
[4]String转换为Double,浮点型字符串支持转换为Long,否则报错。不支持科学计数法。
[5]String转换为Date,用户自定义时间格式(例如YYYY-MM-DD),满足用户时间格式可以转换,否则报错。
[6]String转换为Bool,“true”转为true,”false”转为false,其他报错。
[7]Date转为Long,将Date转为Unix时间戳。
[8]Date转换为String,根据用户自定义时间格式(例如YYYY-MM-DD)转换为字符串。
[9]Bool转换为Long,true转为1,false转为0。
[10]Bytes转换为String,根据用户指定的字符集编码转为String。
从而无论源数据系统、目的数据系统是何种数据库,都能根据该数据库中字段的数据类型进行相应的映射,转换为统一的数据类型体系。由于数据没有发生跨类型数据转换,不存在数据转换失真现象;同时统一的数据类型体系采用了最大精度/长度保存中间数据,避免数据精度丢失情况;本实施例预设的抽象数据类型还支持二进制类型数据传输。并且由于使用抽象数据类型来进行传输,例如整形数据同样使用整形数据类型进行传输,避免数据类型丢失情况。
本实施例还提出了基于上述传输方法的装置,如图5所示,包括:
读模块,用于从源数据系统读取数据的当前字段,根据当前字段的数据类型、以及预设的抽象数据类型与源数据系统的数据类型的对应关系,将当前字段映射到预设的抽象数据类型;
写模块,用于读取已经映射为抽象数据类型的当前字段,根据预设的抽象数据类型与目的数据系统数据类型的对应关系,将已经映射为抽象数据类型的当前字段映射到目的数据系统对应的数据类型。
本实施例中,对应不同的源数据系统和目的数据系统,分别预设有抽象数据类型与源数据系统的数据类型的映射关系表、抽象数据类型与目的数据系统的数据类型的映射关系表。映射关系表可以预先设置好,直接存储在读模块和写模块中,也可以另外设置专门的配置模块,用于预设抽象数据类型及映射关系表并存储映射关系表。专门设置配置模块便于进行扩展,根据具体的数据系统进行调整,实现起来更加灵活。
本实施例读模块在将当前字段映射到预设的抽象数据类型时,执行如下操作:
判断当前字段的数据类型,查找抽象数据类型与源数据系统的数据类型的映射关系表,找到直接对应的抽象数据类型;
将当前字段的数据类型映射到所找到的直接对应的抽象数据类型;
同理,写模块在将已经映射为抽象数据类型的当前字段映射到目的数据系统对应的数据类型,执行如下操作:
根据当前字段的抽象数据类型,查找抽象数据类型与目的数据系统的数据类型的映射关系表,找到直接对应的目的数据系统的数据类型;
将当前字段的抽象数据类型映射到直接对应的目的数据系统的数据类型。
进一步地,写模块还用于在读取的抽象数据类型当前字段的数据类型在目的数据系统中没有可以直接映射的对应数据类型时,将当前字段对应的抽象数据类型转换为与目的数据系统数据类型有直接映射关系的抽象数据类型。
以上实施例仅用以说明本发明的技术方案而非对其进行限制,在不背离本发明精神及其实质的情况下,熟悉本领域的技术人员当可根据本发明作出各种相应的改变和变形,但这些相应的改变和变形都应属于本发明所附的权利要求的保护范围。

Claims (10)

1.一种数据传输方法,用于在源数据系统与目的数据系统间传输数据,其特征在于,所述数据传输方法包括步骤:
从源数据系统读取数据的当前字段,根据当前字段的数据类型、以及预设的抽象数据类型与源数据系统的数据类型的对应关系,将当前字段映射到预设的抽象数据类型;
读取已经映射为抽象数据类型的当前字段,根据预设的抽象数据类型与目的数据系统数据类型的对应关系,将已经映射为抽象数据类型的当前字段映射到目的数据系统对应的数据类型。
2.根据权利要求1所述的数据传输方法,其特征在于,所述预设的抽象数据类型包括Long、Double、String、Date、Bool和Bytes,对应不同的源数据系统和目的数据系统,分别预设有抽象数据类型与源数据系统的数据类型的映射关系表、抽象数据类型与目的数据系统的数据类型的映射关系表;
所述根据当前字段的数据类型、以及预设的抽象数据类型与源数据系统的数据类型的对应关系,将当前字段映射到预设的抽象数据类型,包括步骤:
判断当前字段的数据类型,查找抽象数据类型与源数据系统的数据类型的映射关系表,找到直接对应的抽象数据类型;
将当前字段的数据类型映射到所找到的直接对应的抽象数据类型;
所述根据预设的抽象数据类型与目的数据系统数据类型的对应关系,将已经映射为抽象数据类型的当前字段映射到目的数据系统对应的数据类型,包括步骤:
根据当前字段的抽象数据类型,查找抽象数据类型与目的数据系统的数据类型的映射关系表,找到直接对应的目的数据系统的数据类型;
将当前字段的抽象数据类型映射到直接对应的目的数据系统的数据类型。
3.根据权利要求2所述的数据传输方法,其特征在于,所述Long支持无限长度,所述Double支持无限精度,所述String支持无限字符长度。
4.根据权利要求2所述的数据传输方法,其特征在于,所述数据传输方法,还包括步骤:
当读取的抽象数据类型当前字段的数据类型在目的数据系统中没有可以直接映射的对应数据类型时,将当前字段对应的抽象数据类型转换为与目的数据系统数据类型有直接映射关系的抽象数据类型。
5.根据权利要求4所述的数据传输方法,其特征在于,所述将当前字段对应的抽象数据类型转换为与目的数据系统数据类型有直接映射关系的抽象数据类型,具体转换规则包括:
1)、Long转换为Date,将Long数值视作Unix时间戳转换为Date,精度为毫秒;
2)、Long转换为Bool,0视为false,否则为true;
3)、String转换为Long,整数型字符串支持转换为Long,否则报错,不支持科学计数法字符串;
4)、String转换为Double,浮点型字符串支持转换为Long,否则报错,不支持科学计数法;
5)、String转换为Date,根据自定义时间格式满足用户时间格式时转换,否则报错;
6)、String转换为Bool,“true”转为true,”false”转为false,其他报错;
7)、Date转为Long,将Date转为Unix时间戳;
8)、Date转换为String,根据自定义时间格式转换为字符串;
9)、Bool转换为Long,true转为1,false转为0;
10)、Bytes转换为String,根据用户指定的字符集编码转为String。
6.一种数据传输装置,用于在源数据系统与目的数据系统间传输数据,其特征在于,所述数据传输装置包括:
读模块,用于从源数据系统读取数据的当前字段,根据当前字段的数据类型、以及预设的抽象数据类型与源数据系统的数据类型的对应关系,将当前字段映射到预设的抽象数据类型;
写模块,用于读取已经映射为抽象数据类型的当前字段,根据预设的抽象数据类型与目的数据系统数据类型的对应关系,将已经映射为抽象数据类型的当前字段映射到目的数据系统对应的数据类型。
7.根据权利要求6所述的数据传输装置,其特征在于,所述数据传输装置还设置有配置模块,用于预设抽象数据类型,所述预设的抽象数据类型包括Long、Double、String、Date、Bool和Bytes,对应不同的源数据系统和目的数据系统,分别预设有抽象数据类型与源数据系统的数据类型的映射关系表、抽象数据类型与目的数据系统的数据类型的映射关系表;
所述读模块在将当前字段映射到预设的抽象数据类型时,执行如下操作:
判断当前字段的数据类型,查找抽象数据类型与源数据系统的数据类型的映射关系表,找到直接对应的抽象数据类型;
将当前字段的数据类型映射到所找到的直接对应的抽象数据类型;
所述写模块在将已经映射为抽象数据类型的当前字段映射到目的数据系统对应的数据类型,执行如下操作:
根据当前字段的抽象数据类型,查找抽象数据类型与目的数据系统的数据类型的映射关系表,找到直接对应的目的数据系统的数据类型;
将当前字段的抽象数据类型映射到直接对应的目的数据系统的数据类型。
8.根据权利要求7所述的数据传输装置,其特征在于,所述Long支持无限长度,所述Double支持无限精度,所述String支持无限字符长度。
9.根据权利要求7所述的数据传输装置,其特征在于,所述写模块还用于在读取的抽象数据类型当前字段的数据类型在目的数据系统中没有可以直接映射的对应数据类型时,将当前字段对应的抽象数据类型转换为与目的数据系统数据类型有直接映射关系的抽象数据类型。
10.根据权利要求9所述的数据传输装置,其特征在于,所述将当前字段对应的抽象数据类型转换为与目的数据系统数据类型有直接映射关系的抽象数据类型,具体转换规则包括:
1)、Long转换为Date,将Long数值视作Unix时间戳转换为Date,精度为毫秒;
2)、Long转换为Bool,0视为false,否则为true;
3)、String转换为Long,整数型字符串支持转换为Long,否则报错,不支持科学计数法字符串;
4)、String转换为Double,浮点型字符串支持转换为Long,否则报错,不支持科学计数法;
5)、String转换为Date,根据自定义时间格式满足用户时间格式时转换,否则报错;
6)、String转换为Bool,“true”转为true,”false”转为false,其他报错;
7)、Date转为Long,将Date转为Unix时间戳;
8)、Date转换为String,根据自定义时间格式转换为字符串;
9)、Bool转换为Long,true转为1,false转为0;
10)、Bytes转换为String,根据用户指定的字符集编码转为String。
CN201510200985.7A 2015-04-26 2015-04-26 一种数据传输方法及装置 Pending CN106156227A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201510200985.7A CN106156227A (zh) 2015-04-26 2015-04-26 一种数据传输方法及装置
PCT/CN2016/079649 WO2016173428A1 (zh) 2015-04-26 2016-04-19 一种数据传输方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510200985.7A CN106156227A (zh) 2015-04-26 2015-04-26 一种数据传输方法及装置

Publications (1)

Publication Number Publication Date
CN106156227A true CN106156227A (zh) 2016-11-23

Family

ID=57198159

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510200985.7A Pending CN106156227A (zh) 2015-04-26 2015-04-26 一种数据传输方法及装置

Country Status (2)

Country Link
CN (1) CN106156227A (zh)
WO (1) WO2016173428A1 (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107798059A (zh) * 2017-09-08 2018-03-13 中国电力科学研究院 一种nco气象数据结构化存储方法和装置
CN111737404A (zh) * 2020-06-26 2020-10-02 豆盟(北京)科技股份有限公司 数据处理方法、装置、设备和计算机存储介质
CN115549862A (zh) * 2022-12-05 2022-12-30 大方智造(天津)科技有限公司 基于动态解析的mes系统并发性能测试数据接收方法
CN116841773A (zh) * 2023-09-01 2023-10-03 北京翼辉信息技术有限公司 数据交互方法、装置、电子设备及存储介质

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111522817B (zh) * 2020-04-22 2023-05-12 支付宝(杭州)信息技术有限公司 表格内容映射系统、方法及非暂时性存储介质
CN113590581B (zh) * 2021-06-28 2024-05-14 中国农业银行股份有限公司 数据传输方法、装置、设备及存储介质
CN114422377B (zh) * 2021-12-30 2023-09-22 北京润科通用技术有限公司 数据转发模型的生成方法及装置
CN118170851B (zh) * 2024-05-11 2024-08-13 浪潮云信息技术股份公司 异构数据库数据字段同步方法及系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102708136A (zh) * 2011-03-11 2012-10-03 微软公司 包括使用可重用索引字段的对特征的索引和搜索
US20140101281A1 (en) * 2012-10-09 2014-04-10 Microsoft Corporation Content management and delivery
CN104376062A (zh) * 2014-11-11 2015-02-25 中国有色金属长沙勘察设计研究院有限公司 一种异构数据库平台数据的同步方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8307012B2 (en) * 2006-02-28 2012-11-06 Sap Ag Schema mapping and data transformation on the basis of a conceptual model
CN101364240B (zh) * 2008-10-14 2010-07-21 杭州华三通信技术有限公司 元数据管理方法及装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102708136A (zh) * 2011-03-11 2012-10-03 微软公司 包括使用可重用索引字段的对特征的索引和搜索
US20140101281A1 (en) * 2012-10-09 2014-04-10 Microsoft Corporation Content management and delivery
CN104376062A (zh) * 2014-11-11 2015-02-25 中国有色金属长沙勘察设计研究院有限公司 一种异构数据库平台数据的同步方法

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107798059A (zh) * 2017-09-08 2018-03-13 中国电力科学研究院 一种nco气象数据结构化存储方法和装置
CN111737404A (zh) * 2020-06-26 2020-10-02 豆盟(北京)科技股份有限公司 数据处理方法、装置、设备和计算机存储介质
CN115549862A (zh) * 2022-12-05 2022-12-30 大方智造(天津)科技有限公司 基于动态解析的mes系统并发性能测试数据接收方法
CN116841773A (zh) * 2023-09-01 2023-10-03 北京翼辉信息技术有限公司 数据交互方法、装置、电子设备及存储介质
CN116841773B (zh) * 2023-09-01 2023-12-12 北京翼辉信息技术有限公司 数据交互方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
WO2016173428A1 (zh) 2016-11-03

Similar Documents

Publication Publication Date Title
CN106156227A (zh) 一种数据传输方法及装置
CN102999584B (zh) 电力gis跨平台空间数据服务方法及系统
CN102098342B (zh) 一种基于事务级的数据同步方法、装置及系统
CN106164865B (zh) 用于数据复制的依赖性感知的事务批处理的方法和系统
CN110413690A (zh) 数据库的数据同步方法、服务器、电子设备、存储介质
US8458218B2 (en) Incremental data transfer in a database management system
CN106599104A (zh) 一种基于redis集群的海量数据关联方法
CN104967658A (zh) 一种多终端设备上的数据同步方法
CN102346775A (zh) 一种基于日志的异构多源数据库同步方法
CN206249316U (zh) 一种基于云端的医院数据中心平台系统
CN102981933A (zh) 物联网感知层的数据增量备份方法及系统
CN103970833A (zh) 一种基于日志的异构数据库同步系统中双向同步数据循环的解决方法
CN103631924B (zh) 一种分布式数据库平台的应用方法和系统
EP2380090B1 (en) Data integrity in a database environment through background synchronization
US20220035786A1 (en) Distributed database management system with dynamically split b-tree indexes
CN102970373B (zh) 一种数据同步方法、装置及系统
CN106953910A (zh) 一种Hadoop计算存储分离方法
CN102508886B (zh) 一种基于xml的空间数据增量同步更新方法
CN104536904A (zh) 一种数据管理的方法、设备与系统
CN104133891A (zh) 一种基于关系型数据库的海量结构化数据的存储方法
CN109144785A (zh) 用于备份数据的方法和装置
US20230315757A1 (en) Systems and methods for flexible synchronization
CN104834700A (zh) 一种基于轨迹变更的移动数据增量捕获方法
CN104065752A (zh) 终端间数据同步方法
CN105610899A (zh) 一种文本文件并行上传方法及装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20161123