CN106682036A - 一种数据交换系统及其交换方法 - Google Patents

一种数据交换系统及其交换方法 Download PDF

Info

Publication number
CN106682036A
CN106682036A CN201510765136.6A CN201510765136A CN106682036A CN 106682036 A CN106682036 A CN 106682036A CN 201510765136 A CN201510765136 A CN 201510765136A CN 106682036 A CN106682036 A CN 106682036A
Authority
CN
China
Prior art keywords
data
plug
source
component
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201510765136.6A
Other languages
English (en)
Inventor
李晓哲
闫枫
骆俊凯
杨飚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SAIC Motor Corp Ltd
Original Assignee
SAIC Motor Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SAIC Motor Corp Ltd filed Critical SAIC Motor Corp Ltd
Priority to CN201510765136.6A priority Critical patent/CN106682036A/zh
Publication of CN106682036A publication Critical patent/CN106682036A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/28—Databases characterised by their database models, e.g. relational or object models
    • G06F16/284—Relational databases
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25—Integrating or interfacing systems involving database management systems
    • G06F16/258—Data format conversion from or to a database

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种数据交换系统，包含一框架和插件组，所述插件组包含源插件、目标插件两种。每一个具体的数据源插件既可以作为源插件，也可以作为目标插件；所述框架包含数据交换预处理组件、源插件组件、目标插件组件和数据交换后处理组件；所述数据交换预处理组件用于读取参数配置文件，解析参数配置文件内容；所述源插件组件用于从源数据库中读取数据，完成转换并放入内存；所述目标插件组件用于定期读取内存的数据，并写入目标数据源，直到队列数据为空或目标插件组件出错之后启动数据交换后处理组件；所述任务后处理组件用于在收到目标插件组件的启动指令后，释放之前申请的系统资源。本发明可以方便的在不同数据源之间完成数据交换，后续也可以方便地插入新数据源。

Description

一种数据交换系统及其交换方法
技术领域
本发明涉及一种在异构的数据库/文件系统之间高速交换数据的数据交换系统及其交换方法。
背景技术
当下互联网时代数据云集，技术繁多，众多汽车厂商都在纷纷部署自己的大数据平台，用大数据分析和云计算技术来快速挖掘客户需求和市场需求，形成产品快速市场。而面对多种类型的数据源，怎样让不同格式不同类型的数据融会贯通，使之成为有价值的数据，这是行业决策者最为关注的。试设想如果有6种数据源类型(比如Oracle、MySQL、SQL Server、文件、RCFile、SequenceFile)，如果仅仅考虑一一对应的情况，最多有P(6,2)＝30种之多，换言之，如果开发单独的工具就要开发30款之多；这个数字还将随着数据源类型的增加呈几何级的增长。因此，数据交换势必就成为了当下大数据技术领域一个必不可少的系统工具。
发明内容
本发明的发明目的在于提供一种数据交换系统,该数据交换系统可以方便的在不同数据源之间完成数据交换，目前已有的接口包括mysql,sqlserver,oracle,hdfs,hive，file,文件等多种数据源，后续也可以方便地插入新数据源的接口。
本发明的发明目的通过以下技术方案实现：
一种数据交换系统，包含一框架和插件组，其特征在于：
所述插件组包含若干个数据源插件，每个数据源插件对应一种类型的数据源进行读取数据或将数据写入目的地；
所述框架包含数据交换预处理组件、源插件组件、目标插件组件和数据交换后处理组件；
所述数据交换预处理组件用于读取XML参数配置文件，根据XML参数配置文件中的内容进行预处理并申请包含进程、内存在内的系统资源，以及启动源插件组件、目标插件组件；其中XML参数配置文件用于定义任务，包括任务读/写的并发度、源插件和目标插件所需调用的数据源插件名称、源数据源和目标数据源的路径、以及源数据源和目标数据源的具体属性；
所述源插件组件用于根据任务的具体信息，对源数据源的路径进行解析，根据进程并发调用相应数据源插件从源数据库中读取数据，并放入内存；
所述目标插件组件用于根据任务的具体信息，对目标数据源的路径进行解析，根据进程调用相应数据源插件读取内存的数据，并写入目标数据源，直到队列数据为空或目标插件组件出错之后启动数据交换后处理组件；
所述任务后处理组件用于在收到目标插件组件的启动指令后，释放之前申请的系统资源。
优选地，所述数据源插件包含数据库插件、本地文件插件、HDFSRC文件插件、HDFS文本文件插件；
所述数据库插件用于处理关系型数据库中的数据；所述本地文件插件用于处理本地文件中的数据；所述HDFSRC文件插件用于处理以RCFILE格式保存的HDFS中的数据；所述HDFS文本文件插件用于处理以文本方式保存的HDFS中的数据。
优选地，所述数据库插件包含Oracle切分器，所述Oracle切分器用于从
Oracle数据库读取数据时对数据进行切分。
优选地，所述各数据源插件中分别包含一个或者多个数据转换器，所述数据转换器用于完成源数据源与目标数据源之间的数据转换。
优选地，所述XML参数配置文件通过手动编写任务生成，或者通过页面调用从关系型数据库中读取。
优选地，所述数据交换预处理组件根据XML参数配置文件中的源插件和目标插件的名称进行预处理，预处理内容包含对数据库连接是否正常、文件路径是否正常、shell命令是否正常、文件读写操作是否正常进行判断。
优选地，所述数据交换预处理组件包含数据库预处理组件，shell脚本预处理组件和文件预处理组件。
优选地，所述任务后处理组件包含数据库后处理组件，shell脚本后处理组件和文件后处理组件。
优选地，所述数据交换系统还包含wget插件，所述wget插件用于在源插件组件读取的源数据源为FTP文件服务器时实时监控源数据源的读取进度。
优选地，所述数据交换系统还包含字段验证器，所述字段验证器用于在源插件组件读取源数据源时以及目标插件组件写入目标数据源时对数据源的数据进行正确性验证，如果不符合规则，则由字段验证器强行过滤掉，并输出为扩展名为“.bad”错误日志文件。
进一步，所述XML参数配置文件中还包含错误数据容忍阀值，所述写插入组件还用于定时扫描当前错误日志文件的条数，当错误日志文件的条数超过错误数据容忍阀值时，启动数据交换后处理组件。
优选地，所述框架的各组件分别包含有JMS消息服务接口，所述JMS消息
服务接口用于将各组件执行任务的状况输出给第三方应用。
优选地，所述源插件组件、目标插件组件分别包含有RPC客户端调用接口，所述RPC客户端调用接口用于当源/目标插件组件访问关系型数据库时实现与RPC服务端进行通信。
本发明还提供了所述的数据交换系统的交换方法，包含以下步骤：
步骤一、数据交换预处理组件读取XML参数配置文件启动任务；其中XML参数配置文件用于定义任务，包括任务读/写的并发度、源插件和目标插件所需调用的数据源插件名称、源数据源和目标数据源的路径、以及源数据源和目标数据源的具体属性；
步骤二、数据交换预处理组件根据XML参数配置文件中的所需调用的数据源插件进行预处理，同时根据XML参数配置文件中的任务读/写的并发度申请进程数以及内存；
步骤三、源插件组件根据源数据源的路径以及相应的数据源插件通过源插件工作进程获取源数据，转换后保存在内存空间里；然后再通过数据传递进程将内存中的数据传递出去；
步骤四、目标插件组件通过通道插件工作进程不断接受数据传递进程传过来的数据，并保存在通道插件队列中，再根据目标数据源的路径以及相应的数据源插件通过目标插件工作进程定期读取通道插件队列中的数据，并写入目标端的数据源，直到通道插件队列中的数据为空或者目标插件组件出错，启动数据交换后处理组件。
步骤五、数据交换后处理组件释放之前申请的各种系统资源。
进一步，所述步骤四中还包含通过字段验证器对源插件组件读取的源数据源以及目标插件组件写入的目标数据源进行正确性验证，如果不符合规则，则由字段验证器强行过滤掉，并输出为扩展名为“.bad”错误日志文件。
进一步，所述步骤四中还包含写插入组件定时扫描当前错误日志文件的条数，当错误日志文件的条数超过错误数据容忍阀值时，启动数据交换后处理组件。
本发明的有益效果在于实现了以下功能：
1.支持多种类型的数据源数据抽取
2.支持多种类型的目的数据源加载
3.支持多种类型的数据交换
4.支持插件式开发
5.实现了读写线程分离
6.实现了数据传输的流量统计
7.实现Bad文件记录监控
8.实现了数据转换与校验
9.支持Oracle数据切分
10.支持不同文件系统路径解析
11.实现了JMS消息服务接口
12.实现了RPC客户端调用接口
附图说明
图1为本发明一种数据库交换系统的结构示意图；
图2为本发明的实施流程示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。
在本实施例中，一种数据库交换系统，包含框架和插件组，所述插件组包含若干个数据源插件。每个具体的数据源插件都既可以作为源插件，也可以作为目标插件，每个数据源插件对应一种类型的数据源。
在本实施例中数据源插件设计了数据库插件(具体包括oracle，mysql和sqlserver三种关系型数据库)、本地文件插件、HDFSRC文件插件、HDFS文本文件插件。所述数据库插件用于处理关系型数据库中的数据；所述本地文件插件用于处理本地文件中的数据；所述HDFSRC文件插件用于处理以RCFILE格式保存的HDFS中的数据；所述HDFS文本文件插件用于处理以文本方式保存的HDFS中的数据。数据源插件根据数据类型的需要可以不断进行增加。
在数据库插件中配置Oracle切分器，所述Oracle切分器用于从Oracle数据库读取数据时对数据进行切分，以提高数据获取效率。
在数据源插件中配置数据转换器，数据转换器(DataTransformer)是一种能够将原始数据做转换的工具。如有需要，每个数据源插件可以配置一个或多个数据转换器，每个数据转换器负责处理不同类型的数据转换，按照顺序依次进行转换。
所述框架包含数据交换预处理组件、源插件组件、目标插件组件和数据交换后处理组件；
所述数据交换预处理组件用于读取XML参数配置文件，根据XML参数配置文件中的内容进行预处理并申请包含进程、内存在内的系统资源，以及启动源插件组件、目标插件组件。
其中XML参数配置文件用于定义任务，括该任务读/写的并发度(确定该任务同时启动多少个进程并行读写)；源/目标插件需调用的数据源插件名称亦即任务类型(比如调用本地文件插件，则名称为com.snda.sdo.datasync.plugins.FilePlugin)；源/目标数据源的路径；以及相关数据源中的具体属性，比如本地文件插件，属性可能包括字段列数，字段分隔符等，再比如HDFSRC文件插件，属性可能包括字段列数，分隔符，压缩方式，字符集编码等。XML参数配置文件可以通过独立运行和页面调用两种模式生成，二者区别在于独立运行时需要手动编写任务的配置文件，而正常情况则采用页面调用模式从关系型数据库中读取配置文件。
所述数据交换预处理组件具体可以分为三种，分别是数据库预处理插件，shell脚本预处理插件和文件预处理插件，数据交换预处理组件根据XML参数配置文件中的所需调用的数据源插件的名称进行预处理，预处理内容包含对数据库连接是否正常(用于数据库插件)、文件路径是否正常(用于本地文件插件)、shell命令是否正常(用于HDFSRC文件插件)、文件读写操作是否正常进行判断(HDFS文本文件插件)。
所述源插件组件用于根据任务的具体信息，对源数据源的路径进行解析，根据进程调用源插件和相应数据库插件从源数据库中读取数据，并放入内存。
优选地，数据交换系统还包含wget插件，所述源插件组件读取的源数据源为FTP文件服务器时，启动wget插件，所述wget插件用于实时监控源数据源的读取进度。
所述目标插件组件用于根据任务的具体信息，对目标数据源的路径进行解析，根据进程调用目标插件和相应数据库插件读取内存的数据，并写入目标数据源，直到队列数据为空或目标插件组件出错之后启动数据交换后处理组件。
以本地文件到关系型数据库为例，源插件组件先告知源插件对应的数据源插件是本地文件插件,由源插件调用本地文件插件根据源数据源的路径读取数据并转换，同理目标插件组件告知目标插件对应的数据源插件是关系型数据库插件，由目标插件调用关系型数据库插件根据目的数据源的路径写入数据。
优选地，数据交换系统还包含字段验证器，所述字段验证器用于在源插件组件读取源数据源时以及目标插件组件写入目标数据源时对数据源的数据进行正确性验证，如果不符合规则，则强行过滤掉，并输出为扩展名为“.bad”错误日志文件。通过在XML参数配置文件中设置错误数据容忍阀值，写插入组件定时扫描当前错误日志文件的条数，当错误日志文件的条数超过错误数据容忍阀值时，启动数据交换后处理组件。
优选地，所述源插件组件、目标插件组件分别包含有RPC客户端调用接口，所述RPC客户端调用接口用于当读/目标插件组件访问关系型数据库时实现与RPC服务端进行通信。
所述数据交换后处理组件用于在收到目标插件组件的启动指令后，释放之前申请的系统资源。与数据交换预处理处理组件相同，所述任务后处理组件包含数据库后处理组件，shell脚本后处理组件和文件后处理组件
优选地，所述框架的各组件分别包含有JMS消息服务接口，所述JMS消息服务接口用于将各组件执行任务的状况输出给第三方应用。
如图2所示，是本发明的具体实施流程，包含以下步骤：
1、任务启动
数据交换预处理组件读取XML参数配置文件启动任务。
2、任务预处理
数据交换预处理组件根据XML参数配置文件中的所需调用的数据源插件进行预处理，根据所需调用的数据源插件从数据库、脚本和文件三种处理方式选择所需的方式进行预处理，主要是对数据格式的一些判断处理。对数据库连接是否正常(用于数据库插件)、文件路径是否正常(用于本地文件插件)、shell命令是否正常(用于HDFSRC文件插件)、文件读写操作是否正常进行判断(HDFS文本文件插件)。同时根据XML参数配置文件中的任务读/写的并发度申请进程数以及内存，为后续的操作做好准备。启动源插件组件和目标插件组件。
3、从源数据源读取数据
根据任务的具体信息，确定此处具体启动的数据源插件。以本地文件到关系型数据库为例，源插件组件调用的是本地文件插件，目标插件组件调用的是关系型数据库插件。
源插件组件根据源数据源的路径以及相应的数据源插件通过源插件工作进程获取源数据，转换后保存在内存空间里；然后再通过数据传递进程将内存中的数据传递出去；
4、写入数据到目标数据源
目标插件组件通过通道插件工作进程不断接受数据传递进程传过来的数据，并保存在通道插件队列中，再根据目标数据源的路径以及相应的数据源插件通过目标插件工作进程定期读取通道插件队列中的数据，并写入目标端的数据源，直到通道插件队列中的数据为空或者目标插件组件出错，启动数据交换后处理组件。
进一步，在本步骤中还可以通过字段验证器对源插件组件读取的源数据源以及目标插件组件写入的目标数据源进行正确性验证，如果不符合规则，则由字段验证器强行过滤掉，并输出为扩展名为“.bad”错误日志文件。
写插入组件定时扫描当前错误日志文件的条数，当错误日志文件的条数超过错误数据容忍阀值时，启动数据交换后处理组件。
5、任务后处理
任务结束之后，数据交换后处理组件释放之前申请的各种资源。
可以理解的是，对本领域普通技术人员来说，可以根据本发明的技术方案及其发明构思加以等同替换或改变，而所有这些改变或替换都应属于本发明所附的权利要求的保护范围。

Claims (16)

1.一种数据交换系统，包含一框架和插件组，其特征在于：
所述插件组包含若干个数据源插件，每个数据源插件对应一种类型的数据源进行读取数据或将数据写入目的地；
所述框架包含数据交换预处理组件、源插件组件、目标插件组件和数据交换后处理组件；
所述数据交换预处理组件用于读取XML参数配置文件，根据XML参数配置文件中的内容进行预处理并申请包含进程、内存在内的系统资源，以及启动源插件组件、目标插件组件；其中XML参数配置文件用于定义任务，包括任务读/写的并发度、源插件和目标插件所需调用的数据源插件名称、源数据源和目标数据源的路径、以及源数据源和目标数据源的具体属性；
所述源插件组件用于根据任务的具体信息，对源数据源的路径进行解析，根据进程并发调用相应数据源插件从源数据库中读取数据，并放入内存；
所述目标插件组件用于根据任务的具体信息，对目标数据源的路径进行解析，根据进程调用相应数据源插件读取内存的数据，并写入目标数据源，直到队列数据为空或目标插件组件出错之后启动数据交换后处理组件；
所述任务后处理组件用于在收到目标插件组件的启动指令后，释放之前申请的系统资源。
2.根据权利要求1所述的数据交换系统，其特征在于所述数据源插件包含数据库插件、本地文件插件、HDFSRC文件插件、HDFS文本文件插件；
所述数据库插件用于处理关系型数据库中的数据；所述本地文件插件用于处理本地文件中的数据；所述HDFSRC文件插件用于处理以RCFILE格式保存的HDFS中的数据；所述HDFS文本文件插件用于处理以文本方式保存的HDFS中的数据。
3.根据权利要求2所述的数据交换系统，其特征在于所述数据库插件包含Oracle切分器，所述Oracle切分器用于从Oracle数据库读取数据时对数据进行切分。
4.根据权利要求1所述的数据交换系统，其特征在于所述各数据源插件中分别包含一个或者多个数据转换器，所述数据转换器用于完成源数据源与目标数据源之间的数据转换。
5.根据权利要求1所述的数据交换系统，其特征在于所述XML参数配置文件通过手动编写任务生成，或者通过页面调用从关系型数据库中读取。
6.根据权利要求1所述的数据交换系统，其特征在于所述数据交换预处理组件根据XML参数配置文件中的源插件和目标插件的名称进行预处理，预处理内容包含对数据库连接是否正常、文件路径是否正常、shell命令是否正常、文件读写操作是否正常进行判断。
7.根据权利要求1所述的数据交换系统，其特征在于所述数据交换预处理组件包含数据库预处理组件，shell脚本预处理组件和文件预处理组件。
8.根据权利要求1所述的数据交换系统，其特征在于所述任务后处理组件包含数据库后处理组件，shell脚本后处理组件和文件后处理组件。
9.根据权利要求1所述的数据交换系统，其特征在于还包含wget插件，所述wget插件用于在源插件组件读取的源数据源为FTP文件服务器时实时监控源数据源的读取进度。
10.根据权利要求1所述的数据交换系统，其特征在于还包含字段验证器，所述字段验证器用于在源插件组件读取源数据源时以及目标插件组件写入目标数据源时对数据源的数据进行正确性验证，如果不符合规则，则由字段验证器强行过滤掉，并输出为扩展名为“.bad”错误日志文件。
11.根据权利要求10所述的数据交换系统，其特征在于所述XML参数配置文件中还包含错误数据容忍阀值，所述写插入组件还用于定时扫描当前错误日志文件的条数，当错误日志文件的条数超过错误数据容忍阀值时，启动数据交换后处理组件。
12.根据权利要求1所述的数据交换系统，其特征在于所述框架的各组件分别包含有JMS消息服务接口，所述JMS消息服务接口用于将各组件执行任务的状况输出给第三方应用。
13.根据权利要求1所述的数据交换系统，其特征在于所述源插件组件、目标插件组件分别包含有RPC客户端调用接口，所述RPC客户端调用接口用于当源/目标插件组件访问关系型数据库时实现与RPC服务端进行通信。
14.根据权利要求1至13任一所述的数据交换系统的交换方法，包含以下步骤：
步骤一、数据交换预处理组件读取XML参数配置文件启动任务；其中XML参数配置文件用于定义任务，包括任务读/写的并发度、源插件和目标插件所需调用的数据源插件名称、源数据源和目标数据源的路径、以及源数据源和目标数据源的具体属性；
步骤二、数据交换预处理组件根据XML参数配置文件中的所需调用的数据源插件进行预处理，同时根据XML参数配置文件中的任务读/写的并发度申请进程数以及内存；
步骤三、源插件组件根据源数据源的路径以及相应的数据源插件通过源插件工作进程获取源数据，转换后保存在内存空间里；然后再通过数据传递进程将内存中的数据传递出去；
步骤四、目标插件组件通过通道插件工作进程不断接受数据传递进程传过来的数据，并保存在通道插件队列中，再根据目标数据源的路径以及相应的数据源插件通过目标插件工作进程定期读取通道插件队列中的数据，并写入目标端的数据源，直到通道插件队列中的数据为空或者目标插件组件出错，启动数据交换后处理组件。
步骤五、数据交换后处理组件释放之前申请的各种系统资源。
15.根据权利要求14所述的交换方法，其特征在于所述步骤四中还包含通过字段验证器对源插件组件读取的源数据源以及目标插件组件写入的目标数据源进行正确性验证，如果不符合规则，则由字段验证器强行过滤掉，并输出为扩展名为“.bad”错误日志文件。
16.根据权利要求15所述的交换方法，其特征在于所述步骤四中还包含写插入组件定时扫描当前错误日志文件的条数，当错误日志文件的条数超过错误数据容忍阀值时，启动数据交换后处理组件。
CN201510765136.6A 2015-11-11 2015-11-11 一种数据交换系统及其交换方法 Pending CN106682036A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510765136.6A CN106682036A (zh) 2015-11-11 2015-11-11 一种数据交换系统及其交换方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510765136.6A CN106682036A (zh) 2015-11-11 2015-11-11 一种数据交换系统及其交换方法

Publications (1)

Publication Number Publication Date
CN106682036A true CN106682036A (zh) 2017-05-17

Family

ID=58865597

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510765136.6A Pending CN106682036A (zh) 2015-11-11 2015-11-11 一种数据交换系统及其交换方法

Country Status (1)

Country Link
CN (1) CN106682036A (zh)

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108804613A (zh) * 2018-05-30 2018-11-13 国网山东省电力公司经济技术研究院 一种多源数据库实时融合系统及其融合方法
CN109165248A (zh) * 2018-01-29 2019-01-08 北京数聚鑫云信息技术有限公司 一种基于api的管理系统及管理方法
CN109582722A (zh) * 2018-11-30 2019-04-05 珠海市新德汇信息技术有限公司 公安资源数据服务系统
CN109710600A (zh) * 2018-12-24 2019-05-03 中科曙光国际信息产业有限公司 数据导入方法及系统
CN109828947A (zh) * 2019-01-17 2019-05-31 东莞众家联供应链服务有限公司 一种主动式异构数据采集器
CN110166221A (zh) * 2019-03-05 2019-08-23 西安电子科技大学 一种密文数据压缩存储结构rcpe及数据动态读写方法
CN110362617A (zh) * 2019-06-24 2019-10-22 北京人大金仓信息技术股份有限公司 基于多并发技术从数据库快速导出批量数据方法和系统
CN111737528A (zh) * 2020-06-23 2020-10-02 Oppo（重庆）智能科技有限公司 一种数据采集校验方法、装置、电子设备及存储介质
CN111782690A (zh) * 2019-04-04 2020-10-16 上海晶赞融宣科技有限公司 多源异构数据的汇聚方法及装置、存储介质、终端
CN112134927A (zh) * 2020-08-26 2020-12-25 国电南瑞科技股份有限公司 基于插件方式的电网数据交换平台和数据交换方法
CN112181522A (zh) * 2020-09-28 2021-01-05 亚信科技（中国）有限公司 数据处理的方法、装置以及电子设备
CN112328669A (zh) * 2020-10-12 2021-02-05 联通智网科技有限公司 一种异构数据源的数据交换方法、装置和计算机设备
CN117376344A (zh) * 2023-12-08 2024-01-09 荣耀终端有限公司 数据传输方法、电子设备和计算机可读存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102065066A (zh) * 2009-11-17 2011-05-18 中国移动通信集团广东有限公司 一种数据业务门户的数据业务内容访问装置及访问方法
CN102591725A (zh) * 2011-12-20 2012-07-18 浙江鸿程计算机系统有限公司 一种异构数据库之间多线程数据交换的方法
CN103294462A (zh) * 2012-03-05 2013-09-11 阿里巴巴集团控股有限公司 对象映射处理方法、映射处理器和对象映射处理系统
CN103677979A (zh) * 2013-12-31 2014-03-26 北界创想（北京）软件有限公司 应用软件和插件的交互方法及装置
CN104699723A (zh) * 2013-12-10 2015-06-10 北京神州泰岳软件股份有限公司 数据交换适配器、异构系统之间数据同步系统和方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102065066A (zh) * 2009-11-17 2011-05-18 中国移动通信集团广东有限公司 一种数据业务门户的数据业务内容访问装置及访问方法
CN102591725A (zh) * 2011-12-20 2012-07-18 浙江鸿程计算机系统有限公司 一种异构数据库之间多线程数据交换的方法
CN103294462A (zh) * 2012-03-05 2013-09-11 阿里巴巴集团控股有限公司 对象映射处理方法、映射处理器和对象映射处理系统
CN104699723A (zh) * 2013-12-10 2015-06-10 北京神州泰岳软件股份有限公司 数据交换适配器、异构系统之间数据同步系统和方法
CN103677979A (zh) * 2013-12-31 2014-03-26 北界创想（北京）软件有限公司 应用软件和插件的交互方法及装置

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109165248A (zh) * 2018-01-29 2019-01-08 北京数聚鑫云信息技术有限公司 一种基于api的管理系统及管理方法
CN108804613A (zh) * 2018-05-30 2018-11-13 国网山东省电力公司经济技术研究院 一种多源数据库实时融合系统及其融合方法
CN109582722A (zh) * 2018-11-30 2019-04-05 珠海市新德汇信息技术有限公司 公安资源数据服务系统
CN109710600A (zh) * 2018-12-24 2019-05-03 中科曙光国际信息产业有限公司 数据导入方法及系统
CN109828947A (zh) * 2019-01-17 2019-05-31 东莞众家联供应链服务有限公司 一种主动式异构数据采集器
CN110166221B (zh) * 2019-03-05 2022-02-22 西安电子科技大学 一种密文数据压缩存储结构rcpe及数据动态读写方法
CN110166221A (zh) * 2019-03-05 2019-08-23 西安电子科技大学 一种密文数据压缩存储结构rcpe及数据动态读写方法
CN111782690A (zh) * 2019-04-04 2020-10-16 上海晶赞融宣科技有限公司 多源异构数据的汇聚方法及装置、存储介质、终端
CN110362617A (zh) * 2019-06-24 2019-10-22 北京人大金仓信息技术股份有限公司 基于多并发技术从数据库快速导出批量数据方法和系统
CN110362617B (zh) * 2019-06-24 2023-06-13 北京人大金仓信息技术股份有限公司 基于多并发技术从数据库快速导出批量数据方法和系统
CN111737528A (zh) * 2020-06-23 2020-10-02 Oppo（重庆）智能科技有限公司 一种数据采集校验方法、装置、电子设备及存储介质
CN112134927A (zh) * 2020-08-26 2020-12-25 国电南瑞科技股份有限公司 基于插件方式的电网数据交换平台和数据交换方法
CN112181522A (zh) * 2020-09-28 2021-01-05 亚信科技（中国）有限公司 数据处理的方法、装置以及电子设备
CN112328669A (zh) * 2020-10-12 2021-02-05 联通智网科技有限公司 一种异构数据源的数据交换方法、装置和计算机设备
CN117376344A (zh) * 2023-12-08 2024-01-09 荣耀终端有限公司 数据传输方法、电子设备和计算机可读存储介质
CN117376344B (zh) * 2023-12-08 2024-05-10 荣耀终端有限公司 数据传输方法、电子设备和计算机可读存储介质

Similar Documents

Publication Publication Date Title
CN106682036A (zh) 一种数据交换系统及其交换方法
CN106294222A (zh) 一种确定pcie设备与插槽对应关系的方法及装置
JP5298117B2 (ja) 分散コンピューティングにおけるデータマージング
CN105786998B (zh) 数据库中间件系统及利用其处理数据的方法
WO2018120721A1 (zh) 用户界面的测试方法、系统、电子装置及计算机可读存储介质
CN110750458A (zh) 大数据平台测试方法、装置、可读存储介质及电子设备
CN106919612B (zh) 一种上线结构化查询语言脚本的处理方法及装置
CN101772760B (zh) 计算机执行方法以及计算机执行装置
CN107679146A (zh) 电网数据质量的校验方法和系统
CN104391796B (zh) 一种测试用例解析方法
CN106547698A (zh) 覆盖率数据的处理方法、装置和服务器
CN110764980A (zh) 日志处理方法和装置
CN103049367A (zh) 一种软件自动化测试的方法
CN110032400A (zh) 一种加载插件的方法及电子终端
CN103077192B (zh) 一种数据处理方法及其系统
CN111061696B (zh) 一种交易报文日志的解析方法及装置
CN112732567B (zh) 基于ip的mock数据测试方法、装置、电子设备及存储介质
CN108664657A (zh) 一种大数据任务调度方法、电子设备、存储介质及平台
CN106502720A (zh) 一种数据处理方法和装置
CN103810092A (zh) 应用系统测试方法及装置
CN102446167B (zh) 一种基于逻辑模板对复杂字符串逻辑处理的方法和装置
CN113962597A (zh) 一种数据分析方法、装置、电子设备及存储介质
CN110688823B (zh) Xml文件验证方法及装置
CN117290250A (zh) 自动化测试框架建立方法、计算机设备及计算机存储介质
CN117370203A (zh) 自动化测试方法、系统、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20170517

WD01 Invention patent application deemed withdrawn after publication