CN113239015B - 一种数据迁移方法、系统及存储介质 - Google Patents

一种数据迁移方法、系统及存储介质 Download PDF

Info

Publication number
CN113239015B
CN113239015B CN202110585556.1A CN202110585556A CN113239015B CN 113239015 B CN113239015 B CN 113239015B CN 202110585556 A CN202110585556 A CN 202110585556A CN 113239015 B CN113239015 B CN 113239015B
Authority
CN
China
Prior art keywords
data
migration
platform
network
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110585556.1A
Other languages
English (en)
Other versions
CN113239015A (zh
Inventor
王妙玉
周亮
周小桥
吴宁泉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Hotata Smart Home Co Ltd
Original Assignee
Guangdong Hotata Smart Home Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Hotata Smart Home Co Ltd filed Critical Guangdong Hotata Smart Home Co Ltd
Priority to CN202110585556.1A priority Critical patent/CN113239015B/zh
Publication of CN113239015A publication Critical patent/CN113239015A/zh
Application granted granted Critical
Publication of CN113239015B publication Critical patent/CN113239015B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/21—Design, administration or maintenance of databases
    • G06F16/214—Database migration support
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25—Integrating or interfacing systems involving database management systems
    • G06F16/258—Data format conversion from or to a database
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/08—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
    • H04L43/0805—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters by checking availability
    • H04L43/0811—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters by checking availability by checking connectivity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/02—Network architectures or network communication protocols for network security for separating internal from external traffic, e.g. firewalls
    • H04L63/0227—Filtering policies
    • H04L63/0263—Rule management
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/08—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
    • H04L43/0876—Network utilisation, e.g. volume of load or congestion level
    • H04L43/0894—Packet rate
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/10—Active monitoring, e.g. heartbeat, ping or trace-route

Abstract

本发明公开了一种数据迁移方法、系统及存储介质，其数据迁移方法应用于与多数据源和目的数据平台相连的服务器中，数据迁移方法包括所述服务器响应于迁移指令调用迁移工具创建迁移任务；所述服务器基于所述迁移任务激活对应数据源与目的数据平台之间的数据传输通道，整合多数据源中不同数据形式的数据并将其经所述数据传输通道迁移至所述目的数据平台中进行存储。本发明利用迁移工具对各种数据形式的数据迁移至目的数据平台中，不需要再编写其他代码实现垮平台的数据导入和迁移步骤，简化数据迁移和整合流程，提高效率；且通过迁移工具可自定义配置迁移流程，实现可配置化，提高实用性。

Description

一种数据迁移方法、系统及存储介质
技术领域
本发明涉及数据存储与分析领域，尤其涉及一种数据迁移方法、系统及存储介质。
背景技术
数据迁移和整合是广泛利用内部数据(例如：ERP、CRM、POS、设备数据、日志)以及外部数据(行业数据、宏观经济数据、社交媒体、评论)来对现有业务做各样分析以及对未来做预测，最终以数据驱动业务，是任何组织赖以生存的必要手段。若要将有价值的数据分析结果呈现在组织内各层级管理人员的手机终端中，需要先从各个源头抽取数据，将数据加载至数据湖中才可按分析需求对数据湖中的数据进行分析处理；但由于数据的来源不同，在数据抽取环节中有可能导入不同格式的数据，使得数据迁移和整合过程中需要对混合在一起的不同格式的数据进行统一的格式转换才可把数据按照分析需求存储在数据仓库或数据集市中，导致数据集成的复杂度大大提高，无法提高数据迁移和整合的效率。
发明内容
为了克服现有技术的不足，本发明的目的之一在于提供一种数据迁移方法，可整合各种数据形式的数据到数据平台中，减少数据处理步骤，提高数据迁移和整合效率。
本发明的目的之二在于提供一种执行上述数据迁移方法的数据迁移系统。
本发明的目的之三在于提供一种存储介质。
本发明的目的之一采用如下技术方案实现：
一种数据迁移方法，应用于与多数据源和目的数据平台相连的服务器中，数据迁移方法包括：
所述服务器响应于迁移指令调用迁移工具创建迁移任务；
所述服务器基于所述迁移任务激活对应数据源与目的数据平台之间的数据传输通道，整合多数据源中不同数据形式的数据并将其经所述数据传输通道迁移至所述目的数据平台中进行存储。
进一步地，所述数据源包括文件数据源和数据库数据源。
进一步地，激活所述数据传输通道后，还包括：
检测所述数据传输通道的网络连接状态，并将检测结果进行反馈。
进一步地，检测所述数据传输通道的网络连接状态的方法包括：
获取各数据源所对应的物理主机地址，根据主机地址查看各数据源的防火墙信息，并对防火墙信息进行反馈以对防火墙端口进行配置。
进一步地，检测所述数据传输通道的网络连接状态的方法包括：
获取所述目的数据平台的网络地址，根据网络地址确定联网模式；
结合联网模式向所述目的数据平台传出数据包以计算数据传输速度，并对数据传输速度进行反馈以判断网络连接是否出现异常。
进一步地，所述迁移任务的创建方法包括：
运行所述迁移工具，利用所述迁移工具配置数据迁移流程以生成所述迁移任务；所述数据迁移流程至少包括数据输入节点和数据输出节点。
进一步地，所述迁移任务的创建方法还包括：
利用所述迁移工具配置迁移执行周期，以使各数据源的数据文件按已配置的迁移执行周期进行数据迁移。
进一步地，所述迁移工具使用kettle提供的spoon图形化工具。
本发明的目的之二采用如下技术方案实现：
一种数据迁移系统，执行如上述的数据迁移方法，包括：
通讯模块，用于与多个数据源与目的数据平台建立数据传输通道；其中，多个所述数据源包含有多种数据形式的数据；
创建模块，用于根据迁移指令调用迁移工具以创建迁移任务；
迁移模块，用于根据所述迁移任务整合多数据源中不同数据形式的数据，并将其经所述数据传输通道传送至所述目的数据平台中进行整合和存储。
本发明的目的之三采用如下技术方案实现：
一种存储介质，其上存储有计算机程序，所述计算机程序被执行时实现上述的数据迁移方法。
相比现有技术，本发明的有益效果在于：
本发明利用迁移工具对各种数据形式的数据迁移至目的数据平台中，不需要再编写其他代码实现垮平台的数据导入和迁移步骤，简化数据迁移和整合流程，提高效率；且通过迁移工具可自定义配置迁移流程，实现可配置化，提高实用性。
附图说明
图1为本发明数据迁移方法的流程示意图；
图2为本发明数据迁移系统的模块示意图；
图3为本发明迁移工具的使用界面图。
具体实施方式
下面，结合附图以及具体实施方式，对本发明做进一步描述，需要说明的是，在不相冲突的前提下，以下描述的各实施例之间或各技术特征之间可以任意组合形成新的实施例。
实施例一
本实施例提供一种数据迁移方法，利用迁移工具对各种数据形式的数据迁移至目的数据平台中，简化数据迁移和整合流程，提高效率；且通过迁移工具可自定义配置迁移流程，实现可配置化，提高实用性。
如图1所示，本实施例的数据迁移方法，应用于与多数据源和目的数据平台相连的服务器中，具体包括如下步骤：
步骤S1：预先让所述服务器与多个数据源、目的数据平台连接，借由所述服务器让多数据源和目的数据平台之间建立起对应的数据传输通道；其中，多个所述数据源包含有多种数据形式的数据；
步骤S2：所述服务器响应于迁移指令调用迁移工具创建迁移任务；
步骤S3：所述服务器基于所述迁移任务激活对应数据源与目的数据平台之间的数据传输通道，整合多数据源中不同数据形式的数据并将其经所述数据传输通道迁移至所述目的数据平台中进行存储。
本实施例中，所述数据源中存储有不同的业务数据，由于不同的业务数据可能存在不同的数据格式，因此在数据转移过程中则会从不同数据源中抽取到不同数据格式的数据。而所述数据源可以是文件数据源或者是数据库数据源，文件数据源中存储有各种数据文件，数据文件的格式可以是txt、parquet、orc等，而数据库数据源则可以是mysql、oracle、SQLServer、DB2、SQL/Access、PostgreSQL等各种传统数据库。而本实施例则是利用迁移工具将各数据源中的各种数据形式的数据集成整合至目的数据平台中，不需要再编写其他代码实现定时、定期、跨网的数据导入与迁移，为以后做大数据整合十分方便。
在进行数据迁移之前，首先需要检测当前系统环境是否已经与数据源、目的大数据平台网络连通，若已连接，则可直接进行后续的迁移步骤，若未连接，则需通过本系统建立多个数据源与目的数据平台之间的数据传输通道。
本实施例中本系统与各数据源和目的数据平台进行网络连通后，还需要对网络的连接状态进行检测，以判断当前网络连接状态是否可进行数据传输。其检测方法包括：获取各数据源所在服务器的物理主机地址，其物理主机地址为ping IP，通过ping IP查询数据源所在服务器是否设置有防火墙，由于防火墙的存在可能会阻挡数据传输，因此若发现有防火墙时，则获取防火墙信息并将其反馈至用户，使得用户可在了解防火墙信息后可对防火墙进行端口设置，以开启防火墙实现数据传输功能。
此外，再对网络连接状态进行检测时，还包括获取目的数据平台的网络IP地址，通过网络IP地址查看当前目的数据平台的联网模式，即确定目的数据平台所连接的网络为内网还是外网，若是内网，则表示目的数据平台目前设在本地，通过局域网与各数据源所对应的服务器实现信号传输；若连接的网络是外网，则代表目的数据平台设置在云端，各数据源所对应的服务器与云端的目的数据平台进行数据传输。而由于云端有宽带限制，而本地宽带足够大，因此，内网和外网决定了数据传输的速度以及数据传输的时间，本实施例通过发送数据包的方式统计数据包的接收情况，并计算数据包从发送到接收到往返时间，得出传数据传输速度，若数据传输速度低于预设值，则代表当前网络连接状态异常，此时则将异常信息进行反馈，以让用户对当前网络进行维修；若无法接受已发送到数据包，即数据包发生丢失时，也代表网络连接状态异常，此时也需将异常情况进行反馈。
在确保各数据源和目的数据平台之间的网络连接通畅后，本实施例系统响应于用户发出的迁移指令，启动迁移工具；本实施例的迁移工具为kettle提供的spoon图形化工具，运行spoon迁移工具的环境安装在jdk1.8.121以上；用户使用spoon迁移工具可预先新建迁移任务，在新建的迁移任务中根据用户需求绘制数据流图，如图3所示，该数据流图中至少添加有数据输入节点和数据输出节点，根据该数据流图可配置数据迁移流程，使得数据传输方向可按照用户所要求的数据迁移流程进行迁移。而本实施例中，选用了kettle8.3版本来实现多种数据形式的数据迁移和整合的效果，经过反复实践获知，该版本支持传统数据库(mysql、oracle、SQLServer、DB2、SQL/Access、PostgreSQL等)以及各种数据文件(txt、parquet、orc等)都可以将其数据集成整合到现有的目的数据平台，不需要再编写其他代码实现定时、定期、跨网的数据导入与迁移，便于以后做大数据整合。
在配置数据迁移流程过程中，还可对迁移执行周期进行配置，该周期可按分钟、小时、天、周、月，年等时间进行设置，使得数据迁移过程可按照设置的周期进行定期同步，从而集成各数据源的各种数据形式的数据至目的数据平台中；例如可以集成各个领域不同的公司或部门数据到目的数据平台，也可按不同时间周期同步数据，实现数据仓库的ODS层。
本实施例可通过迁移工具实现将各种数据形式的数据迁移和整合至目的数据平台中，实现无代码化的迁移过程，同时用户可通过自行配置迁移工具的迁移流程来实现数据迁移，达到可配置化的效果，提高数据迁移和整合效率。
实施例二
本实施例提供一种数据迁移系统，一种数据迁移系统，执行如实施例一所述的数据迁移方法，如图2所示，具体包括如下模块：
通讯模块，用于将本系统与多个数据源、目的数据平台建立数据传输通道，使得多个数据源和目的数据平台之间可进行数据传输以完成数据迁移步骤；其中，多个所述数据源包含有多种数据形式的数据；
创建模块，用于根据迁移指令调用迁移工具以创建迁移任务；本实施例在创建迁移任务时可对数据流程进行自定义设置，同时还可调用迁移工具对迁移执行周期进行配置；
迁移模块，用于根据所述迁移任务整合各数据源中不同数据形式的数据，并将其经所述数据传输通道传送至所述目的数据平台中进行整合和存储。
实施例三
本实施例提供一种计算机存储介质，其上存储有计算机程序，本发明的方法如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在该计算机存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机存储介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机存储介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机存储介质不包括电载波信号和电信信号。
上述实施方式仅为本发明的优选实施方式，不能以此来限定本发明保护的范围，本领域的技术人员在本发明的基础上所做的任何非实质性的变化及替换均属于本发明所要求保护的范围。

Claims (6)

1.一种数据迁移方法，其特征在于，应用于与多数据源和目的数据平台相连的服务器中，数据迁移方法包括：
所述服务器响应于迁移指令调用迁移工具创建迁移任务，并在新建的迁移任务中根据用户需求绘制数据流图，该数据流图中至少添加有数据输入节点和数据输出节点，根据该数据流图配置数据迁移流程，使得数据传输方向可按照用户所要求的数据迁移流程进行迁移；
所述服务器基于所述迁移任务激活对应数据源与目的数据平台之间的数据传输通道，整合多数据源中不同数据形式的数据并将其经所述数据传输通道迁移至所述目的数据平台中进行存储；
服务器与各数据源和目的数据平台进行网络连通后，对网络的连接状态进行检测，包括：
获取各数据源所在服务器的物理主机地址，其物理主机地址为ping IP，通过ping IP查询数据源所在服务器是否设置有防火墙，由于防火墙的存在可能会阻挡数据传输，因此若发现有防火墙时，则获取防火墙信息并将其反馈至用户，使得用户可在了解防火墙信息后可对防火墙进行端口设置，以开启防火墙实现数据传输功能；
获取目的数据平台的网络IP地址，通过网络IP地址查看当前目的数据平台的联网模式，即确定目的数据平台所连接的网络为内网还是外网，若是内网，则表示目的数据平台目前设在本地，通过局域网与各数据源所对应的服务器实现信号传输；若连接的网络是外网，则代表目的数据平台设置在云端，各数据源所对应的服务器与云端的目的数据平台进行数据传输；基于内网和外网决定数据传输的速度以及数据传输的时间，通过发送数据包的方式统计数据包的接收情况，并计算数据包从发送到接收到往返时间，得出传数据传输速度，若数据传输速度低于预设值，则代表当前网络连接状态异常，此时则将异常信息进行反馈，以让用户对当前网络进行维修；若无法接受已发送到数据包，即数据包发生丢失时，也代表网络连接状态异常，此时也需将异常情况进行反馈。
2.根据权利要求1所述的数据迁移方法，其特征在于，所述数据源包括文件数据源和数据库数据源。
3.根据权利要求1所述的数据迁移方法，其特征在于，所述迁移任务的创建方法还包括：
利用所述迁移工具配置迁移执行周期，以使各数据源的数据文件按已配置的迁移执行周期进行数据迁移。
4.根据权利要求1所述的数据迁移方法，其特征在于，所述迁移工具为spoon图形化工具。
5.一种数据迁移系统，其特征在于，执行如权利要求1～4任意一项所述的数据迁移方法，包括：
通讯模块，用于与多个数据源与目的数据平台建立数据传输通道；其中，多个所述数据源包含有多种数据形式的数据；
创建模块，用于根据迁移指令调用迁移工具以创建迁移任务；
迁移模块，用于根据所述迁移任务整合多数据源中不同数据形式的数据并将其经所述数据传输通道传送至所述目的数据平台中进行存储。
6.一种计算机可读存储介质，其特征在于，其上存储有计算机程序，所述计算机程序被执行时实现权利要求1～4任一所述的数据迁移方法。
CN202110585556.1A 2021-05-27 2021-05-27 一种数据迁移方法、系统及存储介质 Active CN113239015B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110585556.1A CN113239015B (zh) 2021-05-27 2021-05-27 一种数据迁移方法、系统及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110585556.1A CN113239015B (zh) 2021-05-27 2021-05-27 一种数据迁移方法、系统及存储介质

Publications (2)

Publication Number Publication Date
CN113239015A CN113239015A (zh) 2021-08-10
CN113239015B true CN113239015B (zh) 2022-12-13

Family

ID=77139175

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110585556.1A Active CN113239015B (zh) 2021-05-27 2021-05-27 一种数据迁移方法、系统及存储介质

Country Status (1)

Country Link
CN (1) CN113239015B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115866073B (zh) * 2022-11-30 2024-04-19 重庆长安汽车股份有限公司 数据差量融合方法、装置、设备及介质

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111723079A (zh) * 2020-06-28 2020-09-29 深圳壹账通智能科技有限公司 数据迁移方法、装置、计算机设备及存储介质

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3427178B1 (en) * 2016-03-09 2020-12-02 Bitspray Corporation Secure file sharing over multiple security domains and dispersed communication networks
CN109933416B (zh) * 2019-02-01 2023-09-05 广东安可云科技有限公司 一种应用数据的迁移方法、装置及存储介质
CN111159265B (zh) * 2019-12-03 2023-04-14 武汉达梦数据库股份有限公司 一种etl数据迁移方法和系统

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111723079A (zh) * 2020-06-28 2020-09-29 深圳壹账通智能科技有限公司 数据迁移方法、装置、计算机设备及存储介质

Also Published As

Publication number Publication date
CN113239015A (zh) 2021-08-10

Similar Documents

Publication Publication Date Title
WO2020248375A1 (zh) 数据库间数据同步方法、系统、计算机设备及存储介质
CN111371623B (zh) 业务性能和安全的监测方法、装置、存储介质及电子设备
CN113239015B (zh) 一种数据迁移方法、系统及存储介质
CN116204438A (zh) 测试用例生成方法、自动化测试方法和相关装置
US11038803B2 (en) Correlating network level and application level traffic
CN111404768A (zh) 一种dpi识别的实现方法及设备
US10812346B1 (en) Application discovery and dependency mapping
CN109409948B (zh) 交易异常检测方法、装置、设备及计算机可读存储介质
CN112416557B (zh) 调用关系的确定方法和装置、存储介质及电子装置
CN113098852B (zh) 一种日志处理方法及装置
CN109921920A (zh) 一种故障信息处理方法与相关装置
CN111010362B (zh) 一种异常主机的监控方法及装置
CN113064906B (zh) 一种Binlog日志数据适配迁移方法和系统
US10545798B2 (en) Resegmenting chunks of data for efficient load balancing across indexers
CN115766258A (zh) 一种基于因果关系图的多阶段攻击趋势预测方法、设备及存储介质
CN115525703A (zh) 异构数据库的数据比对方法、数据同步方法、装置及介质
CN113468509A (zh) 一种用户认证的迁移方法、装置、设备及存储介质
US20160204988A1 (en) Intelligent Device Data Router
CN111562937A (zh) 一种代码方法级缺陷预警方法
CN117375860A (zh) 消息处理方法和电子设备
CN110620799A (zh) 一种数据处理方法和系统
CN115994172A (zh) 一种业务访问关系确定的方法、装置、设备及介质
CN113141366B (zh) 报文报送方法及装置、存储介质和电子设备
CN107609008A (zh) 一种基于Apache Sqoop的从关系型数据库到Kafka的数据导入装置及方法
CN110943994A (zh) 一种基于Netty处理的通讯交互方法及模块

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant