CN115563088B - 不同类型的数据库的数据迁移方法及迁移系统 - Google Patents

不同类型的数据库的数据迁移方法及迁移系统 Download PDF

Info

Publication number
CN115563088B
CN115563088B CN202211569603.4A CN202211569603A CN115563088B CN 115563088 B CN115563088 B CN 115563088B CN 202211569603 A CN202211569603 A CN 202211569603A CN 115563088 B CN115563088 B CN 115563088B
Authority
CN
China
Prior art keywords
data
sql
value
database
client
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202211569603.4A
Other languages
English (en)
Other versions
CN115563088A (zh
Inventor
李家保
闵宇
史伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong Yunxiang Sky Technology Service Co ltd
Original Assignee
Guangdong Eflycloud Computing Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Eflycloud Computing Co Ltd filed Critical Guangdong Eflycloud Computing Co Ltd
Priority to CN202211569603.4A priority Critical patent/CN115563088B/zh
Publication of CN115563088A publication Critical patent/CN115563088A/zh
Application granted granted Critical
Publication of CN115563088B publication Critical patent/CN115563088B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/21—Design, administration or maintenance of databases
    • G06F16/214—Database migration support
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/242—Query formulation
    • G06F16/2433—Query languages
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/12—Network monitoring probes
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Computing Systems (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明涉及数据迁移技术领域，公开了一种不同类型的数据库的数据迁移方法及迁移系统，包括：获取客户端和源数据库之间的传输数据；基于嗅探采集传输数据中的数据包；解析数据包以进行SQL甄选，以确定SQL值和对应的绑定值；将SQL值和绑定值的数据以表模式作基准转换出列值结构；基于列值结构进行对应的数据库架构的形成，以构建不同类型的数据库，此时，基于嗅探采集传输数据中的数据包，并且在不影响传输数据的正常传输情况下进行数据包的获取，并解析数据包以进行SQL甄选，以确定SQL值和对应的绑定值，将SQL值和绑定值的数据以表模式作基准转换出列值结构；基于列值结构进行对应数据库架构的形成，以构建不同类型的数据库。

Description

不同类型的数据库的数据迁移方法及迁移系统
技术领域
本发明涉及数据迁移技术领域，尤其涉及一种不同类型的数据库的数据迁移方法及迁移系统。
背景技术
随着步入信息化时代，社交网络、电子交易、网络银行网上活动频繁进行，各种企业的重要的信息和个人信息录入数据库的重要性在不断扩大，而这些数据则被组建成了数据辞典、统计数据、服务数据不同形式的数据库。
类似这种利用源数据库的数据构筑加工数据的方法，目前采用的是ETL方法或工具，而ETL是每次源数据库完整保存后，再筛选出数据，这样会反而加重了源数据库的负载压力。
发明内容
本发明的目的在于克服现有技术的不足，本发明提供了一种不同类型的数据库的数据迁移方法及迁移系统，获取客户端和源数据库之间的传输数据；基于嗅探采集所述数据中的数据包；解析所述数据包以进行SQL甄选，以确定SQL值和对应的绑定值；将所述SQL值和所述绑定值的数据以表模式作基准转换出列值结构；基于所述列值结构进行对应的数据库架构的形成，以构建不同类型的数据库，此时，基于嗅探采集所述数据中的数据包，并且在不影响传输数据的正常传输情况下进行数据包的获取，并且解析所述数据包以进行SQL甄选，以确定SQL值和对应的绑定值，将所述SQL值和所述绑定值的数据以表模式作基准转换出列值结构；基于所述列值结构进行对应的数据库架构的形成，以构建不同类型的数据库，从而减少源数据库的运营负载压力。
为了解决技术问题，本发明提供了一种不同类型的数据库的数据迁移方法，包括：获取客户端和源数据库之间的传输数据；基于嗅探采集所述数据中的数据包；解析所述数据包以进行SQL甄选，以确定SQL值和对应的绑定值；将所述SQL值和所述绑定值的数据以表模式作基准转换出列值结构；基于所述列值结构进行对应的数据库架构的形成，以构建不同类型的数据库。
另外，本发明还提供了一种不同类型的数据库的数据迁移系统，所述不同类型的数据库的数据迁移系统包括：获取模块：用于获取客户端和源数据库之间的传输数据；嗅探模块：用于基于嗅探采集所述数据中的数据包；解析模块：用于解析所述数据包以进行SQL甄选，以确定SQL值和对应的绑定值；转换模块：用于将所述SQL值和所述绑定值的数据以表模式作基准转换出列值结构；数据库模块：用于基于所述列值结构进行对应的数据库架构的形成，以构建不同类型的数据库。
在本发明中，通过本发明中的方法，获取客户端和源数据库之间的传输数据；基于嗅探采集所述数据中的数据包；解析所述数据包以进行SQL甄选，以确定SQL值和对应的绑定值；将所述SQL值和所述绑定值的数据以表模式作基准转换出列值结构；基于所述列值结构进行对应的数据库架构的形成，以构建不同类型的数据库，此时，基于嗅探采集所述数据中的数据包，并且在不影响传输数据的正常传输情况下进行数据包的获取，并且解析所述数据包以进行SQL甄选，以确定SQL值和对应的绑定值，将所述SQL值和所述绑定值的数据以表模式作基准转换出列值结构；基于所述列值结构进行对应的数据库架构的形成，以构建不同类型的数据库，从而减少源数据库的运营负载压力。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见的，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
图1是本发明实施例中的不同类型的数据库的数据迁移方法的流程示意图；
图2是本发明实施例中的不同类型的数据库的数据迁移方法的嗅探采集所述数据中的数据包的流程示意图；
图3是本发明实施例中的不同类型的数据库的数据迁移方法的SQL甄选的流程示意图；
图4是本发明实施例中的不同类型的数据库的数据迁移方法的列值结构转换的流程示意图；
图5是本发明实施例中的不同类型的数据库的数据迁移方法的数据传输示意图；
图6是本发明实施例中的不同类型的数据库的数据迁移系统的结构组成示意图；
图7是根据一示例性实施例示出的一种电子装置的硬件图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
实施例一
请参阅图1至图6，一种不同类型的数据库的数据迁移方法，方法包括：
S11：获取客户端和源数据库之间的传输数据；
在本发明具体实施过程中，具体的步骤可以为：在通信协议上关联客户端和源数据库；基于客户端和源数据库之间的局域网通道进行传输数据；将嗅探模块和代理模块嵌入于局域网通道，并且在客户端和源数据库之间的传输路径对数据进行作用。
其中，将嗅探模块和代理模块嵌入于局域网通道，并且作用于客户端和源数据库之间的局域网所传输的数据，并且在客户端和源数据库之间的传输路径对数据进行作用，避免对数据的传输产生影响，也能够基于嗅探模块进行数据的嗅探。
S12：基于嗅探采集所述数据中的数据包；
在本发明具体实施过程中，具体的步骤可以为：
S121：基于嗅探模块对处于传输过程中的所述数据进行采集；
S122：获取所述数据所采集到的数据包，并且不影响所述数据的正常传输；
S123：基于客户端和源数据库之间的服务器进行复制，并形成第一服务器；
S124：基于所述第一服务器运行所述嗅探模块，并收集所述数据包。
其中，基于嗅探模块对处于传输过程中的所述数据进行采集，并且不影响所述数据的正常传输，此时，基于客户端和源数据库之间的服务器进行复制，并形成第一服务器；基于所述第一服务器运行所述嗅探模块，并收集所述数据包，本方案是直接通过嗅探的方式获取传输中的SQL语句，也就是说所有同步、复制的操作无需额外在源数据库中进行，只是在局域网的传输数据包中获取，因此可以减轻源数据库的负载。
S13：解析所述数据包以进行SQL甄选，以确定SQL值和对应的绑定值；
在本发明具体实施过程中，具体的步骤可以为：
S131：将所述数据包进行解析，并分离出SQL数据包；
S132：基于所述SQL数据包进行SQL甄选，以触发源数据库的变更；
S133：在源数据库的变更的阶段中，根据所述SQL数据包确定SQL值和对应的绑定值；
S134：将SQL值和对应的绑定值作用于模型架构。
其中，基于数据包的解析而分离出SQL数据包，并且基于所述SQL数据包进行SQL甄选，以触发源数据库的变更，以便于根据所述SQL数据包确定SQL值和对应的绑定值，并且将SQL值和对应的绑定值作用于模型架构，并且基于模型架构形成对应的数据化结构。
复制用服务器的作用既有运行捕足从客户端发送至源数据库主服务器的SQL的扫描模块，也能将客户端发送至源数据库中的数据转发至次服务器的作用，该复制用服务器也负责运行收集数据包用的代理模块，同时运行分析通过从扫描模块和代理模块捕捉到的数据包中，将SQL和其绑定值(bind value)抽离的SQL筛选模块。运行“被抽离的SQL和其绑定值与源数据库的模式(schema)作对应后改变其列值(column-value)结构的”数据标准模块，运行“将执行转换存放至次服务器的被复制对象的数据结构”的模型，和通过具有将被转换的数据传送至次服务器中转换数据适用模型，使用源数据库和异构数据库达到数据一致。
并且，复制用服务器还可以抽离客户端发送至主服务器的网络中传输的SQL数据包以及其执行结果，然后通过与传送至次服务器的SQL结果相对比，进一步地探测到主服务器中的源数据库和复制数据间的同步化错误。
S14：将所述SQL值和所述绑定值的数据以表模式作基准转换出列值结构；
在本发明具体实施过程中，具体的步骤可以为：
S141：将所述SQL值和所述绑定值的数据作为第一参考数据；
S142：对第一参考数据进行制表转化，并且构建所述SQL值和所述绑定值的数据的对应关系；
S143：将所述第一参考数据以表模式作基准转换出列值结构。
S15：基于所述列值结构进行对应的数据库架构的形成，以构建不同类型的数据库；
在本发明具体实施过程中，具体的步骤可以为：将所述列值结构存放于所述第一服务器，并形成复制数据库；获取复制数据库的数据库类型；如果复制数据库是测试型数据库，以设定复制系统敏感信息列值为基准进行屏蔽处理成被屏蔽的键值；如果复制数据库是关系型数据库，则改变为标准SQL；如果复制对象数据是NOSQL的文档型数据，将键值结构改为JSON结构。
其中，复制用服务器的嗅探扫描模块和代理模块是用于捕足客户端传送至源数据库的网络流阶段和被捕捉的网络流中通过数据包过滤后抽离出SQL和其绑定值(bindvalue)再甄别出数据库变更SQL的阶段和把甄别出的数据库变更SQL和其绑定值(bindvalue)的数据以表模式(table schema)作基准转换出列值(column value)结构，把列值(column value)结构转换成键值结构(key-value)的阶段，以及用于处理以下情况：
如果复制数据库是测试型数据库，以设定复制系统敏感信息列(column)值为基准进行屏蔽处理成被屏蔽的键值对(key-value).
如果复制数据库是关系型数据库，将键值结构改变为标准SQL结构；
如果复制数据是NOSQL的文档型数据，将键值结构改为JSON结构。完成的数据结构转换后的数据，将被传送至次服务器中。
另外，方法的步骤还包括，从抽离的SQL中甄别出必要的查询语句(query)进行同步化检验。在复制数据库上执行甄别后的查询语句(query)后，通过抽离后的执行结果与原本数据的查询语句(query)的执行结果相比较探测出同步化错误，以及比较执行结果，同步化错误被探测和利用执行结果生成变更的SQL语句。进一步地，通过执行数据变更SQL语句到复制数据库，使源数据库和复制数据的结果达到一致的效果
所述不同类型的数据库的数据迁移方法，还包括：在复制数据库上执行甄别，并获取查询语句，通过抽离后的执行结果与原本数据的查询语句的执行结果相比较探测出同步化错误。
通过抽离后的执行结果与原本数据的查询语句(query)的执行结果相比较探测出同步化错误，以及比较执行结果，同步化错误被探测和利用执行结果生成变更的SQL语句。进一步地，通过执行数据变更SQL语句到复制数据库，使源数据库和复制数据的结果达到一致的效果。
在本发明实施例中，通过本发明实施例中的方法，获取客户端和源数据库之间的传输数据；基于嗅探采集所述数据中的数据包；解析所述数据包以进行SQL甄选，以确定SQL值和对应的绑定值；将所述SQL值和所述绑定值的数据以表模式作基准转换出列值结构；基于所述列值结构进行对应的数据库架构的形成，以构建不同类型的数据库，此时，基于嗅探采集所述数据中的数据包，并且在不影响传输数据的正常传输情况下进行数据包的获取，并且解析所述数据包以进行SQL甄选，以确定SQL值和对应的绑定值，将所述SQL值和所述绑定值的数据以表模式作基准转换出列值结构；基于所述列值结构进行对应的数据库架构的形成，以构建不同类型的数据库，从而减少源数据库的运营负载压力。
实施例二
请参阅图6，图6是本发明实施例中的不同类型的数据库的数据迁移系统的结构组成示意图。
如图6所示，一种不同类型的数据库的数据迁移系统，所述不同类型的数据库的数据迁移系统包括：
获取模块21：用于获取客户端和源数据库之间的传输数据；
嗅探模块22：用于基于嗅探采集所述数据中的数据包；
解析模块23：用于解析所述数据包以进行SQL甄选，以确定SQL值和对应的绑定值；
转换模块24：用于将所述SQL值和所述绑定值的数据以表模式作基准转换出列值结构；
数据库模块25：用于基于所述列值结构进行对应的数据库架构的形成，以构建不同类型的数据库。
本发明提供了一种不同类型的数据库的数据迁移方法及迁移系统，获取客户端和源数据库之间的传输数据；基于嗅探采集所述数据中的数据包；解析所述数据包以进行SQL甄选，以确定SQL值和对应的绑定值；将所述SQL值和所述绑定值的数据以表模式作基准转换出列值结构；基于所述列值结构进行对应的数据库架构的形成，以构建不同类型的数据库，此时，基于嗅探采集所述数据中的数据包，并且在不影响传输数据的正常传输情况下进行数据包的获取，并且解析所述数据包以进行SQL甄选，以确定SQL值和对应的绑定值，将所述SQL值和所述绑定值的数据以表模式作基准转换出列值结构；基于所述列值结构进行对应的数据库架构的形成，以构建不同类型的数据库，从而减少源数据库的运营负载压力。
实施例三
请参阅图7，下面参照图7来描述根据本发明的这种实施方式的电子设备40。图7显示的电子设备40仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
如图7所示，电子设备40以通用计算设备的形式表现。电子设备40的组件可以包括但不限于：至少一个处理单元41、至少一个存储单元42、连接不同系统组件（包括存储单元42和处理单元41）的总线43。
其中，所述存储单元存储有程序代码，所述程序代码可以被所述处理单元41执行，使得所述处理单元41执行本说明书“实施例方法”部分中描述的根据本发明各种示例性实施方式的步骤。
存储单元42可以包括易失性存储单元形式的可读介质，例如RAM421和/或高速缓存存储单元422，还可以进一步包括ROM423。
存储单元42还可以包括具有一组（至少一个）程序模块425的程序/实用工具424，这样的程序模块425包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。
总线43可以为表示几类总线结构中的一种或多种，包括存储单元总线或者存储单元控制器、外围总线、图形加速端口、处理单元或者使用多种总线结构中的任意总线结构的局域总线。
电子设备40也可以与一个或多个外部设备（例如键盘、指向设备、蓝牙设备）通信，还可与一个或者多个使得用户能与该电子设备40交互的设备通信，和/或与使得该电子设备40能与一个或多个其它计算设备进行通信的任何设备（例如路由器、调制解调器）通信。这种通信可以通过I/O接口45进行。并且，电子设备40还可以通过网络适配器46与一个或者多个网络（例如局域网（LAN），广域网（WAN）和/或公共网络，例如因特网）通信。如图7所示，网络适配器46通过总线43与电子设备40的其它模块通信。应当明白，尽管图7中未示出，可以结合电子设备40使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统。
通过以上的实施方式的描述，本领域的技术人员易于理解，这里描述的示例实施方式可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，根据本公开实施方式的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质（可以是CD-ROM，U盘，移动硬盘）中或网络上，包括若干指令以使得一台计算设备（可以是个人计算机、服务器、终端装置、或者网络设备）执行根据本公开实施方式的方法。
本领域普通技术人员可以理解实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：只读存储器（ROM，ReadOnly Memory）、随机存取存储器（RAM，Random AccessMemory）、磁盘或光盘。并且，其存储有计算机程序指令，当所述计算机程序指令被计算机执行时，使计算机执行根据的方法。
另外，以上对本发明实施例所提供的不同类型的数据库的数据迁移方法及迁移系统进行了详细介绍，本文中应采用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (6)

1.一种不同类型的数据库的数据迁移方法，其特征在于，包括：
获取客户端和源数据库之间的传输数据；所述获取客户端和源数据库之间的传输数据的步骤包括：在通信协议上关联客户端和源数据库；基于客户端和源数据库之间的局域网通道进行传输数据；将嗅探模块和代理模块嵌入于局域网通道，并且在客户端和源数据库之间的传输路径对数据进行作用；
基于嗅探采集所述数据中的数据包；所述基于嗅探采集所述数据中的数据包的步骤包括：基于嗅探模块对处于传输过程中的所述数据进行采集；获取所述数据所采集到的数据包，并且不影响所述数据的正常传输；基于客户端和源数据库之间的服务器进行复制，并形成第一服务器；
基于所述第一服务器运行所述嗅探模块，并收集所述数据包；
解析所述数据包以进行SQL甄选，以确定SQL值和对应的绑定值；
将所述SQL值和所述绑定值的数据以表模式作基准转换出列值结构；
基于所述列值结构进行对应的数据库架构的形成，以构建不同类型的数据库。
2.根据权利要求1所述的不同类型的数据库的数据迁移方法，其特征在于，所述解析所述数据包以进行SQL甄选，以确定SQL值和对应的绑定值，包括：
将所述数据包进行解析，并分离出SQL数据包；
基于所述SQL数据包进行SQL甄选，以触发源数据库的变更；
在源数据库的变更的阶段中，根据所述SQL数据包确定SQL值和对应的绑定值；
将SQL值和对应的绑定值作用于模型架构。
3.根据权利要求2所述的不同类型的数据库的数据迁移方法，其特征在于，所述将所述SQL值和所述绑定值的数据以表模式作基准转换出列值结构，包括：
将所述SQL值和所述绑定值的数据作为第一参考数据；
对第一参考数据进行制表转化，并且构建所述SQL值和所述绑定值的数据的对应关系；
将所述第一参考数据以表模式作基准转换出列值结构。
4.根据权利要求3所述的不同类型的数据库的数据迁移方法，其特征在于，所述基于所述列值结构进行对应的数据库架构的形成，以构建不同类型的数据库，包括：
将所述列值结构存放于所述第一服务器，并形成复制数据库；
获取复制数据库的数据库类型；
如果复制数据库是关系型数据库，将键值结构改变为标准SQL结构；
如果复制数据是NOSQL的文档型数据，将键值结构改为JSON结构。
5.根据权利要求4所述的不同类型的数据库的数据迁移方法，其特征在于，所述不同类型的数据库的数据迁移方法，还包括：
在复制数据库上执行甄别，并获取查询语句，通过抽离后的执行结果与原本数据的查询语句的执行结果相比较探测出同步化错误。
6.一种不同类型的数据库的数据迁移系统，其特征在于，所述不同类型的数据库的数据迁移系统包括：
获取模块：用于获取客户端和源数据库之间的传输数据；所述获取客户端和源数据库之间的传输数据的步骤包括：在通信协议上关联客户端和源数据库；基于客户端和源数据库之间的局域网通道进行传输数据；将嗅探模块和代理模块嵌入于局域网通道，并且在客户端和源数据库之间的传输路径对数据进行作用；
嗅探模块：用于基于嗅探采集所述数据中的数据包；所述基于嗅探采集所述数据中的数据包的步骤包括：基于嗅探模块对处于传输过程中的所述数据进行采集；获取所述数据所采集到的数据包，并且不影响所述数据的正常传输；基于客户端和源数据库之间的服务器进行复制，并形成第一服务器；基于所述第一服务器运行所述嗅探模块，并收集所述数据包；
解析模块：用于解析所述数据包以进行SQL甄选，以确定SQL值和对应的绑定值；
转换模块：用于将所述SQL值和所述绑定值的数据以表模式作基准转换出列值结构；
数据库模块：用于基于所述列值结构进行对应的数据库架构的形成，以构建不同类型的数据库。
CN202211569603.4A 2022-12-08 2022-12-08 不同类型的数据库的数据迁移方法及迁移系统 Active CN115563088B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211569603.4A CN115563088B (zh) 2022-12-08 2022-12-08 不同类型的数据库的数据迁移方法及迁移系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211569603.4A CN115563088B (zh) 2022-12-08 2022-12-08 不同类型的数据库的数据迁移方法及迁移系统

Publications (2)

Publication Number Publication Date
CN115563088A CN115563088A (zh) 2023-01-03
CN115563088B true CN115563088B (zh) 2023-07-25

Family

ID=84769881

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211569603.4A Active CN115563088B (zh) 2022-12-08 2022-12-08 不同类型的数据库的数据迁移方法及迁移系统

Country Status (1)

Country Link
CN (1) CN115563088B (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2002950216A0 (en) * 2002-07-11 2002-09-12 Winluck Pty. Limited Universal database application
CN111859426A (zh) * 2020-07-21 2020-10-30 西安电子科技大学 一种通用加密数据库连接器及其设置方法
CN115408370A (zh) * 2022-10-26 2022-11-29 本原数据(北京)信息技术有限公司 数据库迁移评估方法和系统、计算机设备、存储介质

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103440273B (zh) * 2013-08-06 2016-08-24 北京航空航天大学 一种数据跨平台迁移方法及装置
CN107423452A (zh) * 2017-09-02 2017-12-01 国网辽宁省电力有限公司 一种电网异构数据库同步复制迁移方法
KR101917806B1 (ko) * 2017-12-22 2018-11-12 주식회사 웨어밸리 Sql 패킷분석을 통한 이기종 데이터베이스의 데이터 복제 및 동기화 오류 탐지 방법 및 시스템
US11030166B2 (en) * 2018-11-22 2021-06-08 Accenture Global Solutions Limited Smart data transition to cloud
US11741380B2 (en) * 2020-01-31 2023-08-29 Oracle International Corporation Machine learning predictions for database migrations

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2002950216A0 (en) * 2002-07-11 2002-09-12 Winluck Pty. Limited Universal database application
CN111859426A (zh) * 2020-07-21 2020-10-30 西安电子科技大学 一种通用加密数据库连接器及其设置方法
CN115408370A (zh) * 2022-10-26 2022-11-29 本原数据(北京)信息技术有限公司 数据库迁移评估方法和系统、计算机设备、存储介质

Also Published As

Publication number Publication date
CN115563088A (zh) 2023-01-03

Similar Documents

Publication Publication Date Title
JP6668442B2 (ja) Ｓｑｌパケット分析を通じての異機種データベースのデータ複製および同期化エラー探知方法およびシステム
US11132248B2 (en) Automated information technology system failure recommendation and mitigation
WO2022063284A1 (zh) 数据同步方法、装置、设备及计算机可读介质
CN111949633B (zh) 一种基于并行流处理的ict系统运行日志分析方法
CN109034993A (zh) 对账方法、设备、系统及计算机可读存储介质
EP3396555B1 (en) Method and system for automated enterprise testing system
US8560502B2 (en) Method and a system for replaying database workload with transactional consistency
US20100274768A1 (en) De-duplication and completeness in multi-log based replication
CN109656999B (zh) 大数据量的数据同步方法、设备、存储介质及装置
WO2018120720A1 (zh) 客户端程序的测试错误定位方法、电子装置及存储介质
CN102968374A (zh) 一种数据仓库测试方法
US20180349250A1 (en) Content-level anomaly detector for systems with limited memory
US9998544B2 (en) Synchronization testing of active clustered servers
CN113242157B (zh) 一种分布式处理环境下的集中式数据质量监测方法
CN112214411A (zh) 一种容灾系统测试方法、装置、设备及存储介质
CN111708673A (zh) 一种日志数据压缩方法、装置、设备和存储介质
US9047354B2 (en) Statement categorization and normalization
CN113127520A (zh) 一种基于代理模式的分布式数据库sql审核拦截方法及装置
CN109902070B (zh) 一种面向WiFi日志数据的解析存储搜索方法
CN109992476B (zh) 一种日志的分析方法、服务器及存储介质
CN115563088B (zh) 不同类型的数据库的数据迁移方法及迁移系统
KR101191832B1 (ko) 네트워크 패킷 분석을 통한 데이터베이스 복제 방법 및 시스템
CN112256674A (zh) 一种数据迁移方法、装置、电子设备和存储介质
JP2021140430A (ja) データベースマイグレーション方法、データベースマイグレーションシステム、及びデータベースマイグレーションプログラム
US8429458B2 (en) Method and apparatus for system analysis

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20240308

Address after: D6-7, Aole Zhaoqi Town Cultural Industry Park, Etuoqueqian Banner, Ordos City, Inner Mongolia Autonomous Region, 016200

Patentee after: Inner Mongolia Zhengxinyun Technology Service Co.,Ltd.

Country or region after: China

Address before: No. 152, Zhongsan Road, Shiwan Town, Foshan, Guangdong 528000

Patentee before: GUANGDONG EFLYCLOUD COMPUTING Co.,Ltd.

Country or region before: China

TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20240511

Address after: 277000 No. 10, Jiefang South Road, Yicheng Economic Development Zone, Zaozhuang City, Shandong Province (room 8409, Yicheng headquarters economic center)

Patentee after: Shandong Yunxiang sky Technology Service Co.,Ltd.

Country or region after: China

Address before: D6-7, Aole Zhaoqi Town Cultural Industry Park, Etuoqueqian Banner, Ordos City, Inner Mongolia Autonomous Region, 016200

Patentee before: Inner Mongolia Zhengxinyun Technology Service Co.,Ltd.

Country or region before: China