CN112817742B - 数据迁移方法、装置、设备及存储介质 - Google Patents

数据迁移方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN112817742B
CN112817742B CN202110036329.3A CN202110036329A CN112817742B CN 112817742 B CN112817742 B CN 112817742B CN 202110036329 A CN202110036329 A CN 202110036329A CN 112817742 B CN112817742 B CN 112817742B
Authority
CN
China
Prior art keywords
determining
migration
data
processed
scene
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110036329.3A
Other languages
English (en)
Other versions
CN112817742A (zh
Inventor
左江
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ping An Technology Shenzhen Co Ltd
Original Assignee
Ping An Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ping An Technology Shenzhen Co Ltd filed Critical Ping An Technology Shenzhen Co Ltd
Priority to CN202110036329.3A priority Critical patent/CN112817742B/zh
Priority to PCT/CN2021/090455 priority patent/WO2022151614A1/zh
Publication of CN112817742A publication Critical patent/CN112817742A/zh
Application granted granted Critical
Publication of CN112817742B publication Critical patent/CN112817742B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/21Design, administration or maintenance of databases
    • G06F16/214Database migration support
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22Indexing; Data structures therefor; Storage structures
    • G06F16/2282Tablespace storage structures; Management thereof
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46Multiprogramming arrangements
    • G06F9/50Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5027Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2209/00Indexing scheme relating to G06F9/00
    • G06F2209/50Indexing scheme relating to G06F9/50
    • G06F2209/5018Thread allocation
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02DCLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Debugging And Monitoring (AREA)

Abstract

本发明涉及数据处理,提供一种数据迁移方法、装置、设备及存储介质。该方法能够确定重构系统及迁移对象,确定所述迁移对象的关联对象,融合迁移对象及关联对象,得到待处理对象,确定待处理对象的对象场景及对象特性,将对象特性为实时特性的待处理对象确定为第一对象,在重构系统中建立与第一对象对应的调用接口,并利用调用接口处理第一对象,将对象特性为非实时特性的待处理对象确定为第二对象,获取第二对象中的待迁移数据,并将待迁移数据迁移至重构系统。本发明能够以合理地方式将所述待处理对象中的数据迁移至所述重构系统。此外,本发明还涉及区块链技术,所述待处理对象可存储于区块链中。

Description

数据迁移方法、装置、设备及存储介质
技术领域
本发明涉及数据处理技术领域,尤其涉及一种数据迁移方法、装置、设备及存储介质。
背景技术
随着大数据的发展,大部分系统的性能跟不上业务量的扩张,为了应对因业务量扩张而导致的系统性能问题,目前将系统中的数据迁移至性能更好的重构系统中。
然而,在目前的数据迁移方案中,没有对迁移数据进行合理地分析与规划,造成迁移至重构系统中的数据混乱,业务承接不合理,从而不利于重构系统的健壮运行。
发明内容
鉴于以上内容,有必要提供一种数据迁移方法、装置、设备及存储介质,能够以合理地方式将数据迁移至重构系统中,有利于所述重构系统的健壮运行和稳定运行。
一方面,本发明提出一种数据迁移方法,所述数据迁移方法包括:
接收数据迁移请求,并根据所述数据迁移请求确定重构系统;
根据所述数据迁移请求确定迁移对象,并确定与所述迁移对象关联的关联对象;
融合所述迁移对象及所述关联对象,得到待处理对象;
确定所述待处理对象的对象场景,并根据所述对象场景确定所述待处理对象的对象特性;
将所述对象特性为实时特性的待处理对象确定为第一对象,在所述重构系统中建立与所述第一对象对应的调用接口,并利用所述调用接口处理所述第一对象;
将所述对象特性为非实时特性的待处理对象确定为第二对象,获取所述第二对象中的待迁移数据,并将所述待迁移数据迁移至所述重构系统。
根据本发明优选实施例,所述根据所述数据迁移请求确定重构系统包括:
解析所述数据迁移请求的报文,得到所述报文携带的数据信息;
从所述数据信息中提取指示系统的所有信息作为系统编码;
将所述系统编码与配置编码表中的所有配置编码进行比较,所述配置编码表中存储多个业务系统的编码;
将与所述所有配置编码均不相同的系统编码确定为目标编码;
根据所述目标编码确定所述重构系统。
根据本发明优选实施例,所述确定与所述迁移对象关联的关联对象包括:
获取所述迁移对象的迁移字段;
确定所述迁移对象所在的分布式系统,并获取所述分布式系统中每个系统的系统字段;
将每个系统的所述系统字段与所述迁移字段进行比较;
将与所述迁移字段相同的系统字段确定为目标字段,并将所述目标字段所在的系统确定为目标系统;
检测所述目标字段是否为配置字段;
若所述目标字段不为所述配置字段,将所述目标系统确定为所述关联对象。
根据本发明优选实施例,所述确定所述待处理对象的对象场景包括:
获取所述待处理对象的应用场景;
若所述应用场景有多个,从所述待处理对象中获取每个所述应用场景的场景功能;
确定所述场景功能的使用次数;
将所述使用次数最高的场景功能确定为目标功能,并将与所述目标功能对应的应用场景确定为所述对象场景。
根据本发明优选实施例,所述根据所述对象场景确定所述待处理对象的对象特性包括:
获取所述对象场景的实时等级;
若所述实时等级大于第一预设阈值,将所述对象特性确定为所述实时特性;或者
若所述实时等级小于第二预设阈值,将所述对象特性确定为所述非实时特征,所述第一预设阈值大于所述第二预设阈值;或者
若所述实时等级小于所述第一预设阈值,且所述实时等级大于所述第二预设阈值,获取所述待处理对象的其他场景,根据所述其他场景的实时等级确定所述对象特征。
根据本发明优选实施例,所述利用所述调用接口处理所述第一对象包括:
获取所述第一对象中的多个数据表;
确定每个数据表在所述第一对象中的数据路径;
通过所述调用接口将所述数据路径写入所述重构系统。
根据本发明优选实施例,所述将所述待迁移数据迁移至所述重构系统包括:
确定所述重构系统的空闲时间区间,并获取预设线程池中所有闲置线程的处理速率;
计算所述处理速率的平均值,得到目标速率,并将所述目标速率乘以所述空闲时间区间,得到每个闲置线程在所述空闲时间区间的处理量;
确定所述待迁移数据的数据量,并根据所述处理量及所述数据量确定线程数量;
根据所述处理速率从大至小的顺序对所述所有闲置线程进行排序,得到线程队列;
根据所述线程数量从所述线程队列中选取目标线程;
利用所述目标线程在所述空闲时间区间将所述待迁移数据迁移至所述重构系统。
另一方面,本发明还提出一种数据迁移装置,所述数据迁移装置包括:
确定单元,用于接收数据迁移请求,并根据所述数据迁移请求确定重构系统;
所述确定单元,还用于根据所述数据迁移请求确定迁移对象,并确定与所述迁移对象关联的关联对象;
融合单元,用于融合所述迁移对象及所述关联对象,得到待处理对象;
所述确定单元,还用于确定所述待处理对象的对象场景,并根据所述对象场景确定所述待处理对象的对象特性;
迁移单元,用于将所述对象特性为实时特性的待处理对象确定为第一对象,在所述重构系统中建立与所述第一对象对应的调用接口,并利用所述调用接口处理所述第一对象;
所述迁移单元,还用于将所述对象特性为非实时特性的待处理对象确定为第二对象,获取所述第二对象中的待迁移数据,并将所述待迁移数据迁移至所述重构系统。
另一方面,本发明还提出一种电子设备,所述电子设备包括:
存储器,存储计算机可读指令;及
处理器,执行所述存储器中存储的计算机可读指令以实现所述数据迁移方法。
另一方面,本发明还提出一种计算机可读存储介质,所述计算机可读存储介质中存储有计算机可读指令,所述计算机可读指令被电子设备中的处理器执行以实现所述数据迁移方法。
由以上技术方案可以看出,本发明融合了与所述迁移对象具有关联关系的关联对象进行分析,能够更全面地完成数据迁移,有利于所述重构系统的数据分析,同时,本发明通过分析所述待处理对象的对象特征,能够以合理地方式将所述待处理对象中的数据迁移至所述重构系统中,有利于所述重构系统的健壮运行和稳定运行。
附图说明
图1是本发明数据迁移方法的较佳实施例的流程图。
图2是本发明确定迁移对象的关联对象的一实施例的流程图。
图3是本发明确定待处理对象的对象场景的一实施例的流程图。
图4是本发明数据迁移装置的较佳实施例的功能模块图。
图5是本发明实现数据迁移方法的较佳实施例的电子设备的结构示意图。
具体实施方式
为了使本发明的目的、技术方案和优点更加清楚,下面结合附图和具体实施例对本发明进行详细描述。
如图1所示,是本发明数据迁移方法的较佳实施例的流程图。根据不同的需求,该流程图中步骤的顺序可以改变,某些步骤可以省略。
所述数据迁移方法应用于一个或者多个电子设备中,所述电子设备是一种能够按照事先设定或存储的计算机可读指令,自动进行数值计算和/或信息处理的设备,其硬件包括但不限于微处理器、专用集成电路(Application Specific Integrated Circuit,ASIC)、可编程门阵列(Field-Programmable Gate Array,FPGA)、数字处理器(DigitalSignal Processor,DSP)、嵌入式设备等。
所述电子设备可以是任何一种可与用户进行人机交互的电子产品,例如,个人计算机、平板电脑、智能手机、个人数字助理(Personal Digital Assistant,PDA)、游戏机、交互式网络电视(Internet Protocol Television,IPTV)、智能穿戴式设备等。
所述电子设备可以包括网络设备和/或用户设备。其中,所述网络设备包括,但不限于单个网络电子设备、多个网络电子设备组成的电子设备组或基于云计算(CloudComputing)的由大量主机或网络电子设备构成的云。
所述电子设备所处的网络包括,但不限于:互联网、广域网、城域网、局域网、虚拟专用网络(Virtual Private Network,VPN)等。
S10,接收数据迁移请求,并根据所述数据迁移请求确定重构系统。
在本发明的至少一个实施例中,所述数据迁移请求中携带的信息包括,但不限于:指示系统的标签、系统编码、迁移编码等。所述数据迁移请求可以由任意用户在任意时间触发。
所述重构系统是指将数据迁移的目的系统。
在本发明的至少一个实施例中,所述电子设备根据所述数据迁移请求确定重构系统包括:
解析所述数据迁移请求的报文,得到所述报文携带的数据信息;
从所述数据信息中提取指示系统的所有信息作为系统编码;
将所述系统编码与配置编码表中的所有配置编码进行比较,所述配置编码表中存储多个业务系统的编码;
将与所述所有配置编码均不相同的系统编码确定为目标编码;
根据所述目标编码确定所述重构系统。
其中,所述数据信息中包括,但不限于:指示系统的标签、所述系统编码。
所述系统编码包括,但不限于:所述重构系统的目标编码、迁移对象的迁移编码。
通过解析所述报文,由于无需解析整个所述数据迁移请求,因此提高所述数据信息的获取效率,由于所述数据信息中指示系统的信息有多个,因此,通过所述配置编码表能够准确确定出所述目标编码,由于所述目标编码能够唯一指示系统,因此能够准确确定出所述重构系统。
S11,根据所述数据迁移请求确定迁移对象,并确定与所述迁移对象关联的关联对象。
在本发明的至少一个实施例中,所述迁移对象是指需要进行数据迁移的系统。
所述关联对象是指与所述迁移对象具有关联关系的系统。
在本发明的至少一个实施例中,所述电子设备根据所述数据迁移请求确定迁移对象包括:
将与所述所有配置编码中任一编码相同的系统编码确定为迁移编码;
根据所述迁移编码确定所述迁移对象。
由于所述系统编码中存储了迁移编码,以及所述配置编码表中存储了多个业务系统的编码,因此,通过所述系统编码与所述配置编码表中所有配置编码进行比较,能够准确确定出所述迁移编码,从而能够准确确定出所述迁移对象。
参见图2,图2是本发明确定迁移对象的关联对象的一实施例的流程图。在本发明的至少一个实施例中,所述电子设备确定与所述迁移对象关联的关联对象包括:
S110,获取所述迁移对象的迁移字段。
所述迁移字段是从所述迁移对象中的字段配置表中获取到的。
S111,确定所述迁移对象所在的分布式系统,并获取所述分布式系统中每个系统的系统字段。
所述迁移对象是所述分布式系统中的任一节点。所述分布式系统包括多个系统。
S112,将每个系统的所述系统字段与所述迁移字段进行比较。
S113,将与所述迁移字段相同的系统字段确定为目标字段,并将所述目标字段所在的系统确定为目标系统。
S114,检测所述目标字段是否为配置字段。
其中,所述配置字段是指常见的字段,例如,月份、地区等。
S115,若所述目标字段不为所述配置字段,将所述目标系统确定为所述关联对象。
所述关联对象是指与所述迁移对象具有关联关系的对象。
通过分析所述分布式系统上每个系统的系统字段与所述迁移字段,能够全面地确定出与所述迁移对象关联的关联对象,通过对所述目标字段与所述配置字段进行进一步分析,能够更加准确地确定出与所述迁移对象具有关联关系的关联对象。
S12,融合所述迁移对象及所述关联对象,得到待处理对象。
需要强调的是,为进一步保证上述待处理对象的私密和安全性,上述待处理对象还可以存储于一区块链的节点中。
在本发明的至少一个实施例中,所述待处理对象中包括所述迁移对象及所述关联对象。
在本发明的至少一个实施例中,所述电子设备将所述迁移对象及所述关联对象合并为所述待处理对象。
通过上述实施方式,能够迁移至所述重构系统中的数据更加全面。
S13,确定所述待处理对象的对象场景,并根据所述对象场景确定所述待处理对象的对象特性。
在本发明的至少一个实施例中,所述对象场景可以是业务场景,也可以是统计报表场景。
所述对象特征包括实时特性及非实时特征。
参见图3,图3是本发明确定待处理对象的对象场景的一实施例的流程图。在本发明的至少一个实施例中,所述电子设备确定所述待处理对象的对象场景包括:
S130,获取所述待处理对象的应用场景。
所述应用场景是指所述待处理对象所应用的场景,例如,所述应用场景可以是手机销售。
S131,若所述应用场景有多个,从所述待处理对象中获取每个所述应用场景的场景功能。
承接上述例子,所述场景功能是指销售手机的系统端口。
S132,确定所述场景功能的使用次数。
S133,将所述使用次数最高的场景功能确定为目标功能,并将与所述目标功能对应的应用场景确定为所述对象场景。
例如:所述待处理对象A的应用场景包括:业务场景、统计报表场景,获取到所述业务场景的场景功能为功能1,所述统计报表场景的场景功能为功能2,经确定,所述功能1的使用次数为10000次,所述功能2的使用次数为100次,因此,所述目标功能为所述功能1,所述待处理对象A的对象场景为所述业务场景。
通过上述实施方式,能够根据所述待处理对象中的场景功能的使用次数确定所述待处理对象的对象场景,提高了所述对象场景的确定准确率。
在本发明的至少一个实施例中,所述电子设备根据所述对象场景确定所述待处理对象的对象特性包括:
获取所述对象场景的实时等级;
若所述实时等级大于第一预设阈值,将所述对象特性确定为所述实时特性;或者
若所述实时等级小于第二预设阈值,将所述对象特性确定为所述非实时特征,所述第一预设阈值大于所述第二预设阈值;或者
若所述实时等级小于所述第一预设阈值,且所述实时等级大于所述第二预设阈值,获取所述待处理对象的其他场景,根据所述其他场景的实时等级确定所述对象特征。
其中,所述实时等级是指所述对象场景对实时性的需求等级。
通过设置多个预设阈值与所述实时等级进行比较,能够准确地确定出所述对象特征,从而有利于合理规划待迁移数据。
S14,将所述对象特性为实时特性的待处理对象确定为第一对象,在所述重构系统中建立与所述第一对象对应的调用接口,并利用所述调用接口处理所述第一对象。
在本发明的至少一个实施例中,所述第一对象是指具有所述实时特性的所述待处理对象。
所述调用接口可以是预先设置好的任意插件,所述调用接口用于所述重构系统调用所述第一对象中的数据。
在本发明的至少一个实施例中,所述电子设备利用所述调用接口处理所述第一对象包括:
获取所述第一对象中的多个数据表;
确定每个数据表在所述第一对象中的数据路径;
通过所述调用接口将所述数据路径写入所述重构系统。
其中,所述多个数据表是指所述第一对象中存储数据的数据库表。
所述数据路径是指所述多个数据表在所述第一对象中的存储路径。
通过将所述数据路径写入所述重构系统,在所述重构系统需要分析所述第一对象中的数据时,能够利用所述调用接口快速调用所述数据路径中的数据,由于无需将所述第一对象中的数据迁移至所述重构系统,因此,节省了所述重构系统的存储量,同时,在所述第一对象中的数据发生变动时,无需对所述重构系统中的数据进行更新,节省了所述重构系统中的处理线程,提高了性能,确保了所述重构系统分析所述第一对象的实时性。
S15,将所述对象特性为非实时特性的待处理对象确定为第二对象,获取所述第二对象中的待迁移数据,并将所述待迁移数据迁移至所述重构系统。
在本发明的至少一个实施例中,所述第二对象是指具有所述非实时特征的所述待处理对象。
所述待迁移数据是指需要进行数据迁移的所述第二对象上的数据。
在本发明的至少一个实施例中,所述电子设备将所述待迁移数据迁移至所述重构系统包括:
确定所述重构系统的空闲时间区间,并获取预设线程池中所有闲置线程的处理速率;
计算所述处理速率的平均值,得到目标速率,并将所述目标速率乘以所述空闲时间区间,得到每个闲置线程在所述空闲时间区间的处理量;
确定所述待迁移数据的数据量,并根据所述处理量及所述数据量确定线程数量;
根据所述处理速率从大至小的顺序对所述所有闲置线程进行排序,得到线程队列;
根据所述线程数量从所述线程队列中选取目标线程;
利用所述目标线程在所述空闲时间区间将所述待迁移数据迁移至所述重构系统。
其中,所述空闲时间区间可以任意配置。
通过对所述空闲时间区间及所述处理速率进行分析,能够从所述所有闲置线程中确定出合适的目标线程,从而能够提高所述待迁移数据的迁移速率。
在本发明的至少一个实施例中,在将所述待迁移数据迁移至所述重构系统后,所述方法还包括:
获取所述数据迁移请求的请求编号;
将所述请求编号写入配置模板,得到提示信息;
确定所述数据迁移请求的触发终端,并将所述提示信息发送至所述触发终端。
通过上述实施方式,由于无需编写整个所述提示信息,因此,能够快速生成所述提示信息,进而能够及时将所述提示信息发送至所述触发终端。
由以上技术方案可以看出,本发明融合了与所述迁移对象具有关联关系的关联对象进行分析,能够更全面地完成数据迁移,有利于所述重构系统的数据分析,同时,本发明通过分析所述待处理对象的对象特征,能够以合理地方式将所述待处理对象中的数据迁移至所述重构系统中,有利于所述重构系统的健壮运行和稳定运行。
如图4所示,是本发明数据迁移装置的较佳实施例的功能模块图。所述数据迁移装置11包括确定单元110、融合单元111、迁移单元112、获取单元113、写入单元114及发送单元115。本发明所称的模块/单元是指一种能够被处理器13所获取,并且能够完成固定功能的一系列计算机可读指令段,其存储在存储器12中。在本实施例中,关于各模块/单元的功能将在后续的实施例中详述。
确定单元110接收数据迁移请求,并根据所述数据迁移请求确定重构系统。
在本发明的至少一个实施例中,所述确定单元110根据所述数据迁移请求确定重构系统包括:
解析所述数据迁移请求的报文,得到所述报文携带的数据信息;
从所述数据信息中提取指示系统的所有信息作为系统编码;
将所述系统编码与配置编码表中的所有配置编码进行比较,所述配置编码表中存储多个业务系统的编码;
将与所述所有配置编码均不相同的系统编码确定为目标编码;
根据所述目标编码确定所述重构系统。
通过解析所述报文,由于无需解析整个所述数据迁移请求,因此提高所述数据信息的获取效率,由于所述数据信息中指示系统的信息有多个,因此,通过所述配置编码表能够准确确定出所述目标编码,由于所述目标编码能够唯一指示系统,因此能够准确确定出所述重构系统。
所述确定单元110根据所述数据迁移请求确定迁移对象,并确定与所述迁移对象关联的关联对象。
在本发明的至少一个实施例中,所述确定单元110根据所述数据迁移请求确定迁移对象包括:
将与所述所有配置编码中任一编码相同的系统编码确定为迁移编码;
根据所述迁移编码确定所述迁移对象。
由于所述系统编码中存储了迁移编码,以及所述配置编码表中存储了多个业务系统的编码,因此,通过所述系统编码与所述配置编码表中所有配置编码进行比较,能够准确确定出所述迁移编码,从而能够准确确定出所述迁移对象。
在本发明的至少一个实施例中,所述确定单元110确定与所述迁移对象关联的关联对象包括:
获取所述迁移对象的迁移字段;
确定所述迁移对象所在的分布式系统,并获取所述分布式系统中每个系统的系统字段;
将每个系统的所述系统字段与所述迁移字段进行比较;
将与所述迁移字段相同的系统字段确定为目标字段,并将所述目标字段所在的系统确定为目标系统;
检测所述目标字段是否为配置字段;
若所述目标字段不为所述配置字段,将所述目标系统确定为所述关联对象。
通过分析所述分布式系统上每个系统的系统字段与所述迁移字段,能够全面地确定出与所述迁移对象关联的关联对象,通过对所述目标字段与所述配置字段进行进一步分析,能够更加准确地确定出与所述迁移对象具有关联关系的关联对象。
融合单元111融合所述迁移对象及所述关联对象,得到待处理对象。
需要强调的是,为进一步保证上述待处理对象的私密和安全性,上述待处理对象还可以存储于一区块链的节点中。
在本发明的至少一个实施例中,所述融合单元111将所述迁移对象及所述关联对象合并为所述待处理对象。
通过上述实施方式,能够迁移至所述重构系统中的数据更加全面。
所述确定单元110确定所述待处理对象的对象场景,并根据所述对象场景确定所述待处理对象的对象特性。
在本发明的至少一个实施例中,所述确定单元110确定所述待处理对象的对象场景包括:
获取所述待处理对象的应用场景;
若所述应用场景有多个,从所述待处理对象中获取每个所述应用场景的场景功能;
确定所述场景功能的使用次数;
将所述使用次数最高的场景功能确定为目标功能,并将与所述目标功能对应的应用场景确定为所述对象场景。
例如:所述待处理对象A的应用场景包括:业务场景、统计报表场景,获取到所述业务场景的场景功能为功能1,所述统计报表场景的场景功能为功能2,经确定,所述功能1的使用次数为10000次,所述功能2的使用次数为100次,因此,所述目标功能为所述功能1,所述待处理对象A的对象场景为所述业务场景。
通过上述实施方式,能够根据所述待处理对象中的场景功能的使用次数确定所述待处理对象的对象场景,提高了所述对象场景的确定准确率。
在本发明的至少一个实施例中,所述确定单元110根据所述对象场景确定所述待处理对象的对象特性包括:
获取所述对象场景的实时等级;
若所述实时等级大于第一预设阈值,将所述对象特性确定为所述实时特性;或者
若所述实时等级小于第二预设阈值,将所述对象特性确定为所述非实时特征,所述第一预设阈值大于所述第二预设阈值;或者
若所述实时等级小于所述第一预设阈值,且所述实时等级大于所述第二预设阈值,获取所述待处理对象的其他场景,根据所述其他场景的实时等级确定所述对象特征。
通过设置多个预设阈值与所述实时等级进行比较,能够准确地确定出所述对象特征,从而有利于合理规划待迁移数据。
迁移单元112将所述对象特性为实时特性的待处理对象确定为第一对象,在所述重构系统中建立与所述第一对象对应的调用接口,并利用所述调用接口处理所述第一对象。
在本发明的至少一个实施例中,所述迁移单元112利用所述调用接口处理所述第一对象包括:
获取所述第一对象中的多个数据表;
确定每个数据表在所述第一对象中的数据路径;
通过所述调用接口将所述数据路径写入所述重构系统。
通过将所述数据路径写入所述重构系统,在所述重构系统需要分析所述第一对象中的数据时,能够利用所述调用接口快速调用所述数据路径中的数据,由于无需将所述第一对象中的数据迁移至所述重构系统,因此,节省了所述重构系统的存储量,同时,在所述第一对象中的数据发生变动时,无需对所述重构系统中的数据进行更新,节省了所述重构系统中的处理线程,提高了性能,确保了所述重构系统分析所述第一对象的实时性。
所述迁移单元112将所述对象特性为非实时特性的待处理对象确定为第二对象,获取所述第二对象中的待迁移数据,并将所述待迁移数据迁移至所述重构系统。
在本发明的至少一个实施例中,所述迁移单元112将所述待迁移数据迁移至所述重构系统包括:
确定所述重构系统的空闲时间区间,并获取预设线程池中所有闲置线程的处理速率;
计算所述处理速率的平均值,得到目标速率,并将所述目标速率乘以所述空闲时间区间,得到每个闲置线程在所述空闲时间区间的处理量;
确定所述待迁移数据的数据量,并根据所述处理量及所述数据量确定线程数量;
根据所述处理速率从大至小的顺序对所述所有闲置线程进行排序,得到线程队列;
根据所述线程数量从所述线程队列中选取目标线程;
利用所述目标线程在所述空闲时间区间将所述待迁移数据迁移至所述重构系统。
通过对所述空闲时间区间及所述处理速率进行分析,能够从所述所有闲置线程中确定出合适的目标线程,从而能够提高所述待迁移数据的迁移速率。
在本发明的至少一个实施例中,在将所述待迁移数据迁移至所述重构系统后,获取单元113获取所述数据迁移请求的请求编号;
写入单元114将所述请求编号写入配置模板,得到提示信息;
发送单元115确定所述数据迁移请求的触发终端,并将所述提示信息发送至所述触发终端。
通过上述实施方式,由于无需编写整个所述提示信息,因此,能够快速生成所述提示信息,进而能够及时将所述提示信息发送至所述触发终端。
由以上技术方案可以看出,本发明融合了与所述迁移对象具有关联关系的关联对象进行分析,能够更全面地完成数据迁移,有利于所述重构系统的数据分析,同时,本发明通过分析所述待处理对象的对象特征,能够以合理地方式将所述待处理对象中的数据迁移至所述重构系统中,有利于所述重构系统的健壮运行和稳定运行。
如图5所示,是本发明实现数据迁移方法的较佳实施例的电子设备的结构示意图。
在本发明的一个实施例中,所述电子设备1包括,但不限于,存储器12、处理器13,以及存储在所述存储器12中并可在所述处理器13上运行的计算机可读指令,例如数据迁移程序。
本领域技术人员可以理解,所述示意图仅仅是电子设备1的示例,并不构成对电子设备1的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件,例如所述电子设备1还可以包括输入输出设备、网络接入设备、总线等。
所述处理器13可以是中央处理单元(Central Processing Unit,CPU),还可以是其他通用处理器、数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等,所述处理器13是所述电子设备1的运算核心和控制中心,利用各种接口和线路连接整个电子设备1的各个部分,及执行所述电子设备1的操作系统以及安装的各类应用程序、程序代码等。
示例性的,所述计算机可读指令可以被分割成一个或多个模块/单元,所述一个或者多个模块/单元被存储在所述存储器12中,并由所述处理器13执行,以完成本发明。所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机可读指令段,该计算机可读指令段用于描述所述计算机可读指令在所述电子设备1中的执行过程。例如,所述计算机可读指令可以被分割成确定单元110、融合单元111、迁移单元112、获取单元113、写入单元114及发送单元115。
所述存储器12可用于存储所述计算机可读指令和/或模块,所述处理器13通过运行或执行存储在所述存储器12内的计算机可读指令和/或模块,以及调用存储在存储器12内的数据,实现所述电子设备1的各种功能。所述存储器12可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等;存储数据区可存储根据电子设备的使用所创建的数据等。存储器12可以包括非易失性和易失性存储器,例如:硬盘、内存、插接式硬盘,智能存储卡(SmartMedia Card,SMC),安全数字(Secure Digital,SD)卡,闪存卡(Flash Card)、至少一个磁盘存储器件、闪存器件、或其他存储器件。
所述存储器12可以是电子设备1的外部存储器和/或内部存储器。进一步地,所述存储器12可以是具有实物形式的存储器,如内存条、TF卡(Trans-flash Card)等等。
所述电子设备1集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明实现上述实施例方法中的全部或部分流程,也可以通过计算机可读指令来指令相关的硬件来完成,所述的计算机可读指令可存储于一计算机可读存储介质中,该计算机可读指令在被处理器执行时,可实现上述各个方法实施例的步骤。
其中,所述计算机可读指令包括计算机可读指令代码,所述计算机可读指令代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括:能够携带所述计算机可读指令代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)。
本发明所指区块链是分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式。区块链(Blockchain),本质上是一个去中心化的数据库,是一串使用密码学方法相关联产生的数据块,每一个数据块中包含了一批次网络交易的信息,用于验证其信息的有效性(防伪)和生成下一个区块。区块链可以包括区块链底层平台、平台产品服务层以及应用服务层等。
结合图1,所述电子设备1中的所述存储器12存储计算机可读指令实现一种数据迁移方法,所述处理器13可执行所述计算机可读指令从而实现:
接收数据迁移请求,并根据所述数据迁移请求确定重构系统;
根据所述数据迁移请求确定迁移对象,并确定与所述迁移对象关联的关联对象;
融合所述迁移对象及所述关联对象,得到待处理对象;
确定所述待处理对象的对象场景,并根据所述对象场景确定所述待处理对象的对象特性;
将所述对象特性为实时特性的待处理对象确定为第一对象,在所述重构系统中建立与所述第一对象对应的调用接口,并利用所述调用接口处理所述第一对象;
将所述对象特性为非实时特性的待处理对象确定为第二对象,获取所述第二对象中的待迁移数据,并将所述待迁移数据迁移至所述重构系统。
具体地,所述处理器13对上述计算机可读指令的具体实现方法可参考图1对应实施例中相关步骤的描述,在此不赘述。
在本发明所提供的几个实施例中,应该理解到,所揭露的系统,装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述模块的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式。
所述计算机可读存储介质上存储有计算机可读指令,其中,所述计算机可读指令被处理器13执行时用以实现以下步骤:
接收数据迁移请求,并根据所述数据迁移请求确定重构系统;
根据所述数据迁移请求确定迁移对象,并确定与所述迁移对象关联的关联对象;
融合所述迁移对象及所述关联对象,得到待处理对象;
确定所述待处理对象的对象场景,并根据所述对象场景确定所述待处理对象的对象特性;
将所述对象特性为实时特性的待处理对象确定为第一对象,在所述重构系统中建立与所述第一对象对应的调用接口,并利用所述调用接口处理所述第一对象;
将所述对象特性为非实时特性的待处理对象确定为第二对象,获取所述第二对象中的待迁移数据,并将所述待迁移数据迁移至所述重构系统。
所述作为分离部件说明的模块可以是或者也可以不是物理上分开的,作为模块显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
另外,在本发明各个实施例中的各功能模块可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用硬件加软件功能模块的形式实现。
因此,无论从哪一点来看,均应将实施例看作是示范性的,而且是非限制性的,本发明的范围由所附权利要求而不是上述说明限定,因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本发明内。不应将权利要求中的任何附关联图标记视为限制所涉及的权利要求。
此外,显然“包括”一词不排除其他单元或步骤,单数不排除复数。所述的多个单元或装置也可以由一个单元或装置通过软件或者硬件来实现。第一、第二等词语用来表示名称,而并不表示任何特定的顺序。
最后应说明的是,以上实施例仅用以说明本发明的技术方案而非限制,尽管参照较佳实施例对本发明进行了详细说明,本领域的普通技术人员应当理解,可以对本发明的技术方案进行修改或等同替换,而不脱离本发明技术方案的精神和范围。

Claims (6)

1.一种数据迁移方法,其特征在于,所述数据迁移方法包括:
接收数据迁移请求,并根据所述数据迁移请求确定重构系统,包括:解析所述数据迁移请求的报文,得到所述报文携带的数据信息;从所述数据信息中提取指示系统的所有信息作为系统编码;将所述系统编码与配置编码表中的所有配置编码进行比较,所述配置编码表中存储多个业务系统的编码;将与所述所有配置编码均不相同的系统编码确定为目标编码;根据所述目标编码确定所述重构系统;所述重构系统为将数据迁移的目的系统;
根据所述数据迁移请求确定迁移对象,并确定与所述迁移对象关联的关联对象,包括:将与所述所有配置编码中任一编码相同的系统编码确定为迁移编码;根据所述迁移编码确定所述迁移对象;所述迁移对象包括需要进行数据迁移的系统;
融合所述迁移对象及所述关联对象,得到待处理对象;
确定所述待处理对象的对象场景,并根据所述对象场景确定所述待处理对象的对象特性;
将所述对象特性为实时特性的待处理对象确定为第一对象,在所述重构系统中建立与所述第一对象对应的调用接口,并利用所述调用接口处理所述第一对象;
将所述对象特性为非实时特性的待处理对象确定为第二对象,获取所述第二对象中的待迁移数据,并将所述待迁移数据迁移至所述重构系统;
所述确定与所述迁移对象关联的关联对象包括:获取所述迁移对象的迁移字段;确定所述迁移对象所在的分布式系统,并获取所述分布式系统中每个系统的系统字段;将每个系统的所述系统字段与所述迁移字段进行比较;将与所述迁移字段相同的系统字段确定为目标字段,并将所述目标字段所在的系统确定为目标系统;检测所述目标字段是否为配置字段;若所述目标字段不为所述配置字段,将所述目标系统确定为所述关联对象;
所述根据所述对象场景确定所述待处理对象的对象特性包括:获取所述对象场景的实时等级;若所述实时等级大于第一预设阈值,将所述对象特性确定为所述实时特性;若所述实时等级小于第二预设阈值,将所述对象特性确定为所述非实时特征,所述第一预设阈值大于所述第二预设阈值;若所述实时等级小于所述第一预设阈值,且所述实时等级大于所述第二预设阈值,获取所述待处理对象的其他场景,根据所述其他场景的实时等级确定所述对象特征;
所述将所述待迁移数据迁移至所述重构系统包括:确定所述重构系统的空闲时间区间,并获取预设线程池中所有闲置线程的处理速率;计算所述处理速率的平均值,得到目标速率,并将所述目标速率乘以所述空闲时间区间,得到每个闲置线程在所述空闲时间区间的处理量;确定所述待迁移数据的数据量,并根据所述处理量及所述数据量确定线程数量;根据所述处理速率从大至小的顺序对所述所有闲置线程进行排序,得到线程队列;根据所述线程数量从所述线程队列中选取目标线程;利用所述目标线程在所述空闲时间区间将所述待迁移数据迁移至所述重构系统。
2.如权利要求1所述的数据迁移方法,其特征在于,所述确定所述待处理对象的对象场景包括:
获取所述待处理对象的应用场景;
若所述应用场景有多个,从所述待处理对象中获取每个所述应用场景的场景功能;
确定所述场景功能的使用次数;
将所述使用次数最高的场景功能确定为目标功能,并将与所述目标功能对应的应用场景确定为所述对象场景。
3.如权利要求1所述的数据迁移方法,其特征在于,所述利用所述调用接口处理所述第一对象包括:
获取所述第一对象中的多个数据表;
确定每个数据表在所述第一对象中的数据路径;
通过所述调用接口将所述数据路径写入所述重构系统。
4.一种数据迁移装置,其特征在于,所述数据迁移装置用于实现如权利要求1所述的数据迁移方法,所述数据迁移装置包括:
确定单元,用于接收数据迁移请求,并根据所述数据迁移请求确定重构系统;
所述确定单元,还用于根据所述数据迁移请求确定迁移对象,并确定与所述迁移对象关联的关联对象;
融合单元,用于融合所述迁移对象及所述关联对象,得到待处理对象;
所述确定单元,还用于确定所述待处理对象的对象场景,并根据所述对象场景确定所述待处理对象的对象特性;
迁移单元,用于将所述对象特性为实时特性的待处理对象确定为第一对象,在所述重构系统中建立与所述第一对象对应的调用接口,并利用所述调用接口处理所述第一对象;
所述迁移单元,还用于将所述对象特性为非实时特性的待处理对象确定为第二对象,获取所述第二对象中的待迁移数据,并将所述待迁移数据迁移至所述重构系统。
5. 一种电子设备,其特征在于,所述电子设备包括:
存储器,存储有计算机可读指令;及
处理器,执行所述存储器中存储的计算机可读指令以实现如权利要求1至3中任意一项所述的数据迁移方法。
6.一种计算机可读存储介质,其特征在于:所述计算机可读存储介质中存储有计算机可读指令,所述计算机可读指令被电子设备中的处理器执行以实现如权利要求1至3中任意一项所述的数据迁移方法。
CN202110036329.3A 2021-01-12 2021-01-12 数据迁移方法、装置、设备及存储介质 Active CN112817742B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202110036329.3A CN112817742B (zh) 2021-01-12 2021-01-12 数据迁移方法、装置、设备及存储介质
PCT/CN2021/090455 WO2022151614A1 (zh) 2021-01-12 2021-04-28 数据迁移方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110036329.3A CN112817742B (zh) 2021-01-12 2021-01-12 数据迁移方法、装置、设备及存储介质

Publications (2)

Publication Number Publication Date
CN112817742A CN112817742A (zh) 2021-05-18
CN112817742B true CN112817742B (zh) 2024-03-01

Family

ID=75868835

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110036329.3A Active CN112817742B (zh) 2021-01-12 2021-01-12 数据迁移方法、装置、设备及存储介质

Country Status (2)

Country Link
CN (1) CN112817742B (zh)
WO (1) WO2022151614A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116016524B (zh) * 2023-03-24 2023-07-07 湖南智芯微科技有限公司 一种应用于机动式指挥平台的数据处理方法及装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101616388A (zh) * 2009-08-05 2009-12-30 中国联合网络通信集团有限公司 一种实现不同厂家的rnc间业务迁移的方法及系统
CN110555014A (zh) * 2019-09-06 2019-12-10 中国联合网络通信集团有限公司 一种数据迁移方法和系统、电子设备、存储介质
CN111125059A (zh) * 2019-12-17 2020-05-08 南京甄视智能科技有限公司 数据迁移方法、装置、存储介质及服务器
CN111522796A (zh) * 2020-04-24 2020-08-11 苏州达家迎信息技术有限公司 系统间的数据迁移方法、装置、计算机设备及介质
CN111881116A (zh) * 2020-08-05 2020-11-03 中国工商银行股份有限公司 数据迁移方法、数据迁移系统、计算机系统和存储介质

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10684999B2 (en) * 2016-10-05 2020-06-16 Sap Se Multi-procedure support in data migration
US10621193B2 (en) * 2017-08-16 2020-04-14 International Business Machines Corporation Data migration from a source system to a data schema of a medical study on a target system
CN110196889A (zh) * 2019-05-30 2019-09-03 北京字节跳动网络技术有限公司 数据处理方法、装置、电子设备及存储介质
CN110989940B (zh) * 2019-12-17 2022-05-31 联想(北京)有限公司 迁移方法和迁移装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101616388A (zh) * 2009-08-05 2009-12-30 中国联合网络通信集团有限公司 一种实现不同厂家的rnc间业务迁移的方法及系统
CN110555014A (zh) * 2019-09-06 2019-12-10 中国联合网络通信集团有限公司 一种数据迁移方法和系统、电子设备、存储介质
CN111125059A (zh) * 2019-12-17 2020-05-08 南京甄视智能科技有限公司 数据迁移方法、装置、存储介质及服务器
CN111522796A (zh) * 2020-04-24 2020-08-11 苏州达家迎信息技术有限公司 系统间的数据迁移方法、装置、计算机设备及介质
CN111881116A (zh) * 2020-08-05 2020-11-03 中国工商银行股份有限公司 数据迁移方法、数据迁移系统、计算机系统和存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
云计算中一种基于服务相关性的虚拟机迁移技术研究;王利;中国优秀博硕士学位论文全文数据库(硕士)信息科技辑(月刊);第19-67页 *

Also Published As

Publication number Publication date
WO2022151614A1 (zh) 2022-07-21
CN112817742A (zh) 2021-05-18

Similar Documents

Publication Publication Date Title
CN111344706B (zh) 管理区块链上的交易的方法和系统
CN111177222B (zh) 模型测试方法、装置及计算设备、存储介质
CN112669138B (zh) 数据处理方法及相关设备
CN112632163B (zh) 大数据报表导出方法及相关设备
CN113050900B (zh) 屏幕分享方法、装置、设备及存储介质
CN112541009B (zh) 数据查询方法、装置、电子设备及存储介质
CN111797351A (zh) 页面数据管理方法、装置、电子设备及介质
WO2022041889A1 (zh) 资金路由方法、装置、电子设备及存储介质
CN110825731A (zh) 数据存储方法、装置、电子设备及存储介质
CN112433705A (zh) 脚本生成方法、装置、电子设备及存储介质
CN116360769A (zh) 代码生成方法、装置、设备及存储介质
CN111984601A (zh) 日志文件删除方法、装置、电子设备及存储介质
CN112711398A (zh) 埋点文件生成方法、装置、设备及存储介质
CN112817742B (zh) 数据迁移方法、装置、设备及存储介质
CN112181485B (zh) 脚本执行方法、装置、电子设备及存储介质
CN112181662B (zh) 任务调度方法、装置、电子设备及存储介质
CN111814045B (zh) 数据查询方法、装置、电子设备及存储介质
CN112819305A (zh) 业务指标分析方法、装置、设备及存储介质
CN112434062A (zh) 准实时数据处理方法、装置、服务器及存储介质
CN115022201B (zh) 一种数据处理功能测试方法、装置、设备及存储介质
CN112395319B (zh) 缓存共用方法、装置、服务器及存储介质
CN112738175B (zh) 请求处理方法及相关设备
CN112434237A (zh) 页面加载方法、装置、电子设备及存储介质
CN111198986B (zh) 信息发送方法、装置、电子设备及存储介质
CN112667659B (zh) 特征加工方法及相关设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant