CN106951179A - 一种数据迁移方法及装置 - Google Patents

一种数据迁移方法及装置 Download PDF

Info

Publication number
CN106951179A
CN106951179A CN201610008535.2A CN201610008535A CN106951179A CN 106951179 A CN106951179 A CN 106951179A CN 201610008535 A CN201610008535 A CN 201610008535A CN 106951179 A CN106951179 A CN 106951179A
Authority
CN
China
Prior art keywords
data
hot spot
storage device
migration
spot data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201610008535.2A
Other languages
English (en)
Other versions
CN106951179B (zh
Inventor
陈伟
汪渭春
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Hikvision Digital Technology Co Ltd
Original Assignee
Hangzhou Hikvision Digital Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Hikvision Digital Technology Co Ltd filed Critical Hangzhou Hikvision Digital Technology Co Ltd
Priority to CN201610008535.2A priority Critical patent/CN106951179B/zh
Priority to PCT/CN2016/103543 priority patent/WO2017118171A1/zh
Publication of CN106951179A publication Critical patent/CN106951179A/zh
Application granted granted Critical
Publication of CN106951179B publication Critical patent/CN106951179B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601Interfaces specially adapted for storage systems
    • G06F3/0628Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0646Horizontal data movement in storage systems, i.e. moving data in between storage devices or systems
    • G06F3/0647Migration mechanisms
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本申请实施例公开了一种数据迁移方法及装置,涉及计算机应用技术领域,应用于数据存储系统中的计算设备,其中,所述数据存储系统包括:计算设备和多个存储设备,所述方法包括:接收客户端发送的数据查询请求;根据所述数据查询请求向所述存储设备发送数据获得请求;接收所述存储设备根据所述数据获得请求反馈的结果数据,并向所述客户端转发所述结果数据;根据预设的数据分析算法,对所述结果数据进行分析,从所述结果数据中获得热点数据;根据所获得的热点数据向所述存储设备发送数据迁移指令,以使得所述存储设备根据所述数据迁移指令进行数据迁移。应用本申请实施例提供的方案进行数据迁移,有效提高了数据的访问速度。

Description

一种数据迁移方法及装置
技术领域
本申请涉及计算机应用技术领域,特别涉及一种数据迁移方法及装置。
背景技术
近年来随着计算机技术的快速发展,云计算技术得到了快递发展。应用云计算技术进行数据处理会涉及到数据存储问题,基于此,延伸出了云存储这一概念。具体的,云存储是指通过集群应用、网络技术或分布式文件系统等功能,将网络中大量各种不同类型的存储设备通过应用软件集合起来协同工作。共同对外提供数据存储和业务访问功能的系统。
由以上可见,云存储中可能会涉及多个存储设备。而在多个存储设备中存储数据时,存储设备考虑到数据的重要性、数据的保留时间、存储设备的容量以及存储设备的性能等因素,通常会对已存储的数据进行分析,从其中确定出热点数据,并对所确定的热点数据进行数据迁移,以使得热点数据位于同一存储设备中,进而提高数据的访问速度。
然而,应用上述方式虽然能够实现数据迁移,但是上述方式中确定热点数据时所考虑的因素仅仅为数据自身的特性以及存储设备自身的特性,而未考虑用户对数据的需求程度,所以,所确定的热点数据可能会存在误差,进而导致数据迁移后,无法有效提高数据的访问速度。
发明内容
本申请实施例公开了一种数据迁移方法及装置,以有效提高数据的访问速度。
为达到上述目的,本申请实施例公开了一种数据迁移方法,应用于数据存储系统中的计算设备,其中,所述数据存储系统包括:计算设备和多个存储设备,所述方法包括:
接收客户端发送的数据查询请求;
根据所述数据查询请求向所述存储设备发送数据获得请求;
接收所述存储设备根据所述数据获得请求反馈的结果数据,并向所述客户端转发所述结果数据;
根据预设的数据分析算法,对所述结果数据进行分析,从所述结果数据中获得热点数据;
根据所获得的热点数据向所述存储设备发送数据迁移指令,以使得所述存储设备根据所述数据迁移指令进行数据迁移,其中,所述数据迁移指令为用于将热点数据迁移至用于存储热点数据的存储设备的指令。
在本申请的一种具体实现方式中,所述根据预设的数据分析算法,对所述结果数据进行分析,从所述结果数据中获得热点数据,包括:
获得所述结果数据中未被标记为热点数据的数据;
对所获得的数据进行分析,从所获得的数据中确定热点数据。
在本申请的一种具体实现方式中,所述对所获得的数据进行分析,从所获得的数据中确定热点数据,包括:
根据预设的数据结构化算法,确定所获得的数据的结构化数据;
根据预设的频度记录表,获得所确定的结构化数据的搜索频度,其中,所述预设的频度记录表,用于记录各个结构化数据的搜索频度;
根据所获得的搜索频度,从所获得的数据中确定热点数据。
在本申请的一种具体实现方式中,所述根据所获得的热点数据向所述存储设备发送数据迁移指令,包括:
获得所述存储设备的负载状态;
根据所获得的负载状态和所获得热点数据的数据属性,确定所获得热点数据的目的迁移地址;
根据所述目的迁移地址和所获得的热点数据,生成数据迁移指令;
向所述存储设备发送所述数据迁移指令。
在本申请的一种具体实现方式中,所述数据存储系统中包括:高速存储设备和低速存储设备,其中,所述高速存储设备为数据处理速度大于预设处理速度阈值的存储设备,所述低速存储设备为数据处理速度小于等于预设处理速度阈值的存储设备;
所述获得所述结果数据中未被标记为热点数据的数据,包括:
确定所述结果数据中存储于低速存储设备中的数据;
从存储于低速存储设备中的数据中获得未被标记为热点数据的数据;
所述根据所获得的负载状态和所获得热点数据的数据属性,确定所获得热点数据的目的迁移地址,包括:
根据高速存储设备的负载状态和所获得热点数据的数据属性,确定所获得热点数据针对高速存储设备的目的迁移地址。
在本申请的一种具体实现方式中,所述数据迁移方法还包括:
接收所述存储设备发送的针对所述数据迁移指令的反馈信息,其中,所述反馈信息中包括所述存储设备根据所述数据迁移指令所迁移数据的目的迁移地址;
根据所述反馈信息中包含的目的迁移地址,更新本地记录的所述存储设备的负载状态。
为达到上述目的,本申请实施例公开了一种数据迁移装置,应用于数据存储系统中的计算设备,其中,所述数据存储系统包括:计算设备和多个存储设备,所述装置包括:
查询请求接收模块,用于接收客户端发送的数据查询请求;
获得请求发送模块,用于根据所述数据查询请求向所述存储设备发送数据获得请求;
结果数据接收模块,用于接收所述存储设备根据所述数据获得请求反馈的结果数据,并向所述客户端转发所述结果数据;
热点数据获得模块,用于根据预设的数据分析算法,对所述结果数据进行分析,从所述结果数据中获得热点数据;
数据迁移指令发送模块,用于根据所获得的热点数据向所述存储设备发送数据迁移指令,以使得所述存储设备根据所述数据迁移指令进行数据迁移,其中,所述数据迁移指令为用于将热点数据迁移至用于存储热点数据的存储设备的指令。
在本申请的一种具体实现方式中,所述热点数据获得模块,包括:
非热点数据获得子模块,用于获得所述结果数据中未被标记为热点数据的数据;
热点数据确定子模块,用于对所获得的数据进行分析,从所获得的数据中确定热点数据。
在本申请的一种具体实现方式中,所述热点数据确定子模块,包括:
结构化数据确定单元,用于根据预设的数据结构化算法,确定所获得的数据的结构化数据;
搜索频度获得单元,用于根据预设的频度记录表,获得所确定的结构化数据的搜索频度,其中,所述预设的频度记录表,用于记录各个结构化数据的搜索频度;
热点数据确定单元,用于根据所获得的搜索频度,从所获得的数据中确定热点数据。
在本申请的一种具体实现方式中,所述数据迁移指令发送模块,包括:
负载状态获得子模块,用于获得所述存储设备的负载状态;
迁移地址确定子模块,用于根据所获得的负载状态和所获得热点数据的数据属性,确定所获得热点数据的目的迁移地址;
迁移指令生成子模块,用于根据所述目的迁移地址和所获得的热点数据,生成数据迁移指令;
迁移指令发送子模块,用于向所述存储设备发送所述数据迁移指令。
在本申请的一种具体实现方式中,所述数据存储系统中包括:高速存储设备和低速存储设备,其中,所述高速存储设备为数据处理速度大于预设处理速度阈值的存储设备,所述低速存储设备为数据处理速度小于等于预设处理速度阈值的存储设备;
所述非热点数据获得子模块,包括:
存储数据确定单元,用于确定所述结果数据中存储于低速存储设备中的数据;
非热点数据获得单元,用于从存储于低速存储设备中的数据中获得未被标记为热点数据的数据;
所述迁移地址确定子模块,具体用于根据高速存储设备的负载状态和所获得热点数据的数据属性,确定所获得热点数据针对高速存储设备的目的迁移地址。
在本申请的一种具体实现方式中,所述数据迁移装置还包括:
反馈信息接收模块,用于接收所述存储设备发送的针对所述数据迁移指令的反馈信息,其中,所述反馈信息中包括所述存储设备根据所述数据迁移指令所迁移数据的目的迁移地址;
负载状态更新模块,用于根据所述反馈信息中包含的目的迁移地址,更新本地记录的所述存储设备的负载状态。
由以上可见,本申请实施例提供的方案中,计算设备接收到客户端发送的数据查询请求后,根据数据查询请求向存储设备发送数据获得请求,存储设备根据该数据获得请求获得结果数据并反馈给计算设备,计算设备将该结果数据发送给客户端,并对该结果数据进行分析,从中获得热点数据,然后根据所获得的热点数据向存储设备发送数据迁移指令,存储设备根据该数据迁移指令进行数据迁移。与现有技术相比,本申请实施例提供的方案中计算设备确定热点数据时是根据客户端发送的数据查询请求对应的数据确定的,也就是热点数据是从客户端真正需要的数据中产生的,所以,所获得的热点数据真正为热点数据的概率较高,这样进行数据迁移后,用于存储热点数据的存储设备中所存储的数据为真正热点数据的概率高,而客户端需要查询热点数据的概率高,所以,应用本申请实施例提供的方案能够提高数据访问速度。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的一种数据迁移方法的信令流程示意图;
图2为本申请实施例提供的第一种数据迁移方法的流程示意图;
图3为本申请实施例提供的第二种数据迁移方法的流程示意图;
图4为本申请实施例提供的第三种数据迁移方法的流程示意图;
图5为本申请实施例提供的第一种数据迁移装置的结构示意图;
图6为本申请实施例提供的第二种数据迁移装置的结构示意图;
图7为本申请实施例提供的第三种数据迁移装置的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
本申请实施例提供了一种数据迁移方法及装置,下面先结合图1提供的数据迁移方法的信令流程示意图对上述数据迁移方法进行总体介绍。
本申请实施例提供的数据迁移方法应用于数据存储系统中的计算设备,该数据存储系统包括计算设备和多个数据存储设备,其中,计算设备主要用于根据客户端的数据查询请求从数据存储设备获得针对该数据查询请求的结果数据,并对上述结果数据进行分析,确定待迁移的数据、迁移策略等等;存储设备主要用于存储数据,并根据计算设备确定的迁移数据、迁移策略等信息进行数据迁移,具体的,存储设备中存储的数据可以是IPC(Industrial PersonalComputer,工业个人计算机)、卡口等外部设备所采集并发送至存储设备中的数据,也可以是运维人员获得并存储至存储设备中的数据,本申请并不对此进行限定。
具体的,客户端向计算设备发送数据查询请求(S101),计算设备接收到数据查询请求后,根据该数据查询请求向存储设备发送数据获得请求(S102),存储设备根据该数据获得请求获得结果数据(S103),并将结果数据发送至计算设备(S104),计算设备接收到上述结果数据后,一方面将该结果数据发送给客户端(S105),一方面对该结果数据进行分析,获得热点数据(S106),并且在获得热点数据后,根据所获得的热点数据向存储设备发送数据迁移指令(S107),存储设备接收到上述数据迁移指令后,根据该数据迁移指令进行数据迁移(S108)。
下面通过具体实施例对本申请提供的数据迁移方法进行详细说明。
图2为本申请实施例提供的一种数据迁移方法的流程示意图,该方法应用于数据存储系统中的计算设备,其中,上述数据存储系统包括:计算设备和多个存储设备。
具体的,上述数据迁移方法包括:
S201:接收客户端发送的数据查询请求。
上述数据查询请求中可以包括:待查询数据的标识、待查询数据的类型等等信息,本申请并不限定数据查询请求中所包括的信息的具体内容。
S202:根据数据查询请求向存储设备发送数据获得请求。
由于待查询数据存储在存储设备中,所以计算设备接收到数据查询请求后会根据该数据查询请求生成数据获得请求,并将该数据获得请求发送至存储设备,以使得存储设备根据该数据查询请求进行数据查询。
需要说明的是,本步骤中涉及到的存储设备可以是上述数据存储系统中的一个存储设备,也可以是上述数据存储系统中的多个存储设备,甚至是所有存储设备。
在本申请的一种具体实现方式中,计算设备中可以存储有各个数据的存储位置信息,例如,各个数据存储在哪一个存储设备中,这样计算设备在接收到数据查询请求后,可以先对该数据查询请求进行分析,根据本地存储的各个数据的存储位置信息确定该数据查询请求中包含的各个待查询数据的存储位置,然后,根据所确定的存储位置有针对性的向存储设备发送数据获得请求。
在本申请的另一种具体实现方式中,计算设备中也可以不存储各个数据的存储位置信息,这样计算设备在接收到数据查询请求后,可以根据数据查询请求向每一存储设备发送数据获得请求,然后存储设备接收到数据获得请求后再分别解析数据获得请求进而获得相应数据。
在本申请的另一种具体实现方式中,计算设备中不存储各个数据的存储位置信息的情况下,计算设备接收到数据查询请求后,还可以根据数据查询请求仅仅向存储设备中具有管理功能的一个存储设备发送数据获得请求,该具有管理功能的存储设备接收到该数据获得请求后,对其进行解析,并根据解析结果有针对性的发送给相应的存储设备进行查询,并获得相应结果数据。
S203:接收存储设备根据数据获得请求反馈的结果数据,并向客户端转发结果数据。
S204:根据预设的数据分析算法,对结果数据进行分析,从结果数据中获得热点数据。
具体的,热点数据可以理解为访问频率大于预设频率阈值的数据、数据更新速度大于预设的更新速度阈值的数据、对用户而言重要性等级大于预设等级阈值的数据等等,本申请只是以上述为例进行说明,实际应用中热点数据的具体表现形式并不仅限于此。
可以理解的,上述结果数据中可能包含已被确定为热点数据的数据,也可能包含未被确定为热点数据的数据,从加快数据处理速度的角度出发,可以仅仅检查未被确定为热点数据的数据中是否存储热点数据,已被确定为热点数据的数据则可以不再重复确定,基于此,在本申请的一种较佳实现方式中,根据预设的数据分析算法,对结果数据进行分析,从结果数据中获得热点数据时,可以先获得结果数据中未被标记为热点数据的数据,然后再对所获得的数据进行分析,从所获得的数据中确定热点数据。
具体的,对所获得的数据进行分析,从所获得的数据中确定热点数据时,可以先根据预设的数据结构化算法,确定所获得的数据的结构化数据,然后根据预设的频度记录表,获得所确定的结构化数据的搜索频度,根据所获得的搜索频度,从所获得的数据中确定热点数据。
其中,上述预设的频度记录表,用于记录各个结构化数据的搜索频度。
具体的,在所获得的数据为非结构化数据流数据的情况下,可以通过云摘要技术对流数据进行处理,得到结构化数据。当然,上述预设的数据结构化算法不仅限于云摘要技术,本申请并不对此进行限定。
实际应用中,还会对数据进行搜索等操作,上述搜索操作简单的可以理解为是服务器通过云搜索技术对上述结构化数据的搜索操作,另外,服务器可以基于上述搜索操作记录各个结构化数据的搜索频度,该搜索频度一定程度上可以反映数据的热度,简单的可以理解为,搜索频度越高,数据的热度越高,搜索频度越低,数据的热度越低。
当然,从另一个方面来讲,随着实际应用环境的变化等原因,已被确定为热点数据的数据也可能会变为非热点数据,另外,从均衡各个存储设备的负载状态的角度出发,需要根据当前情况对已被确定为热点数据的数据进行数据迁移等原因,获得热点数据时也可以针对结果数据中的所有数据进行。
另外,上述预设的数据分析算法可以依据本实施例的具体应用环境不同而有所不同。
例如,存储设备中存储的数据为路口交通流量信息,则上述预设的数据分析算法可以是分析各个路口的交通流量,并将交通流量大于预设阈值的路口对应的交通流量数据确定为热点数据的算法;
例如,存储设备中存储的数据为视频信息,则上述预设的数据分析算法可以是分析各个视频的播放次数,并将播放次数大于预设阈值的视频确定为热点数据的算法等等。
S205:根据所获得的热点数据向存储设备发送数据迁移指令,以使得存储设备根据数据迁移指令进行数据迁移。
可以理解的,热点数据的数据访问频率相对于非热点数据要高,且热点数据仅仅为存储设备所存储数据的一部分,所以,实际应用中将热点数据存储至专门用于存储热点数据的存储设备中,在进行数据查询时,能够加快查询速度,节省查询时间。
值得一提的是,上述数据迁移指令为用于将热点数据迁移至用于存储热点数据的存储设备的指令。
由S204的描述可以得知,实际应用中还有可能存在之前已被确定为热点数据变为非热点数据的情况,以及之前已被确定为热点数据的数据也需要迁移的情况,因此,在本申请的一种具体实现方式中,上述数据迁移指令还可以是用于将非热点数据从用于存储热点数据的存储设备中迁移至用于存储非热点数据的存储设备的指令,或者还可以是用于将热点数据从用于存储热点数据的一个存储设备迁移至用于存储热点数据的另一存储设备的指令。
具体的,上述数据迁移指令中需包括所获得的热点数据的信息,例如,所获得的热点数据的数据标识、所获得的热点数据的数据大小等等,除此之外,还可以包括所获得的热点数据的目的迁移地址。
当然,上述数据迁移指令也可以不包含所获得热点数据的目的迁移地址,这种情况下,计算设备可以将该数据迁移指令发送给存储设备中具有管理功能的存储设备,然后由该具有管理功能的存储设备确定所获得热点数据的目的迁移地址。
由以上可见,本实施例提供的方案中,计算设备接收到客户端发送的数据查询请求后,根据数据查询请求向存储设备发送数据获得请求,存储设备根据该数据获得请求获得结果数据并反馈给计算设备,计算设备将该结果数据发送给客户端,并对该结果数据进行分析,从中获得热点数据,然后根据所获得的热点数据向存储设备发送数据迁移指令,存储设备根据该数据迁移指令进行数据迁移。与现有技术相比,本实施例提供的方案中计算设备确定热点数据时是根据客户端发送的数据查询请求对应的数据确定的,也就是热点数据是从客户端真正需要的数据中产生的,所以,所获得的热点数据真正为热点数据的概率较高,这样进行数据迁移后,用于存储热点数据的存储设备中所存储的数据为真正热点数据的概率高,而客户端需要查询热点数据的概率高,所以,应用本实施例提供的方案能够提高数据访问速度。
由前面的描述可以得知,所获得的热点数据的目的迁移地址可以是由计算设备确定的,也可以是由存储设备确定的,下面通过具体实现方式对所获得的热点数据的目的迁移地址为由计算设备确定的情况进行说明。
在本申请的一种具体实现方式中,参见图3提供了第二种数据迁移方法的流程示意图,与前述实施例相比,本实施例中,
根据预设的数据分析算法,对所述结果数据进行分析,从所述结果数据中获得热点数据(S204),包括:
S204A:获得结果数据中未被标记为热点数据的数据。
本领域内的技术人员可以理解的是,存储设备可以被划分为:高速存储设备和低速存储设备,其中,高速存储设备为数据处理速度大于预设处理速度阈值的存储设备,低速存储设备为数据处理速度小于等于预设处理速度阈值的存储设备,这样可以认为,高速存储设备的处理能力强,而热点数据的访问频率较高,且热点数据的访问并发度可能也较高,因此,为保证针对热点数据的响应速度,较佳的可以将热点数据存储在高速存储设备中;从前述描述可以得知低速存储设备的处理能力弱,而非热点数据的访问频率较低,且非热点数据的访问并发度一般不高,因此,从节约计算资源以及运维成本的角度考虑,较佳的可以将非热点数据存储在低速存储设备中。
因此,在本申请的一种较佳实现方式中,获得结果数据中未被标记为热点数据的数据时,可以先确定结果数据中存储于低速存储设备中的数据,然后再从存储于低速存储设备中的数据中获得未被标记为热点数据的数据。
另外,在本申请的一种可选实现方式中,存储设备获得数据并进行存储时,可以先将所获的数据存储至低速存储设备中,然后在后续应用过程中这些数据被确定为热点数据后,才将这些数据迁移至高速存储设备中。
S204B:对所获得的数据进行分析,从所获得的数据中确定热点数据。
根据所获得的热点数据向存储设备发送数据迁移指令(S205),包括:
S205A:获得存储设备的负载状态。
具体的,计算设备中可以存储有各个存储设备的负载状态以及各个存储设备所存储数据的数据类型,例如,某一存储设备是用于存储热点数据的存储设备、某一存储设备是用于存储费热点数据的存储设备等等,这样可以省去运行过程中频繁向存储设备请求其负载状态的过程,为保证计算设备中存储的存储设备的负载状态误差小,计算设备在运行过程中需按照一定的规则更新其中所存储的存储设备负载状态。
计算设备中也可以不存储各个存储设备的负载状态,而是在需要参考各个存储设备的负载状态时再向各个存储设备请求其负载状态,这样可以得到相对准确的存储设备的负载状态。
S205B:根据所获得的负载状态和所获得热点数据的数据属性,确定所获得热点数据的目的迁移地址。
上述数据属性可以是数据的大小、数据的类型、数据的创建时间等等,本申请并不对此进行限定。
在前述S204A中提到的较佳实施例中,根据存储于低速存储设备中的数据获得热点数据的情况下,根据所获得的负载状态和所获得热点数据的数据属性,确定所获得热点数据的目的迁移地址时,可以根据高速存储设备的负载状态和所获得热点数据的数据属性,确定所获得热点数据针对高速存储设备的目的迁移地址。
S205C:根据目的迁移地址和所获得的热点数据,生成数据迁移指令。
该数据迁移指令中需包括上述目的迁移地址以及所获得的热点数据的信息,这样存储设备在接收到数据迁移指令后无需再确定所获得的热点数据的目的迁移地址即可开始进行数据迁移。
需要说明的是,所获得的热点数据可能是多个热点数据,而这些热点数据所对应的目的迁移地址也可能是多个目的迁移地址,所以生成数据迁移指令时,可以针对每一目的迁移地址生成一个数据迁移指令。
S205D:向存储设备发送数据迁移指令。
由以上可见,本实施例提供的方案中,由计算设备确定所获的热点数据的目的迁移地址,这样计算设备在向存储设备发送数据迁移指令时,由于已确定出目的迁移地址,所以,可以有针对性的向存储设备发送数据迁移指令。
在本申请的另一种具体实现方式中,参见图4提供了第三种数据迁移方法的流程示意图,与前述实施例相比,本实施例中,上述数据迁移方法还包括:
S206:接收存储设备发送的针对数据迁移指令的反馈信息。
其中,反馈信息中包括存储设备根据数据迁移指令所迁移数据的目的迁移地址。
具体的,该反馈信息中还可以包括所迁移数据的标识、大小、类型等等信息,本申请并不对此进行限定。
S207:根据反馈信息中包含的目的迁移地址,更新本地记录的存储设备的负载状态。
本实施例提供的方案中,在存储设备完成针对数据迁移指令的数据迁移操作后,向计算设备反馈数据迁移信息,计算设备根据存储设备所反馈的信息更新其中记录的存储设备负载状态,有助于保证其中所记录的存储设备的负载状态的准确性,进而有助于确定后续数据迁移过程中热点数据的目的迁移地址。
与上述的数据迁移方法相对应,本申请实施例还提供了一种数据迁移装置。
图5为本申请实施例提供的第一种数据迁移装置的结构示意图,该装置应用于数据存储系统中的计算设备,其中,所述数据存储系统包括:计算设备和多个存储设备。
具体的,上述数据迁移装置包括:
查询请求接收模块501,用于接收客户端发送的数据查询请求;
获得请求发送模块502,用于根据所述数据查询请求向所述存储设备发送数据获得请求;
结果数据接收模块503,用于接收所述存储设备根据所述数据获得请求反馈的结果数据,并向所述客户端转发所述结果数据;
热点数据获得模块504,用于根据预设的数据分析算法,对所述结果数据进行分析,从所述结果数据中获得热点数据;
数据迁移指令发送模块505,用于根据所获得的热点数据向所述存储设备发送数据迁移指令,以使得所述存储设备根据所述数据迁移指令进行数据迁移,其中,所述数据迁移指令为用于将热点数据迁移至用于存储热点数据的存储设备的指令。
具体的,所述热点数据获得模块504可以包括:
非热点数据获得子模块,用于获得所述结果数据中未被标记为热点数据的数据;
热点数据确定子模块,用于对所获得的数据进行分析,从所获得的数据中确定热点数据。
具体的,所述热点数据确定子模块可以包括:
结构化数据确定单元,用于根据预设的数据结构化算法,确定所获得的数据的结构化数据;
搜索频度获得单元,用于根据预设的频度记录表,获得所确定的结构化数据的搜索频度,其中,所述预设的频度记录表,用于记录各个结构化数据的搜索频度;
热点数据确定单元,用于根据所获得的搜索频度,从所获得的数据中确定热点数据。
由以上可见,本实施例提供的方案中,计算设备接收到客户端发送的数据查询请求后,根据数据查询请求向存储设备发送数据获得请求,存储设备根据该数据获得请求获得结果数据并反馈给计算设备,计算设备将该结果数据发送给客户端,并对该结果数据进行分析,从中获得热点数据,然后根据所获得的热点数据向存储设备发送数据迁移指令,存储设备根据该数据迁移指令进行数据迁移。与现有技术相比,本实施例提供的方案中计算设备确定热点数据时是根据客户端发送的数据查询请求对应的数据确定的,也就是热点数据是从客户端真正需要的数据中产生的,所以,所获得的热点数据真正为热点数据的概率较高,这样进行数据迁移后,用于存储热点数据的存储设备中所存储的数据为真正热点数据的概率高,而客户端需要查询热点数据的概率高,所以,应用本实施例提供的方案能够提高数据访问速度。
在本申请的一种具体实现方式中,参见图6,提供了第二种数据迁移装置的结构示意图,与前述实施例相比,本实施例中,
所述热点数据获得模块504,包括:
非热点数据获得子模块5041,用于获得所述结果数据中未被标记为热点数据的数据;
热点数据确定子模块5042,用于对所获得的数据进行分析,从所获得的数据中确定热点数据;
所述数据迁移指令发送模块505,包括:
负载状态获得子模块5051,用于获得所述存储设备的负载状态;
迁移地址确定子模块5052,用于根据所获得的负载状态和所获得热点数据的数据属性,确定所获得热点数据的目的迁移地址;
迁移指令生成子模块5053,用于根据所述目的迁移地址和所获得的热点数据,生成数据迁移指令;
迁移指令发送子模块5054,用于向所述存储设备发送所述数据迁移指令。
较佳的,所述数据存储系统中包括:高速存储设备和低速存储设备,其中,所述高速存储设备为数据处理速度大于预设处理速度阈值的存储设备,所述低速存储设备为数据处理速度小于等于预设处理速度阈值的存储设备;
所述非热点数据获得子模块,包括:
存储数据确定单元,用于确定所述结果数据中存储于低速存储设备中的数据;
非热点数据获得单元,用于从存储于低速存储设备中的数据中获得未被标记为热点数据的数据;
所述迁移地址确定子模块,具体用于根据高速存储设备的负载状态和所获得热点数据的数据属性,确定所获得热点数据针对高速存储设备的目的迁移地址。
由以上可见,本实施例提供的方案中,由计算设备确定所获的热点数据的目的迁移地址,这样计算设备在向存储设备发送数据迁移指令时,由于已确定出目的迁移地址,所以,可以有针对性的向存储设备发送数据迁移指令。
在本申请的另一种具体实现方式中,参见图7,提供了第三种数据迁移装置的结构示意图,与前述实施例相比,本实施例中,上述数据迁移装置还包括:
反馈信息接收模块506,用于接收所述存储设备发送的针对所述数据迁移指令的反馈信息,其中,所述反馈信息中包括所述存储设备根据所述数据迁移指令所迁移数据的目的迁移地址;
负载状态更新模块507,用于根据所述反馈信息中包含的目的迁移地址,更新本地记录的所述存储设备的负载状态。
本实施例提供的方案中,在存储设备完成针对数据迁移指令的数据迁移操作后,向计算设备反馈数据迁移信息,计算设备根据存储设备所反馈的信息更新其中记录的存储设备负载状态,有助于保证其中所记录的存储设备的负载状态的准确性,进而有助于确定后续数据迁移过程中热点数据的目的迁移地址。
对于装置实施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本领域普通技术人员可以理解实现上述方法实施方式中的全部或部分步骤是可以通过程序来指令相关的硬件来完成,所述的程序可以存储于计算机可读取存储介质中,这里所称得的存储介质,如:ROM/RAM、磁碟、光盘等。
以上所述仅为本申请的较佳实施例而已,并非用于限定本申请的保护范围。凡在本申请的精神和原则之内所作的任何修改、等同替换、改进等,均包含在本申请的保护范围内。

Claims (12)

1.一种数据迁移方法,其特征在于,应用于数据存储系统中的计算设备,其中,所述数据存储系统包括:计算设备和多个存储设备,所述方法包括:
接收客户端发送的数据查询请求;
根据所述数据查询请求向所述存储设备发送数据获得请求;
接收所述存储设备根据所述数据获得请求反馈的结果数据,并向所述客户端转发所述结果数据;
根据预设的数据分析算法,对所述结果数据进行分析,从所述结果数据中获得热点数据;
根据所获得的热点数据向所述存储设备发送数据迁移指令,以使得所述存储设备根据所述数据迁移指令进行数据迁移,其中,所述数据迁移指令为用于将热点数据迁移至用于存储热点数据的存储设备的指令。
2.根据权利要求1所述的方法,其特征在于,所述根据预设的数据分析算法,对所述结果数据进行分析,从所述结果数据中获得热点数据,包括:
获得所述结果数据中未被标记为热点数据的数据;
对所获得的数据进行分析,从所获得的数据中确定热点数据。
3.根据权利要求2所述的方法,其特征在于,所述对所获得的数据进行分析,从所获得的数据中确定热点数据,包括:
根据预设的数据结构化算法,确定所获得的数据的结构化数据;
根据预设的频度记录表,获得所确定的结构化数据的搜索频度,其中,所述预设的频度记录表,用于记录各个结构化数据的搜索频度;
根据所获得的搜索频度,从所获得的数据中确定热点数据。
4.根据权利要求2或3所述的方法,其特征在于,所述根据所获得的热点数据向所述存储设备发送数据迁移指令,包括:
获得所述存储设备的负载状态;
根据所获得的负载状态和所获得热点数据的数据属性,确定所获得热点数据的目的迁移地址;
根据所述目的迁移地址和所获得的热点数据,生成数据迁移指令;
向所述存储设备发送所述数据迁移指令。
5.根据权利要求4所述的方法,其特征在于,所述数据存储系统中包括:高速存储设备和低速存储设备,其中,所述高速存储设备为数据处理速度大于预设处理速度阈值的存储设备,所述低速存储设备为数据处理速度小于等于预设处理速度阈值的存储设备;
所述获得所述结果数据中未被标记为热点数据的数据,包括:
确定所述结果数据中存储于低速存储设备中的数据;
从存储于低速存储设备中的数据中获得未被标记为热点数据的数据;
所述根据所获得的负载状态和所获得热点数据的数据属性,确定所获得热点数据的目的迁移地址,包括:
根据高速存储设备的负载状态和所获得热点数据的数据属性,确定所获得热点数据针对高速存储设备的目的迁移地址。
6.根据权利要求1或2所述的方法,其特征在于,所述方法还包括:
接收所述存储设备发送的针对所述数据迁移指令的反馈信息,其中,所述反馈信息中包括所述存储设备根据所述数据迁移指令所迁移数据的目的迁移地址;
根据所述反馈信息中包含的目的迁移地址,更新本地记录的所述存储设备的负载状态。
7.一种数据迁移装置,其特征在于,应用于数据存储系统中的计算设备,其中,所述数据存储系统包括:计算设备和多个存储设备,所述装置包括:
查询请求接收模块,用于接收客户端发送的数据查询请求;
获得请求发送模块,用于根据所述数据查询请求向所述存储设备发送数据获得请求;
结果数据接收模块,用于接收所述存储设备根据所述数据获得请求反馈的结果数据,并向所述客户端转发所述结果数据;
热点数据获得模块,用于根据预设的数据分析算法,对所述结果数据进行分析,从所述结果数据中获得热点数据;
数据迁移指令发送模块,用于根据所获得的热点数据向所述存储设备发送数据迁移指令,以使得所述存储设备根据所述数据迁移指令进行数据迁移,其中,所述数据迁移指令为用于将热点数据迁移至用于存储热点数据的存储设备的指令。
8.根据权利要求7所述的装置,其特征在于,所述热点数据获得模块,包括:
非热点数据获得子模块,用于获得所述结果数据中未被标记为热点数据的数据;
热点数据确定子模块,用于对所获得的数据进行分析,从所获得的数据中确定热点数据。
9.根据权利要求8所述的装置,其特征在于,所述热点数据确定子模块,包括:
结构化数据确定单元,用于根据预设的数据结构化算法,确定所获得的数据的结构化数据;
搜索频度获得单元,用于根据预设的频度记录表,获得所确定的结构化数据的搜索频度,其中,所述预设的频度记录表,用于记录各个结构化数据的搜索频度;
热点数据确定单元,用于根据所获得的搜索频度,从所获得的数据中确定热点数据。
10.根据权利要求8或9所述的装置,其特征在于,所述数据迁移指令发送模块,包括:
负载状态获得子模块,用于获得所述存储设备的负载状态;
迁移地址确定子模块,用于根据所获得的负载状态和所获得热点数据的数据属性,确定所获得热点数据的目的迁移地址;
迁移指令生成子模块,用于根据所述目的迁移地址和所获得的热点数据,生成数据迁移指令;
迁移指令发送子模块,用于向所述存储设备发送所述数据迁移指令。
11.根据权利要求10所述的装置,其特征在于,所述数据存储系统中包括:高速存储设备和低速存储设备,其中,所述高速存储设备为数据处理速度大于预设处理速度阈值的存储设备,所述低速存储设备为数据处理速度小于等于预设处理速度阈值的存储设备;
所述非热点数据获得子模块,包括:
存储数据确定单元,用于确定所述结果数据中存储于低速存储设备中的数据;
非热点数据获得单元,用于从存储于低速存储设备中的数据中获得未被标记为热点数据的数据;
所述迁移地址确定子模块,具体用于根据高速存储设备的负载状态和所获得热点数据的数据属性,确定所获得热点数据针对高速存储设备的目的迁移地址。
12.根据权利要求7或8所述的装置,其特征在于,所述装置还包括:
反馈信息接收模块,用于接收所述存储设备发送的针对所述数据迁移指令的反馈信息,其中,所述反馈信息中包括所述存储设备根据所述数据迁移指令所迁移数据的目的迁移地址;
负载状态更新模块,用于根据所述反馈信息中包含的目的迁移地址,更新本地记录的所述存储设备的负载状态。
CN201610008535.2A 2016-01-07 2016-01-07 一种数据迁移方法及装置 Active CN106951179B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201610008535.2A CN106951179B (zh) 2016-01-07 2016-01-07 一种数据迁移方法及装置
PCT/CN2016/103543 WO2017118171A1 (zh) 2016-01-07 2016-10-27 一种数据迁移方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610008535.2A CN106951179B (zh) 2016-01-07 2016-01-07 一种数据迁移方法及装置

Publications (2)

Publication Number Publication Date
CN106951179A true CN106951179A (zh) 2017-07-14
CN106951179B CN106951179B (zh) 2020-03-27

Family

ID=59273770

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610008535.2A Active CN106951179B (zh) 2016-01-07 2016-01-07 一种数据迁移方法及装置

Country Status (2)

Country Link
CN (1) CN106951179B (zh)
WO (1) WO2017118171A1 (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107807796A (zh) * 2017-11-17 2018-03-16 北京联想超融合科技有限公司 一种基于超融合存储系统的数据分层方法、终端及系统
CN110737391A (zh) * 2018-07-20 2020-01-31 伊姆西Ip控股有限责任公司 用于管理存储系统的方法、设备和计算机程序产品
CN111078160A (zh) * 2020-03-23 2020-04-28 上海飞旗网络技术股份有限公司 基于调用比例及响应时长的数据迁移存储方法及装置
CN111147226A (zh) * 2018-11-02 2020-05-12 杭州海康威视系统技术有限公司 数据存储方法、装置及存储介质
CN111221469A (zh) * 2018-11-27 2020-06-02 杭州海康威视数字技术股份有限公司 同步缓存数据的方法、装置和系统
CN111399763A (zh) * 2019-12-24 2020-07-10 杭州海康威视系统技术有限公司 数据存储的方法、装置、系统、设备及存储介质
CN111435943A (zh) * 2019-01-14 2020-07-21 阿里巴巴集团控股有限公司 数据处理方法、设备、系统及存储介质

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111880744B (zh) * 2020-07-29 2022-08-12 苏州浪潮智能科技有限公司 一种数据迁移方法、装置、电子设备和介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102122303A (zh) * 2011-03-15 2011-07-13 浪潮(北京)电子信息产业有限公司 一种进行数据迁移的方法及服务系统及服务器设备
CN103617007A (zh) * 2013-12-04 2014-03-05 深圳市华成峰实业有限公司 多级智能存储实现方法和系统
CN104168299A (zh) * 2013-05-16 2014-11-26 方正宽带网络服务股份有限公司 资源处理系统和资源处理方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103294167B (zh) * 2013-05-21 2016-02-10 暨南大学 一种基于数据行为的低能耗集群存储复制装置和方法
CN104424118B (zh) * 2013-08-23 2017-12-26 深圳市腾讯计算机系统有限公司 热点文件自适应拷贝方法及系统
CN103576835B (zh) * 2013-10-30 2016-06-29 华为技术有限公司 一种休眠磁盘的数据操作方法和装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102122303A (zh) * 2011-03-15 2011-07-13 浪潮(北京)电子信息产业有限公司 一种进行数据迁移的方法及服务系统及服务器设备
CN104168299A (zh) * 2013-05-16 2014-11-26 方正宽带网络服务股份有限公司 资源处理系统和资源处理方法
CN103617007A (zh) * 2013-12-04 2014-03-05 深圳市华成峰实业有限公司 多级智能存储实现方法和系统

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107807796A (zh) * 2017-11-17 2018-03-16 北京联想超融合科技有限公司 一种基于超融合存储系统的数据分层方法、终端及系统
CN107807796B (zh) * 2017-11-17 2021-03-05 北京联想超融合科技有限公司 一种基于超融合存储系统的数据分层方法、终端及系统
CN110737391A (zh) * 2018-07-20 2020-01-31 伊姆西Ip控股有限责任公司 用于管理存储系统的方法、设备和计算机程序产品
CN110737391B (zh) * 2018-07-20 2023-08-22 伊姆西Ip控股有限责任公司 用于管理存储系统的方法、设备和计算机程序产品
CN111147226A (zh) * 2018-11-02 2020-05-12 杭州海康威视系统技术有限公司 数据存储方法、装置及存储介质
CN111147226B (zh) * 2018-11-02 2023-07-18 杭州海康威视系统技术有限公司 数据存储方法、装置及存储介质
CN111221469B (zh) * 2018-11-27 2021-05-11 杭州海康威视数字技术股份有限公司 同步缓存数据的方法、装置和系统
CN111221469A (zh) * 2018-11-27 2020-06-02 杭州海康威视数字技术股份有限公司 同步缓存数据的方法、装置和系统
CN111435943A (zh) * 2019-01-14 2020-07-21 阿里巴巴集团控股有限公司 数据处理方法、设备、系统及存储介质
CN111435943B (zh) * 2019-01-14 2022-07-19 阿里巴巴集团控股有限公司 数据处理方法、设备、系统及存储介质
CN111399763B (zh) * 2019-12-24 2023-05-16 杭州海康威视系统技术有限公司 数据存储的方法、装置、系统、设备及存储介质
CN111399763A (zh) * 2019-12-24 2020-07-10 杭州海康威视系统技术有限公司 数据存储的方法、装置、系统、设备及存储介质
CN111078160A (zh) * 2020-03-23 2020-04-28 上海飞旗网络技术股份有限公司 基于调用比例及响应时长的数据迁移存储方法及装置

Also Published As

Publication number Publication date
CN106951179B (zh) 2020-03-27
WO2017118171A1 (zh) 2017-07-13

Similar Documents

Publication Publication Date Title
CN106951179A (zh) 一种数据迁移方法及装置
US9740706B2 (en) Management of intermediate data spills during the shuffle phase of a map-reduce job
CN106294352B (zh) 一种文件处理方法、装置和文件系统
CN110321325A (zh) 文件索引节点查找方法、终端、服务器、系统及存储介质
CN102592103B (zh) 文件安全处理方法、设备及系统
CN102375837B (zh) 数据采集系统和方法
CN101944124A (zh) 分布式文件系统管理方法、装置以及对应的文件系统
US20140354649A1 (en) Distributed k-core view materialization and maintenance for graphs
CN102725753A (zh) 优化数据访问的方法及装置、优化数据存储的方法及装置
CN103095758B (zh) 一种分布式文件系统及该系统中处理文件数据的方法
CN105677904B (zh) 基于分布式文件系统的小文件存储方法及装置
CN107784108A (zh) 一种数据存储管理方法、装置及设备
CN104199912B (zh) 一种任务处理的方法及装置
CN108509152A (zh) 一种实现容器运行时数据存储的方法及装置
CN105893542A (zh) 一种云存储系统中的冷数据文件重分布方法及系统
Gong et al. RT-DBSCAN: real-time parallel clustering of spatio-temporal data using spark-streaming
KR101744892B1 (ko) 시계열 계층 인덱싱을 이용한 데이터 검색 시스템 및 데이터 검색 방법
CN108241615A (zh) 数据去重方法和装置
CN105426375A (zh) 一种关系网络的计算方法及装置
CN110427386A (zh) 数据处理方法、装置及计算机存储介质
CN107704475A (zh) 多层分布式非结构化数据存储方法、查询方法及装置
CN106484694B (zh) 基于分布式数据库的全文搜索方法及系统
CN109213447A (zh) 一种san存储卷挂载、卸载方法及系统
CN109857924A (zh) 一种大数据分析监察信息处理系统及方法
CN104424316A (zh) 一种数据存储方法、数据查询方法、相关装置和系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant