CN112637293A - 数据修复系统、方法、装置、电子设备及存储介质 - Google Patents

数据修复系统、方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN112637293A
CN112637293A CN202011472112.9A CN202011472112A CN112637293A CN 112637293 A CN112637293 A CN 112637293A CN 202011472112 A CN202011472112 A CN 202011472112A CN 112637293 A CN112637293 A CN 112637293A
Authority
CN
China
Prior art keywords
data
accessed
access request
server
storage
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011472112.9A
Other languages
English (en)
Other versions
CN112637293B (zh
Inventor
张强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing IQIYI Science and Technology Co Ltd
Original Assignee
Beijing IQIYI Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing IQIYI Science and Technology Co Ltd filed Critical Beijing IQIYI Science and Technology Co Ltd
Priority to CN202011472112.9A priority Critical patent/CN112637293B/zh
Publication of CN112637293A publication Critical patent/CN112637293A/zh
Application granted granted Critical
Publication of CN112637293B publication Critical patent/CN112637293B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/10Protocols in which an application is distributed across nodes in the network
    • H04L67/1097Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/07Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/14Error detection or correction of the data by redundancy in operation
    • G06F11/1402Saving, restoring, recovering or retrying
    • G06F11/1446Point-in-time backing up or restoration of persistent data
    • G06F11/1458Management of the backup or restore process
    • G06F11/1464Management of the backup or restore process for networked environments
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/06Management of faults, events, alarms or notifications
    • H04L41/0631Management of faults, events, alarms or notifications using root cause analysis; using analysis of correlation between notifications, alarms or events based on decision criteria, e.g. hierarchy, tree or time analysis

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Quality & Reliability (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明实施例提供了一种数据修复系统、方法、装置、电子设备及存储介质,涉及计算机技术领域,通过获取待访问数据的故障信息,判断访问请求是否有效,其中,当访问请求有效时,表示待访问数据故障;当访问请求无效时,表示待访问数据无故障,在访问请求有效的情况下,给数据修复服务器发送针对于待访问数据的修复指令,以使数据修复服务器根据修复指令,对待访问数据进行修复,从而可以自动化的对数据进行修复,无需人工参与,解决了现有技术中修复周期较长,数据修复效率不高的问题,提高数据修复的效率。

Description

数据修复系统、方法、装置、电子设备及存储介质
技术领域
本发明涉及计算机技术领域,特别是涉及数据修复系统、方法、装置、电子设备及存储介质。
背景技术
在CDN(Content Delivery Network,内容分发网络)架构中,存在多个边缘节点,每个边缘节点缓存有供用户查询的数据,例如,视频,图片,文字等,用户可通过边缘节点获取数据,当边缘节点资源不命中的情况下,通过CDN的存储节点以获取数据,随着网络技术的发展和网络使用的普及,全球数据量也呈现爆炸式的增长。数据爆炸式增长的同时,也会伴随着数据的存储异常,当CDN中的所有存储节点数据存储异常时,会使用户无法正常访问数据,给用户发送故障信息,如404,如此需要对存储异常的数据进行修复。
在现有技术中,对存储异常的数据进行修复的方式通常是在用户在访问数据产生404消息后,修复人员根据404消息人工找到相应的存储异常的数据,从而进行修复,如此导致修复周期较长,数据修复效率不高。
发明内容
本发明实施例的目的在于提供一种数据修复系统、方法、装置、电子设备及计算机可读存储介质,以实现解决现有技术中修复周期较长,数据修复效率不高的问题,进而提高数据修复的效率。具体技术方案如下:
在本发明实施例的第一方面,首先提供了一种数据修复系统,所述系统包括:
第一服务器、中控服务器、存储节点以及数据修复服务器;
所述存储节点属于分布式存储系统的存储分区;该分布式存储系统中不同的存储分区中的存储节点分别用于存储数据,所述数据用于被用户访问;
所述第一服务器用于根据用户针对待访问数据的访问请求的指令,查询所述访问请求的指令对应的存储节点是否存储有所述待访问数据,当没有存储所述待访问数据时,生成待访问数据的故障信息;并将所述待访问数据的故障信息发送给所述中控服务器;
所述中控服务器用于在接收到所述待访问数据的故障信息后,判断所述访问请求是否有效,其中,当所述访问请求有效时,表示所述待访问数据故障;当所述访问请求无效时,表示所述待访问数据无故障;在所述访问请求有效的情况下,给所述数据修复服务器发送针对于所述待访问数据的修复指令;
所述数据修复服务器用于获取所述中控服务器发送的针对于所述待访问数据的修复指令,根据所述修复指令,对所述待访问数据进行修复。
可选的,所述中控服务器还用于:
若所述访问请求无效,将所述故障信息删除。
可选的,所述数据修复服务器具体用于:
当获取所述中控服务器发送的针对于所述待访问数据的修复指令时,判断所述分布式存储系统中是否存在存储有所述待访问数据的其他存储节点;
若存在,则将存储有所述待访问数据的存储节点确定为目标存储节点,并将所述目标存储节点存储的待访问数据发送至其他没有存储所述待访问数据的存储节点,以使其他存储节点存储所述待访问数据。
可选的,所述系统还包括预设生产系统,所述数据修复服务器还用于:
若不存在存储有所述待访问数据的存储节点,则发送待访问数据的重新生成信息给所述预设生产系统;所述重新生成信息用于使所述预设生产系统根据所述重新生成信息重新生成所述待访问数据,在所述预设生产系统重新生成所述待访问数据后,将所述重新生成的待访问数据发送给各存储节点,以使各所述存储节点存储所述重新生成的待访问数据。
可选的,所述系统还包括,全局索引库,所述全局索引库用于存储所述待访问数据的索引信息;所述待访问数据的故障信息包括用户针对所述待访问数据的访问请求指令,所述中控服务器具体用于:
将所述针对所述待访问数据的访问请求指令发送给所述全局索引库,查找所述全局索引库中是否有所述待访问数据的索引信息;
当不存在所述待访问数据的索引信息时,所述访问请求无效;
当存在所述待访问数据的索引信息时,所述访问请求有效。
在本发明实施例的第二方面,还提供了一种数据修复方法,应用于数据修复系统中的中控服务器,所述数据修复系统还包括第一服务器、存储节点以及数据修复服务器,所述存储节点属于分布式存储系统的存储分区;该分布式存储系统中不同的存储分区中的存储节点分别用于存储数据,所述数据用于被用户访问;所述第一服务器用于根据用户针对待访问数据的访问请求的指令,查询所述访问请求的指令对应的存储节点是否存储有所述待访问数据,当没有存储所述待访问数据时,生成待访问数据的故障信息;所述方法包括:
在接收到所述待访问数据的故障信息后,判断所述访问请求是否有效,其中,当所述访问请求有效时,表示所述待访问数据故障;当所述访问请求无效时,表示所述待访问数据无故障;
在所述访问请求有效的情况下,给所述数据修复服务器发送针对于所述待访问数据的修复指令,以使所述数据修复服务器根据所述修复指令,对所述待访问数据进行修复。
可选的,在判断所述访问请求是否有效的步骤之后,所述方法还包括:
若所述访问请求无效,将所述故障信息删除。
可选的,所述系统还包括,全局索引库,所述全局索引库用于存储所述待访问数据的索引信息;所述待访问数据的故障信息包括用户针对所述待访问数据的访问请求指令,所述判断所述访问请求是否有效,包括:
将所述针对所述待访问数据的访问请求指令发送给所述全局索引库,查找所述全局索引库中是否有所述待访问数据的索引信息;
当不存在所述待访问数据的索引信息时,所述访问请求无效;
当存在所述待访问数据的索引信息时,所述访问请求有效。
在本发明实施例的又一方面,还提供了一种数据修复装置,应用于数据修复系统中的中控服务器,所述数据修复系统还包括第一服务器、存储节点以及数据修复服务器,所述存储节点属于分布式存储系统的存储分区;该分布式存储系统中不同的存储分区中的存储节点分别用于存储数据,所述数据用于被用户访问;所述第一服务器用于根据用户针对待访问数据的访问请求的指令,查询所述访问请求的指令对应的存储节点是否存储有所述待访问数据,当没有存储所述待访问数据时,生成待访问数据的故障信息;所述装置包括:
判断模块,用于在接收到所述待访问数据的故障信息后,判断所述访问请求是否有效,其中,当所述访问请求有效时,表示所述待访问数据故障;当所述访问请求无效时,表示所述待访问数据无故障;
处理模块,用于在所述访问请求有效的情况下,给所述数据修复服务器发送针对于所述待访问数据的修复指令,以使所述数据修复服务器根据所述修复指令,对所述待访问数据进行修复。
可选的,所述装置还包括:
删除模块,用于在判断所述访问请求是否有效的步骤之后,若所述访问请求无效,将所述故障信息删除。
可选的,所述数据修复系统还包括,全局索引库,所述全局索引库用于存储所述待访问数据的索引信息;所述待访问数据的故障信息包括用户针对所述待访问数据的访问请求指令,所述判断模块具体用于:
将所述针对所述待访问数据的访问请求指令发送给所述全局索引库,查找所述全局索引库中是否有所述待访问数据的索引信息;
当不存在所述待访问数据的索引信息时,所述访问请求无效;
当存在所述待访问数据的索引信息时,所述访问请求有效。
在本发明实施例的又一方面,本发明实施例提供一种电子设备,包括处理器、通信接口、存储器和通信总线,其中,所述处理器、所述通信接口、所述存储器通过所述通信总线完成相互间的通信;
所述存储器,用于存放计算机程序;
所述处理器,用于执行所述存储器上所存放的所述计算机程序时,实现上述第二方面任一所述的数据修复方法。
在本发明实施例的又一方面,本发明实施例提供了一种计算机可读存储介质,所述计算机可读存储介质中存储有指令,当其在计算机上运行时,使得计算机执行上述第二方面任一所述的数据修复方法。
在本发明实施的又一方面,还提供了一种包含指令的计算机程序产品,当其在计算机上运行时,使得计算机执行上述第二方面任一所述的数据修复方法。
本发明实施例提供的数据修复系统、方法、装置、电子设备及存储介质,通过第一服务器根据用户针对待访问数据的访问请求的指令,查询访问请求的指令对应的存储节点是否存储有待访问数据,当没有存储待访问数据时生成待访问数据的故障信息,并将待访问数据的故障信息发送给中控服务器,中控服务器在接收到待访问数据的故障信息后,判断访问请求是否有效,在访问请求有效的情况下,给数据修复服务器发送针对于待访问数据的修复指令,数据修复服务器获取中控服务器发送的针对于待访问数据的修复指令,根据修复指令,对待访问数据进行修复,从而可以自动化的对数据进行修复,无需人工参与,解决了现有技术中修复周期较长,数据修复效率不高的问题,进而提高数据修复的效率。当然,实施本申请的任一产品或方法并不一定需要同时达到以上的所有优点。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1a为本申请实施例的数据修复系统的第一种结构示意图;
图1b为本申请实施例的数据修复系统的第二种结构示意图;
图1c为本申请实施例的数据修复系统的第一种交互示意图;
图1d为本申请实施例的数据修复系统的第二种交互示意图;
图2为本申请实施例的数据修复方法的一种流程示意图;
图3为本申请实施例的数据修复装置的一种结构示意图;
图4为本申请实施例的电子设备的一种示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
为了解决现有技术中修复周期较长,数据修复效率不高的问题,提高数据修复的效率,本申请公开了一种数据修复方法,应用于数据修复系统中的中控服务器,上述数据修复系统还包括第一服务器、存储节点以及数据修复服务器,上述存储节点属于分布式存储系统的存储分区;该分布式存储系统中不同的存储分区中的存储节点分别用于存储数据,上述数据用于被用户访问;上述第一服务器用于根据用户针对上述待访问数据的访问请求的指令,查询上述访问请求的指令对应的存储节点是否存储有上述待访问数据,当没有存储上述待访问数据时,生成待访问数据的故障信息;上述方法包括:
在接收到上述待访问数据的故障信息后,判断上述访问请求是否有效,其中,当上述访问请求有效时,表示上述待访问数据故障;当上述访问请求无效时,表示上述待访问数据无故障;
在上述访问请求有效的情况下,给上述数据修复服务器发送针对于上述待访问数据的修复指令,以使上述数据修复服务器根据上述修复指令,对上述待访问数据进行修复。
通过获取待访问数据的故障信息,判断访问请求是否有效,其中,当访问请求有效时,表示待访问数据故障;当访问请求无效时,表示待访问数据无故障,在访问请求有效的情况下,给数据修复服务器发送针对于待访问数据的修复指令,以使数据修复服务器根据修复指令,对待访问数据进行修复,从而可以自动化的对数据进行修复,无需人工参与,解决了现有技术中修复周期较长,数据修复效率不高的问题,提高数据修复的效率。
本申请实施例提供了数据修复系统,参见图1a,图1a为本申请实施例的数据修复系统的第一种结构示意图,上述系统包括:
第一服务器110,中控服务器120,存储节点130,数据修复服务器140;
上述存储节点130属于分布式存储系统的存储分区;该分布式存储系统中不同的存储分区中的存储节点分别用于存储数据,上述数据用于被用户访问;
上述第一服务器110用于根据用户针对待访问数据的访问请求的指令,查询上述访问请求的指令对应的存储节点是否存储有上述待访问数据,当没有存储上述待访问数据时,生成待访问数据的故障信息;并将上述待访问数据的故障信息发送给上述中控服务器;
上述中控服务器120用于在接收到上述待访问数据的故障信息后,判断上述访问请求是否有效,其中,当上述访问请求有效时,表示上述待访问数据故障;当上述访问请求无效时,表示上述待访问数据无故障;在上述访问请求有效的情况下,给上述数据修复服务器发送针对于上述待访问数据的修复指令;
上述数据修复服务器140用于获取上述中控服务器120发送的针对于上述待访问数据的修复指令,根据上述修复指令,对上述待访问数据进行修复。
在分布式存储系统中,例如,CDN架构中,各存储节点存储有待查询数据,该数据为可以为视频,图片等,各存储节点存储完待查询数据后,第一服务器110根据用户针对待访问数据的访问请求指令,查询存储节点是否存储有待访问数据,当没有存储待访问数据时,生成待访问数据的故障信息。例如,生成404消息。
因为生成了待访问数据的故障信息不代表存储节点一定没有存储有待访问数据,也有可能是用户的访问请求无效,因此,中控服务器120获取待访问数据的故障信息后,需要先判断用户的访问请求是否有效,其中,当访问请求有效时,才表示待访问数据故障;当访问请求无效时,则表示待访问数据无故障。在访问请求有效的情况下,中控服务器120给数据修复服务器140发送针对于待访问数据的修复指令。数据修复服务器140获取中控服务器120发送的针对于上述待访问数据的修复指令后,根据修复指令,对待访问数据进行修复。
例如,在某一视频网站的分布式存储系统中,分别在华南区,华北区,华中区和华东区设置有存储节点,其中,将视频数据A分别存储到华南区存储节点,华北区存储节点,华中区存储节点和华东区存储节点,例如,通过一致性哈希算法将视频数据A分别存储到华南区存储节点,华北区存储节点,华中区存储节点和华东区存储节点,视频数据A存储在华南区存储节点,华北区存储节点,华中区存储节点和华东区存储节点后,记录有华南区存储节点,华北区存储节点,华中区存储节点和华东区存储节点的索引信息。用户发送针对视频A的访问请求指令,则第一服务器110根据用户针对视频A的访问请求指令,根据一致性哈希算法查询存储节点是否有存储有视频A,当没有找到存储数据A时,生成待访问数据的故障信息。中控服务器120获取待访问数据的故障信息,判断访问请求是否有效,当访问请求有效时,给数据修复服务器140发送针对于待访问数据的修复指令,数据修复服务器140获取中控服务器120发送的针对于待访问数据的修复指令,根据修复指令,对待访问数据进行修复。
通过获取待访问数据的故障信息,判断访问请求是否有效,其中,当访问请求有效时,表示待访问数据故障;当访问请求无效时,表示待访问数据无故障,在访问请求有效的情况下,给数据修复服务器发送针对于待访问数据的修复指令,以使数据修复服务器根据修复指令,对待访问数据进行修复,从而可以自动化的对数据进行修复,无需人工参与,解决了现有技术中修复周期较长,数据修复效率不高的问题,提高数据修复的效率。
在一种可能的实施方式中,上述中控服务器120还用于:
若上述访问请求无效,将上述故障信息删除。
若访问请求无效,说明待访问数据无故障,则将故障信息删除,以此清除到无效信息,减少内存资源的运行压力,使得内存资源有效利用。
例如,第一服务器110生成了404消息,中控服务器120接收到该404消息后,来判断访问请求是否为合法请求,即,判断该访问请求是否有效,当访问请求无效时,说明访问请求不是合法请求,待访问数据本身无故障,则将故障信息删除。
在一种可能的实施方式中,上述数据修复服务器140具体用于:
当获取上述中控服务器120发送的针对于上述待访问数据的修复指令时,判断上述分布式存储系统中是否存在存储有上述待访问数据的其他存储节点130;
若存在,则将存储有上述待访问数据的存储节点130确定为目标存储节点130,并将上述目标存储节点130存储的待访问数据发送至其他没有存储上述待访问数据的存储节点130,以使其他存储节点130存储上述待访问数据。
当上述待访问数据发生故障时,判断在分布式存储系统中是否有存储有上述发生故障的待访问数据的其他存储节点,如果存在,将存储有上述发生故障的待访问数据的存储节点确定为目标存储节点,并将上述目标存储节点存储的待访问数据发送至其他存储节点,以使其他存储节点存储上述待访问数据,例如,当检测到华南区存储节点的视频数据A发生故障后,则需要查找某一视频网站的分布式存储系统中的华北区存储节点、华中区存储节点和华东区存储节点中是否存储有视频数据A,当在华北区存储节点中检测到视频数据A后,将华北区存储节点中存储的视频数据A发送至除华北区存储节点外的其他存储节点,以使其他存储节点存储上述待访问数据。从而可以自动化的对数据进行修复,无需人工参与,解决了现有技术中修复周期较长,数据修复效率不高的问题,从而提高数据修复的效率。
参见图1b,图1b为本申请实施例的数据修复系统的第二种结构示意图,在一种可能的实施方式中,上述系统还包括预设生产系统150,上述数据修复服务器140还用于:
若不存在存储有上述待访问数据的存储节点130,则发送待访问数据的重新生成信息给上述预设生产系统150;上述重新生成信息用于使上述预设生产系统150根据上述重新生成信息重新生成上述待访问数据,在上述预设生产系统150重新生成上述待访问数据后,将上述重新生成的待访问数据发送给各存储节点130,以使各上述存储节点130存储上述重新生成的待访问数据。
当不存在存储有发生故障的待访问数据的其他存储节点,则发送重新生成信息给预设生产系统150,以使预设生产系统150根据重新生成信息,重新生成待访问数据,在预设生产系统150重新生成待访问数据后,将重新生成的待访问数据发送给各存储节点,以使各存储节点存储重新生成的待访问数据。
具体的,待访问数据的重新生成信息包括待访问数据的标识,预设生产系统150在获得待访问数据的重新生成信息后,根据待访问数据的标识获取待访问数据的码率信息,根据待访问数据的码率信息生成待访问数据。
在一种可能的实施方式中,上述系统还包括,全局索引库,上述全局索引库用于存储上述待访问数据的索引信息;上述待访问数据的故障信息包括用户针对上述待访问数据的访问请求指令,上述中控服务器120具体用于:
将上述针对上述待访问数据的访问请求指令发送给上述全局索引库,查找上述全局索引库中是否有上述待访问数据的索引信息;
当不存在上述待访问数据的索引信息时,上述访问请求无效;
当存在上述待访问数据的索引信息时,上述访问请求有效。
全局索引库存储了待访问数据的索引信息,待访问数据的故障信息包括用户针对待访问数据的访问请求指令,中控服务器120可以将针对待访问数据的访问请求指令发送给全局索引库,以此查找全局索引库中是否有待访问数据的索引信息,当不存在待访问数据的索引信息时,说明访问请求无效,当存在待访问数据的索引信息时,访问请求有效。
例如,当存在全局索引库时,全局索引库维护了存储的数据的索引信息,第一服务器110接收到用户请求的URI(Uniform Resource Location,统一资源定位符)后,会根据用户请求的URI查找用户请求的URI的对应的数据;当没有用户请求的URI的对应的数据的情况下,生成404的访问日志记录,然后可以通过开发的实时消息客户端获取第一服务器110生成的404的实时日志,然后可以通过消息中间件转发给中控服务器120。
中控服务器120收到404消息后,向全局索引库发送待访问数据的访问请求指令,以此判断用户请求的URI是否为合法请求。具体为,查找全局索引库中是否有用户请求的URI的索引信息,当不存在待访问数据的索引信息时,访问请求无效;当存在用户请求的URI的索引信息时,访问请求有效。如果该用户请求的URI无效,则将该404消息过滤,之后不作任何处理,如果该用户请求的URI有效,则触发修复功能,即,中控服务器120给数据修复服务器发送针对于待访问数据的修复指令,数据修复服务器140根据修复指令,对待访问数据进行修复。
在一种可能的实施方式中,当上述用户针对待访问数据的访问请求不符合预设规则时,上述第一服务器生成待访问数据的故障信息,则上述中控服务器判断上述访问请求是否有效的方式还包括:
判断上述用户针对待访问数据的访问请求是否符合预设规则,在上述用户针对待访问数据的访问请求不符合预设规则的情况下,确定上述访问请求无效;
在上述用户针对待访问数据的访问请求符合预设规则的情况下,确定上述访问请求有效。
预设规则可以为任意字符规则,例如,在实际应用中,如果用户针对待访问数据的访问请求包括不合法字符,例如,符合#,*,&等时,则第一服务器根据用户针对待访问数据的访问请求的指令查询待访问数据时,则会查找不到待访问数据,即会生成待访问数据的故障信息。
中控服务器在接收到待访问数据的故障信息后,可以先判断用户针对待访问数据的访问请求是否符合预设规则,在用户针对待访问数据的访问请求不符合预设规则的情况下,确定访问请求无效;
在用户针对待访问数据的访问请求符合预设规则的情况下,确定访问请求有效。
更进一步的,中控服务器在接收到待访问数据的故障信息后,可以先判断用户针对待访问数据的访问请求是否符合预设规则,在用户针对待访问数据的访问请求不符合预设规则的情况下,将针对待访问数据的访问请求指令发送给全局索引库,查找全局索引库中是否有待访问数据的索引信息;当不存在待访问数据的索引信息时,访问请求无效;当存在待访问数据的索引信息时,访问请求有效。
基于图1所示的实施例,参见图1c,图1c为本申请实施例的数据修复系统的第一种交互示意图。用户端用于提供接收用户针对于待访问数据的访问指令,数据全量索引记录了整个分布式存储系统中存储节点存储的数据的索引信息,通过数据全量索引中的索引信息可访问各存储节点中存储的各个待访问数据,当然,针对于每个存储节点,也可设置有各个存储节点对应的存储节点索引库,通过各个存储节点对应的存储节点索引库记录各个存储节点存储的数据的索引信息,进一步的,通过各个存储节点对应的存储节点索引库,来访问各个存储节点中存储的待访问数据,具体的,可根据实际需要进行设定,在此不再赘述。其中,生产系统用于重新生成上述待访问数据。
第一服务器根据用户针对待访问数据的访问请求指令,查询存储节点是否存储有待访问数据,当没有存储待访问数据时,生成待访问数据的故障信息,第一服务器将故障信息发送给中控服务器,中控服务器获取待访问数据的故障信息,判断访问请求是否有效,当访问请求有效时,给数据修复服务器发送针对于待访问数据的修复指令,数据修复服务器获取中控服务器发送的针对于待访问数据的修复指令,根据修复指令,判断是否有存储有上述发生故障的待访问数据的其他存储节点,若存在,则将存储有上述发生故障的待访问数据的存储节点确定为目标存储节点,并将上述目标存储节点存储的待访问数据发送至其他存储节点,以使其他存储节点存储上述待访问数据,若不存在,则数据修复服务器给中控服务器发送重新生成信息,中控服务器转发重新生成信息给生产系统,或者数据修复服务器直接发送重新生成信息给生产系统,以使上述生产系统根据上述待访问数据,重新生成上述待访问数据。
具体的,数据修复服务器可以确定哪个存储节点存储的待访问数据,哪个存储节点没有存储的待访问数据,并将没有存储待访问数据的存储节点作为待修复存储节点,并给上述待访问数据发送给待修复存储节点,以使所有的存储节点存储有上述待访问数据。生产系统获取上述待访问数据上述节目的IDC(Internet Data Center,互联网数据中心)后,获取视频数据A的码率信息,根据视频数据A的码率信息,生成视频数据A,生产系统可根据指定数据,指定码率进行生产,无需进行全码率生产,在上述生产系统重新生成上述待访问数据后,将上述重新生成的待访问数据发送给各存储节点,以使各上述存储节点存储上述重新生成的待访问数据。而且,当重新生成上述待访问数据后,生产系统将重新生成上述待访问数据信息发送给数据全量索引,使得数据全量索引维护重新生成的待访问数据信息的索引信息。
其中,中控服务器也可实现监控告警功能,当检测到待访问数据故障后,发出故障告警信息,以通过有效利用故障告警信息完成相应的任务,例如,故障统计等,当然,中控服务器也可实现可视化功能,将指定的数据进行展示等。
基于图1c所示的实施例,参见图1d,图1d为本申请实施例的数据修复系统的第二种交互示意图。
在第一服务器和中控服务器直接设置消息中间件,在第一服务器生成故障信息后,消息中间件获取第一服务器生成的故障信息,并将该故障信息发送给中控服务器。
本申请实施例还提供了一种数据修复方法,参见图2,图2为本申请实施例的数据修复方法的一种示意图,应用于数据修复系统中的中控服务器,上述数据修复系统还包括第一服务器、存储节点以及数据修复服务器,上述存储节点属于分布式存储系统的存储分区;该分布式存储系统中不同的存储分区中的存储节点分别用于存储数据,上述数据用于被用户访问;上述第一服务器用于根据用户针对待访问数据的访问请求的指令,查询上述访问请求的指令对应的存储节点是否存储有上述待访问数据,当没有存储上述待访问数据时,生成待访问数据的故障信息;并将上述待访问数据的故障信息发送给上述中控服务器;上述方法包括:
步骤210,在接收到上述待访问数据的故障信息后,判断上述访问请求是否有效,其中,当上述访问请求有效时,表示上述待访问数据故障;当上述访问请求无效时,表示上述待访问数据无故障;
步骤220,在上述访问请求有效的情况下,给上述数据修复服务器发送针对于上述待访问数据的修复指令,以使上述数据修复服务器根据上述修复指令,对上述待访问数据进行修复。
在一种可能的实施方式中,在判断上述访问请求是否有效的步骤之后,上述方法还包括:
若上述访问请求无效,将上述故障信息删除。
在一种可能的实施方式中,上述系统还包括,全局索引库,上述全局索引库用于存储上述待访问数据的索引信息;上述待访问数据的故障信息包括用户针对上述待访问数据的访问请求指令,上述判断上述访问请求是否有效,包括:
将上述针对上述待访问数据的访问请求指令发送给上述全局索引库,查找上述全局索引库中是否有上述待访问数据的索引信息;
当不存在上述待访问数据的索引信息时,上述访问请求无效;
当存在上述待访问数据的索引信息时,上述访问请求有效。
关于上述实施例中的方法,其中各个方法执行操作的具体方式已经在有关该方法的实施例中进行了详细描述,此处将不做详细阐述说明。
关于上述实施例中的方法,其中各个方法执行操作的具体方式已经在有关该方法的实施例中进行了详细描述,此处将不做详细阐述说明。
本申请实施例还提供了一种数据修复装置,参见图3,图3为本申请实施例的数据修复装置的一种结构示意图,应用于数据修复系统中的中控服务器,上述数据修复系统还包括第一服务器、存储节点以及数据修复服务器,上述存储节点属于分布式存储系统的存储分区;该分布式存储系统中不同的存储分区中的存储节点分别用于存储数据,上述数据用于被用户访问;上述第一服务器用于根据用户针对待访问数据的访问请求的指令,查询上述访问请求的指令对应的存储节点是否存储有上述待访问数据,当没有存储上述待访问数据时,生成待访问数据的故障信息;上述装置包括:
判断模块310,用于在接收到上述待访问数据的故障信息后,判断上述访问请求是否有效,其中,当上述访问请求有效时,表示上述待访问数据故障;当上述访问请求无效时,表示上述待访问数据无故障;
处理模块320,用于在上述访问请求有效的情况下,给上述数据修复服务器发送针对于上述待访问数据的修复指令,以使上述数据修复服务器根据上述修复指令,对上述待访问数据进行修复。
在一种可能的实施方式中,上述装置还包括:
删除模块,用于在判断上述访问请求是否有效的步骤之后,若上述访问请求无效,将上述故障信息删除。
在一种可能的实施方式中,上述数据修复系统还包括,全局索引库,上述全局索引库用于存储上述待访问数据的索引信息;上述待访问数据的故障信息包括用户针对上述待访问数据的访问请求指令,上述判断模块310具体用于:
将上述针对上述待访问数据的访问请求指令发送给上述全局索引库,查找上述全局索引库中是否有上述待访问数据的索引信息;
当不存在上述待访问数据的索引信息时,上述访问请求无效;
当存在上述待访问数据的索引信息时,上述访问请求有效。
关于上述实施例中的装置,其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述,此处将不做详细阐述说明。
本发明实施例还提供了一种电子设备,如图4所示,图4为本申请实施例的电子设备的一种示意图,包括处理器401、通信接口402、存储器403和通信总线404,其中,处理器401,通信接口402,存储器403通过通信总线404完成相互间的通信,
存储器403,用于存放计算机程序;
处理器401,用于执行存储器403上所存放的程序时,实现如下步骤:
在接收到上述待访问数据的故障信息后,判断上述访问请求是否有效,其中,当上述访问请求有效时,表示上述待访问数据故障;当上述访问请求无效时,表示上述待访问数据无故障;
在上述访问请求有效的情况下,给上述数据修复服务器发送针对于上述待访问数据的修复指令,以使上述数据修复服务器根据上述修复指令,对上述待访问数据进行修复。
可选的,处理器401,用于执行存储器403上所存放的程序时,还可以实现上述任一数据修复方法。
上述终端提到的通信总线可以是外设部件互连标准(Peripheral ComponentInterconnect,简称PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture,简称EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示,图中仅用一条粗线表示,但并不表示仅有一根总线或一种类型的总线。
通信接口用于上述终端与其他设备之间的通信。
存储器可以包括随机存取存储器(Random Access Memory,简称RAM),也可以包括非易失性存储器(non-volatile memory),例如至少一个磁盘存储器。可选的,存储器还可以是至少一个位于远离前述处理器的存储装置。
上述的处理器可以是通用处理器,包括中央处理器(Central Processing Unit,简称CPU)、网络处理器(Network Processor,简称NP)等;还可以是数字信号处理器(Digital Signal Processing,简称DSP)、专用集成电路(Application SpecificIntegrated Circuit,简称ASIC)、现场可编程门阵列(Field-Programmable Gate Array,简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
在本发明提供的又一实施例中,还提供了一种计算机可读存储介质,该计算机可读存储介质中存储有指令,当其在计算机上运行时,使得计算机执行上述实施例中任一上述的数据修复方法。
在本发明提供的又一实施例中,还提供了一种包含指令的计算机程序产品,当其在计算机上运行时,使得计算机执行上述实施例中任一上述的数据修复方法。
在上述实施例中,可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时,可以全部或部分地以计算机程序产品的形式实现。上述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行上述计算机程序指令时,全部或部分地产生按照本发明实施例上述的流程或功能。上述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。上述计算机指令可以存储在计算机可读存储介质中,或者从一个计算机可读存储介质向另一个计算机可读存储介质传输,例如,上述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。上述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器110、数据中心等数据存储设备。上述可用介质可以是磁性介质,(例如,软盘、硬盘、磁带)、光介质(例如,DVD)、或者半导体介质(例如固态硬盘Solid State Disk(SSD))等。
需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括上述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用相关的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于单侧方法实施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
以上上述仅为本发明的较佳实施例而已,并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等,均包含在本发明的保护范围内。

Claims (11)

1.一种数据修复系统,其特征在于,所述系统包括:
第一服务器、中控服务器、存储节点以及数据修复服务器;
所述存储节点属于分布式存储系统的存储分区;该分布式存储系统中不同的存储分区中的存储节点分别用于存储数据,所述数据用于被用户访问;
所述第一服务器用于根据用户针对待访问数据的访问请求的指令,查询所述访问请求的指令对应的存储节点是否存储有所述待访问数据,当没有存储所述待访问数据时,生成待访问数据的故障信息;并将所述待访问数据的故障信息发送给所述中控服务器;
所述中控服务器用于在接收到所述待访问数据的故障信息后,判断所述访问请求是否有效,其中,当所述访问请求有效时,表示所述待访问数据故障;当所述访问请求无效时,表示所述待访问数据无故障;在所述访问请求有效的情况下,给所述数据修复服务器发送针对于所述待访问数据的修复指令;
所述数据修复服务器用于获取所述中控服务器发送的针对于所述待访问数据的修复指令,根据所述修复指令,对所述待访问数据进行修复。
2.根据权利要求1所述的系统,其特征在于,所述中控服务器还用于:
若所述访问请求无效,将所述故障信息删除。
3.根据权利要求1所述的系统,其特征在于,所述数据修复服务器具体用于:
当获取所述中控服务器发送的针对于所述待访问数据的修复指令时,判断所述分布式存储系统中是否存在存储有所述待访问数据的其他存储节点;
若存在,则将存储有所述待访问数据的存储节点确定为目标存储节点,并将所述目标存储节点存储的待访问数据发送至其他没有存储所述待访问数据的存储节点,以使其他存储节点存储所述待访问数据。
4.根据权利要求1所述的系统,其特征在于,所述系统还包括预设生产系统,所述数据修复服务器还用于:
若不存在存储有所述待访问数据的存储节点,则发送待访问数据的重新生成信息给所述预设生产系统;所述重新生成信息用于使所述预设生产系统根据所述重新生成信息重新生成所述待访问数据,在所述预设生产系统重新生成所述待访问数据后,将所述重新生成的待访问数据发送给各所述存储节点,以使各所述存储节点存储所述重新生成的待访问数据。
5.根据权利要求1所述的系统,其特征在于,所述系统还包括,全局索引库,所述全局索引库用于存储所述待访问数据的索引信息;所述待访问数据的故障信息包括用户针对所述待访问数据的访问请求指令,所述中控服务器具体用于:
将所述针对所述待访问数据的访问请求指令发送给所述全局索引库,查找所述全局索引库中是否有所述待访问数据的索引信息;
当不存在所述待访问数据的索引信息时,所述访问请求无效;
当存在所述待访问数据的索引信息时,所述访问请求有效。
6.一种数据修复方法,其特征在于,应用于数据修复系统中的中控服务器,所述数据修复系统还包括第一服务器、存储节点以及数据修复服务器,所述存储节点属于分布式存储系统的存储分区;该分布式存储系统中不同的存储分区中的存储节点分别用于存储数据,所述数据用于被用户访问;所述第一服务器用于根据用户针对待访问数据的访问请求的指令,查询所述访问请求的指令对应的存储节点是否存储有所述待访问数据,当没有存储所述待访问数据时,生成待访问数据的故障信息;并将所述待访问数据的故障信息发送给所述中控服务器;所述方法包括:
在接收到所述待访问数据的故障信息后,判断所述访问请求是否有效,其中,当所述访问请求有效时,表示所述待访问数据故障;当所述访问请求无效时,表示所述待访问数据无故障;
在所述访问请求有效的情况下,给所述数据修复服务器发送针对于所述待访问数据的修复指令,以使所述数据修复服务器根据所述修复指令,对所述待访问数据进行修复。
7.根据权利要求6所述的方法,其特征在于,在判断所述访问请求是否有效的步骤之后,所述方法还包括:
若所述访问请求无效,将所述故障信息删除。
8.根据权利要求6所述的方法,其特征在于,所述系统还包括,全局索引库,所述全局索引库用于存储所述待访问数据的索引信息;所述待访问数据的故障信息包括用户针对所述待访问数据的访问请求指令,所述判断所述访问请求是否有效,包括:
将所述针对所述待访问数据的访问请求指令发送给所述全局索引库,查找所述全局索引库中是否有所述待访问数据的索引信息;
当不存在所述待访问数据的索引信息时,所述访问请求无效;
当存在所述待访问数据的索引信息时,所述访问请求有效。
9.一种数据修复装置,其特征在于,应用于数据修复系统中的中控服务器,所述数据修复系统还包括第一服务器、存储节点以及数据修复服务器,所述存储节点属于分布式存储系统的存储分区;该分布式存储系统中不同的存储分区中的存储节点分别用于存储数据,所述数据用于被用户访问;所述第一服务器用于根据用户针对待访问数据的访问请求的指令,查询所述访问请求的指令对应的存储节点是否存储有所述待访问数据,当没有存储所述待访问数据时,生成待访问数据的故障信息;所述装置包括:
判断模块,用于在接收到所述待访问数据的故障信息后,判断所述访问请求是否有效,其中,当所述访问请求有效时,表示所述待访问数据故障;当所述访问请求无效时,表示所述待访问数据无故障;
处理模块,用于在所述访问请求有效的情况下,给所述数据修复服务器发送针对于所述待访问数据的修复指令,以使所述数据修复服务器根据所述修复指令,对所述待访问数据进行修复。
10.一种电子设备,其特征在于,包括处理器、通信接口、存储器和通信总线,其中,所述处理器、所述通信接口、所述存储器通过所述通信总线完成相互间的通信;
所述存储器,用于存放计算机程序;
所述处理器,用于执行所述存储器上所存放的所述计算机程序时,实现权利要求6-8任一所述的方法。
11.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质内存储有计算机程序,所述计算机程序被处理器执行时实现权利要求6-8任一所述的方法。
CN202011472112.9A 2020-12-14 2020-12-14 数据修复系统、方法、装置、电子设备及存储介质 Active CN112637293B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011472112.9A CN112637293B (zh) 2020-12-14 2020-12-14 数据修复系统、方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011472112.9A CN112637293B (zh) 2020-12-14 2020-12-14 数据修复系统、方法、装置、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN112637293A true CN112637293A (zh) 2021-04-09
CN112637293B CN112637293B (zh) 2023-03-24

Family

ID=75312858

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011472112.9A Active CN112637293B (zh) 2020-12-14 2020-12-14 数据修复系统、方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN112637293B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160041882A1 (en) * 2014-08-07 2016-02-11 Microsoft Corporation Safe data access following storage failure
CN105956029A (zh) * 2016-04-25 2016-09-21 吉林大学 混合存储架构下的数据访问方法
CN107943617A (zh) * 2017-11-17 2018-04-20 北京联想超融合科技有限公司 数据的修复方法、装置及服务器集群
CN109086153A (zh) * 2018-07-24 2018-12-25 郑州云海信息技术有限公司 一种存储设备故障的修复方法及其相关装置
CN109522287A (zh) * 2018-09-18 2019-03-26 平安科技(深圳)有限公司 分布式文件存储集群的监控方法、系统、设备及介质
CN110928713A (zh) * 2018-09-19 2020-03-27 网宿科技股份有限公司 一种数据库服务的故障修复方法、相关装置及存储介质

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160041882A1 (en) * 2014-08-07 2016-02-11 Microsoft Corporation Safe data access following storage failure
CN105956029A (zh) * 2016-04-25 2016-09-21 吉林大学 混合存储架构下的数据访问方法
CN107943617A (zh) * 2017-11-17 2018-04-20 北京联想超融合科技有限公司 数据的修复方法、装置及服务器集群
CN109086153A (zh) * 2018-07-24 2018-12-25 郑州云海信息技术有限公司 一种存储设备故障的修复方法及其相关装置
CN109522287A (zh) * 2018-09-18 2019-03-26 平安科技(深圳)有限公司 分布式文件存储集群的监控方法、系统、设备及介质
CN110928713A (zh) * 2018-09-19 2020-03-27 网宿科技股份有限公司 一种数据库服务的故障修复方法、相关装置及存储介质

Also Published As

Publication number Publication date
CN112637293B (zh) 2023-03-24

Similar Documents

Publication Publication Date Title
CN110071978B (zh) 一种集群管理的方法及装置
CN111752799A (zh) 一种业务链路跟踪方法、装置、设备及储存介质
JP5353540B2 (ja) 動作履歴収集装置、動作履歴収集方法およびプログラム
CN105589782A (zh) 基于浏览器的用户行为采集方法
CN111782707A (zh) 一种数据查询方法及系统
CN111061498A (zh) 一种配置信息管理系统
CN115080272A (zh) 一种业务数据处理方法、电子设备及存储介质
CN110502581B (zh) 分布式数据库系统监测方法及装置
CN111563199A (zh) 一种数据处理方法及装置
CN110888847A (zh) 一种回收站系统及文件回收方法
CN112866979B (zh) 基于5g服务化接口的用户信息关联方法、装置、设备和介质
CN112148745B (zh) 一种多HBase集群访问方法、装置及存储介质
KR102393913B1 (ko) 이상행위 탐지 장치, 방법 및 이를 포함하는 시스템
CN112637293B (zh) 数据修复系统、方法、装置、电子设备及存储介质
CN111382180B (zh) 一种本地缓存的数据清除方法和装置
CN110515803B (zh) 针对日志消息的处理方法、装置以及电子设备
US9852031B2 (en) Computer system and method of identifying a failure
CN114826877B (zh) 资产告警处理方法、装置、计算机设备及存储介质
CN111294613A (zh) 一种视频处理方法、客户端、服务器
CN113612811B (zh) 一种在多通道中客户端挂载的方法、系统、设备及介质
CN114281769A (zh) 磁盘上文件管理方法、装置、计算机设备及存储介质
CN114462958A (zh) 用电采集设备管理方法、装置及用电采集设备管理系统
CN112948020A (zh) 一种配置文件的处理方法和装置
CN111274316A (zh) 多级数据流转任务的执行方法及装置、电子设备、存储介质
CN116827900B (zh) 一种基于Python实现内网终端溯源的方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant