CN112637293B - 数据修复系统、方法、装置、电子设备及存储介质 - Google Patents
数据修复系统、方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN112637293B CN112637293B CN202011472112.9A CN202011472112A CN112637293B CN 112637293 B CN112637293 B CN 112637293B CN 202011472112 A CN202011472112 A CN 202011472112A CN 112637293 B CN112637293 B CN 112637293B
- Authority
- CN
- China
- Prior art keywords
- data
- accessed
- access request
- server
- instruction
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 49
- 238000011084 recovery Methods 0.000 title claims abstract description 48
- 230000008439 repair process Effects 0.000 claims abstract description 109
- 238000004519 manufacturing process Methods 0.000 claims description 24
- 238000005192 partition Methods 0.000 claims description 20
- 238000004891 communication Methods 0.000 claims description 19
- 230000008929 regeneration Effects 0.000 claims description 16
- 238000011069 regeneration method Methods 0.000 claims description 16
- 238000004590 computer program Methods 0.000 claims description 12
- 238000012545 processing Methods 0.000 claims description 4
- 238000010586 diagram Methods 0.000 description 13
- 230000003993 interaction Effects 0.000 description 4
- 230000005856 abnormality Effects 0.000 description 3
- 230000009471 action Effects 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 230000002159 abnormal effect Effects 0.000 description 2
- 238000013500 data storage Methods 0.000 description 2
- 230000001172 regenerating effect Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
- H04L67/1097—Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
- G06F11/14—Error detection or correction of the data by redundancy in operation
- G06F11/1402—Saving, restoring, recovering or retrying
- G06F11/1446—Point-in-time backing up or restoration of persistent data
- G06F11/1458—Management of the backup or restore process
- G06F11/1464—Management of the backup or restore process for networked environments
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/06—Management of faults, events, alarms or notifications
- H04L41/0631—Management of faults, events, alarms or notifications using root cause analysis; using analysis of correlation between notifications, alarms or events based on decision criteria, e.g. hierarchy, tree or time analysis
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Quality & Reliability (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明实施例提供了一种数据修复系统、方法、装置、电子设备及存储介质，涉及计算机技术领域，通过获取待访问数据的故障信息，判断访问请求是否有效，其中，当访问请求有效时，表示待访问数据故障；当访问请求无效时，表示待访问数据无故障，在访问请求有效的情况下，给数据修复服务器发送针对于待访问数据的修复指令，以使数据修复服务器根据修复指令，对待访问数据进行修复，从而可以自动化的对数据进行修复，无需人工参与，解决了现有技术中修复周期较长，数据修复效率不高的问题，提高数据修复的效率。
Description
技术领域
本发明涉及计算机技术领域，特别是涉及数据修复系统、方法、装置、电子设备及存储介质。
背景技术
在CDN(Content Delivery Network，内容分发网络)架构中，存在多个边缘节点，每个边缘节点缓存有供用户查询的数据，例如，视频，图片，文字等，用户可通过边缘节点获取数据，当边缘节点资源不命中的情况下，通过CDN的存储节点以获取数据，随着网络技术的发展和网络使用的普及，全球数据量也呈现爆炸式的增长。数据爆炸式增长的同时，也会伴随着数据的存储异常，当CDN中的所有存储节点数据存储异常时，会使用户无法正常访问数据，给用户发送故障信息，如404，如此需要对存储异常的数据进行修复。
在现有技术中，对存储异常的数据进行修复的方式通常是在用户在访问数据产生404消息后，修复人员根据404消息人工找到相应的存储异常的数据，从而进行修复，如此导致修复周期较长，数据修复效率不高。
发明内容
本发明实施例的目的在于提供一种数据修复系统、方法、装置、电子设备及计算机可读存储介质，以实现解决现有技术中修复周期较长，数据修复效率不高的问题，进而提高数据修复的效率。具体技术方案如下：
在本发明实施例的第一方面，首先提供了一种数据修复系统，所述系统包括：
第一服务器、中控服务器、存储节点以及数据修复服务器；
所述存储节点属于分布式存储系统的存储分区；该分布式存储系统中不同的存储分区中的存储节点分别用于存储数据，所述数据用于被用户访问；
所述第一服务器用于根据用户针对待访问数据的访问请求的指令，查询所述访问请求的指令对应的存储节点是否存储有所述待访问数据，当没有存储所述待访问数据时，生成待访问数据的故障信息；并将所述待访问数据的故障信息发送给所述中控服务器；
所述中控服务器用于在接收到所述待访问数据的故障信息后，判断所述访问请求是否有效，其中，当所述访问请求有效时，表示所述待访问数据故障；当所述访问请求无效时，表示所述待访问数据无故障；在所述访问请求有效的情况下，给所述数据修复服务器发送针对于所述待访问数据的修复指令；
所述数据修复服务器用于获取所述中控服务器发送的针对于所述待访问数据的修复指令，根据所述修复指令，对所述待访问数据进行修复。
可选的，所述中控服务器还用于：
若所述访问请求无效，将所述故障信息删除。
可选的，所述数据修复服务器具体用于：
当获取所述中控服务器发送的针对于所述待访问数据的修复指令时，判断所述分布式存储系统中是否存在存储有所述待访问数据的其他存储节点；
若存在，则将存储有所述待访问数据的存储节点确定为目标存储节点，并将所述目标存储节点存储的待访问数据发送至其他没有存储所述待访问数据的存储节点，以使其他存储节点存储所述待访问数据。
可选的，所述系统还包括预设生产系统，所述数据修复服务器还用于：
若不存在存储有所述待访问数据的存储节点，则发送待访问数据的重新生成信息给所述预设生产系统；所述重新生成信息用于使所述预设生产系统根据所述重新生成信息重新生成所述待访问数据，在所述预设生产系统重新生成所述待访问数据后，将所述重新生成的待访问数据发送给各存储节点，以使各所述存储节点存储所述重新生成的待访问数据。
可选的，所述系统还包括，全局索引库，所述全局索引库用于存储所述待访问数据的索引信息；所述待访问数据的故障信息包括用户针对所述待访问数据的访问请求指令，所述中控服务器具体用于：
将所述针对所述待访问数据的访问请求指令发送给所述全局索引库，查找所述全局索引库中是否有所述待访问数据的索引信息；
当不存在所述待访问数据的索引信息时，所述访问请求无效；
当存在所述待访问数据的索引信息时，所述访问请求有效。
在本发明实施例的第二方面，还提供了一种数据修复方法，应用于数据修复系统中的中控服务器，所述数据修复系统还包括第一服务器、存储节点以及数据修复服务器，所述存储节点属于分布式存储系统的存储分区；该分布式存储系统中不同的存储分区中的存储节点分别用于存储数据，所述数据用于被用户访问；所述第一服务器用于根据用户针对待访问数据的访问请求的指令，查询所述访问请求的指令对应的存储节点是否存储有所述待访问数据，当没有存储所述待访问数据时，生成待访问数据的故障信息；所述方法包括：
在接收到所述待访问数据的故障信息后，判断所述访问请求是否有效，其中，当所述访问请求有效时，表示所述待访问数据故障；当所述访问请求无效时，表示所述待访问数据无故障；
在所述访问请求有效的情况下，给所述数据修复服务器发送针对于所述待访问数据的修复指令，以使所述数据修复服务器根据所述修复指令，对所述待访问数据进行修复。
可选的，在判断所述访问请求是否有效的步骤之后，所述方法还包括：
若所述访问请求无效，将所述故障信息删除。
可选的，所述系统还包括，全局索引库，所述全局索引库用于存储所述待访问数据的索引信息；所述待访问数据的故障信息包括用户针对所述待访问数据的访问请求指令，所述判断所述访问请求是否有效，包括：
将所述针对所述待访问数据的访问请求指令发送给所述全局索引库，查找所述全局索引库中是否有所述待访问数据的索引信息；
当不存在所述待访问数据的索引信息时，所述访问请求无效；
当存在所述待访问数据的索引信息时，所述访问请求有效。
在本发明实施例的又一方面，还提供了一种数据修复装置，应用于数据修复系统中的中控服务器，所述数据修复系统还包括第一服务器、存储节点以及数据修复服务器，所述存储节点属于分布式存储系统的存储分区；该分布式存储系统中不同的存储分区中的存储节点分别用于存储数据，所述数据用于被用户访问；所述第一服务器用于根据用户针对待访问数据的访问请求的指令，查询所述访问请求的指令对应的存储节点是否存储有所述待访问数据，当没有存储所述待访问数据时，生成待访问数据的故障信息；所述装置包括：
判断模块，用于在接收到所述待访问数据的故障信息后，判断所述访问请求是否有效，其中，当所述访问请求有效时，表示所述待访问数据故障；当所述访问请求无效时，表示所述待访问数据无故障；
处理模块，用于在所述访问请求有效的情况下，给所述数据修复服务器发送针对于所述待访问数据的修复指令，以使所述数据修复服务器根据所述修复指令，对所述待访问数据进行修复。
可选的，所述装置还包括：
删除模块，用于在判断所述访问请求是否有效的步骤之后，若所述访问请求无效，将所述故障信息删除。
可选的，所述数据修复系统还包括，全局索引库，所述全局索引库用于存储所述待访问数据的索引信息；所述待访问数据的故障信息包括用户针对所述待访问数据的访问请求指令，所述判断模块具体用于：
将所述针对所述待访问数据的访问请求指令发送给所述全局索引库，查找所述全局索引库中是否有所述待访问数据的索引信息；
当不存在所述待访问数据的索引信息时，所述访问请求无效；
当存在所述待访问数据的索引信息时，所述访问请求有效。
在本发明实施例的又一方面，本发明实施例提供一种电子设备，包括处理器、通信接口、存储器和通信总线，其中，所述处理器、所述通信接口、所述存储器通过所述通信总线完成相互间的通信；
所述存储器，用于存放计算机程序；
所述处理器，用于执行所述存储器上所存放的所述计算机程序时，实现上述第二方面任一所述的数据修复方法。
在本发明实施例的又一方面，本发明实施例提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述第二方面任一所述的数据修复方法。
在本发明实施的又一方面，还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述第二方面任一所述的数据修复方法。
本发明实施例提供的数据修复系统、方法、装置、电子设备及存储介质，通过第一服务器根据用户针对待访问数据的访问请求的指令，查询访问请求的指令对应的存储节点是否存储有待访问数据，当没有存储待访问数据时生成待访问数据的故障信息，并将待访问数据的故障信息发送给中控服务器，中控服务器在接收到待访问数据的故障信息后，判断访问请求是否有效，在访问请求有效的情况下，给数据修复服务器发送针对于待访问数据的修复指令，数据修复服务器获取中控服务器发送的针对于待访问数据的修复指令，根据修复指令，对待访问数据进行修复，从而可以自动化的对数据进行修复，无需人工参与，解决了现有技术中修复周期较长，数据修复效率不高的问题，进而提高数据修复的效率。当然，实施本申请的任一产品或方法并不一定需要同时达到以上的所有优点。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1a为本申请实施例的数据修复系统的第一种结构示意图；
图1b为本申请实施例的数据修复系统的第二种结构示意图；
图1c为本申请实施例的数据修复系统的第一种交互示意图；
图1d为本申请实施例的数据修复系统的第二种交互示意图；
图2为本申请实施例的数据修复方法的一种流程示意图；
图3为本申请实施例的数据修复装置的一种结构示意图；
图4为本申请实施例的电子设备的一种示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
为了解决现有技术中修复周期较长，数据修复效率不高的问题，提高数据修复的效率，本申请公开了一种数据修复方法，应用于数据修复系统中的中控服务器，上述数据修复系统还包括第一服务器、存储节点以及数据修复服务器，上述存储节点属于分布式存储系统的存储分区；该分布式存储系统中不同的存储分区中的存储节点分别用于存储数据，上述数据用于被用户访问；上述第一服务器用于根据用户针对上述待访问数据的访问请求的指令，查询上述访问请求的指令对应的存储节点是否存储有上述待访问数据，当没有存储上述待访问数据时，生成待访问数据的故障信息；上述方法包括：
在接收到上述待访问数据的故障信息后，判断上述访问请求是否有效，其中，当上述访问请求有效时，表示上述待访问数据故障；当上述访问请求无效时，表示上述待访问数据无故障；
在上述访问请求有效的情况下，给上述数据修复服务器发送针对于上述待访问数据的修复指令，以使上述数据修复服务器根据上述修复指令，对上述待访问数据进行修复。
通过获取待访问数据的故障信息，判断访问请求是否有效，其中，当访问请求有效时，表示待访问数据故障；当访问请求无效时，表示待访问数据无故障，在访问请求有效的情况下，给数据修复服务器发送针对于待访问数据的修复指令，以使数据修复服务器根据修复指令，对待访问数据进行修复，从而可以自动化的对数据进行修复，无需人工参与，解决了现有技术中修复周期较长，数据修复效率不高的问题，提高数据修复的效率。
本申请实施例提供了数据修复系统，参见图1a，图1a为本申请实施例的数据修复系统的第一种结构示意图，上述系统包括：
第一服务器110，中控服务器120，存储节点130，数据修复服务器140；
上述存储节点130属于分布式存储系统的存储分区；该分布式存储系统中不同的存储分区中的存储节点分别用于存储数据，上述数据用于被用户访问；
上述第一服务器110用于根据用户针对待访问数据的访问请求的指令，查询上述访问请求的指令对应的存储节点是否存储有上述待访问数据，当没有存储上述待访问数据时，生成待访问数据的故障信息；并将上述待访问数据的故障信息发送给上述中控服务器；
上述中控服务器120用于在接收到上述待访问数据的故障信息后，判断上述访问请求是否有效，其中，当上述访问请求有效时，表示上述待访问数据故障；当上述访问请求无效时，表示上述待访问数据无故障；在上述访问请求有效的情况下，给上述数据修复服务器发送针对于上述待访问数据的修复指令；
上述数据修复服务器140用于获取上述中控服务器120发送的针对于上述待访问数据的修复指令，根据上述修复指令，对上述待访问数据进行修复。
在分布式存储系统中，例如，CDN架构中，各存储节点存储有待查询数据，该数据为可以为视频，图片等，各存储节点存储完待查询数据后，第一服务器110根据用户针对待访问数据的访问请求指令，查询存储节点是否存储有待访问数据，当没有存储待访问数据时，生成待访问数据的故障信息。例如，生成404消息。
因为生成了待访问数据的故障信息不代表存储节点一定没有存储有待访问数据，也有可能是用户的访问请求无效，因此，中控服务器120获取待访问数据的故障信息后，需要先判断用户的访问请求是否有效，其中，当访问请求有效时，才表示待访问数据故障；当访问请求无效时，则表示待访问数据无故障。在访问请求有效的情况下，中控服务器120给数据修复服务器140发送针对于待访问数据的修复指令。数据修复服务器140获取中控服务器120发送的针对于上述待访问数据的修复指令后，根据修复指令，对待访问数据进行修复。
例如，在某一视频网站的分布式存储系统中，分别在华南区，华北区，华中区和华东区设置有存储节点，其中，将视频数据A分别存储到华南区存储节点，华北区存储节点，华中区存储节点和华东区存储节点，例如，通过一致性哈希算法将视频数据A分别存储到华南区存储节点，华北区存储节点，华中区存储节点和华东区存储节点，视频数据A存储在华南区存储节点，华北区存储节点，华中区存储节点和华东区存储节点后，记录有华南区存储节点，华北区存储节点，华中区存储节点和华东区存储节点的索引信息。用户发送针对视频A的访问请求指令，则第一服务器110根据用户针对视频A的访问请求指令，根据一致性哈希算法查询存储节点是否有存储有视频A，当没有找到存储数据A时，生成待访问数据的故障信息。中控服务器120获取待访问数据的故障信息，判断访问请求是否有效，当访问请求有效时，给数据修复服务器140发送针对于待访问数据的修复指令，数据修复服务器140获取中控服务器120发送的针对于待访问数据的修复指令，根据修复指令，对待访问数据进行修复。
通过获取待访问数据的故障信息，判断访问请求是否有效，其中，当访问请求有效时，表示待访问数据故障；当访问请求无效时，表示待访问数据无故障，在访问请求有效的情况下，给数据修复服务器发送针对于待访问数据的修复指令，以使数据修复服务器根据修复指令，对待访问数据进行修复，从而可以自动化的对数据进行修复，无需人工参与，解决了现有技术中修复周期较长，数据修复效率不高的问题，提高数据修复的效率。
在一种可能的实施方式中，上述中控服务器120还用于：
若上述访问请求无效，将上述故障信息删除。
若访问请求无效，说明待访问数据无故障，则将故障信息删除，以此清除到无效信息，减少内存资源的运行压力，使得内存资源有效利用。
例如，第一服务器110生成了404消息，中控服务器120接收到该404消息后，来判断访问请求是否为合法请求，即，判断该访问请求是否有效，当访问请求无效时，说明访问请求不是合法请求，待访问数据本身无故障，则将故障信息删除。
在一种可能的实施方式中，上述数据修复服务器140具体用于：
当获取上述中控服务器120发送的针对于上述待访问数据的修复指令时，判断上述分布式存储系统中是否存在存储有上述待访问数据的其他存储节点130；
若存在，则将存储有上述待访问数据的存储节点130确定为目标存储节点130，并将上述目标存储节点130存储的待访问数据发送至其他没有存储上述待访问数据的存储节点130，以使其他存储节点130存储上述待访问数据。
当上述待访问数据发生故障时，判断在分布式存储系统中是否有存储有上述发生故障的待访问数据的其他存储节点，如果存在，将存储有上述发生故障的待访问数据的存储节点确定为目标存储节点，并将上述目标存储节点存储的待访问数据发送至其他存储节点，以使其他存储节点存储上述待访问数据，例如，当检测到华南区存储节点的视频数据A发生故障后，则需要查找某一视频网站的分布式存储系统中的华北区存储节点、华中区存储节点和华东区存储节点中是否存储有视频数据A，当在华北区存储节点中检测到视频数据A后，将华北区存储节点中存储的视频数据A发送至除华北区存储节点外的其他存储节点，以使其他存储节点存储上述待访问数据。从而可以自动化的对数据进行修复，无需人工参与，解决了现有技术中修复周期较长，数据修复效率不高的问题，从而提高数据修复的效率。
参见图1b，图1b为本申请实施例的数据修复系统的第二种结构示意图，在一种可能的实施方式中，上述系统还包括预设生产系统150，上述数据修复服务器140还用于：
若不存在存储有上述待访问数据的存储节点130，则发送待访问数据的重新生成信息给上述预设生产系统150；上述重新生成信息用于使上述预设生产系统150根据上述重新生成信息重新生成上述待访问数据，在上述预设生产系统150重新生成上述待访问数据后，将上述重新生成的待访问数据发送给各存储节点130，以使各上述存储节点130存储上述重新生成的待访问数据。
当不存在存储有发生故障的待访问数据的其他存储节点，则发送重新生成信息给预设生产系统150，以使预设生产系统150根据重新生成信息，重新生成待访问数据，在预设生产系统150重新生成待访问数据后，将重新生成的待访问数据发送给各存储节点，以使各存储节点存储重新生成的待访问数据。
具体的，待访问数据的重新生成信息包括待访问数据的标识，预设生产系统150在获得待访问数据的重新生成信息后，根据待访问数据的标识获取待访问数据的码率信息，根据待访问数据的码率信息生成待访问数据。
在一种可能的实施方式中，上述系统还包括，全局索引库，上述全局索引库用于存储上述待访问数据的索引信息；上述待访问数据的故障信息包括用户针对上述待访问数据的访问请求指令，上述中控服务器120具体用于：
将上述针对上述待访问数据的访问请求指令发送给上述全局索引库，查找上述全局索引库中是否有上述待访问数据的索引信息；
当不存在上述待访问数据的索引信息时，上述访问请求无效；
当存在上述待访问数据的索引信息时，上述访问请求有效。
全局索引库存储了待访问数据的索引信息，待访问数据的故障信息包括用户针对待访问数据的访问请求指令，中控服务器120可以将针对待访问数据的访问请求指令发送给全局索引库，以此查找全局索引库中是否有待访问数据的索引信息，当不存在待访问数据的索引信息时，说明访问请求无效，当存在待访问数据的索引信息时，访问请求有效。
例如，当存在全局索引库时，全局索引库维护了存储的数据的索引信息，第一服务器110接收到用户请求的URI(Uniform Resource Location，统一资源定位符)后，会根据用户请求的URI查找用户请求的URI的对应的数据；当没有用户请求的URI的对应的数据的情况下，生成404的访问日志记录，然后可以通过开发的实时消息客户端获取第一服务器110生成的404的实时日志，然后可以通过消息中间件转发给中控服务器120。
中控服务器120收到404消息后，向全局索引库发送待访问数据的访问请求指令，以此判断用户请求的URI是否为合法请求。具体为，查找全局索引库中是否有用户请求的URI的索引信息，当不存在待访问数据的索引信息时，访问请求无效；当存在用户请求的URI的索引信息时，访问请求有效。如果该用户请求的URI无效，则将该404消息过滤，之后不作任何处理，如果该用户请求的URI有效，则触发修复功能，即，中控服务器120给数据修复服务器发送针对于待访问数据的修复指令，数据修复服务器140根据修复指令，对待访问数据进行修复。
在一种可能的实施方式中，当上述用户针对待访问数据的访问请求不符合预设规则时，上述第一服务器生成待访问数据的故障信息，则上述中控服务器判断上述访问请求是否有效的方式还包括：
判断上述用户针对待访问数据的访问请求是否符合预设规则，在上述用户针对待访问数据的访问请求不符合预设规则的情况下，确定上述访问请求无效；
在上述用户针对待访问数据的访问请求符合预设规则的情况下，确定上述访问请求有效。
预设规则可以为任意字符规则，例如，在实际应用中，如果用户针对待访问数据的访问请求包括不合法字符，例如，符合#，*，&等时，则第一服务器根据用户针对待访问数据的访问请求的指令查询待访问数据时，则会查找不到待访问数据，即会生成待访问数据的故障信息。
中控服务器在接收到待访问数据的故障信息后，可以先判断用户针对待访问数据的访问请求是否符合预设规则，在用户针对待访问数据的访问请求不符合预设规则的情况下，确定访问请求无效；
在用户针对待访问数据的访问请求符合预设规则的情况下，确定访问请求有效。
更进一步的，中控服务器在接收到待访问数据的故障信息后，可以先判断用户针对待访问数据的访问请求是否符合预设规则，在用户针对待访问数据的访问请求不符合预设规则的情况下，将针对待访问数据的访问请求指令发送给全局索引库，查找全局索引库中是否有待访问数据的索引信息；当不存在待访问数据的索引信息时，访问请求无效；当存在待访问数据的索引信息时，访问请求有效。
基于图1所示的实施例，参见图1c，图1c为本申请实施例的数据修复系统的第一种交互示意图。用户端用于提供接收用户针对于待访问数据的访问指令，数据全量索引记录了整个分布式存储系统中存储节点存储的数据的索引信息，通过数据全量索引中的索引信息可访问各存储节点中存储的各个待访问数据，当然，针对于每个存储节点，也可设置有各个存储节点对应的存储节点索引库，通过各个存储节点对应的存储节点索引库记录各个存储节点存储的数据的索引信息，进一步的，通过各个存储节点对应的存储节点索引库，来访问各个存储节点中存储的待访问数据，具体的，可根据实际需要进行设定，在此不再赘述。其中，生产系统用于重新生成上述待访问数据。
第一服务器根据用户针对待访问数据的访问请求指令，查询存储节点是否存储有待访问数据，当没有存储待访问数据时，生成待访问数据的故障信息，第一服务器将故障信息发送给中控服务器，中控服务器获取待访问数据的故障信息，判断访问请求是否有效，当访问请求有效时，给数据修复服务器发送针对于待访问数据的修复指令，数据修复服务器获取中控服务器发送的针对于待访问数据的修复指令，根据修复指令，判断是否有存储有上述发生故障的待访问数据的其他存储节点，若存在，则将存储有上述发生故障的待访问数据的存储节点确定为目标存储节点，并将上述目标存储节点存储的待访问数据发送至其他存储节点，以使其他存储节点存储上述待访问数据，若不存在，则数据修复服务器给中控服务器发送重新生成信息，中控服务器转发重新生成信息给生产系统，或者数据修复服务器直接发送重新生成信息给生产系统，以使上述生产系统根据上述待访问数据，重新生成上述待访问数据。
具体的，数据修复服务器可以确定哪个存储节点存储的待访问数据，哪个存储节点没有存储的待访问数据，并将没有存储待访问数据的存储节点作为待修复存储节点，并给上述待访问数据发送给待修复存储节点，以使所有的存储节点存储有上述待访问数据。生产系统获取上述待访问数据上述节目的IDC(Internet Data Center，互联网数据中心)后，获取视频数据A的码率信息，根据视频数据A的码率信息，生成视频数据A，生产系统可根据指定数据，指定码率进行生产，无需进行全码率生产，在上述生产系统重新生成上述待访问数据后，将上述重新生成的待访问数据发送给各存储节点，以使各上述存储节点存储上述重新生成的待访问数据。而且，当重新生成上述待访问数据后，生产系统将重新生成上述待访问数据信息发送给数据全量索引，使得数据全量索引维护重新生成的待访问数据信息的索引信息。
其中，中控服务器也可实现监控告警功能，当检测到待访问数据故障后，发出故障告警信息，以通过有效利用故障告警信息完成相应的任务，例如，故障统计等，当然，中控服务器也可实现可视化功能，将指定的数据进行展示等。
基于图1c所示的实施例，参见图1d，图1d为本申请实施例的数据修复系统的第二种交互示意图。
在第一服务器和中控服务器直接设置消息中间件，在第一服务器生成故障信息后，消息中间件获取第一服务器生成的故障信息，并将该故障信息发送给中控服务器。
本申请实施例还提供了一种数据修复方法，参见图2，图2为本申请实施例的数据修复方法的一种示意图，应用于数据修复系统中的中控服务器，上述数据修复系统还包括第一服务器、存储节点以及数据修复服务器，上述存储节点属于分布式存储系统的存储分区；该分布式存储系统中不同的存储分区中的存储节点分别用于存储数据，上述数据用于被用户访问；上述第一服务器用于根据用户针对待访问数据的访问请求的指令，查询上述访问请求的指令对应的存储节点是否存储有上述待访问数据，当没有存储上述待访问数据时，生成待访问数据的故障信息；并将上述待访问数据的故障信息发送给上述中控服务器；上述方法包括：
步骤210，在接收到上述待访问数据的故障信息后，判断上述访问请求是否有效，其中，当上述访问请求有效时，表示上述待访问数据故障；当上述访问请求无效时，表示上述待访问数据无故障；
步骤220，在上述访问请求有效的情况下，给上述数据修复服务器发送针对于上述待访问数据的修复指令，以使上述数据修复服务器根据上述修复指令，对上述待访问数据进行修复。
在一种可能的实施方式中，在判断上述访问请求是否有效的步骤之后，上述方法还包括：
若上述访问请求无效，将上述故障信息删除。
在一种可能的实施方式中，上述系统还包括，全局索引库，上述全局索引库用于存储上述待访问数据的索引信息；上述待访问数据的故障信息包括用户针对上述待访问数据的访问请求指令，上述判断上述访问请求是否有效，包括：
将上述针对上述待访问数据的访问请求指令发送给上述全局索引库，查找上述全局索引库中是否有上述待访问数据的索引信息；
当不存在上述待访问数据的索引信息时，上述访问请求无效；
当存在上述待访问数据的索引信息时，上述访问请求有效。
关于上述实施例中的方法，其中各个方法执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
关于上述实施例中的方法，其中各个方法执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
本申请实施例还提供了一种数据修复装置，参见图3，图3为本申请实施例的数据修复装置的一种结构示意图，应用于数据修复系统中的中控服务器，上述数据修复系统还包括第一服务器、存储节点以及数据修复服务器，上述存储节点属于分布式存储系统的存储分区；该分布式存储系统中不同的存储分区中的存储节点分别用于存储数据，上述数据用于被用户访问；上述第一服务器用于根据用户针对待访问数据的访问请求的指令，查询上述访问请求的指令对应的存储节点是否存储有上述待访问数据，当没有存储上述待访问数据时，生成待访问数据的故障信息；上述装置包括：
判断模块310，用于在接收到上述待访问数据的故障信息后，判断上述访问请求是否有效，其中，当上述访问请求有效时，表示上述待访问数据故障；当上述访问请求无效时，表示上述待访问数据无故障；
处理模块320，用于在上述访问请求有效的情况下，给上述数据修复服务器发送针对于上述待访问数据的修复指令，以使上述数据修复服务器根据上述修复指令，对上述待访问数据进行修复。
在一种可能的实施方式中，上述装置还包括：
删除模块，用于在判断上述访问请求是否有效的步骤之后，若上述访问请求无效，将上述故障信息删除。
在一种可能的实施方式中，上述数据修复系统还包括，全局索引库，上述全局索引库用于存储上述待访问数据的索引信息；上述待访问数据的故障信息包括用户针对上述待访问数据的访问请求指令，上述判断模块310具体用于：
将上述针对上述待访问数据的访问请求指令发送给上述全局索引库，查找上述全局索引库中是否有上述待访问数据的索引信息；
当不存在上述待访问数据的索引信息时，上述访问请求无效；
当存在上述待访问数据的索引信息时，上述访问请求有效。
关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
本发明实施例还提供了一种电子设备，如图4所示，图4为本申请实施例的电子设备的一种示意图，包括处理器401、通信接口402、存储器403和通信总线404，其中，处理器401，通信接口402，存储器403通过通信总线404完成相互间的通信，
存储器403，用于存放计算机程序；
处理器401，用于执行存储器403上所存放的程序时，实现如下步骤：
在接收到上述待访问数据的故障信息后，判断上述访问请求是否有效，其中，当上述访问请求有效时，表示上述待访问数据故障；当上述访问请求无效时，表示上述待访问数据无故障；
在上述访问请求有效的情况下，给上述数据修复服务器发送针对于上述待访问数据的修复指令，以使上述数据修复服务器根据上述修复指令，对上述待访问数据进行修复。
可选的，处理器401，用于执行存储器403上所存放的程序时，还可以实现上述任一数据修复方法。
上述终端提到的通信总线可以是外设部件互连标准(Peripheral ComponentInterconnect，简称PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture，简称EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
通信接口用于上述终端与其他设备之间的通信。
存储器可以包括随机存取存储器(Random Access Memory，简称RAM)，也可以包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。
上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(Digital Signal Processing，简称DSP)、专用集成电路(Application SpecificIntegrated Circuit，简称ASIC)、现场可编程门阵列(Field－Programmable Gate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
在本发明提供的又一实施例中，还提供了一种计算机可读存储介质，该计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述实施例中任一上述的数据修复方法。
在本发明提供的又一实施例中，还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述实施例中任一上述的数据修复方法。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。上述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行上述计算机程序指令时，全部或部分地产生按照本发明实施例上述的流程或功能。上述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。上述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，上述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。上述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器110、数据中心等数据存储设备。上述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘Solid State Disk(SSD))等。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括上述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于单侧方法实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
以上上述仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本发明的保护范围内。
Claims (9)
1.一种数据修复系统，其特征在于，所述系统包括：
第一服务器、中控服务器、存储节点、数据修复服务器以及全局索引库；
所述存储节点属于分布式存储系统的存储分区；该分布式存储系统中不同的存储分区中的存储节点分别用于存储数据，所述数据用于被用户访问；
所述第一服务器用于根据用户针对待访问数据的访问请求的指令，查询所述访问请求的指令对应的存储节点是否存储有所述待访问数据，当没有存储所述待访问数据时，生成待访问数据的故障信息；并将所述待访问数据的故障信息发送给所述中控服务器；所述待访问数据的故障信息包括用户针对所述待访问数据的访问请求指令；
所述全局索引库用于存储所述待访问数据的索引信息；
所述中控服务器用于在接收到所述待访问数据的故障信息后，判断所述访问请求是否有效，其中，当所述访问请求有效时，表示所述待访问数据故障；当所述访问请求无效时，表示所述待访问数据无故障；在所述访问请求有效的情况下，给所述数据修复服务器发送针对于所述待访问数据的修复指令；所述中控服务器具体用于：将所述针对所述待访问数据的访问请求指令发送给所述全局索引库，查找所述全局索引库中是否有所述待访问数据的索引信息；当不存在所述待访问数据的索引信息时，所述访问请求无效；当存在所述待访问数据的索引信息时，所述访问请求有效；
所述数据修复服务器用于获取所述中控服务器发送的针对于所述待访问数据的修复指令，根据所述修复指令，对所述待访问数据进行修复。
2.根据权利要求1所述的系统，其特征在于，所述中控服务器还用于：
若所述访问请求无效，将所述故障信息删除。
3.根据权利要求1所述的系统，其特征在于，所述数据修复服务器具体用于：
当获取所述中控服务器发送的针对于所述待访问数据的修复指令时，判断所述分布式存储系统中是否存在存储有所述待访问数据的其他存储节点；
若存在，则将存储有所述待访问数据的存储节点确定为目标存储节点，并将所述目标存储节点存储的待访问数据发送至其他没有存储所述待访问数据的存储节点，以使其他存储节点存储所述待访问数据。
4.根据权利要求1所述的系统，其特征在于，所述系统还包括预设生产系统，所述数据修复服务器还用于：
若不存在存储有所述待访问数据的存储节点，则发送待访问数据的重新生成信息给所述预设生产系统；所述重新生成信息用于使所述预设生产系统根据所述重新生成信息重新生成所述待访问数据，在所述预设生产系统重新生成所述待访问数据后，将所述重新生成的待访问数据发送给各所述存储节点，以使各所述存储节点存储所述重新生成的待访问数据。
5.一种数据修复方法，其特征在于，应用于数据修复系统中的中控服务器，所述数据修复系统还包括第一服务器、存储节点、数据修复服务器以及全局索引库，所述存储节点属于分布式存储系统的存储分区；该分布式存储系统中不同的存储分区中的存储节点分别用于存储数据，所述数据用于被用户访问；所述第一服务器用于根据用户针对待访问数据的访问请求的指令，查询所述访问请求的指令对应的存储节点是否存储有所述待访问数据，当没有存储所述待访问数据时，生成待访问数据的故障信息；并将所述待访问数据的故障信息发送给所述中控服务器，所述待访问数据的故障信息包括用户针对所述待访问数据的访问请求指令；所述全局索引库用于存储所述待访问数据的索引信息；所述方法包括：
在接收到所述待访问数据的故障信息后，判断所述访问请求是否有效，其中，当所述访问请求有效时，表示所述待访问数据故障；当所述访问请求无效时，表示所述待访问数据无故障；所述判断所述访问请求是否有效，包括：将所述针对所述待访问数据的访问请求指令发送给所述全局索引库，查找所述全局索引库中是否有所述待访问数据的索引信息；当不存在所述待访问数据的索引信息时，所述访问请求无效；当存在所述待访问数据的索引信息时，所述访问请求有效；
在所述访问请求有效的情况下，给所述数据修复服务器发送针对于所述待访问数据的修复指令，以使所述数据修复服务器根据所述修复指令，对所述待访问数据进行修复。
6.根据权利要求5所述的方法，其特征在于，在判断所述访问请求是否有效的步骤之后，所述方法还包括：
若所述访问请求无效，将所述故障信息删除。
7.一种数据修复装置，其特征在于，应用于数据修复系统中的中控服务器，所述数据修复系统还包括第一服务器、存储节点、数据修复服务器以及全局索引库，所述存储节点属于分布式存储系统的存储分区；该分布式存储系统中不同的存储分区中的存储节点分别用于存储数据，所述数据用于被用户访问；所述第一服务器用于根据用户针对待访问数据的访问请求的指令，查询所述访问请求的指令对应的存储节点是否存储有所述待访问数据，当没有存储所述待访问数据时，生成待访问数据的故障信息，所述待访问数据的故障信息包括用户针对所述待访问数据的访问请求指令；所述全局索引库用于存储所述待访问数据的索引信息；所述装置包括：
判断模块，用于在接收到所述待访问数据的故障信息后，判断所述访问请求是否有效，其中，当所述访问请求有效时，表示所述待访问数据故障；当所述访问请求无效时，表示所述待访问数据无故障；所述判断所述访问请求是否有效，包括：将所述针对所述待访问数据的访问请求指令发送给所述全局索引库，查找所述全局索引库中是否有所述待访问数据的索引信息；当不存在所述待访问数据的索引信息时，所述访问请求无效；当存在所述待访问数据的索引信息时，所述访问请求有效；
处理模块，用于在所述访问请求有效的情况下，给所述数据修复服务器发送针对于所述待访问数据的修复指令，以使所述数据修复服务器根据所述修复指令，对所述待访问数据进行修复。
8.一种电子设备，其特征在于，包括处理器、通信接口、存储器和通信总线，其中，所述处理器、所述通信接口、所述存储器通过所述通信总线完成相互间的通信；
所述存储器，用于存放计算机程序；
所述处理器，用于执行所述存储器上所存放的所述计算机程序时，实现权利要求5-6任一所述的方法。
9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现权利要求5-6任一所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011472112.9A CN112637293B (zh) | 2020-12-14 | 2020-12-14 | 数据修复系统、方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011472112.9A CN112637293B (zh) | 2020-12-14 | 2020-12-14 | 数据修复系统、方法、装置、电子设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112637293A CN112637293A (zh) | 2021-04-09 |
| CN112637293B true CN112637293B (zh) | 2023-03-24 |
Family
ID=75312858
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011472112.9A Active CN112637293B (zh) | 2020-12-14 | 2020-12-14 | 数据修复系统、方法、装置、电子设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112637293B (zh) |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109086153A (zh) * | 2018-07-24 | 2018-12-25 | 郑州云海信息技术有限公司 | 一种存储设备故障的修复方法及其相关装置 |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9665432B2 (en) * | 2014-08-07 | 2017-05-30 | Microsoft Technology Licensing, Llc | Safe data access following storage failure |
| CN105956029B (zh) * | 2016-04-25 | 2019-06-07 | 吉林大学 | 混合存储架构下的数据访问方法 |
| CN107943617B (zh) * | 2017-11-17 | 2021-06-29 | 北京联想超融合科技有限公司 | 数据的修复方法、装置及服务器集群 |
| CN109522287B (zh) * | 2018-09-18 | 2023-08-18 | 平安科技（深圳）有限公司 | 分布式文件存储集群的监控方法、系统、设备及介质 |
| CN110928713B (zh) * | 2018-09-19 | 2024-04-05 | 深圳爱捷云科技有限公司 | 一种数据库服务的故障修复方法、相关装置及存储介质 |
-
2020
- 2020-12-14 CN CN202011472112.9A patent/CN112637293B/zh active Active
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109086153A (zh) * | 2018-07-24 | 2018-12-25 | 郑州云海信息技术有限公司 | 一种存储设备故障的修复方法及其相关装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112637293A (zh) | 2021-04-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110096517B (zh) | 基于分布式系统的缓存数据的监控方法、装置和系统 | |
| JP5353540B2 (ja) | 動作履歴収集装置、動作履歴収集方法およびプログラム | |
| CN108933798B (zh) | 数据存储方法、存储服务器及系统 | |
| CN111752799A (zh) | 一种业务链路跟踪方法、装置、设备及储存介质 | |
| CN111177165B (zh) | 数据一致性检测的方法、装置及设备 | |
| CN109039787B (zh) | 日志处理方法、装置及大数据集群 | |
| CN105743730A (zh) | 为移动终端的网页服务提供实时监控的方法及其系统 | |
| CN105589782A (zh) | 基于浏览器的用户行为采集方法 | |
| CN111475376A (zh) | 处理测试数据的方法、装置、计算机设备和存储介质 | |
| CN111782707A (zh) | 一种数据查询方法及系统 | |
| CN113704790A (zh) | 一种异常日志信息汇总方法及计算机设备 | |
| CN113315811A (zh) | 基于联盟区块链的标识解析方法、装置、存储介质及服务器 | |
| CN110502581B (zh) | 分布式数据库系统监测方法及装置 | |
| CN110347955B (zh) | 一种资源检测方法及装置 | |
| CN106487852B (zh) | 实现客户端文件同步的方法、装置、终端设备及系统 | |
| KR102393913B1 (ko) | 이상행위 탐지 장치, 방법 및 이를 포함하는 시스템 | |
| CN112637293B (zh) | 数据修复系统、方法、装置、电子设备及存储介质 | |
| CN112306753A (zh) | 一种数据修复方法、装置及系统 | |
| US9852031B2 (en) | Computer system and method of identifying a failure | |
| CN114826877B (zh) | 资产告警处理方法、装置、计算机设备及存储介质 | |
| CN110888847A (zh) | 一种回收站系统及文件回收方法 | |
| CN114844771A (zh) | 微服务系统的监测方法、装置、存储介质、程序产品 | |
| CN114281769A (zh) | 磁盘上文件管理方法、装置、计算机设备及存储介质 | |
| CN110493326B (zh) | 基于zookeeper管理集群配置文件的系统和方法 | |
| CN112948020A (zh) | 一种配置文件的处理方法和装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |