FR2981766A1 - Method for performing digital data storage in infrastructure, involves distributing pieces of data in set of storage units that is different from another set of storage units in secondary site - Google Patents
Method for performing digital data storage in infrastructure, involves distributing pieces of data in set of storage units that is different from another set of storage units in secondary site Download PDFInfo
- Publication number
- FR2981766A1 FR2981766A1 FR1159475A FR1159475A FR2981766A1 FR 2981766 A1 FR2981766 A1 FR 2981766A1 FR 1159475 A FR1159475 A FR 1159475A FR 1159475 A FR1159475 A FR 1159475A FR 2981766 A1 FR2981766 A1 FR 2981766A1
- Authority
- FR
- France
- Prior art keywords
- pieces
- file
- storage
- site
- sites
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
- G06F11/16—Error detection or correction of the data by redundancy in hardware
- G06F11/20—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements
- G06F11/2053—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where persistent mass storage functionality or persistent mass storage control functionality is redundant
- G06F11/2094—Redundant storage or storage space
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
- G06F11/16—Error detection or correction of the data by redundancy in hardware
- G06F11/1658—Data re-synchronization of a redundant component, or initial sync of replacement, additional or spare unit
- G06F11/1662—Data re-synchronization of a redundant component, or initial sync of replacement, additional or spare unit the resynchronized component or unit being a persistent storage device
Abstract
Description
La présente invention concerne de manière générale le stockage de données numériques. The present invention generally relates to storing digital data.
L'invention concerne plus particulièrement un procédé de stockage de données numériques dans une infrastructure comprenant une pluralité de sites de stockage de données distincts les uns des autres, chaque site comprenant plusieurs unités de stockage. L'invention concerne également un produit de programme d'ordinateur et une infrastructure correspondante. The invention more particularly relates to a method for storing digital data in an infrastructure comprising a plurality of data storage sites that are distinct from one another, each site comprising a plurality of storage units. The invention also relates to a computer program product and a corresponding infrastructure.
Pour un fichier de données stocké sur un site de stockage, les procédés de protection et de reprise de données après une panne ou un sinistre au niveau dudit site sont lourds et coûteux. For a data file stored on a storage site, the methods of protecting and recovering data after a failure or a disaster at said site are heavy and expensive.
La présente invention a pour but de proposer un procédé de stockage et une infrastructure correspondante permettant de réduire le risque de non accès à un fichier de données, lorsqu'une partie du site de stockage correspondant, ou le site entier, est inaccessible, tout en limitant le volume de données stockées. The present invention aims to provide a storage method and a corresponding infrastructure to reduce the risk of non-access to a data file, when part of the corresponding storage site, or the entire site, is inaccessible, while limiting the amount of data stored.
A cet effet, l'invention a pour objet un procédé de stockage de données numériques dans une infrastructure comprenant une pluralité de sites de stockage de données distincts les uns des autres, chaque site comprenant plusieurs unités de stockage, caractérisé en ce que ledit procédé comprend les étapes suivantes : -on réalise à partir d'un fichier de données un nombre donné, noté N, de morceaux éventuellement encodés, - on distribue sur N unités de stockage de l'un desdits sites, appelé site principal, lesdits N morceaux du fichier, - on distribue en outre les N morceaux dudit fichier sur N autres unités de 30 stockage, lesdites N autres unités de stockage appartenant à N autres sites de stockage distincts, appelés sites secondaires. To this end, the subject of the invention is a method for storing digital data in an infrastructure comprising a plurality of data storage sites that are distinct from one another, each site comprising several storage units, characterized in that said method comprises the following steps: one carries out from a data file a given number, denoted N, of possibly encoded pieces, is distributed on N storage units of one of said sites, called main site, said N pieces of file, - the N pieces of said file are further distributed on N other storage units, said N other storage units belonging to N other distinct storage sites, called secondary sites.
Les morceaux du fichier sont ainsi copiés non seulement sur des unités de stockage du site principal mais en outre chaque morceau est recopié sur une unité de stockage d'un autre site, appelé site secondaire et faisant office de site de secours. En particulier, chaque site secondaire sur lequel est recopié un morceau du fichier ne comprend pas d'autres morceaux de ce fichier, de manière à limiter le volume de données stockées sur ledit site. Le fait de répartir ces morceaux par copie sur autant de sites secondaires qu'il y a de morceaux permet d'optimiser la probabilité de pouvoir reconstruire ledit fichier. The pieces of the file are thus copied not only on storage units of the main site but in addition each piece is copied to a storage unit of another site, called secondary site and acting as a backup site. In particular, each secondary site on which is copied a piece of the file does not include other pieces of this file, so as to limit the volume of data stored on said site. The fact of distributing these pieces by copy on as many secondary sites as there are pieces makes it possible to optimize the probability of being able to reconstruct said file.
Selon une caractéristique avantageuse de l'invention, on génère des informations, appelées métadonnées, permettant d'identifier les unités de stockage des différents sites sur lesquels sont hébergés les morceaux dudit fichier. According to an advantageous characteristic of the invention, information, called metadata, is generated to identify the storage units of the different sites on which the pieces of said file are hosted.
Ces métadonnées permettent de connaitre précisément les unités de stockage du site principal et des sites secondaires, servant de sites de secours, qui hébergent les morceaux du fichier et leur copie. Ainsi en cas de problème sur une unité de stockage d'un site principal ces métadonnées permettent de déterminer rapidement et de manière fiable le chemin d'accès à une copie du ou des morceaux non accessible(s) au niveau dudit site principal. Selon une caractéristique avantageuse de l'invention, en vue de reconstruire ledit fichier, on récupère au moins une partie des N morceaux dudit fichier 25 hébergés sur les unités de stockage correspondantes du site principal. Lorsqu'un client émet une requête de lecture du fichier, le système de gestion récupère les morceaux correspondant à ce fichier, ou une partie seulement de ceux-ci dans le cas où ils sont encodés et permettent de reconstituer le fichier 30 avec une partie seulement desdits morceaux. Selon une caractéristique avantageuse de l'invention, si l'unité de stockage qui héberge l'un des morceaux requis est indisponible, on récupère ledit morceau auprès de l'unité de stockage correspondante du site secondaire qui héberge ledit morceau. This metadata makes it possible to know precisely the storage units of the main site and the secondary sites, serving as backup sites, which host the pieces of the file and their copy. Thus, in the event of a problem on a storage unit of a main site, these metadata make it possible to quickly and reliably determine the path to a copy of the non-accessible piece (s) at said main site. According to an advantageous characteristic of the invention, in order to reconstruct said file, at least part of the N pieces of said file 25 are recovered, hosted on the corresponding storage units of the main site. When a client sends a request to read the file, the management system retrieves the pieces corresponding to this file, or only part of them in the case where they are encoded and allow to reconstitute the file 30 with only a part said pieces. According to an advantageous characteristic of the invention, if the storage unit which hosts one of the required pieces is unavailable, said piece is retrieved from the corresponding storage unit of the secondary site which houses said piece.
Ainsi, même en cas d'indisponibilité d'une des unités de stockage, le fichier reste accessible pour le client puisque les morceaux nécessaires à la reconstruction de fichier peuvent être aisément récupérés sur les sites secondaires faisant office de sites de secours. Cette solution de redondance reste légère puisque les morceaux sont répartis un à un sur différents sites secondaires de sorte que cette solution permet de répartir la charge du fichier sur différents sites secondaires contrairement aux solutions connues qui prévoient de réaliser une copie complète du fichier sur un site de secours. Selon une caractéristique avantageuse de l'invention, en cas d'indisponibilité 15 de l'ensemble des unités de stockage du site principal sur lesquelles ont été répartis les N morceaux du fichier, l'un des sites secondaires, dont une unité de stockage héberge un morceau du fichier, est sélectionné en tant que nouveau site principal, et lesdits N-1 autres morceaux du fichier qui sont répartis sur N-1 sites 20 secondaires sont recopiés sur N-1 unités de stockage dudit nouveau site principal. On se sert ainsi d'un site secondaire jusque là considéré en tant que site secondaire pour prendre le relais du site principal inaccessible. Le système de 25 gestion permet à cet effet de recopier les morceaux manquants du fichier sur le nouveau site principal pour lui permettre de disposer de l'ensemble des morceaux du fichier, tout en conservant la possibilité, en cas de panne d'une unité du site principal, de rechercher le morceau correspondant sur un autre site secondaire. 30 Avantageusement, le morceau du fichier hébergé par le nouveau site principal, avant que l'ancien site principal ne soit inaccessible, est recopié sur un site secondaire supplémentaire distinct desdits sites secondaires sur lesquels sont présents les N-1 autres morceaux du fichier pour assurer une récupération possible dudit morceau en cas d'inaccessibilité de l'unité de stockage correspondante dudit nouveau site principal. Thus, even if one of the storage units is unavailable, the file remains accessible to the client since the pieces needed for file reconstruction can be easily retrieved from the secondary sites acting as backup sites. This solution of redundancy remains light since the pieces are distributed one by one on different secondary sites so that this solution makes it possible to distribute the load of the file on different secondary sites contrary to the known solutions which plan to make a complete copy of the file on a site rescue. According to an advantageous characteristic of the invention, in case of unavailability of all the storage units of the main site on which the N pieces of the file have been distributed, one of the secondary sites, of which a storage unit hosts a piece of the file is selected as a new primary site, and said N-1 other pieces of the file which are distributed on N-1 secondary sites are copied onto N-1 storage units of said new main site. This is used as a secondary site until then considered as a secondary site to take over the main inaccessible site. The management system allows for this purpose to copy the missing pieces of the file to the new main site to allow it to have all the pieces of the file, while retaining the possibility, in case of failure of a unit of the file. main site, to search for the corresponding piece on another secondary site. Advantageously, the piece of file hosted by the new main site, before the old main site is inaccessible, is copied to an additional secondary site separate from said secondary sites on which are present the N-1 other pieces of the file to ensure a possible recovery of said piece in case of inaccessibility of the corresponding storage unit of said new main site.
Selon une caractéristique avantageuse de l'invention, les N morceaux du fichier sont générés en étant codés, de préférence à l'aide d'une transformée de Mojette, de telle sorte que la récupération d'un nombre donné, noté M, de morceaux dudit fichier, M étant inférieur à N, permet de reconstruire ledit fichier. L'utilisation d'un code à effacement permet d'améliorer la probabilité de reconstruction du fichier et donc la qualité d'accès au fichier. According to an advantageous characteristic of the invention, the N pieces of the file are generated by being coded, preferably using a Mojette transform, so that the recovery of a given number, denoted M, of pieces said file, M being less than N, makes it possible to reconstruct said file. The use of an erasure code makes it possible to improve the probability of reconstruction of the file and thus the quality of access to the file.
L'invention concerne également une infrastructure de stockage de données numériques comprenant une pluralité de sites de stockage de données distincts les uns des autres, chaque site comprenant plusieurs unités de stockage, caractérisée en ce que ladite infrastructure comprend un système de gestion comprenant : - des moyens de distribution dits principaux, configurés pour, à partir d'un fichier de données fragmenté en un nombre donné, noté N, de morceaux éventuellement encodés, distribuer sur N unités de stockage de l'un desdits sites, appelé site principal, lesdits N morceaux du fichier, - des moyens de distribution dits secondaires, configurés pour distribuer en 25 outre les N morceaux dudit fichier sur N autres unités de stockage, lesdites N autres unités de stockage appartenant à N autres sites de stockage distincts, appelés sites secondaires. Selon une caractéristique avantageuse de l'invention, ledit système de gestion 30 comprend des moyens de génération et de mémorisation d'informations, appelées métadonnées, configurés pour identifier les unités de stockage des différents sites sur lesquels sont hébergés les morceaux dudit fichier. The invention also relates to a digital data storage infrastructure comprising a plurality of data storage sites that are distinct from one another, each site comprising several storage units, characterized in that said infrastructure comprises a management system comprising: so-called principal distribution means, configured for, from a fragmented data file in a given number, denoted N, of optionally encoded pieces, distributing on N storage units of one of said sites, called main site, said N pieces of the file, - said secondary distribution means, configured to distribute in addition the N pieces of said file on N other storage units, said N other storage units belonging to N other separate storage sites, called secondary sites. According to an advantageous characteristic of the invention, said management system 30 comprises means for generating and storing information, called metadata, configured to identify the storage units of the different sites on which the pieces of said file are hosted.
Selon une caractéristique avantageuse de l'invention, chaque site comprend des moyens de génération et de mémorisation d'informations appelées métadonnées, configurés pour identifier les unités de stockage des différents 5 sites sur lesquels sont hébergés les morceaux dudit fichier. Selon une caractéristique avantageuse de l'invention, ladite infrastructure comprend des moyens de fragmentation, éventuellement avec encodage, du fichier en N morceaux, et des moyens de transmission desdits morceaux au 10 système de gestion pour distribuer lesdits morceaux sur lesdits sites de stockage. Selon une caractéristique avantageuse de l'invention, ladite infrastructure comprend des moyens de récupération d'au moins une partie des morceaux 15 dudit fichier, configurés pour transmettre au système de gestion une ou des requêtes de récupération d'au moins une partie desdits morceaux du fichier, et ledit système de gestion est configuré pour, à partir de ladite ou desdites requêtes et des métadonnées mémorisées, identifier les unités de stockage du site principal sur lesquelles sont hébergés les morceaux requis dudit fichier, et 20 transmettre lesdits morceaux auxdits moyens de récupération. Selon une caractéristique avantageuse de l'invention, ledit système de gestion est configuré pour, si l'unité de stockage du site principal qui héberge l'un des morceaux requis est indisponible, récupérer ledit morceau auprès de l'unité de 25 stockage correspondante du site secondaire qui héberge ledit morceau. Selon une caractéristique avantageuse de l'invention, ledit système de gestion est configuré pour, en cas d'indisponibilité de l'ensemble des unités de stockage du site principal sur lesquelles ont été répartis les N morceaux du 30 fichier, sélectionner l'un des sites secondaires dont une unité de stockage héberge un morceau du fichier, en tant que nouveau site principal, et recopier les N-1 autres morceaux du fichier, qui sont répartis sur N-1 sites secondaires, sur N-1 unités de stockage dudit nouveau site principal. L'invention sera bien comprise à la lecture de la description suivante 5 d'exemples de réalisation, en référence aux dessins annexés dans lesquels : - la figure 1 est une vue schématique de l'infrastructure selon l'invention montrant la répartition des morceaux d'un fichier sur un site principal et la copie desdits morceaux sur autant de sites secondaires ; - la figure 2 est une vue schématique de l'infrastructure de la figure 1 illustrant 10 le procédé de récupération des morceaux d'un fichier lorsqu'une unité de stockage du site principal est inaccessible ; - les figures 3 et 4 sont des vues schématiques de l'infrastructure de la figure 1 illustrant le procédé de restauration des morceaux de fichier mis en oeuvre lorsque le site principal est inaccessible. 15 En référence aux figures et comme rappelé ci-dessus, l'invention concerne un procédé de stockage de données numériques dans une infrastructure. Ladite infrastructure comprend une pluralité de sites SO, S1, ..., S5 de stockage de données. Lesdits sites SO, S1, ..., S5 de stockage de données sont 20 physiquement distincts les uns des autres. Chaque site SO, S1, ..., S5 comprend plusieurs unités de stockage U01,..., U05 ; U11,..., U15 ;...; U51,..., U55. On entend par unité de stockage un système muni d'au moins une mémoire de stockage de données numériques. 25 Chaque unité de stockage comprend de préférence au moins un serveur. Il doit être noté qu'on entend par "site" un ensemble d'unités de stockage tel qu'un centre de données, encore appelé couramment "Datacenter". Autrement dit, le procédé et l'infrastructure selon l'invention s'appliquent à tout type de 30 data center multi-site. Préférentiellement, les différents sites sont alimentés électriquement de manière indépendante les uns des autres. Chaque site comprend également un réseau de communication de données indépendant des réseaux de communication des autres sites de sorte que si le réseau de communication d'un site est défaillant, le risque d'impact sur les autres sites est faible. De manière similaire, chaque site comprend un système de refroidissement indépendant du système de refroidissement des autres sites. Avantageusement, lesdits sites SO, S1, ..., S5 de stockage de données sont éloignés les uns des autres d'au moins une centaine de mètre, ou encore d'au 10 moins 1 km, de sorte que si un sinistre atteint l'un de ces sites le risque d'impact sur les autres sites est très réduit Ladite infrastructure comprend un système de gestion SG, centralisé ou distribué, qui comprend des moyens de distribution, dits principaux, configurés 15 pour, à partir d'un fichier de données FL fragmenté en un nombre donné N de morceaux M1, ..., M5, éventuellement encodés, distribuer sur N unités de stockage U01,..., U05 de l'un SO desdits sites SO, S1, ..., S5, appelé site principal, lesdits N morceaux M1, ..., M5 du fichier FL. Le nombre N est un nombre entier au moins égal à 2. 20 Ladite infrastructure comprend également des moyens de distribution, dits secondaires, configurés pour distribuer en outre les N morceaux M1, ..., M5 dudit fichier FL sur N autres unités de stockage Ull, U22, U33, U44, U55. Lesdites N autres unités de stockage appartiennent à N sites de stockage S1, 25 ... , S5 secondaires distincts les uns des autres et du site principal SO. Lesdits N sites de stockage S1, ..., S5 secondaires sont choisis parmi ladite pluralité de sites de stockage secondaires. Ledit système de gestion se présente sous la forme d'un système électronique 30 et informatique qui comprend par exemple un microprocesseur et une mémoire de travail. According to an advantageous characteristic of the invention, each site comprises means for generating and storing information called metadata, configured to identify the storage units of the different sites on which the pieces of said file are hosted. According to an advantageous characteristic of the invention, said infrastructure comprises means of fragmentation, possibly with encoding, of the file in N pieces, and means of transmission of said pieces to the management system for distributing said pieces on said storage sites. According to an advantageous characteristic of the invention, said infrastructure comprises means for recovering at least part of the pieces of said file, configured to transmit to the management system one or more requests for recovery of at least part of said pieces of the file. file, and said management system is configured to, from said one or more queries and stored metadata, identify the storage units of the main site on which the required pieces of said file are hosted, and transmit said pieces to said retrieval means . According to an advantageous characteristic of the invention, said management system is configured to, if the storage unit of the main site which hosts one of the required pieces is unavailable, retrieve said piece from the corresponding storage unit of the secondary site hosting the piece. According to an advantageous characteristic of the invention, said management system is configured to, in case of unavailability of all the storage units of the main site on which the N pieces of the file have been distributed, select one of the secondary sites where a storage unit hosts a piece of the file, as a new main site, and copy the N-1 other pieces of the file, which are distributed on N-1 secondary sites, on N-1 storage units of said new main site. The invention will be better understood on reading the following description of exemplary embodiments, with reference to the appended drawings, in which: FIG. 1 is a schematic view of the infrastructure according to the invention showing the distribution of the pieces of a file on a main site and the copy of said pieces on as many secondary sites; FIG. 2 is a schematic view of the infrastructure of FIG. 1 illustrating the method of retrieving pieces of a file when a storage unit of the main site is inaccessible; FIGS. 3 and 4 are schematic views of the infrastructure of FIG. 1 illustrating the method of restoring the pieces of file used when the main site is inaccessible. Referring to the figures and as recalled above, the invention relates to a method of storing digital data in an infrastructure. Said infrastructure comprises a plurality of sites SO, S1, ..., S5 of data storage. Said data storage sites SO, S1,..., S5 are physically distinct from one another. Each site SO, S1, ..., S5 comprises several storage units U01, ..., U05; U11, ..., U15; ...; U51, ..., U55. A storage unit is understood to mean a system provided with at least one digital data storage memory. Each storage unit preferably comprises at least one server. It should be noted that "site" refers to a set of storage units such as a data center, also commonly referred to as a "data center". In other words, the method and the infrastructure according to the invention apply to any type of multi-site data center. Preferably, the different sites are electrically powered independently of each other. Each site also includes a data communication network that is independent of the communication networks of the other sites so that if the communication network of a site fails, the risk of impact on the other sites is low. Similarly, each site includes a cooling system independent of the cooling system of the other sites. Advantageously, said data storage sites SO, S1,..., S5 are distant from each other by at least one hundred meters, or at least 1 km, so that if a disaster reaches one of these sites the risk of impact on the other sites is very small Said infrastructure comprises a management system SG, centralized or distributed, which includes means of distribution, called principal, configured 15 for, from a file fragmented data FL in a given number N of pieces M1, ..., M5, possibly encoded, distribute on N storage units U01, ..., U05 of the one SO of said sites SO, S1, ..., S5, called main site, said N pieces M1, ..., M5 of the FL file. The number N is an integer at least equal to 2. Said infrastructure also comprises distribution means, said secondary, configured to further distribute the N pieces M1, ..., M5 of said file FL on N other storage units Ull, U22, U33, U44, U55. Said N other storage units belong to N storage sites S1, 25 ..., S5 secondary distinct from each other and from the main site SO. Said N secondary storage sites S1,..., S5 are selected from said plurality of secondary storage sites. Said management system is in the form of an electronic and computer system which comprises for example a microprocessor and a working memory.
Ainsi, lorsqu'il est précisé que ledit système de gestion comprend des moyens pour réaliser une action donnée, cela signifie que le système électronique et informatique correspondant comprend des instructions permettant d'exécuter ladite action. Thus, when it is specified that said management system comprises means for performing a given action, it means that the corresponding electronic and computer system comprises instructions for executing said action.
Ledit système de gestion SG, et de préférence chaque site, comprend des moyens MD de génération en temps réel et de mémorisation d'informations, appelées métadonnées, configurés pour identifier les unités de stockage des différents sites SO, ..., S5 sur lesquels sont hébergés les morceaux M1, ..., M5 dudit fichier. Le procédé de stockage d'un fichier à l'aide d'une telle infrastructure est détaillé ci-dessous. Said management system SG, and preferably each site, comprises means MD for real-time generation and storage of information, called metadata, configured to identify the storage units of the different sites SO, ..., S5 on which are housed the pieces M1, ..., M5 of said file. The method of storing a file using such an infrastructure is detailed below.
Comme illustré à la figure 1, le fichier à stocker est fragmenté par une application 2 en un nombre N de morceaux M1, ..., M5. Avantageusement, on peut prévoir que les N morceaux M1, ..., M5 du fichier FL sont codés, de préférence à l'aide d'une transformée de Mojette, de telle sorte que la récupération d'un nombre donné, noté M, de morceaux dudit fichier, M étant inférieur à N, permet de reconstruire ledit fichier. L'utilisation d'un code à effacement, tel que la transformée Mojette, permet de réduire les volumes de stockage nécessaires pour le stockage des morceaux de fichiers tout en conservant une bonne probabilité d'accès audit fichier. As illustrated in FIG. 1, the file to be stored is fragmented by an application 2 into a number N of pieces M1,..., M5. Advantageously, it can be provided that the N pieces M1,..., M5 of the file FL are coded, preferably using a Mojette transform, so that the recovery of a given number, denoted M, of pieces of said file, M being less than N, makes it possible to reconstruct said file. The use of erasure code, such as the Mojette transform, makes it possible to reduce the storage volumes necessary for the storage of the file pieces while maintaining a good probability of access to said file.
Lesdits N morceaux M1, ..., M5 du fichier FL sont distribués par le système de gestion SG sur N unités de stockage U01,..., U05 de l'un SO desdits sites SO, S1, ..., S5, appelé site principal. Les N morceaux M1, ..., M5 du fichier FL sont distribués en outre sur N autres unités de stockage Ull, U22, U33, U44, U55. Lesdites N autres unités de stockage appartiennent à N autres sites de stockage distincts S1, ..., S5, appelés sites secondaires. Le site principal est le site responsable de la délivrance des N morceaux du fichier. Autrement dit, les requêtes de récupération des morceaux lui sont adressées en priorité et ce n'est qu'en cas d'indisponibilité de l'une de ses unités de stockage que le morceau correspondant indisponible est récupéré à partir de l'unité de stockage correspondante d'un site secondaire dont l'adresse est mémorisée dans ledit système de gestion. Said N pieces M1, ..., M5 of the file FL are distributed by the management system SG on N storage units U01,..., U05 of the one SO of said sites SO, S1,..., S5, called main site. The N pieces M1, ..., M5 of the file FL are further distributed on N other storage units U11, U22, U33, U44, U55. Said N other storage units belong to N other distinct storage sites S1, ..., S5, called secondary sites. The main site is the site responsible for delivering the N pieces of the file. In other words, the requests for the recovery of the pieces are addressed to it in priority and it is only in case of unavailability of one of its storage units that the corresponding piece unavailable is recovered from the storage unit corresponding to a secondary site whose address is stored in said management system.
L'indisponibilité d'une unité de stockage peut être liée à une défaillance logicielle ou matérielle qui peut être temporaire ou permanente. Ainsi, pour chaque morceau dudit fichier FL copié sur une unité de stockage du site principal SO, on réalise également une copie dudit morceau sur une unité de stockage d'un site secondaire. Ledit site secondaire qui comprend une unité de stockage sur laquelle est copié un morceau du fichier est distinct du site secondaire qui comprend l'unité de stockage sur laquelle est stockée une copie d'un autre morceau. Autrement dit, non seulement les morceaux du fichier sont répartis en un à un sur un nombre d'unités de stockage du site principal égal au nombre de morceaux du fichier, mais chaque morceau dudit fichier est en outre copié sur une unité de stockage d'un site secondaire distinct du site principal et des autres sites secondaires sur lesquels sont copiés les autres morceaux du fichier. The unavailability of a storage unit may be related to a software or hardware failure that may be temporary or permanent. Thus, for each piece of said file FL copied to a storage unit of the main site SO, a copy of said piece is also made on a storage unit of a secondary site. Said secondary site which comprises a storage unit on which is copied a piece of the file is distinct from the secondary site which comprises the storage unit on which is stored a copy of another piece. In other words, not only are the pieces of the file distributed one by one on a number of storage units of the main site equal to the number of pieces of the file, but each piece of said file is also copied to a storage unit of a secondary site separate from the main site and other secondary sites on which the other pieces of the file are copied.
Le site défini comme site principal est défini comme tel pour un fichier donné. On peut prévoir que pour un autre fichier le site défini comme site principal soit un autre site. The site defined as the primary site is defined as such for a given file. It can be expected that for another file the site defined as the main site is another site.
La lecture du fichier FL peut être réalisée de la manière suivante. En vue de reconstruire ledit fichier FL, on récupère au moins une partie des N morceaux M1...M5 dudit fichier hébergés sur les unités de stockage U1 ...U5 correspondantes du site principal SO. The FL file can be read as follows. In order to reconstruct said file FL, at least part of the N pieces M1 ... M5 of said file hosted on the corresponding storage units U1 ... U5 are recovered from the main site SO.
Comme illustré à la figure 2, si l'unité de stockage U2 qui héberge l'un M2 des morceaux M1, ..., M5 requis est indisponible, on récupère ledit morceau M2 auprès de l'unité de stockage U22 correspondante du site secondaire S2 qui héberge ledit morceau M2. L'unité de stockage U22 est identifiée dans les métadonnées MD accessibles aux moyens de gestion SG. Comme illustré aux figures 3 et 4, en cas d'indisponibilité de l'ensemble des unités de stockage U01,..., U05 du site principal SO sur lesquelles ont été répartis les N morceaux M1, ..., M5 du fichier, l'un S1 des sites secondaires S1, ..., S5 dont une unité de stockage Ull héberge un morceau M1 du fichier, est sélectionné par le système de gestion SG en tant que nouveau site principal S1. As illustrated in FIG. 2, if the storage unit U2 which houses the one M2 of the pieces M1,..., M5 required is unavailable, said piece M2 is recovered from the corresponding storage unit U22 of the secondary site. S2 which hosts said piece M2. The storage unit U22 is identified in the MD metadata accessible to the management means SG. As illustrated in FIGS. 3 and 4, in the event of the unavailability of all the storage units U01,..., U05 of the main site SO on which the N pieces M1,..., M5 of the file have been distributed, one S1 of the secondary sites S1,..., S5 whose storage unit U11 is hosting a piece M1 of the file, is selected by the management system SG as the new main site S1.
Lesdits N-1 autres morceaux du fichier FL qui sont répartis sur N-1 unités de stockage U22,..., U55 appartenant à N-1 sites secondaires S2,..., S5 sont recopiés sur N-1 unités de stockage U12,..., U15 dudit nouveau site principal S1. Ainsi, les N morceaux M1, ..., M5 du fichier sont hébergés sur N unités de stockage du nouveau site principal S1. Lesdites N-1 copies correspondent à N-1 morceaux différents les uns des autres et du morceau qui est initialement déjà hébergé par le nouveau site principal S1. Said N-1 other pieces of the FL file which are distributed on N-1 U22 storage units, ..., U55 belonging to N-1 secondary sites S2, ..., S5 are copied onto N-1 U12 storage units , ..., U15 of said new main site S1. Thus, the N pieces M1, ..., M5 of the file are hosted on N storage units of the new main site S1. Said N-1 copies correspond to N-1 pieces different from each other and the piece that is initially already hosted by the new main site S1.
Par sécurité, ledit morceau M1 déjà hébergé par l'unité de stockage Ull du nouveau site principal S1 est copié sur une unité de stockage d'un site de stockage supplémentaire (non représenté) distinct du site principal S1 et desdits sites secondaires S2... S5. For security, said piece M1 already hosted by the storage unit U11 of the new main site S1 is copied to a storage unit of an additional storage site (not shown) distinct from the main site S1 and said secondary sites S2. S5.
En pratique le statut de site principal correspond au site qui héberge les N morceaux du fichier et qui est opérationnel. Le statut de site secondaire correspond au site qui n'héberge qu'un morceau dudit fichier. Ces informations sont mémorisées, de préférence au niveau du système de gestion de chaque site, et mises à jour en temps réel de sorte qu'en cas de défaillance du site principal l'un ou l'autre des sites secondaires peut être redéfini en tant que site principal avec un risque réduit de perte d'information concernant la répartition des morceaux sur les différents sites. Le système de gestion SG qui reçoit une requête pour récupérer au moins une partie des morceaux du fichier FL peut ainsi identifier de manière fiable et en temps réel l'identité des unités du site principal qui hébergent les morceaux requis et si besoin l'identité d'une ou des unité(s) d'un ou des site(s) secondaire(s) qui héberge(nt) une ou des copie(s) d'un ou des morceau(x) requis. In practice the status of main site corresponds to the site which hosts the N pieces of the file and which is operational. The secondary site status is the site that hosts only a piece of the file. This information is stored, preferably at the level of the management system of each site, and updated in real time so that in case of failure of the main site either of the secondary sites can be redefined as that main site with a reduced risk of loss of information regarding the distribution of pieces on different sites. The management system SG that receives a request to retrieve at least part of the pieces of the file FL can thus reliably identify in real time the identity of the units of the main site that host the required pieces and if necessary the identity of the a unit (s) of a secondary site (s) hosting a copy (s) of the required piece (s).
La présente invention n'est nullement limitée aux modes de réalisation décrits et représentés, mais l'homme du métier saura y apporter toute variante conforme à son esprit. The present invention is not limited to the embodiments described and shown, but the skilled person will be able to make any variant within his mind.
Claims (14)
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| FR1159475A FR2981766B1 (en) | 2011-10-20 | 2011-10-20 | METHOD FOR STORING DIGITAL DATA ON A PLURALITY OF SITES AND CORRESPONDING INFRASTRUCTURE |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| FR1159475A FR2981766B1 (en) | 2011-10-20 | 2011-10-20 | METHOD FOR STORING DIGITAL DATA ON A PLURALITY OF SITES AND CORRESPONDING INFRASTRUCTURE |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| FR2981766A1 true FR2981766A1 (en) | 2013-04-26 |
| FR2981766B1 FR2981766B1 (en) | 2013-11-15 |
Family
ID=45592537
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| FR1159475A Active FR2981766B1 (en) | 2011-10-20 | 2011-10-20 | METHOD FOR STORING DIGITAL DATA ON A PLURALITY OF SITES AND CORRESPONDING INFRASTRUCTURE |
Country Status (1)
| Country | Link |
|---|---|
| FR (1) | FR2981766B1 (en) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10949478B2 (en) | 2013-11-28 | 2021-03-16 | Patrick Faulwetter | Platform apparatus for actively distributed qualitative collective knowledge |
| US11657109B2 (en) * | 2013-11-28 | 2023-05-23 | Patrick Faulwetter | Platform device for providing quantitative collective knowledge |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| FR2858497A1 (en) * | 2003-07-31 | 2005-02-04 | Olivier Jacquier | Documents providing process for e.g. Internet, involves decomposing sections of document and identifier set into projections by Mojette transform, and gradually sending sections to client machine that confirms reception by its signature |
| WO2007103533A1 (en) * | 2006-03-08 | 2007-09-13 | Omneon Video Networks | Gateway server |
| WO2007133791A2 (en) * | 2006-05-15 | 2007-11-22 | Richard Kane | Data partitioning and distributing system |
| WO2007138166A1 (en) * | 2006-05-29 | 2007-12-06 | Teliasonera Ab | File archives in distributed file system architecture |
| US20080256147A1 (en) * | 2005-10-18 | 2008-10-16 | Medical Research Council | Method and a System for Storing Files |
| US20090094318A1 (en) * | 2005-09-30 | 2009-04-09 | Gladwin S Christopher | Smart access to a dispersed data storage network |
-
2011
- 2011-10-20 FR FR1159475A patent/FR2981766B1/en active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| FR2858497A1 (en) * | 2003-07-31 | 2005-02-04 | Olivier Jacquier | Documents providing process for e.g. Internet, involves decomposing sections of document and identifier set into projections by Mojette transform, and gradually sending sections to client machine that confirms reception by its signature |
| US20090094318A1 (en) * | 2005-09-30 | 2009-04-09 | Gladwin S Christopher | Smart access to a dispersed data storage network |
| US20080256147A1 (en) * | 2005-10-18 | 2008-10-16 | Medical Research Council | Method and a System for Storing Files |
| WO2007103533A1 (en) * | 2006-03-08 | 2007-09-13 | Omneon Video Networks | Gateway server |
| WO2007133791A2 (en) * | 2006-05-15 | 2007-11-22 | Richard Kane | Data partitioning and distributing system |
| WO2007138166A1 (en) * | 2006-05-29 | 2007-12-06 | Teliasonera Ab | File archives in distributed file system architecture |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10949478B2 (en) | 2013-11-28 | 2021-03-16 | Patrick Faulwetter | Platform apparatus for actively distributed qualitative collective knowledge |
| US11657109B2 (en) * | 2013-11-28 | 2023-05-23 | Patrick Faulwetter | Platform device for providing quantitative collective knowledge |
Also Published As
| Publication number | Publication date |
|---|---|
| FR2981766B1 (en) | 2013-11-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10924511B2 (en) | Systems and methods of chunking data for secure data storage across multiple cloud providers | |
| Ruan et al. | Cloud forensics | |
| US20090094251A1 (en) | Virtualized data storage vaults on a dispersed data storage network | |
| JP2009527824A5 (en) | Protection management method for storage system having a plurality of nodes | |
| CN102934097B (en) | Data deduplication | |
| US8171101B2 (en) | Smart access to a dispersed data storage network | |
| US9846540B1 (en) | Data durability using un-encoded copies and encoded combinations | |
| US20070094312A1 (en) | Method for managing real-time data history of a file system | |
| US11176165B2 (en) | Search and analytics for storage systems | |
| FR2878673A1 (en) | PERENNE DISTRIBUTED BACKUP SYSTEM AND METHOD | |
| CN109995505B (en) | Data security duplicate removal system and method in fog computing environment and cloud storage platform | |
| US20110072115A1 (en) | Block based access to a dispersed data storage network | |
| US20130305046A1 (en) | System and Method for Virtual Machine Data Protection in a Public Cloud | |
| CA2546182A1 (en) | Apparatus, system, and method for grid based data storage | |
| TW201015371A (en) | Storing log data efficiently while supporting querying | |
| CN104754055A (en) | Safety cloud storage method for use in multi-cloud environment | |
| CN1672155A (en) | Method and device for regulating file sharing | |
| US20110238935A1 (en) | Systems and/or methods for distributed data archiving | |
| US20100211608A1 (en) | Apparatus and method for generating a database that maps metadata to p2p content | |
| US9386089B2 (en) | Early detection of high volume peer-to-peer swarms | |
| US11005663B2 (en) | Secure audit scheme in a distributed data storage system | |
| Farina et al. | Overview of the forensic investigation of cloud services | |
| US20190342074A1 (en) | Ultra-secure blockchain enabled analytics | |
| CN102761596A (en) | Method for uploading a file in an on-line storage system and corresponding on-line storage system | |
| FR2981766A1 (en) | Method for performing digital data storage in infrastructure, involves distributing pieces of data in set of storage units that is different from another set of storage units in secondary site |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PLFP | Fee payment |
Year of fee payment: 5 |
|
| PLFP | Fee payment |
Year of fee payment: 6 |
|
| PLFP | Fee payment |
Year of fee payment: 7 |
|
| CD | Change of name or company name |
Owner name: ROZO SYSTEMS, FR Effective date: 20180522 |
|
| PLFP | Fee payment |
Year of fee payment: 8 |
|
| PLFP | Fee payment |
Year of fee payment: 9 |
|
| PLFP | Fee payment |
Year of fee payment: 10 |
|
| PLFP | Fee payment |
Year of fee payment: 11 |
|
| PLFP | Fee payment |
Year of fee payment: 12 |