FR2881308A1 - Procede d'acceleration de la transmission de donnees de journalisation en environnement multi ordinateurs et systeme utilisant ce procede - Google Patents
Procede d'acceleration de la transmission de donnees de journalisation en environnement multi ordinateurs et systeme utilisant ce procede Download PDFInfo
- Publication number
- FR2881308A1 FR2881308A1 FR0500608A FR0500608A FR2881308A1 FR 2881308 A1 FR2881308 A1 FR 2881308A1 FR 0500608 A FR0500608 A FR 0500608A FR 0500608 A FR0500608 A FR 0500608A FR 2881308 A1 FR2881308 A1 FR 2881308A1
- Authority
- FR
- France
- Prior art keywords
- application
- events
- node
- log
- logging
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
- G06F11/14—Error detection or correction of the data by redundancy in operation
- G06F11/1402—Saving, restoring, recovering or retrying
- G06F11/1415—Saving, restoring, recovering or retrying at system level
- G06F11/1438—Restarting or rejuvenating
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
- G06F11/3466—Performance evaluation by tracing or monitoring
- G06F11/3476—Data logging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2201/00—Indexing scheme relating to error detection, to error correction, and to monitoring
- G06F2201/86—Event-based monitoring
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Quality & Reliability (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Hardware Design (AREA)
- Debugging And Monitoring (AREA)
Abstract
La présente concerne un procédé de transmission de données de journalisation, au sein d'un cluster d'ordinateurs, permettant de mémoriser ou reproduire tout ou partie des évènements constituant le déroulement d'un processus utilisateur. Le procédé s'applique en particulier pour les données de journalisation représentant les évènements internes de ce processus.Lorsque le fonctionnement du premier espace mémoire utilisateur est géré par un logiciel système comprenant des premières ressources logicielles et matérielles de communication (OPsock, OPM) pour permettre un échange de données un autre noeud (SB), ce procédé comprend une émission des données de journalisation depuis le premier espace mémoire utilisateur (OPU) vers des deuxièmes ressources logicielles et matérielles de communication (HSI) pour les transmettre vers le dit noeud secondaire à un rythme globalement équivalent au rythme du déroulement du processus journalisé.
Description
Procédé d'accélération de la transmission de données de journalisation
en
environnement multi ordinateurs et système utilisant ce procédé La présente concerne un procédé de transmission de données de journalisation, d'un noeud primaire à un noeud secondaire au sein d'un cluster d'ordinateurs, permettant en particulier de mémoriser ou reproduire tout ou partie des évènements constituant le déroulement d'un processus utilisateur au sein du noeud primaire. Le procédé s'applique en particulier pour les données de journalisation représentant les évènements internes de ce processus, qui peut lui-même faire partie d'une application logicielle multi-processus et/ou multi-ordinateurs.
Le domaine de l'invention est celui des réseaux ou clusters d'ordinateurs formés de plusieurs ordinateurs collaborant entre eux. Ces clusters sont utilisés pour exécuter des applications logicielles apportant un ou des services à des utilisateurs. Une telle application peut être mono-processus ou mufti-processus, et être exécutée sur un seul ordinateur ou distribuée sur plusieurs ordinateurs, par exemple sous la forme d'une application distribuée, de type MPI ( Message Passing Interface ) ou de type mémoire partagée ( Shared Memory ).
L'invention permet en particulier de réaliser une gestion du fonctionnement, au sein du cluster, d'une telle application dite maître ou primaire, par exemple par une autre application logicielle dite application intermédiaire, par exemple une application de type middleware . Cette gestion de fonctionnement peut comprendre entre autres des opérations de réplication, de redistribution, de fiabilisation, ou de traçage ( debugging ) de tout ou partie de cette application, au sein du noeud primaire ou en collaboration avec d'autres noeuds dits secondaires.
Dans le cadre de cette gestion de fonctionnement, il est souvent utile de journaliser le fonctionnement de l'application primaire ou de d'un de ses processus, c'est à dire d'enregistrer des informations représentant ce fonctionnement, et pouvant permettre d'en reconstituer le déroulement. Au fur et à mesure du déroulement de l'application primaire, ces informations sont alors générées sous forme de données de journalisation et sont transmises vers un ou plusieurs noeuds secondaires pour mémorisation et sauvegarde.
Par exemple pour tracer et étudier en détail le fonctionnement de l'application primaire, il est alors possible d'étudier ou de reconstituer ce fonctionnement, ultérieurement ou distance, de façon contrôlée et surveillée.
Par exemple également, si l'application primaire subit une défaillance, en particulier matérielle, il est alors possible de créer une nouvelle application de secours sur un noeud secondaire pour remplacer l'application primaire dans les services qu'elle rendait. Cette application de secours peut alors être créée dans un état connu, par exemple un état de point de reprise enregistré précédemment. A partir des données de journalisation de l'application primaire, il est alors possible de forcer l'application de secours à reconstituer le déroulement de l'application primaire jusqu'au moment de la défaillance. Après cette reconstitution, ou rejeu, l'application de secours se trouve dans le même état que l'application jusqu'au dernier événement dont les données de journalisation ont été reçues à l'extérieur du noeud primaire. Si tous les évènements précédant la défaillance ont bien été journalisés et transmis jusqu'à la défaillance, l'application de secours peut alors prendre le relais avec peu ou pas d'interruption de service vis à vis des utilisateurs.
Or actuellement, de nombreuses applications existantes ne comportent pas de telles fonctionnalités de gestion, et il serait trop complexe et coûteux de les modifier pour les leur ajouter.
La solution qui consiste à implémenter ces fonctionnalités dans le logiciel système de l'ordinateur ou du noeud primaire présente certains inconvénients importants, comme les risques d'erreurs, d'instabilité ou d'incompatibilité au sein du réseau et le fait de nécessiter des compétences spécifiques dans le domaine des logiciels systèmes.
Une solution est proposée par ailleurs par les auteurs de la présente invention, qui consiste à faire prendre en charge ces fonctionnalités de gestion par une application intermédiaire qui est exécutée principalement dans l'espace mémoire utilisateur et ne nécessite que peu de modifications au sein du logiciel système lui-même.
Toutefois, dans ce type de solution entre autres, la transmission des données de journalisation du noeud primaire à un noeud secondaire représente une charge de calcul importante par rapport à l'exécution de l'application primaire en elle-même, ainsi que pour les réseaux de communication utilisés. Dans l'état de la technique, l'application maître subit alors une telle perte de performance que, souvent, cette gestion de fonctionnement ne peut pas être utilisée de façon satisfaisante en situation d'exploitation.
En effet, pour pouvoir représenter de façon cohérente, voire complète, le déroulement de l'application primaire, les évènements à enregistrer et à transmettre sont souvent très nombreux. De plus, une grande part de ces évènements correspond à des opérations dont l'exécution est très rapide, en particulier les évènements qui sont internes aux ressources matérielles ou logicielles du noeud primaire, par exemple un appel système demandant l'affectation d'un sémaphore ou réalisant la lecture d'une donnée en mémoire.
Par opposition, pour chacun de ces évènements, la transmission des données de journalisation depuis l'espace mémoire utilisateur constitue une opération beaucoup plus longue, en particulier pour les évènements internes.
En effet, ces données sont pour cela transmises au logiciel système, qui les gère et les traite selon un certain nombre de protocoles réseaux, par exemple un protocole TCP suivi d'un protocole IP, pour les émettre ensuite par des moyens de communication, par exemple une carte réseau. Or il se trouve que ces protocoles réseaux représentent une charge de calcul importante par rapport à la durée d'un événement. De plus, en particulier dans un réseau existant, les performances des moyens de communication d'un ordinateur à l'autre sont en général faibles par rapport aux nombres d'évènements, car elles ne sont le plus souvent prévues que pour des échanges de données intermittents. De ce fait, la transmission des données de journalisation de chaque événement d'une part, et l'événement correspondant d'autre part, présentent des durées d'exécution pouvant parfois différer d'un facteur allant de 100 à plus de 10 000.
Un but de l'invention est de pallier tout ou partie de ces inconvénients.
L'invention cherche en particulier à obtenir: - une transmission plus rapide ou plus fiable des données de journalisation entre le noeud primaire et le ou les noeuds secondaires; une transmission plus simple, plus fiable et plus rapide des données de journalisation vers les moyens de communication au sein du noeud primaire; - une plus grande indépendance de cette transmission par rapport au logiciel système.
A un instant donné, l'application primaire est exécutée sur un ordinateur ou un groupe d'ordinateurs du cluster, appelé noeud primaire ou opérationnel (OP), tandis que les autres ordinateurs du cluster sont appelés noeuds secondaires ou stand-by (SB).
L'invention propose alors un procédé de transmission, d'un noeud primaire à un noeud secondaire au sein d'un réseau informatique, de données de journalisation qui représentent le déroulement d'un processus journalisé exécuté dans un premier espace mémoire utilisateur au sein dudit noeud primaire et qui sont mémorisées dans ledit premier espace mémoire utilisateur au fur et à mesure du fonctionnement dudit processus journalisé. Ce premier espace mémoire utilisateur est du type dont le fonctionnement est géré par un logiciel système comprenant des premières ressources logicielles de communication et interagissant avec des premiers moyens matériels de communication du noeud primaire pour permettre un échange de données entre ledit premier espace mémoire utilisateur et au moins un autre noeud dudit réseau. Ce procédé de transmission comprend alors une émission desdites données de journalisation depuis ledit premier espace mémoire utilisateur vers des deuxièmes ressources logicielles de communication interagissant avec des deuxièmes moyens de communication pour les transmettre vers le dit noeud secondaire à un rythme globalement équivalent au rythme du déroulement du processus journalisé.
Lorsque, par exemple, le noeud primaire est un ordinateur fonctionnant sous Unix dans un réseau TCP/IP sur Ethernet, le logiciel système comprend des modules noyaux ( kernel ) constituant ces premières ressources logicielles , il s'agit en particulier des modules gérant les couches TCP et IP. Ces couches logicielles interagissent des premiers moyens de communication, par exemple une carte Ethernet 10/100Mps au sein de ce même ordinateur et connectée au réseau. Selon l'invention, cet ordinateur reçoit en outre des deuxièmes moyens de communication, par exemple une autre carte réseau plus rapide ou venant en renfort de la première.
Selon une particularité, les deuxièmes ressources logicielles de communication fonctionnent de façon sensiblement indépendante du logiciel système et transmettent les données de journalisation selon un processus comprenant significativement moins d'opérations que les premières ressources logicielles de communication, constituant ainsi un raccourci par rapport aux échanges de données lorsqu'ils sont gérés intégralement par le logiciel système.
Plus particulièrement, les données de journalisation sont générées par un agent de journalisation qui les transmet directement aux deuxièmes ressources logicielles de communication, selon un processus sensiblement indépendant du logiciel système.
Les données de journalisation peuvent également être transmises directement des deuxièmes ressources logicielles de communication aux deuxièmes moyens de communication, selon un processus sensiblement indépendant du logiciel système.
Ainsi, cette transmission entre l'agent de journalisation peut par exemple utiliser des instructions spécifiques accédant directement à un module noyau pilotant la deuxième carte réseau sans utiliser d'appel système Unix, ou commander directement la deuxième carte réseau, par exemple par une interruption matérielle ou en écrivant directement dans la mémoire de la carte.
Selon l'invention, ces caractéristiques peuvent également être appliquées an niveau d'un ou plusieurs noeud secondaires.
Ainsi, au sein du noeud secondaire, les données de journalisation peuvent être reçues et mémorisées dans un deuxième espace mémoire utilisateur géré par un logiciel système.
Dans le même esprit, le logiciel système du noeud secondaire peut interagir avec des premiers moyens de communication, les données de journalisation étant reçues au sein du noeud secondaire par des deuxièmes moyens de communications constituant un raccourci similaire à celui du noeud primaire.
De façon préférentielle, les données de journalisation transmises par les deuxièmes moyens de communication ne représentent qu'une partie des évènements compris dans le déroulement du processus journalisé, cette partie comprenant les plus nombreux ou les plus courts parmi ces évènements. Le choix préférentiel de ce type d'évènements permet de diminuer de façon plus significative les pertes de performances qu'entraîne la journalisation.
En particulier, parmi les évènements compris dans le déroulement du processus journalisé, les données de journalisation transmises par les deuxièmes moyens de communication représentent au moins les évènements internes aux ressources matérielles et logicielles du noeud primaire.
Ce procédé est utilisable en particulier avec des premières ressources logicielles de communication comprenant des composants logiciels de traitement de message au standard TCP/IP.
Les deuxièmes moyens de communication peuvent être en particulier des moyens fonctionnant de façon compatible avec le standard PCI-X.
Dans le cadre de d'une amélioration des performances de la journalisation des évènements internes, c'est à dire les plus rapides et les plus nombreux, un objectif de l'invention est également d'améliorer la gestion du fonctionnement d'une application ou d'au moins un des ces processus.
Dans cet esprit, l'invention propose d'utiliser le procédé pour réaliser une gestion de fonctionnement d'au moins un premier processus applicatif, dit processus cible, cette gestion de fonctionnement comprenant les étapes suivantes: journalisation d'un ou plusieurs évènements survenant dans le processus cible et constituant une séquence journalisée, et mémorisation des données de journalisation en au moins un fichier journal au sein du noeud secondaire; à partir dudit fichier journal, re-jeu selon la même succession, dans un deuxième processus dit processus de reprise, d'un ou plusieurs évènements constituant une séquence rejouée et correspondant aux évènements de la séquence journalisée.
Plus particulièrement, le procédé peut être mis en oeuvre pour réaliser une réplication au fil de l'eau d'au moins un premier processus applicatif dit original exécuté au sein du noeud primaire, à partir d'un point de son déroulement dit de point de reprise, cette réplication au fil de l'eau comprenant les étapes suivantes: journalisation du fonctionnement du processus original à partir du point de reprise et jusqu'à un point dit de réplication, et mémorisation des données de journalisation en au moins un fichier journal au sein du noeud secondaire; pour un processus dit de reprise existant au sein du noeud secondaire dans un état correspondant à l'état du processus original au point de reprise, utilisation du fichier journal pour rejouer dans le processus de reprise les évènements journalisés et amener ainsi le processus de reprise dans un état correspondant à l'état du processus original au point de réplication.
Dans le même esprit, un objectif de l'invention est également d'améliorer les outils de fiabilisation du fonctionnement d'une application, ou d'au moins un de ses processus.
Une telle fiabilisation peut être obtenue en particulier à travers le maintien d'une continuité améliorée du fonctionnement de l'application du point de vue des services qu'elle fourni à ses clients. Lors d'une défaillance, une telle continuité peut être totale, c'est-à-dire que les clients n'ont pas à recommencer la moindre opération pour obtenir le même service. une telle continuité peut également être partielle, c'est-à-dire en diminuant le plus possible le nombre et/ou la complexité des opérations que des clients
- S -
auront à faire à nouveau ou en plus pour obtenir le même service ou une partie déterminée de ce même service.
Dans ce but, le procédé peut être mis en oeuvre pour réaliser une fiabilisation du fonctionnement d'une première application, dite application fiabilisée, exécutée au sein du noeud primaire.
Cette fiabilisation comprend en outre les étapes suivantes: journalisation du déroulement de l'application fiabilisée depuis un point déterminé, dit point de reprise, de son déroulement avant défaillance et mémorisation des données de journalisation dans au moins un fichier journal au sein du noeud secondaire; détection d'une défaillance au sein du noeud opérationnel; dans une application dite de secours, existant au sein du noeud secondaire dans un état correspondant à l'état de l'application fiabilisée au point de reprise, utilisation dudit fichier journal pour rejouer dans ladite application de secours les évènements journalisés dans l'application fiabilisée depuis le point de reprise, restaurant ainsi l'application de secours dans un état correspondant à l'état de l'application fiabilisée avant défaillance après le dernier évènement journalisé.
Selon les modes de réalisation ou selon les situations, l'application de secours peut être créée et maintenue à l'état de point de reprise hors de toute défaillance et à titre préventif, ou être démarrée après la détection d'une défaillance à partir de données mémorisées auparavant.
L'invention propose également un système comprenant un réseau d'ordinateurs collaborant entre eux et incluant au moins un noeud primaire mettant en oeuvre un tel procédé de transmission de données de journalisation.
Plus particulièrement, l'invention propose un tel réseau utilisant une application de type middleware mettant en oeuvre le procédé selon l'invention pour gérer le fonctionnement d'au moins une application exécutée au sein dudit réseau.
L'invention est applicable en particulier au sein d'un environnement de type middleware , par exemple réalisant une gestion de réseau et/ou d'applications distribuées dans un ou plusieurs réseaux.
D'autres particularités et avantages de l'invention ressortiront de la description détaillée d'un mode de mise en oeuvre nullement limitatif, et des dessins annexés sur lesquels: la figure 1 est un schéma symbolique illustrant l'architecture fonctionnelle d'une application intermédiaire mettant en oeuvre l'invention; la figure 2 est un schéma symbolique résumant l'organisation de la journalisation des évènements sur un noeud opérationnel; la figure 3 est un schéma symbolique illustrant le fonctionnement de la journalisation des évènements externes d'un noeud opérationnel et leur sauvegarde sur un noeud secondaire; la figure 4 est un schéma symbolique illustrant le fonctionnement de la journalisation des évènements internes d'un noeud opérationnel et leur sauvegarde sur un noeud secondaire; les figures 4a et 4b illustrent deux variantes du fonctionnement d'un mécanisme de transmission groupée des données de journalisation d'une séquence d'évènements internes; - la figure 5 est un schéma symbolique illustrant le fonctionnement du re-jeu des évènements externes journalisés lors de la mise à jour d'une application de reprise sur un noeud secondaire; la figure 6 est un schéma symbolique illustrant le fonctionnement du re-jeu des évènements internes lors de la mise à jour d'une application de reprise sur un noeud secondaire; la figure 7 est un schéma symbolique de l'utilisation d'une technique d'interposition, lors d'un appel à une routine système, pour insérer des instructions supplémentaires dans l'exécution de cette routine; la figure 8 est un schéma temporel illustrant le déroulement du re-jeu d'un évènement interne pour deux processus concurrents, utilisant un ajout d'instructions supplémentaires dans une routine système pour obtenir le même déroulement que lors de la journalisation; les figures 8a et 8b illustrent le fonctionnement de la journalisation et du rejeu des évènements internes de façon à ne traiter que les évènements non déterministes; - 10 - les figures 8c et 8d sont des schémas illustrant le fonctionnement de l'optimisation le journalisation interne par compression et respectivement décompression heuristique; les figures 9 et 10 sont des schémas symboliques illustrant un exemple d'optimisation, par compression heuristique, de la journalisation d'évènements internes non- déterministes dans des cas d'ordonnancement différent d'évènements internes entre deux évènements externes, au sein de plusieurs processus simultanés sur un noeud opérationnel; - la figure 11 est un schéma symbolique illustrant le fonctionnement non déterministe d'une opération de lecture par la routine read d'un système de type Unix ; la figure 12 est un schéma symbolique illustrant un comportement de cette même routine, rendu déterministe par changement dynamique de sémantique; les figures 13 et 14 sont des schémas symboliques illustrant le fonctionnement non déterministe d'une opération de réception de données dans l'application, en provenance de deux canaux concurrents du système d'exploitation, par les routines select ou poli d'un système de type Unix ; la figure 15 est un schéma symbolique illustrant un comportement de cette même routine, rendu déterministe par changement dynamique de sémantique; la figure 16 est un schéma illustrant les interactions mises en oeuvre par un changement de sémantique.
En particulier dans le déroulement de l'application maître, les opérations de journalisation représentent une charge de travail pour le noeud opérationnel, et peuvent être la cause d'une baisse de performances du fait de l'action de l'application intermédiaire.
La figure 1 illustre l'architecture fonctionnelle d'une application intermédiaire mettant en oeuvre l'invention.
Au sein d'un cluster, une application maître AOP, par exemple une application transactionnelle, rend un certain nombre de services à des utilisateurs ou clients, en particulier par entrée et sortie d'informations sous - 11 - différentes formes. Au sein du cluster, cette application peut être mono- ou multi-tâches (processus ou threads ), et utilise un certain nombre de ressources. En particulier, ces ressources peuvent être des données, par exemple sous la forme d'espaces de mémoire de travail, de mémoire partagée, ou de fichiers de données, ou être des indicateurs d'état, par exemple sous la forme de sémaphores, ou de mutex.
L'application maître est exécutée sur un ou plusieurs ordinateurs formant un noeud, appelé noeud opérationnel OP ou noeud primaire. Une application de gestion de fonctionnement, dite application intermédiaire INT, est exécutée, en une ou plusieurs parties, sur un ou plusieurs noeuds du cluster.
Selon les modes de réalisation, cette application intermédiaire peut gérer différents aspects du fonctionnement de l'application maître au sein du cluster. Une telle application intermédiaire INT peut en particulier travailler en parallèle avec un logiciel de gestion intermédiaire du cluster de type middleware , être intégrée au sein d'un tel middleware, ou constituer elle-même une forme de middleware.
A travers les fonctionnalités décrites ici, l'application intermédiaire INT peut être utilisée en particulier pour réaliser une réplication de tout ou partie d'une application maître au sein du cluster. La réplication d'une application maître peut fournir une autre application qui sera alors appelée application de reprise.
Les fonctionnalités décrites ici, en particulier dans le cadre d'une telle réplication, permettent également de réaliser une fiabilisation de l'application maître, ou un traçage ou une étude de cette application pour réaliser des travaux de mise au point ( debugging ), d'ajustement ou de développement. Une utilisation en fiabilisation comprendra par exemple l'application de reprise comme application de secours ou de remplacement. Une utilisation en traçage ou mise au point comprendra par exemple une journalisation JOP et/ou un re-jeu RSB d'évènements, comme décrit ci-après, selon un rythme ralenti ou commandé, d'évènements journalisés.
Les modes de réalisation appliqués à la fiabilisation ne sont donc décrits ici qu'à titre d'exemples non limitatifs.
- 12 - En différents points du déroulement de l'application maître AOP à fiabiliser, dits points de reprise ou checkpoints , de façon régulière ou sur évènement, l'application intermédiaire INT crée ou maintient à jour au moins une application de reprise ASB exécutée sur un noeud dit secondaire, ou stand by SB.
Cette application de reprise est crée ou maintenue à jour par exemple par une méthode de réplication par capture et restauration d'application, dite méthode de reprise. Cette méthode de réplication comprend des opérations de capture CAP d'état de l'application maître suivies d'opérations de restauration RES de cet état, c'est-à-dire de l'état de ses processus et de tout ou partie des ressources qu'elle utilise.
Lors d'une telle opération de capture CAP, l'état de l'application maître AOP est sauvegardé sous forme de données formant un état de point de reprise EPR.
Certaines ressources de l'application maître, en particulier des fichiers de données représentant un volume important sur des moyens de mémorisation comme des disques durs, peuvent être maintenues à jour au fil de l'eau en plusieurs exemplaires sur plusieurs supports de stockage différents, constituant des fichiers de données de reprise sur des disques miroirs ou des disques partagés. Dans ce cas, les données formant un état de point de reprise peuvent comprendre des informations constituant des références à ces fichiers de données de reprise.
Lorsqu'un point de reprise ou une réplication est basé sur une capture d'état reprenant l'ensemble de l'environnement d'exécution et des ressources de l'application maître, soit directement soit par des références à des fichiers de données de reprise, ce point de reprise ou cette réplication peut être qualifié de holistique.
A partir des données d'un état de point de reprise EPR, l'application intermédiaire INT peut effectuer une restauration RES, par création ou mise à jour, d'une application de reprise ASB. Cette restauration peut s'effectuer de façon régulière ou sur évènement déclenchant, par exemple à la demande d'un administrateur ou d'un mécanisme de gestion de la charge de travail du cluster. Cette restauration peut également s'effectuer après une défaillance du noeud opérationnel, détectée par des moyens de - 13 détection, l'application de reprise pouvant alors être utilisée comme une application de secours permanente ou non.
En cas de besoin, l'application intermédiaire organise un basculement de tout ou partie des services de l'application maître vers une ou plusieurs applications de reprise. Pour que ce basculement se fasse de façon transparente pour les clients, l'application intermédiaire peut utiliser une méthode d'interposition par metaprocess gérant des adresses réseau virtuelles, et réalisant une migration des connexions des clients depuis l'application maître vers ces applications de reprise. L'application intermédiaire peut également utiliser une méthode d'interposition par metaprocess gérant des identifications virtuelles de processus (PID virtuels), permettant de restaurer les communications de ces processus clones de façon identique à celles de leurs processus originaux.
Ces techniques peuvent être par exemple celles décrites dans le 15 brevet FR 2 843 210.
Une restauration suivie d'un basculement partiel ou total peuvent également s'effectuer hors défaillance, par exemple pour répartir la charge de travail de l'application maître ou permettre une maintenance de certains éléments du noeud opérationnel ou du réseau.
De façon à ce que cette défaillance et/ou ce basculement soient le plus transparents possible du point de vue des clients, l'application intermédiaire enregistre tout ou partie des évènements affectant l'application maître entre plusieurs points de reprise, et les sauvegarde sous la forme d'un ou plusieurs journaux ou logs .
A l'issue d'une restauration à partir d'un état de point de reprise, l'application de reprise se trouve dans l'état de l'application maître lors de l'établissement de ce point de reprise. A partir de cet état, l'application intermédiaire utilise les journaux sauvegardés depuis ce point de reprise pour faire ré-exécuter, ou rejouer, par l'application de reprise, les évènements qui ont eu lieu dans l'application maître depuis ce point de reprise. Cette ré-exécution, ou re-jeu, est réalisée de façonà ce que l'application de reprise arrive à l'état où était l'application maître après le dernier évènement sauvegardé, par exemple à un état précédant immédiatement une défaillance.
- 14 - L'application intermédiaire peut également réaliser une virtualisation de certaines ressources vis-à-vis de l'application de reprise, par exemple dans le cas où ces ressources ont changé depuis le point de reprise restauré, pour lui permettre d'effectuer sa ré-exécution sans interférer avec l'état réel de ces ressources, tant qu'elle n'est pas revenu à un état correspondant à cet état réel.
Parmi les évènements à journaliser sur le noeud opérationnel et à rejouer sur le noeud secondaire, on peut distinguer des évènements dits externes et des évènements dit internes.
Les évènements externes sont définis comme extérieurs à l'application concernée, en l'occurrence l'application maître. Ainsi, on peut qualifier d'évènements externes ceux qui sont déclenchés dans l'application par des actions ou des informations provenant de l'extérieur de cette application, c'est-à-dire en particulier provenant d'éléments matériels ou logiciels qu'elle ne contrôle pas. Ces évènements externes peuvent prendre la forme d'entrées de données ou de signaux, par exemple des entrées d'interfaces matérielles, telles que clavier ou souris, ou des informations arrivant par le réseau et provenant du monde extérieur, comme d'un client dans le cas d'une application client-serveur. Le plus souvent, ces évènements externes ne peuvent pas être déduits ou recréés à partir de l'environnement de l'application. Ces évènements externes sont journalisés du côté de l'application maître et peuvent être rejoués du côté de l'application de reprise.
Si l'application concernée, parfois appelée application cible, comporte des éléments exécutés sur un autre noeud que le noeud primaire, les évènements dans cette application mais extérieurs au noeud primaire peuvent également être traités comme des évènements externes.
Les évènements internes sont définis comme internes à l'application maître ou au noeud qui l'exécute, par exemple sous forme d'entrées de données ou de signaux reçu par un processus de cette application et provenant d'un autre processus qui fait aussi partie de l'application. Ces évènements internes peuvent être reçus directement ou par l'intermédiaire de mécanismes ou agents logiciels extérieurs à l'application mais faisant partie du noeud qui l'exécute, par exemple par l'intermédiaire d'applications - 15 - partenaires ou faisant partie du système d'exploitation, comme l'agent Inter Process Communication (IPC) d'un système de type Unix. Ces évènements internes peuvent comprendre des évènements de transmission de messages ( message passing events ), par exemple provenant de files d'attente ( pipe , signal queues ou message queues ) ou d'interfaces de type socket . Ces évènements internes peuvent comprendre également des évènements d'accès à des mémoires partagées ( shared memory access ), par exemple des sémaphores ou des mutex .
Au cours du déroulement d'une application, les évènements internes sont particulièrement nombreux, par exemple par rapport aux évènements externes. De plus, les évènements internes correspondent à des opérations d'exécution rapide, ou de faible latence, en particulier par rapport à la durée d'une opération de journalisation, surtout lorsque celle-ci comprend une transmission réseau ou une mémorisation sur un support permanent comme un disque dur. A titre d'exemple, une opération de journalisation peut représenter une durée de 10 à 10000 fois plus élevée qu'un évènement interne.
Ainsi qu'illustré en figure 2, la journalisation JOP des évènements 20 survenus depuis un point de reprise est réalisée de façon différente pour les évènements externes et internes, et sauvegardée séparément.
Un noeud opérationnel OP, raccordé au cluster par un réseau, comprend un espace matériel, supportant un espace système, qui supporte lui-même un espace dit espace utilisateur . L'espace matériel, qui peut être défini par référence à une ou plusieurs des couches les plus basses du modèle OSI, comprend en particulier les dispositifs matériels d'exécution de processus, mémoire physique et processeurs, et de communication, tels que des cartes réseau. Typiquement, une grande part des évènements externes transitent par l'espace matériel, sous forme de communications passant par le réseau.
L'espace système, qui peut être défini par référence à une ou plusieurs des couches intermédiaires du modèle OSI, comprend en particulier le système d'exploitation. Cet espace système comprend divers mécanismes ou agents logiciels gérant les communications des applications - 16 - avec le monde extérieur à travers l'espace matériel, par exemple sous la forme de sockets dans un système Unix, ou gérant les communications entre plusieurs processus d'applications, par exemple sous la forme de pipe et d'IPC dans un système Unix.
L'espace utilisateur, qui peut être défini par référence à une ou plusieurs des couches les plus élevées du modèle OSI, comprend les processus faisant partie des diverses applications exécutées par le noeud, telles que l'application maître et l'application intermédiaire. Dans cet espace utilisateur sont exécutés plusieurs processus P1, P2, et Pn faisant partie d'une ou plusieurs applications, par exemple l'application maître. Ces processus échangent des informations avec l'extérieur par l'intermédiaire d'un ou plusieurs sockets de l'espace système, et entre eux par l'intermédiaire d'un ou plusieurs éléments pipes de l'espace système. Certains de ces processus accèdent également, de façon concourante et gérée par des ressources d'état (non représentées), à des ressources de mémoire partagée SHM ( shared memory ).
Lors de l'établissement d'un point de reprise, l'application intermédiaire peut démarrer un ou plusieurs nouveaux journaux, ou enregistrer une marque de point de reprise ( checkpoint mark ) dans le ou les journaux en cours.
Il est à noter que le terme de utilisateur , en particulier dans le cas de I < espace utilisateur ou du journal d'évènements internes user log (décrit plus loin), est ici à prendre dans un sens de utilisateur de l'espace système . C'est-à-dire que l'espace utilisateur est accessible aux applications utilisant le noeud et son système d'exploitation, même si cet espace utilisateur n'est pas directement accessible à des personnes ou ordinateurs communiquant avec ces applications, et qui seront alors qualifiés de clients .
Les évènements externes sont sauvegardés dans un journal, constitué d'un ou plusieurs fichiers KL, appelé kernel log (cf.figure 2). Pour réaliser cette sauvegarde, les données représentant ces évènements sont lues, après leur arrivée au sein du noeud, à un bas niveau des couches de la classification internationale OSI. Préférentiellement, ces évènements externes sont lus dans l'espace système, par exemple dans le kernel, avant d'être démultiplexés, et avant d'être traités par la pile ( protocol stack ). Du fait que cette journalisation se fait directement depuis l'intérieur de l'espace système, il est possible d'éviter des pertes de performances causées par des écritures de tampon ou de changements de contexte non nécessaires.
La figure 3 illustre plus en détails le fonctionnement de la journalisation d'évènements externes, en particulier lorsqu'ils prennent la forme de messages au protocole TCP-IP. L'application maître s'exécute sur le noeud opérationnel OP et comprend au moins un processus P1.
L'application intermédiaire comprend d'une part un module IPIogOP comprenant un processus de contrôle CtIOP, s'exécutant sur le noeud opérationnel OP, et d'autre part un module IPIogSB comprenant un processus de contrôle CtISB s'exécutant sur un noeud secondaire SB. Sur chacun de ces noeuds OP et SB, le processus de contrôle configure et gère le fonctionnement d'un mécanisme ou agent logiciel disp (DISPP, DISPS) , s'exécutant dans l'espace système du noeud concerné.
Dans le cas d'un système de type Unix, cet agent disp comprend en particulier un module noyau (kernel), chargé dans l'espace système. Ce module noyau est chargé dynamiquement dans le noyau au moment du démarrage (boot) du système, ou bien avant le lancement de l'application à gérer ou à fiabiliser. Du point de vue de la structure fonctionnelle, par exemple en référence aux couches OSI, ce module s'insère sous la couche IP, en particulier entre la couche IP et la couche network device qui dépend de l'espace matériel.
Cet agent disp peut intercepter et stocker les messages, reçus du réseau à destination de la couche TCP, dans une file d'attente QOP et QSB, fonctionnant en transmission ou en réception selon les besoins.
En étape 1, un message provenant d'un client, à destination du processus P1, est reçu par l'agent disp au sein de l'espace système du noeud opérationnel OP, qui le garde dans une file d'attente de transmission QOP.
En étape 2, un message de journalisation, représentant le message reçu, est transmis par l'agent DISPP du noeud primaire à un noeud -18 secondaire SB, où un agent DISPS le reçoit en file d'attente de réception QSB.
Le noeud opérationnel OP peut en particulier communiquer avec un ou plusieurs noeuds secondaires SB par sur un réseau local (LAN) séparé, en utilisant un dispositif réseau différent de celui utilisé pour communiquer avec les clients.
Plusieurs de ces noeuds secondaires peuvent également être abonnés à une adresse de type multicast selon le standard RFC 1112 pour communiquer avec le noeud opérationnel OP. L'utilisation d'une adresse multicast, par exemple définie par le standard RFC 1112 Host Extensions for IP Multicasting ) comme une adresse IP dans la plage située entre 224.0.0.0 et 239.255.255.255, permet ainsi au noeud opérationnel de n'émettre qu'une seule fois les messages destinés simultanément à plusieurs noeuds secondaires, sans pour autant alourdir le réseau par une émission qui serait envoyée à toutes les adresses du réseau.
Préférentiellement, le message de journalisation transmis d'un noeud OP à un autre noeud SB contient la totalité du ou des paquets reçus au niveau de la couche physique, sous leur forme originale. C'est-à-dire qu'il contient les données destinées à l'application maître, mais aussi les données de réseau telles que les entêtes Ethernet, IP, et TCP.
En étape 3, le noeud secondaire SB transmet un message d'accusé de réception au noeud opérationnel OP.
En étape 4, sur le noeud opérationnel OP et une fois que l'accusé de réception correspondant a été reçu, le message est retiré de la file d'attente 25 de transmission QOP et transmis à la couche TCP.
Dans une étape 4' parallèle, le noeud secondaire SB enregistre le message dans un journal, par exemple le journal KL kernel log des évènements externes, et le retire de la file d'attente de réception QSB.
En étape 5, sur le noeud opérationnel OP, le processus P1 de l'application maître lit le message dans l'élément socket et le traite pour la suite de son fonctionnement.
Du fait que la prise en compte, par l'application maître, du message arrivant ne se fait qu'après accusé de réception de la part du noeud secondaire SB, l'invention permet d'être sûr qu'un message non journalisé ne puisse être traité par l'application. Par exemple, un tel message non lu peut alors être récupéré par les fonctions de retransmission du protocole TCP.
Si une marque de point de reprise est prévue dans le journal kernel log , le processus de contrôle CtISB du noeud secondaire y enregistre des données représentant cette marque de point de reprise.
Le contenu d'un évènement interne dépend directement de l'environnement local, c'est-à-dire au sein du noeud, du contenu des évènements externes précédents, et de questions d'ordonnancement au sein d'un processeur ou de gestion de plusieurs processeurs ou ordinateurs fonctionnant en parallèle au sein d'un noeud. De ce fait, dans la plupart des cas, seul l'ordre de ces évènements influe sur le comportement ultérieur de l'application.
L'application intermédiaire INT se contente de journaliser l'ordre de ces évènements internes, sans mémoriser le détail, ou les paramètres, de chacun d'eux. Ce choix permet alors de diminuer le volume des données à mémoriser pour la journalisation JOP de ces évènements internes, et donc de minimiser la perte de performance engendrée dans le noeud opérationnel et l'application maître par cette journalisation.
Les évènements internes sont sauvegardés dans un journal, constitué d'un ou plusieurs fichiers, appelé user log (cf. figure 2).
Ainsi qu'illustré en figure 4, les noeuds primaire OP et secondaire SB communiquent par un système matériel et/ou logiciel d'interconnexion haute vitesse HSI. Ce système HSI permet des transferts de données entre le processus de journalisation PIogOP du noeud primaire OP et un processus de journalisation PIogSB d'un noeud secondaire SB, et ce directement en contournant tout ou partie des systèmes d'exploitation de ces deux noeuds. Un tel système HSI peut être implémenté, selon des moyens connus, en utilisant les contrôleurs d'interface réseau existant, comme les cartes réseaux et leur logiciels pilotes. Un tel système HSI peut également être réalisé en utilisant des dispositifs réseau haute performance, en parallèle ou en combinaison avec le reste du réseau interne au cluster.
Les évènements internes sont scrutés et lus au sein de l'espace utilisateur du noeud opérationnel OP par un processus de journalisation PIogOP de l'application intermédiaire. Celui-ci transmet alors au processus de journalisation PIogSB du noeud secondaire, par le système de connexion haute vitesse HSI, des données représentant ces évènements internes et/ou leur ordre de survenance. Ces données sont alors sauvegardées dans un ou plusieurs fichiers formant le journal User log .
Si une marque de point de reprise est prévue dans le journal user log , le processus de journalisation PlogSB du noeud secondaire y enregistre des données représentant cette marque de point de reprise.
De façon préférentielle, le processus de journalisation PlogOP lit les évènements internes à leur retour , c'est-à-dire lorsque le résultat en est déjà produit mais pas encore transmis au processus de l'application maître qui en a demandé l'exécution.
Cette lecture se fait par exemple en interceptant les appels systèmes d'entrée/sortie, par exemple un accès à un pipe , et les réponses à des opérations de verrouillage de segments de mémoire partagée SHM.
Cette interception peut être réalisée en insérant des instructions d'enregistrement ( recording probes ou sondes d'enregistrement) dans le contenu de tout ou partie des routines fournies par le système et appelées par l'application. Ces sondes d'enregistrement sont ajoutées sous forme d'instructions supplémentaires, formant par exemple un épilogue à la fin du code de la routine d'origine tel qu'illustré en figure 7, en utilisant une technique d'interposition dynamique par metaprocess , comme précisé plus loin.
Le journal des évènements internes, le user log , comprend ainsi une succession d'enregistrements représentant chacun un évènement interne. Ces évènements peuvent être journalisés dans un seul fichier, et comprendront alors une identification des ressources et/ou des processus concernés. Ils peuvent également être journalisés dans plusieurs fichiers, à raison par exemple d'un fichier par ressource, ou par processus, ou par combinaison des deux.
Pour un fichier correspondant à une ressource déterminée, chacun de ces enregistrements comprend en particulier les champs suivants: - un numéro de séquence de l'évènement concerné, au sein d'une séquence propre à chaque ressource, et qui est - 21 - incrémenté à chaque nouvel évènement ou opération sur cette ressource; une information temporelle, représentant par exemple la durée écoulée depuis le dernier évènement concernant cette ressource; un type d'évènement, par exemple read ou write pour une ressource d'entrée/sortie ( I/O ) ou lock ou unlock pour un sémaphore; un résultat, c'est-à-dire une valeur dans le cas d'une opération d'entrée/sortie ou une identification d'un processus obtenant un accès exclusif dans le cas d'un lock .
Ce résultat sera en particulier utilisé pour réaliser une virtualisation de ressources, par exemple lors du re-jeu des évènements d'un journal par une application de reprise ou de secours restaurée sur un noeud secondaire.
Le résultat mémorisé constituera alors une valeur à forcer comme résultat d'une demande d'opération I/O faite au cours du re-jeu, ou une identification virtuelle de processus (PID virtuel) dans le cas d'une tâche obtenant un Iock .
De façon à limiter les pertes de performances dues à la transmission des données de journalisation, depuis le noeud opérationnel vers un ou plusieurs noeuds secondaires, il est utile de regrouper l'envoi de données représentant plusieurs évènements internes.
Pour cela, l'application intermédiaire peut utiliser une combinaison de plusieurs méthodes différentes, par exemple mises en oeuvre par le processus de journalisation PIogOP dit primaire du noeud opérationnel OP.
On comprend que l'évolution interne d'une application n'a pas d'importance vis-à-vis du monde extérieur, par exemple vis-à-vis de ses clients, tant que cette opération n'envoie rien vers le monde extérieur. Une application de reprise, restaurée à partir d'un point de reprise et d'un journal, ne comportera aucune interruption de ses services au monde extérieur si ce journal n'inclut pas les évènements internes qui ont eu lieu depuis le dernier message externe émis par l'application maître qui a été journalisée.
- 22 - Selon une première méthode, ce processus de journalisation primaire PIogOP envoie les données de journalisation interne au fil de l'eau mais en mode asynchrone et au fur et à mesure des possibilités de transmission, sans bloquer le fonctionnement de l'application maître, tant que celle-ci n'envoie pas de message externe. Lors du prochain envoi par l'application maître d'un message externe, des moyens de détection en avertissent le processus de journalisation primaire qui bloque ou suspend l'émission de ce message externe, et possiblement l'exécution d'un ou plusieurs processus de l'application maître. Ce blocage est alors maintenu jusqu'à ce que la totalité des données de journalisation interne en cours de transmission asynchrone aient été envoyées, ou jusqu'à ce qu'il ait reçu un accusé de réception pour ces données.
Selon une deuxième méthode, le processus de journalisation primaire PIogOP mémorise dans un tampon ou cache les données de journalisation interne représentant plusieurs évènements internes successifs, sans les transmettre immédiatement au processus de journalisation PIogSB du noeud secondaire. Il ne les transmet que lorsque leur nombre atteint un seuil déterminé, ou lorsque l'application doit envoyer un message dit externe au monde extérieur, par exemple des données ou un signal à destination d'un client ou d'un processus externe. Lors du prochain envoi par l'application maître d'un message externe, des moyens de détection en avertissent le processus de journalisation primaire qui bloque ou suspend l'émission de ce message externe et possiblement l'exécution d'un ou plusieurs processus de l'application maître. Ce blocage est alors maintenu jusqu'à ce que le processus de journalisation primaire ait transmis au noeud secondaire les données de journalisation restant dans le cache, ou jusqu'à ce qu'il ait reçu un accusé de réception pour ces données.
Dans ces deux méthodes, le fait d'avoir à émettre un message externe constitue un événement sortant externe, qui constitue un type d'événement que l'on peut qualifier de bloquant, c'est à dire qui nécessite que la journalisation des évènements précédents soit clôturée avant exécution de cet évènement. Selon les modes de réalisation, d'autres types d'évènements peuvent aussi être choisis comme bloquants, le plus souvent en plus des évènements sortants externes.
- 23 - La figure 4a illustre le fonctionnement d'une journalisation d'évènements avec regroupement des données de journalisation DJ de plusieurs évènements internes EVI avant transmission à l'extérieur du noeud primaire OP.
En une étape 1, le processus de journalisation PIogOP détecte, au sein du déroulement d'un processus journalisé P1, la survenue d'un d'événement EVI.
En une étape 2, le processus de journalisation PIogOP vérifie si l'événement détecté EVI est d'un type devant être considéré comme bloquant.
En une étape 3, si l'événement EVI n'est pas d'un type bloquant, la journalisation de cet événement produit une donnée de journalisation DJ.
En une étape 4, cette donnée de journalisation DJ est mémorisée au sein du noeud primaire OP dans une structure ordonnée constituant un journal tampon JSlLocal, avant d'attendre la détection d'un prochain événement.
En une phase 5, lorsque l'événement détecté EVI est d'un type bloquant, le processus de journalisation PIogOP réalise une phase de clôture de la séquence courante des évènements internes précédemment journalisés dans le journal tampon JSlLocal.
Cette phase 5 comprend une étape 6, où l'exécution du processus journalisé P1 est suspendu en attendant la bonne exécution de la phase de clôture 5.
Cette phase 5 comprend aussi une étape 7, où le processus de journalisation PIogOP du noeud primaire OP transmet le contenu du journal tampon JSlLocal au processus de journalisation du noeud secondaire PIogSB, qui le mémorise dans le journal JSemi concernant l'événement détecté EVI, à la suite des données précédentes. Le processus de journalisation primaire PIogOP continue alors la journalisation de l'événement détecté EVI, en reprenant une séquence tampon si cet événement est aussi un événement interne.
Dans une variante illustrée en figure 4b, la mémorisation en tampon d'évènements internes peut être déclenchée par des types d'évènements possiblement différents des évènements de type bloquant. Il s'agit alors 24 - d'évènements de type déclenchant. Un même type d'événement peut être choisi comme constituant un type seulement bloquant ou seulement déclenchant ou les deux.
Dans cette variante, l'étape 1 de détection d'un événement est suivie d'une étape bl. Dans cette étape bi, si l'événement détecté EVI est d'un type considéré comme déclenchant, le processus de journalisation primaire PIogOP vérifie si une séquence courante SEQC de journalisation en mémoire tampon est en cours, et en initialise une si ce n'est pas le cas.
En une étape suivante b2, teste si une telle séquence courante SEQC 10 de journalisation en mémoire tampon est en cours pour l'événement détecté EVI.
En une étape b3, si aucune séquence courante tampon SEQC n'est active pour cet événement EVI, son résultat est journalisé en tant que donnée de journalisation Di En une étape b4, cette donnée de journalisation DJ est transmise au processus de journalisation secondaire PIogSB qui le mémorise à la suite des précédents dans le fichier journal JSeml concernant l'événement détecté EVI, à la suite des données précédentes. Le processus de journalisation primaire PIogOP attend alors la détection d'un nouvel événement.
A la suite de l'étape b2, si un séquence courante est active pour l'événement détecté EVI, la journalisation de cet événement se poursuit de la même façon qu'en figure 4a.
Lorsque l'application intermédiaire veut basculer tout ou partie des services de l'application maître vers une application de reprise, elle commence par restaurer une telle application de reprise sur un noeud secondaire à partir d'un état de point de reprise, puis effectue un rejeu des évènements journalisés depuis ce dernier point de reprise.
En particulier pour une application maître qui fonctionne de façon évènementielle, c'est à dire sur évènements déclenchants (externes), par exemple une application transactionnelle, le re-jeu de restauration s'effectue de façon différente pour les évènements externes ou pour les évènements internes.
- 25 - Un tel fonctionnement signifie, pour l'application, qu'elle comprend au moins un processus qui peut rester à attendre de recevoir un évènement externe, et y réagir en réalisant des opérations comprenant des évènements internes.
Le re-jeu comprend alors donc une fourniture active à l'application des évènements externes journalisés, et une réponse passive fournissant les réponses journalisées en réponse à des évènements internes que le déroulement de l'application de reprise crée de lui-même au cours du rejeu.
La figure 5 illustre le fonctionnement du re-jeu RSB des évènements externes de type messages TCP, journalisés dans un ou plusieurs fichiers KL constituant le journal externe kernel log .
Ce kernel log KL est utilisé par un processus de re-jeu PRE, appartenant à l'application intermédiaire et s'exécutant dans l'espace utilisateur du noeud secondaire SB, pour réinjecter dans un processus PB1 de l'application de reprise les messages TCP journalisés précédemment.
Pour effectuer cette réinjection, l'application intermédiaire INT comprend ou utilise un mécanisme ou agent logiciel s'interposant dans les couches de réception de messages TCP, par exemple sous la forme d'un mécanisme ou agent logiciel ipfilter , comprenant un module kernel fonctionnant entre les couches IP et TCP. Le noeud secondaire comprend également une fonctionnalité de boucle locale de réseau BL, dont l'accès est adressé ( mapped ) par une interface au sein du système pour être accessible à des processus de l'espace utilisateur. Cette boucle BL peut comprendre en particulier un dispositif physique au sein de l'espace matériel, qui lui permet de réinjecter des données à la base de la couche IP, contrairement à des interfaces virtuelles de loop-back qui sont réalisées de façon logicielle au sein d'un système d'exploitation, par exemple Unix.
En une étape 1, le processus de re-jeu PRE lit un message journalisé dans les fichiers du kernel log KL.
En une étape 2, le processus de re-jeu PRE injecte ce message dans l'interface de la boucle locale de réseau BL.
- 26 - En une étape 3, ce message est reçu par la couche IP, qui la transmet, par l'intermédiaire de l'agent ipfilter , à la couche TCP pour traitement.
En une étape 4, si la couche TCP envoie un accusé de réception vers le réseau, celui-ci sera filtré ou bloqué par l'agent ipfilter .
En une étape 5, après avoir transmis le message vers la couche TCP, après avoir reçu son accusé de réception s'il y en a un, l'agent ipfilter signale au processus de re-jeu PRE que le message a bien été reçu ou traité par la couche TCP.
En une étape 6, le processus PB1 de l'application de reprise reçoit le message de la couche TCP, et réalise une lecture asynchrone du ou des paquets qu'il contient.
Pendant toute la durée du re-jeu, l'agent ipfilter isole l'application de reprise du réseau, en empêchant tous les messages extérieurs d'arriver jusqu'à la couche TCP, et en empêchant tous les messages émis parl'application de reprise d'arriver jusqu'à la couche IP, de façon transparente vis-à-vis de cette application.
Au sein de l'application de reprise, pour effectuer le re-jeu des évènements internes prenant place entre deux évènements externes rejoués, l'application intermédiaire laisse l'application de reprise s'exécuter d'elle-même, tout en virtualisant pour elle les ressources concernées, réalisant ainsi un rejeu passif. Un processus de re-jeu PRI détecte alors chaque opération constituant un évènement interne concernant une ressource déterminée, et force cette ressource à adopter le comportement qui a été journalisé, renvoyant ainsi à l'application de reprise le résultat mémorisé pour cet évènement lors de cette journalisation.
Les figures 6 à 8 illustrent un exemple de re-jeu RSB d'un évènement interne, dans un cas où il comprend une opération de prise d'un sémaphore SEM1 par deux processus PB1 et PB2 de l'application de reprise, en vue d'obtenir un accès en exclusion mutuelle à une ressource partagée, par exemple une zone de mémoire partagée.
Au cours d'une restauration sur un noeud secondaire SB, ces deux processus PB1, PB2 réalisent un re-jeu à partir de fichiers constituant un journal user log . Au cours de leur re-jeu, l'exécution de l'application de - 27 - reprise amène ces processus à réaliser chacun un appel à un même sémaphore SEM1, auquel correspond un fichier journal JSEM1 inclus dans le journal des évènements internes user log .
La détection de ces opérations d'accès et le forçage de leur réponse sont réalisés en utilisant en ajoutant des instructions supplémentaires dans le contenu de tout ou partie des routines fournies par le système et appelées par l'application, en utilisant une technique d'interposition dynamique par metaprocess . Une telle technique peut être par exemple celle décrite dans le brevet FR 2 843 809. En particulier, ces instructions peuvent être regroupées avant le code réalisant les fonctions de la routine d'origine et former alors un prologue, ou être regroupées après ce code et former un épilogue.
La figure 7 illustre ainsi l'insertion d'un prologue et d'un épilogue au sein d'une routine R, donnant ainsi une routine modifiée RM. Dans cet exemple, il est à noter que la même routine modifiée RM peut-être utilisée pour réaliser une journalisation d'une application maître et également pour réaliser un rejeu d'une application de reprise.
Lors de l'exécution des fichiers exécutables de l'application, un processus P exécute une ligne de code appelant la routine R, par exemple la routine sem_wait au standard POSIX.4 , qui demande le positionnement d'un sémaphore déterminé lui attribuant un accès en exclusion mutuelle à une zone déterminée de mémoire partagée. Dans le cas d'une application multi-thread, il peut s'agir d'une instruction pthread_mutex_lock du standard POSIX Threads qui remplit un rôle similaire.
Un agent d'interposition META, chargé dans le système au démarrage ou avant les fichiers exécutables de l'application, intercepte l'appel à la routine d'origine R du système, et le redirige vers la routine modifiée RM. Cette routine modifiée comprend des instructions réalisant ou appelant la routine R d'origine sem_wait , précédées par des instructions réalisant un prologue et suivies par des instructions réalisant un épilogue.
Ces instructions supplémentaires peuvent comprendre, en particulier, un algorithme des types suivants: Pour le prologue: if (replay) check(3sem1) Pour l'épilogue: if (replay) end_check(3sem1) else record(result, Jseml) Les instruction "if(replay)" testent une condition indiquant si l'application est en train de réaliser un re-jeu ou non.
Dans le cas contraire ( else ), cela signifie que l'application s'exécute de façon normale et doit donc être traitée comme une application maître. L'épilogue exécute alors une fonction record(result, Jseml) , qui constitue une sonde d'enregistrement telle que citée précédemment et participe à la journalisation d'un évènement interne en mémorisant le résultat result dans le journal Jseml .
Lorsque la routine sem_wait est appelée par l'application de reprise au cours d'un re-jeu utilisant le journal Jseml , le prologue est exécuté avant la réalisation de la routine sem_wait d'origine du système.
La figure 8 représente un organigramme temporel qui illustre le fonctionnement de cette routine modifiée RM pour effectuer le re-jeu des deux processus PB1, PB2 à partir du journal JSEM1 inclus dans le journal d'évènements internes User Log . Chaque évènement journalisé dans le journal JSEM1 est numéroté selon une séquence incrémentale #OP propre au sémaphore SEM1 concerné. Associé à chacun de ces numéros #op, le journal JSEM1 contient une identification PID du processus qui a appelé le sémaphore correspondant à ce journal JSEM1, lors de la journalisation.
Chacun des deux processus PB1 et PB2 s'exécutant de façon parallèle, leurs appels respectifs au sémaphore SEM1 par la fonction sem_wait ne se font pas forcément dans l'ordre mémorisé dans le journal JSEM1 du sémaphore.
Lorsque le processus PB2 d'identifiant id2 appelle le sémaphore SEM1 au cours du re-jeu, le prologue exécute alors l'instruction check(Jseml) au nom de ce même processus PB2, en une étape 21. Cette fonction check(Jseml) lit dans le journal JSEM1 la ligne correspondant à la valeur actuelle du numéro de la séquence OPSEM1, soit la ligne #1: idl .
- 29 - Cette fonction check compare la valeur PlDlog lue, soit idl , à l'identifiant du processus PB2 appelant, soit id2 . Lorsqu'elle constate que ces valeurs diffèrent, cette fonction check suspend l'exécution du processus PB2 appelant, par exemple en ré-exécutant cette même étape 21 de comparaison en boucle continue.
Par la suite, lorsque le processus PB1 d'identifiant idl appelle lui aussi le sémaphore SEM1 au cours du re-jeu, le prologue exécute également l'instruction check(Jseml) , mais cette fois au nom du nouveau processus appelant PB1, en une étape 11. Lorsqu'elle constate que ce processus appelant PB1 est bien celui dont l'identifiant idl est mémorisé dans le journal à la ligne correspondant au numéro actuel de la séquence active, soit la valeur #1 , la fonction check autorise la poursuite de l'exécution du processus appelant PB1.
En une étape 12, la routine modifiée RM réalise alors les fonctionnalités de la routine R d'origine, soit l'instruction sem_wait , qui lui attribue donc le sémaphore SEM1 et renvoie la valeur idl du processus appelant PB1.
En une étape 13, l'épilogue exécute alors l'instruction end_check(Jseml) au nom du processus appelant PB1. Cette fonction end_check clôt alors l'appel sem_wait du processus PB1 et débloque l'exécution du processus PB2 qui était en attente. Cette opération peut comprendre en particulier une incrémentation du numéro de la séquence OPSEMI de ce sémaphore SEM1, le faisant passer à la valeur suivante #2 .
Dans ce cas, lorsque la fonction check appelée par le processus PB2 s'exécute à nouveau en une étape 22, elle lit la ligne suivante du journal JSEM1 #2: id2 et laisse son processus PB2 appelant poursuivre son exécution de la routine modifiée RM.
En une étape 23, la routine modifiée RM réalise alors à son tour les fonctionnalités de la routine R d'origine, soit l'instruction sem_wait , qui lui attribue donc le sémaphore SEM1 et renvoie la valeur id2 du processus appelant PB1.
En une étape 24, l'épilogue exécute alors l'instruction end_check(Jseml) au nom du processus PB2 appelant, incrémentant à - 30 -nouveau la séquence du sémaphore SEM1 et le rendant disponible pour la suite du rejeu.
Quel que soit l'ordre dans lequel les différents processus en cours de rejeu demandent l'attribution du sémaphore SEM1, on voit qu'ils ne peuvent ainsi l'obtenir que dans l'ordre exact mémorisé dans son journal JSEM1, et donc dans le même ordre que lors du déroulement de l'application maître ayant donné lieu à cette journalisation.
Du fait que ces instructions supplémentaires sont ajoutées par un agent META extérieur à l'application maître et ajouté au système d'exploitation sans modification de celui-ci, on voit que ces opérations de journalisation et re-jeu s'effectuent de façon transparente et non intrusive, pour l'application maître et sans modification des éléments préexistants du système.
Etant donné l'importance du nombre d'évènements internes, il est utile d'optimiser le fonctionnement de leur journalisation et/ou leur re-jeu, en particulier pour éviter une dégradation des performances qui rendrait peu significatifs les bénéfices obtenus par les caractéristiques décrites ci-dessus.
Parmi les types d'évènements internes survenant entre deux évènements externes, la plupart peuvent être qualifiés de déterministes, c'est-àdire ne comportant que des opérations dont le résultat dépend exactement de l'état de l'application avant ces opérations.
Par contre, en particulier dans le cas d'applications multi-tâches ou réparties sur plusieurs noeuds, certains évènements internes sont d'un type non-déterministe, car ils comprennent des opérations qui peuvent fournir un résultat dépendant de facteurs extérieurs à l'application ou au noeud primaire.
En ne journalisant, ou rejouant, que les évènements internes de types non déterministes, il est ainsi possible de limiter la surcharge de travail du noeud opérationnel, et donc la baisse de performances, causées par l'utilisation de l'application intermédiaire pour fiabiliser ou gérer l'application maître.
Ainsi qu'illustré en 8a et 8b, la journalisation et le re-jeu peuvent être accélérés en particulier en ne journalisant le résultat et en ne forçant le - 31 - rejeu que pour les évènements internes dont le comportement n'est pas déterministe.
Pour tous les évènements, et en particulier les évènements internes EVI, un mécanisme d'interposition META (figure 7), tel que décrit précédemment, appelle une routine modifiée RM réalisant l'opération prévue au lieu d'une routine d'origine R. Cette routine modifiée RM comprend une fonctionnalité pouvant réveiller ou informer un processus de journalisation PlogOP ou un processus de rejeu PRI de la survenue de cet événement EVI, et si besoin attendre son accord pour poursuivre le traitement de cet événement ou pour rendre la main au processus P1 ou PB1 qui l'a appelée.
Qu'il s'agisse de journalisation ou de rejeu, la gestion de cet événement EVI comprend alors une étape réagissant à la survenue de cet événement, suivie d'une étape de gestion complémentaire GC (figures 8a, 8b) dont le contenu dépend de la nature déterministe ou non de cet événement interne.
La figure 8a illustre le fonctionnement de la journalisation d'un événement interne. Au cours du déroulement du processus P1 en cours de journalisation JOP (figure 1), l'exécution d'une instruction réalise un événement interne EVI portant sur une ressource partagée, comme un sémaphore SEM1.
En une étape 1, la routine modifiée RM correspondant à l'événement à journaliser EVI informe ou réveille le processus de journalisation PIogOP, qui détecte ainsi la survenue de cet événement EVI.
En une étape 2, la routine modifiée RM correspondant à l'événement EVI réalise sur le sémaphore SEM1 l'opération prévue dans la routine d'origine R et reçoit ou calcule une donnée de résultat DR à destination du processus journalisé P1.
En une étape 3, le processus de journalisation PIogOP incrémente un numéro de séquence SQ, par exemple affecté au sémaphore SEM1, correspondant à la position de l'événement détecté EVI au sein d'une séquence de P1 en cours de journalisation.
En une étape 4, ce processus PIogOP effectue un test pour savoir si l'événement interne EVI détecté est d'un type déterministe ou non. Ce test - 32 - peut porter par exemple sur un paramètre reçu de la routine modifiée RM lors de son appel, ou sur la présence d'une donnée de résultat DR transmise avec cet appel, ou sur une identification d'instruction ou d'événement mémorisée par ailleurs dans le noeud primaire OP.
En une étape 5, si l'événement détecté EVI est d'un type non-déterministe, le processus PIogOP transmet la donnée de résultat DR au processus de journalisation PIogSB du noeud secondaire. Celui-ci mémorise alors la donnée de résultat DR et le numéro de séquence SQ correspondant à l'événement EVI, de façon associée au sein d'un fichier de journalisation JSeml correspondant au sémaphore SEM1, à la suite des données de résultat des évènements journalisés précédents. Selon les conditions de journalisation, les données mémorisées dans le journal JSeml peuvent aussi être directement mémorisées dans un fichier journal sur support permanent dans le noeud primaire par le processus de journalisation PIogOP.
A l'issue d'une séquence d'évènements internes du processus journalisé P1, le journal JSeml contient ainsi une suite ordonnée de toutes les données de résultats renvoyées par le sémaphore SEM1 à ce processus P1, associées aux numéros de séquence des évènements qu'elles concernent.
La figure 8b illustre le fonctionnement du rejeu de cet événement interne EVI, au sein d'un processus de reprise PB1, lors d'une phase de rejeu RSB (figure 1) passif, contrôlé par un processus de rejeu PRI (cf. figure 6), des événements mémorisés dans le journal JSeml correspondant au sémaphore SEM1. Au cours du déroulement du processus PB1 en cours de rejeu des évènements du journal JSeml, l'exécution d'une instruction réalise un événement interne EVI d'un type non déterministe portant sur le sémaphore SEM1.
En une étape 1, la routine modifiée RM correspondant à l'événement à journaliser EVI informe ou réveille le processus de rejeu PRI, qui ainsi détecte et identifie ainsi la survenue de cet événement.
En une étape 2, la routine modifiée RM correspondant à l'événement EVI réalise sur le sémaphore SEM1 l'opération prévue dans la routine d'origine R, et reçoit ou calcule une donnée de résultat correspondant à un - 33 résultat réel de rejeu RRJ. La routine modifiée RM suspend alors l'exécution du processus de reprise PB1 et attend un signal du processus de rejeu PRI pour transmettre ce résultat RRJ au processus de reprise PB1.
En une étape 3, le processus de rejeu PRI lit dans le journal JSeml la prochaine valeur RLi non utilisée pour le rejeu, avec le numéro de séquence SQi qui lui est associé.
En une étape 4, le processus de incrémente un numéro de séquence SQ, par exemple affecté au sémaphore SEM1, correspondant à la position de l'événement détecté EVI au sein d'une séquence de PB1 en cours de rejeu.
En une étape 5, le processus de rejeu PRI effectue un test sur le numéro de séquence actuel SQ et le numéro de séquence lu SQi dans le journal, pour savoir si l'événement en cours EVI de rejeu correspond à un événement journalisé.
En une étape de forçage 7, si ces événement correspondent, le processus de rejeu PRI transmet le résultat lu RLi dans le journal à la routine modifiée RM, qui le mémorise en lieu et place du résultat RRJ de l'opération d'origine R. La routine modifiée RM retourne alors ce résultat RLi au processus de reprise PB1 et le laisse poursuivre son exécution.
De façon optionnelle, l'étape de forçage 6 est précédée d'une étape 6, dans laquelle le processus de rejeu PRI reçoit de la routine modifiée RM le résultat réel de rejeu RRJ et le compare au résultat lu RLi correspondant au résultat du même événement lors de la journalisation. Si ces deux résultats RRJ et RLi correspondent, le processus libère directement la routine modifiée qui retourne son résultat au processus de reprise PB1 et le laisse poursuivre son exécution.
Ainsi, on voit que les évènements non déterministes peuvent être enregistrés et rejoués de façon fidèle et exacte, assurant un déroulement du processus de reprise PB1 lors du rejeu qui soit fidèle à celui du processus cible P1 lors de la journalisation.
Du fait que seuls certains évènements sont journalisés ou rejoués, et parce que les opérations internes supplémentaires de mise en oeuvre de l'invention sont bien plus rapides qu'une mémorisation ou transmission pour - 34 - journalisation, on diminue la surcharge de travail due au fonctionnement de l'application intermédiaire INT.
Optionnellement, lorsqu'une routine d'origine R n'est prévue que pour réaliser des évènements qui sont déterministes, une routine modifiée RM qui lui correspond peut ne pas prévoir du tout d'appel à un processus de journalisation ou de rejeu. De même, lorsqu'une routine d'origine R n'est prévue que pour réaliser des évènements non-déterministes, sa routine modifiée RM peut comprendre un appel systématique à un processus de journalisation ou de rejeu. lors de la journalisation, l'étape 4 (figure 8a) de test de la nature déterministe peut alors être implicitement réalisée dans le type d'appel reçu ou dans le fait même de recevoir un appel.
Dans le cas où un type donné d'évènement interne peut être déterministe ou non selon le type d'application ou les conditions de son exécution, la routine modifiée RM peut aussi inclure dans son prologue et/ou son épilogue des instructions évaluant ce type d'application ou ces conditions d'exécution.
L'utilisation d'un numéro de séquence SQ peut aussi être optionnelle. Dans ce cas, le processus de journalisation PIogOP (figure 8a) se contente de mémoriser la donnée de résultat lorsque l'événement EVI est de type non déterministe. De son côté, le processus de rejeu PRI (figure 8b) se contente de lire le prochain résultat RLi journalisé, et considère qu'il s'agit du résultat à forcer pour le prochain événement EVI détecté comme étant non déterministe.
En outre, une méthode d'optimisation heuristique, ou prédictive, permet de ne pas journaliser systématiquement tous les évènements internes non déterministes. Cette méthode peut être mise en oeuvre seule ou en combinaison avec d'autres méthodes d'optimisation.
Du fait du coût en termes de temps des opérations de journalisation et rejeu, en particulier par rapport à des opérations internes à un noeud, il peut en effet être intéressant de réaliser un certain nombre d'opérations internes supplémentaires si cela permet de diminuer le nombre de d'opérations de journalisation.
Cette technique d'optimisation heuristique comprend la mise en oeuvre, par l'application intermédiaire, d'une compression heuristique -35 fonctionnant par prédiction de résultats et portant sur tout ou partie des évènements internes détectés lors du fonctionnement de l'application maître.
Lors de la journalisation au sein du noeud opérationnel, cette 5 compression heuristique peut par exemple être mis en oeuvre par le processus de journalisation interne PlogOP.
La figure 8c illustre le fonctionnement de la journalisation d'un événement non déterministe, avec utilisation d'une telle compression heuristique CH.
Au cours du déroulement du processus P1 en cours de journalisation JOP, l'exécution d'une instruction réalise un événement interne EVInD d'un type non déterministe portant sur une ressource partagée, comme un sémaphore SEM1.
En une étape 1, la routine modifiée RMnD correspondant à l'événement à journaliser EVInD informe ou réveille le processus de journalisation PIogOP, qui détecte ainsi la survenue de cet événement EVInD.
En une étape 2, la routine modifiée RMnD correspondant à l'événement EVInD réalise sur le sémaphore SEM1 l'opération prévue dans la routine d'origine RnD et reçoit ou calcule une donnée de résultat DR à destination du processus journalisé P1.
En une étape 3, le processus PIogOP incrémente le numéro de séquence SQ de journalisation correspondant à la ressource SEM1 concernée par l'évènement détecté EVInD.
Avantageusement, ce numéro de séquence SQ est mémorisé en mémoire de travail au sein du noeud primaire OP. De ce fait, sa gestion représente une charge de travail très faible par rapport à la transmission d'une donnée de résultat vers un noeud secondaire ou sa mémorisation dans un fichier journal sur support permanent.
Cette incrémentation du numéro de séquence SQ associé au sémaphore SEM1 et à son journal JSEM1 permet ainsi d'enregistrer le passage d'un événement non déterministe EVInD correctement prédit par la fonction de prédiction FH tout en évitant la surcharge de travail que représenterait la mémorisation systématique de la donnée de résultat DR.
- 36 - En une étape 4, le processus PIogOP réalise une opération logicielle FH comprenant une prédiction du résultat de cet évènement interne EVInD sous la forme d'un résultat prédit RP. De préférence, cette prédiction est un traitement logiciel déterministe constitué d'une ou plusieurs fonctions déterministes basées sur l'état du processus P1 journalisé ou de l'application maître avant cet évènement EVInD.
En une étape 5, le processus PIogOP compare le résultat prédit RP avec le résultat réel DR issu du déroulement RnD de l'évènement EVInD détecté.
En une étape 6, si ces deux résultats DR et RP sont différents, le processus PIogOP transmet le résultat réel DR et la valeur correspondante du numéro de séquence SQ, au processus PlogSB du noeud secondaire, qui les mémorise de façon associée, comme ligne suivante dans le fichier journal Jseml correspondant à la ressource concernée SEM1.
Lors de cette étape, il est possible de prévoir une réinitialisation du numéro de séquence SQ de journalisation de la ressource SEM1 concernée. Dans ce cas, le numéro de séquence SQ représente le nombre d'évènements correctement prédits depuis le dernier événement dont le résultat a été journalisé.
A l'issue d'une séquence d'évènements internes du processus journalisé P1, le journal JSeml contient ainsi une suite ordonnée de toutes les données de résultats renvoyées par le sémaphore SEM1 à ce processus P1 et qui n'ont pas été prédites correctement par la fonction de prédiction FH.
Dans le cas où la journalisation des évènements internes a été réalisée en utilisant une telle optimisation heuristique, l'application intermédiaire met alors en oeuvre une décompression heuristique lors d'un re-jeu au sein d'un noeud secondaire. Cette décompression heuristique utilise une prédiction identique à celle utilisée pour la compression et porte sur les mêmes évènements que lors de la journalisation avec compression heuristique.
La figure 8d illustre ainsi le fonctionnement du rejeu d'un événement non déterministe, avec utilisation d'une telle décompression heuristique DH, au sein d'un rejeu passif d'un processus de reprise PB1, contrôlé par un 37 - processus de re-jeu interne PRI (cf. figure 6), à partir du journal JSeml portant sur le sémaphore SEM1.
Au cours du rejeu des évènements du journal JSeml, l'exécution d'une instruction réalise un événement interne EVInd d'un type non 5 déterministe portant sur le sémaphore SEM1.
En une étape 1, la routine modifiée RMnD correspondant à l'événement à journaliser EVInD informe ou réveille le processus de rejeu PRI, qui ainsi détecte et identifie ainsi la survenue de cet événement EVInD.
En une étape 2, la routine modifiée RMnD correspondant à l'événement EVInD réalise sur le sémaphore SEM1 l'opération prévue dans la routine d'origine RnD et reçoit ou calcule une donnée de résultat correspondant à un résultat réel de rejeu RRJ. La routine modifiée RMnD suspend alors l'exécution du processus de reprise PB1. Elle attend alors un signal du processus de rejeu PRI pour transmettre ce résultat RRJ au processus de reprise P1 et pour le laisser poursuivre son exécution.
En une étape 3, le processus PRI lit et incrémente la valeur d'un numéro de séquence SQ correspondant au sémaphore SEM1.
En une étape 4, le processus de re-jeu interne PRI compare ce numéro de séquence SQ avec le prochain numéro de séquence SQi non encore rejoué parmi ceux mémorisés dans le fichier journal Jseml correspondant à cette même ressource SEM1.
En une étape 5, si ces numéros de séquence SQ et SQi correspondent entre eux, alors le processus de re-jeu interne PRI lit le résultat mémorisé RLi dans ce journal pour ce numéro de séquence SQi, et le mémorise comme résultat forcé RF à retourner par l'évènement détecté EVInD. Le processus de re-jeu interne PRI mémorise alors le fait que l'événement représenté par la ligne SQi du journal JSeml a été rejoué, et active la ligne suivante SQj de ce même journal pour le traitement du prochain événement détecté.
Lors de cette étape, il est possible de prévoir une réinitialisation du numéro de séquence SQ de rejeu de la ressource SEM1 concernée.
En une étape 6, si ces numéros de séquence SQ et SQi ne correspondent pas entre eux, le processus de re-jeu interne PRI réalise une opération logicielle FH comprenant la même prédiction de résultat que celle - 38 réalisée lors de la journalisation de cet évènement interne, sous la forme d'un résultat prédit RPJ. Le processus de re-jeu interne PRI mémorise alors le résultat RPJ de cette prédiction comme résultat forcé RF à retourner par l'évènement détecté EVInD.
En une étape 8, le processus de re-jeu interne PRI transmet le résultat forcé RF à la routine modifiée RMnD, qui l'impose au processus de reprise PB1 en lieu et place du résultat réel rejoué RRJ retourné par l'événement interne EVInD. La routine modifiée laisse ensuite le processus de reprise PB1 poursuivre son exécution.
De façon optionnelle, ce forçage peut être précédé d'une étape 7 de test pour comparer ces deux résultats RRJ et RF, et éviter d'intervenir dans le processus de reprise PB1 si ces résultats correspondent.
Il est à noter que les données d'identification ou de séquencement SQ utilisées dans cette méthode d'optimisation prédictive peuvent constituer des variables différentes de celles décrites précédemment (figures 8a et 8b), ou être organisées et traitées de façon à être communes avec elles.
On voit ainsi que, même sans journaliser le résultats de tous les évènements non déterministes, ceux-ci peuvent être enregistrés et rejoués de façon fidèle et exacte. De cette façon, il est donc possible d'optimiser ces opérations de journalisation et rejeu tout en assurant un déroulement du processus de reprise PB1 lors du rejeu qui soit fidèle à celui du processus cible P1 lors de la journalisation.
Etant donné la différence de vitesse entre les opérations de journalisation et de simples opérations de calculs internes à un noeud, cette technique d'optimisation heuristique peut être intéressante même si la fonction de prédiction utilisée n'a pas un taux de succès très élevé. Si cette différence est grande, même un taux de succès de prédiction inférieur à 50 % peut permettre une optimisation utile.
Cette technique d'optimisation heuristique peut également utiliser plusieurs fonctions de prédiction différentes, du moment que c'est la même qui est utilisée pour journaliser puis rejouer un même évènement ou groupes d'évènements internes. Le choix de la fonction de prédiction à utiliser peut s'effectuer en fonction de l'état de l'application ou de son environnement, par exemple à partir d'une base de connaissances ou de - 39 - règles. Ce changement peut alors être mémorisé au sein des données dejournalisation mémorisées par l'application intermédiaire. Cette technique d'optimisation heuristique peut également être utilisée de façon auto adaptative, en évaluant son taux de succès au fur et à mesure de la journalisation et en déclenchant un changement de cette fonction basé sur la valeur de ce taux de succès ou sur sa variation.
Un exemple de fonction de prédiction utilisée dans cette technique d'optimisation heuristique comprend une prédiction de l'ordre de survenue des évènements internes en se basant sur l'ordre de survenue des évènements externes provenant de différents clients.
Les figures 9 et 10 illustrent la survenue d'évènements externes et internes participant à trois processus ProcA, ProcB, ProcC d'identifiants valant respectivement a , b , et c , par exemple exécutant trois tâches Ta, Tb, Tc lancées respectivement par trois clients différents. Ces différentes tâches comprennent par exemple chacune un premier évènement externe Eal, Ebl, Eci, et un deuxième évènement externe Ea2, Eb2, Ec3. Entre ces premiers et deuxièmes évènements externes, chacune de ces tâches comprend le déclenchement de deux évènements internes non déterministes. En figures 9 et 10, les évènements internes successifs de la tâche Ta sont ainsi référencés Iai et Ia2, ceux de la tâche Tb sont référencés Ib1 et Ib2, et ceux de la tâche Tc sont référencés Ici et Ic2. Ces évènements internes Iai à Ic2 peuvent être différents l'un de l'autre, ou bien concerner une même ressource déterminée, par exemple des attributions de verrou ( lock allocation ) à une même zone déterminée de mémoire partagée.
Dans le cas de tâches sensiblement simultanées, et en particulier lorsqu'elles ont des parties similaires ou communes entre elles et/ou présentent des durées d'exécution similaires, une fonction de prédiction consiste à prédire que l'ordre de survenue des évènements internes Iai, Ibl, Icl intermédiaires sera le même que l'ordre de survenue des évènements externes qui les précédent.
Au cours du déroulement de l'application maître, l'ordre de survenue des premiers évènements externes Eal, Eb1, Ec1 sur le noeud opérationnel OP est enregistré par l'application intermédiaire, par exemple au sein du 40 - processus de journalisation interne PlogOP. Par exemple, cet ordre d'évènements externes comprend la succession des identifiants des processus associés à ces évènements externes, soit la suite des valeurs a b c .
Lors de chaque détection d'un nouvel évènement interne concernant cette ressource, la fonction de prédiction réalise une prédiction du résultat de cet évènement interne, c'est-à-dire de l'identité du processus qui va obtenir le verrou sur cette ressource, c'est-à-dire celui qui vient de le demander. Ce résultat prédit sera alors calculé en comparant l'identité du dernier processus ayant obtenu le verrou sur cette ressource avec cet ordre d'évènements externes.
Ainsi, la fonction de prédiction effectuera une suite de prédictions Pel à Pe6 figurées chacune par une ligne pointillée et dont le résultat est indiqué à son extrémité de droite.
La figure 9 illustre les valeurs des prédictions réalisées à chaque survenue d'un évènement interne, dans le cas où ces évènements internes suivent l'ordre d'évènements externes. A partir de l'ordre d'évènements externes a b c et du dernier évènement interne survenu, la fonction de prédiction réalisera ainsi une prédiction constituant la suite de valeurs a b c a b c , qui se révèleront juste dans ces six cas. Dans le cadre d'une optimisation heuristique, le processus de journalisation interne PIogOP n'aura ainsi pas besoin de transmettre de données de journalisation pour ces évènements internes, puisqu'ils ont été correctement prévus par la fonction de prédiction.
La figure 10 illustre les valeurs des prédictions réalisées à chaque survenue d'un évènement interne, dans un cas où ces évènements internes ne suivent pas exactement l'ordre d'évènements externes, la tâche Tb du processus PrB d'identifiant b s'exécutant de façon plus rapide que les deux autres tâches. A partir de l'ordre d'évènements externes a b c et du dernier évènement interne survenu, la fonction de prédiction réalisera ainsi une prédiction constituant la suite de valeurs a b c c a b . On voit que deux prédictions Pe3, Pe6 se révèleront fausses, ce qui conduira le processus de journalisation interne PIogOP à transmettre des données de journalisation en deux occasions. Ces données de journalisation - 41 comprendront ainsi la valeur c en une transmission L1 à l'issue de la troisième prédiction Pe3 qui s'est révélée erronée, puis la valeur c en une transmission L2 à l'issue de la sixième prédiction P6 qui s'est également révélée erronée.
Malgré ces prédictions erronées Pe3, Pe6, on voit que cette technique d'optimisation heuristique aura permis au processus de journalisation interne PIogOP de n'effectuer que deux transmissions L1, L2 au lieu des six qu'il aurait fallu en son absence. Une telle économie de quatre transmissions sur six représente un temps de travail suffisamment plus grand que les calculs et opérations internes qui sont nécessaires pour mettre en oeuvre cette technique d'optimisation, et peut apporter ainsi un gain de performance significatif, en particulier au sein du noeud opérationnel.
Pour certains évènements internes dont une implémentation standard par le système d'exploitation réalise un comportement non déterministe, il est possible d'utiliser une méthode d'optimisation par changement sémantique. Cette méthode comprend une modification de l'implémentation de tels évènements au sein du noeud, de façon à leur donner un comportement qui soit déterministe. L'application intermédiaire réalise cette modification de façon identique au sein du noeud opérationnel et du ou des noeuds secondaires, ce qui rend prévisibles les résultats de ces évènements internes modifiés. Cette modification d'implémentation se fait de façon dynamique par une technique d'interposition par un metaprocess qui remplace une routine d'origine R d'implémentation d'un évènement par une routine modifiée RM implémentant un comportement modifié pour cet évènement. La technique utilisée pour réaliser cette modification est similaire à celle décrite ci-dessus (cf. figure 7) pour l'ajout de sondes d'enregistrement en prologue et épilogue, mais peut comprendre une modification du code de la partie centrale de la routine modifiée. Cette modification d'implémentation est réalisée de façon transparente pour l'application maître et ne modifie pas les éléments préexistants du système d'exploitation. Par une utilisation de ces routines modifiées dans l'application maître, de façon permanente ou sur au moins un intervalle d'exécution déterminé et mémorisé, il est ainsi possible de journaliser l'évolution de l'application maître sans avoir à mémoriser le résultat de ces évènements modifiés. L'utilisation des mêmes routines modifiées sur les mêmes intervalles d'exécution d'une application de reprise, permet alors de conserver la reproductibilité de l'application maître en améliorant les performances de la journalisation comme du re- jeu.
Ce comportement modifié est conçu de façon à répondre aux mêmes spécifications que le comportement d'origine et être entièrement compatible avec lui, par exemple en prévoyant qu'à partir d'une situation donnée où la routine d'origine aurait pu renvoyer plusieurs résultats différents, la routine modifiée ne fournisse que des résultats qui auraient pu être fournis par la routine d'origine et sont donc prévus par l'application maître et le système d'exploitation.
Cette technique d'optimisation par changement sémantique permet de diminuer le nombre d'évènements internes non déterministes dont le résultat doit être journalisé dans le noeud opérationnel pour pouvoir être rejoué lors de la restauration d'une application de reprise.
Un exemple de fonctionnement et d'interaction des différents intervenants sont illustrés de façon symbolique en figure 16.
Un agent de traitement AT, par exemple au sein du logiciel système, réalise une opération renvoyant un résultat DR à un processus, par exemple un processus journalisé P1. Pour un grand nombre d'opérations ou évènements, en particulier internes, la réalisation de cette opération se fait par un traitement d'opération TO, qui est d'une nature déterministe par rapport à un ensemble de ressources dites déterminantes RDet.
Parmi les ressources accessibles au processus P1, certaines peuvent être qualifiées de ressources reproductibles RRepr à partir de la connaissance de l'état de ce processus P1. Ces ressources reproductibles comprennent en particulier les ressources dont l'état dépend exclusivement de lui.
Dans le fonctionnement de l'agent de traitement AT, le traitement d'opération TO peut comprendre une partie TD de traitement qui est déterministe par rapport aux ressources reproductibles RRepr du processus Pi, par exemple parce qu'elle n'utilise que des données DER provenant de ces ressources reproductibles RRepr.
- 43 - Dans le cas où le traitement d'opération TO comprend une autre partie de traitement utilisant des données DE qui proviennent de ressources SEM1 n'appartenant pas aux ressources reproductibles RRepr du processus P1, il est fréquent que le résultat de cette partie TnD, et donc de l'ensemble du traitement TO, ne soit pas déterministe vis à vis du processus P1 qui y fait appel.
Dans une telle situation, cette méthode de changement sémantique peut consister à utiliser un agent de gestion AG pour modifier le comportement de l'agent de traitement ou les données qu'il utilise ou produit, de façon à ce que l'opération résultant de cette modification soit déterministe par rapport aux ressources reproductibles RRepr.
Cet agent de gestion peut utiliser un traitement de modification de fonctionnement TMF pour modifier le fonctionnement interne du traitement d'opération TO.
Il peut aussi utiliser des données d'entrées DE issues des ressources déterminantes RDet mais non reproductibles (RRepr) vis à vis du processus P1, pour compenser les variations de résultat DR pouvant constituer une source de non déterminisme pour ce même processus P1. Une telle compensation peut s'effectuer en modifiant TC1 les données d'entrées DE en données d'entrée compensées DEC, ou en modifiant TC2 les données de résultat DR en données de résultat compensées DRC.
Cet agent de gestion AG peut en outre choisir ou régler les modifications TMF, TC1, TC2 qu'il effectue en fonction d'un ou plusieurs paramètres de changement sémantique PCS, de façon à optimiser l'efficacité du traitement global AT et AG. De façon à rester reproductible entre une journalisation JOP et un rejeu RSB, il suffit que les variations de ce paramètre de changement sémantique PCS ne soient déterminées que par des données provenant des ressources reproductibles RRepr, ou que ses variations soient mémorisées au sein du journal UL, KL lors de la journalisation et soient lues et appliquées de la même façon lors du rejeu RSB.
Cette modification de comportement peut concerner en particulier les aspects touchant à la gestion de plusieurs processus concurrents auprès d'une ressource déterminée.
- 44 - Les figures 11 et 12 illustrent un exemple d'utilisation de cette technique d'optimisation par changement sémantique pour rendre déterministe une opération de lecture de messages reçu, en utilisant la routine read dans un environnement de type Unix.
Dans son implémentation standard, la routine read , déclenchée par une application, utilise une zone de mémoire tampon B pour lire des messages dans un canal d'entrée ICH ( input channel ) et les transmettre à cette application. Les messages reçus dans le système sous forme de données successives qui sont mémorisées dans une zone de mémoire constituant le canal d'entrée, au fur et à mesure qu'elles arrivent. Selon sa configuration, l'opération read peut utiliser un tampon de différentes tailles, mais ce tampon est utilisé intégralement à chaque lecture dans le canal d'entrée.
Dans cet exemple, l'application utilise une succession d'opérations read de tampon B de taille 50 , pour recevoir trois messages M1, M2, M3 qui lui arrivent successivement dans le canal d'entrée ICH. Ces trois messages représentent des volumes de données valant respectivement 20 , 30 , et 50 . Or la vitesse d'arrivée des données dans le canal d'entrée, d'une part, et la vitesse d'exécution par l'application d'une succession d'opérations de lecture, d'autre part, peuvent varier l'une par rapport à l'autre d'une façon qui n'est pas prévisible au stade d'une journalisation ou d'un re-jeu.
La figure 11 représente ainsi deux scénarios différents possibles pour la lecture des mêmes trois messages à l'aide d'une routine read d'origine.
Dans un premier scénario SCA, une première lecture RAI s'effectue alors que seul les données du premier message M1 de taille 20 sont arrivées. Le tampon B n'est pas rempli entièrement, et l'opération retourne un résultat correspondant au contenu M1 et d'une taille de données de 20 . Une deuxième lecture RA2 s'effectue alors après arrivée du seul deuxième message M2, ce qui retourne un résultat correspondant au contenu M2 et d'une taille de données de 30 . Une troisième lecture RA3 s'effectue alors après arrivée du troisième message M3, ce qui retourne un résultat correspondant au contenu M3 et d'une taille de données de 45 - 50 . Par exemple pour la taille des données reçues par l'application, ce premier scénario A restitue donc une suite de trois résultats valant 20, 30, 50 .
Dans un deuxième scénario SCB, une première lecture RB1 s'effectue alors que les mêmes premier et deuxième messages M1, M2 sont déjà arrivés, ce qui retourne un résultat correspondant au contenu M1, M2 et d'une taille de données de 50 . Une deuxième lecture RB2 s'effectue alors après arrivée du troisième message M3, ce qui retourne un résultat correspondant au contenu M3 et d'une taille de données de 50 . Pour la taille des données reçues par l'application, ce premier scénario SCA restitue donc une suite de deux résultats valant 50, 50 , et ce pour la lecture des mêmes messages.
Ces deux scénarios retournent donc des résultats différents, 20, 30, 50 pour l'un et 50, 50 pour l'autre. En cela, la routine système standard implémentant l'opération read réalise un évènement non déterministe du point de vue de l'application, qu'il s'agisse de la journalisation de l'application maître ou du re-jeu d'une application de reprise.
Pour la même situation qu'en figure 11, la figure 12 représente le 20 scénario unique ScU qui sera obtenu en utilisant une routine modifiée readM en lieu et place de la routine d'origine read .
Dans cet exemple, la routine modifiée prend connaissance de la longueur réelle de chacun des messages reçus et ne lit dans le canal d'entrée ICH que des données correspondant à un seul message, même si le tampon B n'est pas rempli et qu'il reste des données à lire dans le canal d'entrée ICH. Dans le cas de la journalisation de l'application maître, la routine modifiée prend connaissance de la longueur réelle des messages M1, M2, M3 grâce au mécanisme de journalisation des évènements externes correspondant à la réception de ces mêmes messages, par exemple le module IPIogOP. Dans le cas d'un re-jeu lors de la restauration d'une application de reprise, la routine modifiée prend connaissance de la longueur réelle des messages M1, M2, M3 grâce au mécanisme de re-jeu des évènements externes correspondant à la réception de ces mêmes messages, par exemple le module IPIogSB.
- 46 - Ces deux scénarios d'arrivée SCA, SCB différents donnent alors un même comportement de l'opération de lecture, en l'occurrence une unique suite de trois résultats valant 20, 30, 50 , pour la taille des données reçues par l'application.
De même pour d'autres tailles du tampon B, une routine read d'origine produit différentes suites de résultats sont possibles.
Ainsi, pour un tampon de taille 20 , peuvent être obtenus par exemple: 20, 20, 20, 20, 20 ou 20, 20, 10, 20, 20, 10 .
Pour un tampon de taille 100 , peuvent être obtenus par 10 exemple: 20, 30, 50 ou 50, 50 ou 20, 80 ou 100 .
Par contre, pour chaque taille de tampon, une routine readM ainsi modifiée ne peut donner qu'une seule suite de résultats.
Ainsi, pour un tampon de taille 20 , la suite de résultats obtenue sera 20, 20, 10, 20, 20, 10 .
Pour un tampon de taille 100 , la suite de résultats obtenue sera 20, 30, 50 .
La routine readM ainsi modifiée réalise donc bien un comportement déterministe pour l'évènement interne correspondant à une telle opération de lecture.
Les figures 13 à 15 illustrent un autre exemple d'utilisation de cette technique d'optimisation par changement sémantique, utilisée pour rendre déterministe une opération de lecture multiplexée déclenchée par un processus d'une application réalisant une boucle d'attente et pouvant recevoir des données de plusieurs canaux d'entrée/sortie ( I/O channels ), en particulier associés à plusieurs descripteurs de fichiers. Cet exemple est basé sur l'utilisation de la routine select dans un environnement de type Unix, mais pourrait être également être appliqué à l'utilisation de la routine poli .
Dans le présent exemple, trois messages M1, M2, M3 de contenus valant respectivement a , b et c sont reçus par le système d'exploitation OS du noeud, à destination de deux canaux différents ICH1, ICH2.
Cet exemple peut s'appliquer en particulier à la réception de données sous forme de flux ( stream ) par le premier canal ICH1, et de données - 47 sous forme de messages ou paquets de type TCP par le deuxième canal ICH2. Au sein du système d'exploitation OS, deux paquets TCP suivis d'un paquet stream sont alors reçus sous la forme de trois messages successifs M1, M2, M3 de contenu valant respectivement a , b et c .
Au fur et à mesure qu'il les reçoit et selon sa charge de travail, le système d'exploitation OS traite et répartit ces données dans les canaux ICH1, ICH2 correspondant à leur type. A un instant donné de cours de son exécution, l'application appelle la routine select pour déclencher une opération de lecture des différents canaux par lesquels elle peut recevoir des messages.
Dans son implémentation standard, la routine select lit les données en attente dans le premier canal ICH1 puis dans le deuxième canal ICH2, et les transmet aussitôt à l'application, dans l'ordre où elle les a lues.
Or la vitesse d'arrivée des données dans le système d'exploitation OS, la vitesse de leur traitement par le système d'exploitation, et donc leur vitesse d'arrivée dans les canaux d'entrée, d'une part, et la vitesse d'exécution par l'application d'une succession d'opérations de lecture, d'autre part, peuvent varier l'une par rapport à l'autre d'une façon qui n'est pas prévisible au stade d'une journalisation ou d'un re-jeu.
Dans un premier scénario SCA illustré en figure 13, l'application déclenche une lecture multiplexée par la routine select à un premier instant IA, alors que les trois messages sont déjà arrivés dans les deux canaux d'entrée ICH1, ICH2. Lorsque la routine select lit les données, elle lit donc d'abord le troisième message contenu dans le premier canal ICH1, puis les deux premiers messages M1, M2 dans le deuxième canal ICH2. La routine select transmet ensuite ces données dans l'ordre de lecture, et l'opération de lecture produit donc un résultat comprenant la suite de données c, a, b .
Dans un deuxième scénario SCB illustré en figure 14, l'application déclenche une lecture multiplexée par la routine select à un premier instant IB, alors que seuls les deux premiers messages sont arrivés dans le deuxième canal d'entrée ICH2. Lorsque la routine select lit les données, elle lit donc seulement les deux premiers messages M1, M2 dans le - 48 - deuxième canal ICH2 et transmet ces données à l'application dans l'ordre de lecture, soit la suite a b . Lors d'une lecture suivante, après que le troisième message M3 soit arrivé dans le premier canal ICH1, la routine select lit ce troisième message et le transmet à l'application. Dans ce deuxième scénario B, l'opération de lecture par la routine select d'origine produit donc un résultat comprenant la suite de données a b c .
Ces deux scénarios différents SCA, SCB retournent donc des résultats différents, c a b pour l'un et a b c pour l'autre. En cela, la routine système standard implémentant l'opération select réalise un évènement non déterministe du point de vue de l'application, qu'il s'agisse de la journalisation de l'application maître ou du re-jeu d'une application de reprise.
Pour la même situation qu'en figures 13 et 14, la figure 15 représente le résultat unique qui sera obtenu en utilisant une routine modifiée selectM en lieu et place de la routine d'origine select .
Dans cet exemple, la routine modifiée prend connaissance de l'ordre d'arrivée des messages dans le système d'exploitation OS, et lit les messages dans l'ordre où ils sont arrivés. D'ailleurs, pour diminuer les risques d'ambiguïté, la routine modifiée ne renvoie à chaque fois qu'un seul descripteur de fichier. La routine modifiée peut obtenir les informations d'ordre d'arrivée des messages par exemple en examinant le contenu de messages au sein des canaux d'entrées ICH1, ICH2, ou à partir des données de journalisation ou de re-jeu.
Ces deux scénarios d'arrivée différents SCA, SCB donnent alors un même comportement de l'opération de lecture multiplexée, en l'occurrence une unique suite de trois résultats valant a b c .
En modifiant ainsi le mode de fonctionnement de certaines routines implémentant le comportement d'évènements internes qui n'étaient pas déterministes dans un environnement standard pour les rendre déterministes, on voit que l'on obtient une réduction du nombre d'évènements non déterministes. Lorsque cette modification est appliquée de façon identique lors de la journalisation dans l'application maître et lors du re-jeu dans une application de reprise, on diminue donc le nombre d'évènements qui doivent être journalisés pour pouvoir obtenir à l'issue du - 49 - re-jeu une application de reprise qui soit dans un état correspondant à celui de l'application maître ou qui présente une bonne continuité de fonctionnement avec cette application maître.
Ainsi, on voit que cette technique d'optimisation par changement sémantique permet d'améliorer les performances des opérations de journalisation et de re-jeu, et donc de l'application intermédiaire.
En effet, selon les routines auxquelles on applique cette technique de changement sémantique, et selon la nature de la modification qu'on leur apporte, il peut en résulter une légère perte de performances au sein de cette routine par rapport à son comportement d'origine. Toutefois, étant donnée la lenteur des opérations de journalisation, l'économie générée en termes de nombre d'opérations à journaliser peut permettre d'améliorer de façon significative les performances globales de l'application maître dans le cadre de l'application intermédiaire.
Dans cette description, on voit que les mécanismes de l'application intermédiaire sont principalement réalisés par des processus ou modules s'exécutant dans l'espace utilisateur du noeud opérationnel ou des noeuds secondaires. Il s'agit en particulier des processus de journalisation ou rejeu, externes ou internes, identifiés ici au sein de l'application intermédiaire INT (figure 1) sous les références Plog (figure 2), IPIogOP et IPIogSB (figure 3), PIogOP et PIogSB (figure 4), PRE (figure 5) et PRI (figure 6), META (figure 7).
Par opposition, les mécanismes s'exécutant dans l'espace système comprennent surtout des modules d'interposition, ou d'ajout ou de modification de fonctionnalités, qui sont gérés depuis les modules applicatifs. Il s'agit en particulier des modules identifiés ici sous les références DISP (figure 3), ipfilter (figure 5). Certains de ces modules noyau peuvent d'ailleurs être chargés ou déchargés au fur et à mesure des besoins, depuis les modules applicatifs.
Le fait que le déroulement et la vie de l'application intermédiaire aient lieu dans l'espace utilisateur permet de limiter les interactions avec le système d'exploitation des différends noeuds. Cette particularité apporte en particulier une souplesse de déploiement et de gestion, une certaine indépendance vis-à-vis des systèmes d'exploitation et de leur éventuelle - 50 - hétérogénéité, limite les risques d'incompatibilité de type ou de versions, et permet de limiter les interventions dans l'espace système des noeuds qui ne sont pas ou peu concernés par le déploiement de cette application intermédiaire. Cette indépendance vis-à-vis des systèmes d'exploitation permet également de limiter les temps et coûts de développement en évitant d'intervenir trop profondément dans des éléments préexistants de l'espace système, et de garder une certaine indépendance commerciale ou techniques vis-à-vis des spécifications et évolutions de ces systèmes d'exploitation ou des politiques des organismes qui les gèrent.
Une application intermédiaire telle que décrite ci-dessus peut être implémentée de différentes façons et selon différentes combinaisons pour fournir aux utilisateurs ou gestionnaires d'un cluster un service de soutien ou de gestion à d'autres applications. Un tel service peut en particulier être obtenu sous la forme d'un produit logiciel réseau de type middle-ware , permettant de gérer, d'optimiser ou de fiabiliser, au sein d'un cluster, une ou plusieurs applications dans leur version d'origine ( legacy ) tout en leur assurant des fonctionnalités de souplesse ou de sécurité supplémentaires, par exemple adaptées à la nature du cluster.
Une utilisation d'une telle application intermédiaire peu plus particulièrement prendre la forme d'une sécurisation des services rendus par ces applications à leurs clients. Chaque application pourra alors être traitée comme une application maître, et être restaurée sous la forme d'une application de reprise, pour remplacer l'application maître vis-à-vis de ses clients en cas de besoin.
Les services rendus par des applications s'exécutant en tout ou partie sur un noeud déterminé pourront également être déplacés vers un ou plusieurs autres noeuds de façon dynamique et à la demande, en libérant complètement leur noeud d'origine. Il sera ainsi possible de réaliser toutes les interventions matérielles ou logicielles voulues sur ce noeud, qu'il s'agisse de maintenance, d'essais, d'évolutions ou de remplacement.
Une telle application intermédiaire peut être utilisée en particulier pour réaliser un environnement de type middle-ware comprenant des fonctionnalités de répartition de charge de travail ( Joad balancing ) entre différents noeuds, pour optimiser l'utilisation des différentes matérielles, en - 51 - particulier en fonction de leur puissance, de leur disponibilité, ou de leur situation géographique au sein du réseau, par exemple leur éloignement vis-à-vis de leurs clients ou des données qui sont utilisées. Bien sûr, l'invention n'est pas limitée aux exemples qui viennent 5 d'être
décrits et de nombreux aménagements peuvent être apportés à ces exemples sans sortir du cadre de l'invention.
- 52 -
Claims (15)
1. Procédé de transmission, d'un noeud primaire (OP) à un noeud secondaire (SB) au sein d'un réseau informatique, de données de journalisation qui représentent le déroulement d'un processus journalisé (P1, P2) exécuté dans un premier espace mémoire utilisateur (OPU) au sein dudit noeud primaire et qui sont générées (PIogOP) dans ledit premier espace mémoire utilisateur (OPU) au fur et à mesure du fonctionnement dudit processus journalisé, le fonctionnement dudit premier espace mémoire utilisateur étant géré par un logiciel système comprenant des premières ressources logicielles de communication (OPsock) et interagissant avec des premiers moyens matériels de communication (OPM) du noeud primaire pour permettre un échange de données entre ledit premier espace mémoire utilisateur et au moins un autre noeud (SB) dudit réseau, ce procédé comprenant une émission desdites données de journalisation depuis ledit premier espace mémoire utilisateur (OPU) vers des deuxièmes ressources logicielles de communication (HSI) interagissant avec des deuxièmes moyens de communication (HSI) pour les transmettre vers le dit noeud secondaire à un rythme globalement équivalent au rythme du déroulement du processus journalisé.
2. Procédé selon la revendication 1, caractérisé en ce que les deuxièmes ressources logicielles de communication (HSI) fonctionnent de façon sensiblement indépendante du logiciel système (OPS) et transmettent les données de journalisation selon un processus comprenant significativement moins d'opérations que les premières ressources logicielles de communication (OPsock), constituant ainsi un raccourci par rapport aux échanges de données lorsqu'ils sont gérés intégralement par le logiciel système.
3. Procédé selon l'une des revendications 1 ou 2, caractérisé en ce que les données de journalisation sont générées par un agent de journalisation - 53 - (PlogOP) qui les transmet directement aux deuxièmes ressources logicielles de communication (HSI), selon un processus sensiblement indépendant du logiciel système (OPU).
4. Procédé selon l'une des revendications 1 à 3, caractérisé en ce que les données de journalisation sont transmises directement des deuxièmes ressources logicielles de communication aux deuxièmes moyens de communication, selon un processus sensiblement indépendant du logiciel système (OPU).
5. Procédé selon l'une des revendications 1 à 4, caractérisé en ce que, au sein du noeud secondaire (SB), les données de journalisation sont reçues et mémorisées dans un deuxième espace mémoire utilisateur (SBU) géré par un logiciel système (SBS).
6. Procédé selon l'une des revendications 1 à 5, caractérisé en ce que le logiciel système (SBS) du noeud secondaire (SB) interagit avec des premiers moyens de communication (SBsock), les données de journalisation étant reçues au sein du noeud secondaire par des deuxièmes moyens de communications (HSI) constituant un raccourci similaire à celui du noeud primaire (OP).
7. Procédé selon l'une des revendications 1 à 6, caractérisé en ce que les données de journalisation transmises par les deuxièmes moyens de communication (HSI) ne représentent qu'une partie des évènements compris dans le déroulement du processus journalisé (P1), cette partie comprenant les plus nombreux ou les plus courts parmi ces évènements.
8. Procédé selon l'une des revendications 1 à 7, caractérisé en ce que, parmi les évènements compris dans le déroulement du processus journalisé (P1), les données de journalisation transmises par les deuxièmes moyens de communication (HSI) représentent au moins les évènements internes aux ressources matérielles et logicielles du noeud primaire (OP).
- 54 -
9. Procédé selon l'une des revendications 1 à 8, caractérisé en ce que les premières ressources logicielles de communication (OPU, OPsock) comprennent des composants logiciels de traitement de message au standard TCP/IP.
10. Procédé selon l'une des revendications 1 à 9, caractérisé en ce que les deuxièmes moyens de communication (HSI) fonctionnent de façon compatible avec le standard PCI-X.
11. Procédé selon l'une des revendications 1 à 10, caractérisé en ce qu'il est utilisé pour réaliser une gestion de fonctionnement d'au moins un premier processus applicatif, dit processus cible (P1), cette gestion de fonctionnement comprenant les étapes suivantes: journalisation (JOP) d'un ou plusieurs évènements survenant dans le processus cible et constituant une séquence journalisée, et mémorisation des données de journalisation en au moins un fichier journal (KL, UL) au sein du noeud secondaire (SB) ; à partir dudit fichier journal, re-jeu (RSB) selon la même succession, dans un deuxième processus dit processus de reprise (PB1) , d'un ou plusieurs évènements constituant une séquence rejouée et correspondant aux évènements de la séquence journalisée.
12. Procédé selon la revendication 11, caractérisé en ce qu'il est mis en oeuvre pour réaliser une réplication au fil de l'eau d'au moins un premier processus applicatif dit original (P1), exécuté au sein du noeud primaire (OP), à partir d'un point de son déroulement dit de point de reprise, cette réplication au fil de l'eau comprenant les étapes suivantes: journalisation (JOP) du fonctionnement du processus original à partir du point de reprise et jusqu'à un point dit de réplication, et mémorisation des données de journalisation en au moins un fichier journal (KL, UL) au sein du noeud secondaire (SB) ; pour un processus dit de reprise (PB1) existant au sein du noeud secondaire dans un état correspondant à l'état du processus original au point de reprise, utilisation du fichier journal pour rejouer dans le processus de reprise les évènements journalisés et amener ainsi le processus de reprise dans un état correspondant à l'état du processus original au point de réplication.
13. Procédé selon l'une des revendications 11 ou 12, caractérisé en ce qu'il est mis en oeuvre pour réaliser une fiabilisation du fonctionnement d'une première application, dite application fiabilisée (AOP), exécutée au sein du noeud primaire (OP), cette fiabilisation comprenant les étapes suivantes: journalisation (JOP) du déroulement de l'application fiabilisée depuis un point déterminé, dit point de reprise, de son déroulement avant défaillance et mémorisation des données de journalisation dans au moins un fichier journal (KL, UL) au sein du noeud secondaire (SB) ; détection d'une défaillance au sein du noeud opérationnel (OP) ; dans une application dite de secours (ASB), existant au sein du noeud secondaire (SB) dans un état correspondant à l'état de l'application fiabilisée (AOP) au point de reprise, utilisation dudit fichier journal pour rejouer (RSB) dans ladite application de secours les évènements journalisés dans l'application fiabilisée depuis le point de reprise, restaurant (RES) ainsi l'application de secours (ASB) dans un état correspondant à l'état de l'application fiabilisée (AOP) avant défaillance après le dernier évènement journalisé.
14. Système comprenant un réseau d'ordinateurs collaborant entre eux et incluant au moins un noeud primaire (OP) mettant en oeuvre le procédé selon l'une des revendications 1 à 13.
15. Système informatique selon la revendication précédente, caractérisé en ce que qu'il utilise une application (INT) de type middleware mettant en oeuvre un procédé selon l'une des revendications 11 à 13 pour gérer le 56 - fonctionnement d'au moins une application (AOP) exécutée au sein dudit réseau.
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
FR0500608A FR2881308B1 (fr) | 2005-01-21 | 2005-01-21 | Procede d'acceleration de la transmission de donnees de journalisation en environnement multi ordinateurs et systeme utilisant ce procede |
US11/337,252 US7536587B2 (en) | 2005-01-21 | 2006-01-20 | Method for the acceleration of the transmission of logging data in a multi-computer environment and system using this method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
FR0500608A FR2881308B1 (fr) | 2005-01-21 | 2005-01-21 | Procede d'acceleration de la transmission de donnees de journalisation en environnement multi ordinateurs et systeme utilisant ce procede |
Publications (2)
Publication Number | Publication Date |
---|---|
FR2881308A1 true FR2881308A1 (fr) | 2006-07-28 |
FR2881308B1 FR2881308B1 (fr) | 2007-03-23 |
Family
ID=34979312
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
FR0500608A Expired - Fee Related FR2881308B1 (fr) | 2005-01-21 | 2005-01-21 | Procede d'acceleration de la transmission de donnees de journalisation en environnement multi ordinateurs et systeme utilisant ce procede |
Country Status (2)
Country | Link |
---|---|
US (1) | US7536587B2 (fr) |
FR (1) | FR2881308B1 (fr) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11412414B2 (en) | 2017-08-11 | 2022-08-09 | Huawei Technologies Co., Ltd. | Communication methods and communications apparatuses |
Families Citing this family (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7805632B1 (en) * | 2007-09-24 | 2010-09-28 | Net App, Inc. | Storage system and method for rapidly recovering from a system failure |
US8214847B2 (en) * | 2007-11-16 | 2012-07-03 | Microsoft Corporation | Distributed messaging system with configurable assurances |
US8200836B2 (en) * | 2007-11-16 | 2012-06-12 | Microsoft Corporation | Durable exactly once message delivery at scale |
JP4644720B2 (ja) * | 2008-03-10 | 2011-03-02 | 富士通株式会社 | 制御方法、情報処理装置及びストレージシステム |
US8201169B2 (en) * | 2009-06-15 | 2012-06-12 | Vmware, Inc. | Virtual machine fault tolerance |
US10491458B2 (en) * | 2013-01-31 | 2019-11-26 | Dell Products L.P. | System and method for reporting peer-to-peer transfer events |
CN104572283B (zh) * | 2015-01-06 | 2017-12-05 | 曾小荟 | 一种暂停与恢复mpi并行应用程序运行的方法 |
CN106599134A (zh) * | 2016-12-02 | 2017-04-26 | 南京擎天科技有限公司 | 一种基于微信接口的自助移车模块 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5363503A (en) * | 1992-01-22 | 1994-11-08 | Unisys Corporation | Fault tolerant computer system with provision for handling external events |
WO2000060463A1 (fr) * | 1999-04-05 | 2000-10-12 | Marathon Technologies Corporation | Synchronisation non prioritaire pour systemes insensibles aux defaillances |
FR2843210A1 (fr) * | 2002-08-02 | 2004-02-06 | Meiosys | Procede de migration de connexions dans une architecture multi-ordinateurs, procede pour realiser une continuite de fonctionnement mettant en oeuvre ce procede de migration, et systeme multi-ordinateurs ainsi equipe. |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5590277A (en) * | 1994-06-22 | 1996-12-31 | Lucent Technologies Inc. | Progressive retry method and apparatus for software failure recovery in multi-process message-passing applications |
US6145123A (en) * | 1998-07-01 | 2000-11-07 | Advanced Micro Devices, Inc. | Trace on/off with breakpoint register |
US6345295B1 (en) * | 1999-01-22 | 2002-02-05 | International Business Machines Corporation | Conducting traces in a computer system attachment network |
US6732307B1 (en) * | 1999-10-01 | 2004-05-04 | Hitachi, Ltd. | Apparatus and method for storing trace information |
US6643795B1 (en) * | 2000-03-30 | 2003-11-04 | Hewlett-Packard Development Company, L.P. | Controller-based bi-directional remote copy system with storage site failover capability |
US6813731B2 (en) * | 2001-02-26 | 2004-11-02 | Emc Corporation | Methods and apparatus for accessing trace data |
US7185234B1 (en) * | 2001-04-30 | 2007-02-27 | Mips Technologies, Inc. | Trace control from hardware and software |
GB0207967D0 (en) * | 2002-04-08 | 2002-05-15 | Ibm | Data processing arrangement and method |
-
2005
- 2005-01-21 FR FR0500608A patent/FR2881308B1/fr not_active Expired - Fee Related
-
2006
- 2006-01-20 US US11/337,252 patent/US7536587B2/en not_active Expired - Fee Related
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5363503A (en) * | 1992-01-22 | 1994-11-08 | Unisys Corporation | Fault tolerant computer system with provision for handling external events |
WO2000060463A1 (fr) * | 1999-04-05 | 2000-10-12 | Marathon Technologies Corporation | Synchronisation non prioritaire pour systemes insensibles aux defaillances |
FR2843210A1 (fr) * | 2002-08-02 | 2004-02-06 | Meiosys | Procede de migration de connexions dans une architecture multi-ordinateurs, procede pour realiser une continuite de fonctionnement mettant en oeuvre ce procede de migration, et systeme multi-ordinateurs ainsi equipe. |
Non-Patent Citations (1)
Title |
---|
MOSER L E ET AL: "Eternal: fault tolerance and live upgrades for distributed object systems", DARPA INFORMATION SURVIVABILITY CONFERENCE AND EXPOSITION, 2000. DISCEX '00. PROCEEDINGS HILTON HEAD, SC, USA 25-27 JAN. 2000, LAS ALAMITOS, CA, USA,IEEE COMPUT. SOC, US, vol. 2, 25 January 2000 (2000-01-25), pages 184 - 196, XP010371114, ISBN: 0-7695-0490-6 * |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11412414B2 (en) | 2017-08-11 | 2022-08-09 | Huawei Technologies Co., Ltd. | Communication methods and communications apparatuses |
Also Published As
Publication number | Publication date |
---|---|
FR2881308B1 (fr) | 2007-03-23 |
US20060167932A1 (en) | 2006-07-27 |
US7536587B2 (en) | 2009-05-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
FR2881246A1 (fr) | Procede perdictif de gestion, de journalisation ou de rejeu d'operations non deterministes au sein du deroulement d'un processus applicatif | |
FR2881242A1 (fr) | Procede non intrusif de journalisation d'evements internes au sein d'un processus applicatif, et systeme mettant en oeuvre ce procede | |
FR2882448A1 (fr) | Procede de gestion, de journalisation ou de rejeu du deroulement d'un processus applicatif | |
US7613597B2 (en) | Non-intrusive method for simulation or replay of external events related to an application process, and a system implementing said method | |
EP1839153B1 (fr) | Procede non intrusif permettant de reexecuter des evenements internes dans un processus d'application, et systeme destine a mettre en oeuvre ledit procede | |
US8495573B2 (en) | Checkpoint and restartable applications and system services | |
US7568131B2 (en) | Non-intrusive method for logging external events related to an application process, and a system implementing said method | |
US7840940B2 (en) | Semantic management method for logging or replaying non-deterministic operations within the execution of an application process | |
US7536587B2 (en) | Method for the acceleration of the transmission of logging data in a multi-computer environment and system using this method | |
US20220269414A1 (en) | Snapshotting a containerized application | |
US20150019725A1 (en) | Server restart management via stability time | |
US11656930B2 (en) | Minimizing impact of first failure data capture on computing system using recovery process boost | |
US7533296B2 (en) | Method for optimizing the transmission of logging data in a multi-computer environment and a system implementing this method | |
US8527650B2 (en) | Creating a checkpoint for modules on a communications stream | |
US10970152B2 (en) | Notification of network connection errors between connected software systems | |
FR2881307A1 (fr) | Procede non intrusif de simulation ou rejeu d'evenements externes aupres d'un processus applicatif, et systeme mettant en oeuvre ce procede | |
JP7563061B2 (ja) | 情報処理システム、情報処理方法及びプログラム | |
Sadi et al. | Communication-aware approaches for transparent checkpointing in cloud computing | |
Nirschl | Virtualized guest live migration profiling and detection | |
FR2881244A1 (fr) | Procede de comptage d'instructions pour journalisation et rejeu d'une sequence d'evenements deterministes |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
TP | Transmission of property | ||
ST | Notification of lapse |
Effective date: 20130930 |