FR2881309A1 - Procede d'optimisation de la transmission de donnees de journalisation en environnement multi-ordinateurs et systeme mettant en oeuvre ce procede - Google Patents

Procede d'optimisation de la transmission de donnees de journalisation en environnement multi-ordinateurs et systeme mettant en oeuvre ce procede Download PDF

Info

Publication number
FR2881309A1
FR2881309A1 FR0500612A FR0500612A FR2881309A1 FR 2881309 A1 FR2881309 A1 FR 2881309A1 FR 0500612 A FR0500612 A FR 0500612A FR 0500612 A FR0500612 A FR 0500612A FR 2881309 A1 FR2881309 A1 FR 2881309A1
Authority
FR
France
Prior art keywords
application
events
event
node
logging
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
FR0500612A
Other languages
English (en)
Other versions
FR2881309B1 (fr
Inventor
Marc Vertes
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Meiosys SAS
Original Assignee
Meiosys SAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Meiosys SAS filed Critical Meiosys SAS
Priority to FR0500612A priority Critical patent/FR2881309B1/fr
Priority to US11/336,975 priority patent/US7533296B2/en
Publication of FR2881309A1 publication Critical patent/FR2881309A1/fr
Application granted granted Critical
Publication of FR2881309B1 publication Critical patent/FR2881309B1/fr
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/07Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/16Error detection or correction of the data by redundancy in hardware
    • G06F11/20Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements
    • G06F11/2097Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements maintaining the standby controller/processing unit updated
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/07Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/14Error detection or correction of the data by redundancy in operation
    • G06F11/1402Saving, restoring, recovering or retrying
    • G06F11/1471Saving, restoring, recovering or retrying involving logging of persistent data for recovery
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/30Monitoring
    • G06F11/34Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
    • G06F11/3466Performance evaluation by tracing or monitoring
    • G06F11/3476Data logging
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2201/00Indexing scheme relating to error detection, to error correction, and to monitoring
    • G06F2201/86Event-based monitoring

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Debugging And Monitoring (AREA)

Abstract

La présente concerne un procédé de transmission de données de journalisation, d'un noeud primaire à un noeud secondaire au sein d'un cluster d'ordinateurs. Le procédé s'applique en particulier pour les données de journalisation représentant les évènements internes de ce processus.Ce procédé comprend une constitution itérative ainsi qu'une transmission vers le noeud secondaire d'un ensemble ordonné, dit série courante (JS1Local fig.4a), entre un événement déclenchant et un événement bloquant ; ainsi que les étapes suivantes :- entre l'événement déclenchant et l'événement bloquant, calcul de données de journalisation (DJ) représentant ledit événement interne (EVI) et ajout de ces données à la série courante (JS1Local) ;- avant l'événement bloquant, clôture (5 ; fig.4a) de ladite série courante ;- poursuite du déroulement du processus journalisé (P1).

Description

Procédé d'optimisation de la transmission de données de journalisation
en environnement multi-ordinateurs et système mettant en oeuvre ce procédé La présente concerne un procédé de transmission de données de journalisation, d'un noeud primaire à un noeud secondaire au sein d'un cluster d'ordinateurs, permettant en particulier de mémoriser ou reproduire tout ou partie des évènements constituant le déroulement d'un processus utilisateur au sein du noeud primaire. Le procédé s'applique en particulier pour les données de journalisation représentant les évènements internes de ce processus, qui peut lui-même faire partie d'une application logicielle multi-processus et/ou multi-ordinateurs.
Le domaine de l'invention est celui des réseaux ou clusters d'ordinateurs formés de plusieurs ordinateurs collaborant entre eux. Ces clusters sont utilisés pour exécuter des applications logicielles apportant un ou des services à des utilisateurs. Une telle application peut être mono-processus ou multi-processus, et être exécutée sur un seul ordinateur ou distribuée sur plusieurs ordinateurs, par exemple sous la forme d'une application distribuée, de type MPI ( Message Passing Interface ) ou de type mémoire partagée ( Shared Memory ).
L'invention permet en particulier de réaliser une gestion du fonctionnement, au sein du cluster, d'une telle application dite maître ou primaire, par exemple par une autre application logicielle dite application intermédiaire, par exemple une application de type middleware . Cette gestion de fonctionnement peut comprendre entre autres des opérations de réplication, de redistribution, de fiabilisation, ou de traçage ( debugging ) de tout ou partie de cette application, au sein du noeud primaire ou en collaboration avec d'autres noeuds dits secondaires.
Dans le cadre de cette gestion de fonctionnement, il est souvent utile de journaliser le fonctionnement de l'application primaire ou de d'un de ses processus, c'est à dire d'enregistrer des informations représentant ce fonctionnement, et pouvant permettre d'en reconstituer le déroulement. Au fur et à mesure du déroulement de l'application primaire, ces informations sont alors générées sous forme de données de journalisation et sont transmises vers un ou plusieurs noeuds secondaires pour mémorisation et sauvegarde.
Par exemple pour tracer et étudier en détail le fonctionnement de l'application primaire, il est alors possible d'étudier ou de reconstituer ce fonctionnement, ultérieurement ou distance, de façon contrôlée et surveillée.
Par exemple également, si l'application primaire subit une défaillance, en particulier matérielle, il est alors possible de créer une nouvelle application de secours sur un noeud secondaire pour remplacer l'application primaire dans les services qu'elle rendait. Cette application de secours peut alors être créée dans un état connu, par exemple un état de point de reprise enregistré précédemment. A partir des données de journalisation de l'application primaire, il est alors possible de forcer l'application de secours à reconstituer le déroulement de l'application primaire jusqu'au moment de la défaillance. Après cette reconstitution, ou rejeu, l'application de secours se trouve dans le même état que l'application jusqu'au dernier événement dont les données de journalisation ont été reçues à l'extérieur du noeud primaire. Si tous les évènements précédant la défaillance ont bien été journalisés et transmis jusqu'à la défaillance, l'application de secours peut alors prendre le relais avec peu ou pas d'interruption de service vis à vis des utilisateurs.
Or actuellement, de nombreuses applications existantes ne comportent pas de telles fonctionnalités de gestion, et il serait trop complexe et coûteux de les modifier pour les leur ajouter.
La solution qui consiste à implémenter ces fonctionnalités dans le logiciel système de l'ordinateur ou du noeud primaire présente certains inconvénients importants, comme les risques d'erreurs, d'instabilité ou d'incompatibilité au sein du réseau et le fait de nécessiter des compétences spécifiques dans le domaine des logiciels systèmes.
Une solution est proposée par ailleurs par les auteurs de la présente invention, qui consiste à faire prendre en charge ces fonctionnalités de gestion par une application intermédiaire qui est exécutée principalement dans l'espace mémoire utilisateur et ne nécessite que peu de modifications au sein du logiciel système lui-même.
Toutefois, dans ce type de solution entre autres, la transmission des données de journalisation du noeud primaire à un noeud secondaire représente une charge de calcul importante par rapport à l'exécution de l'application primaire en elle-même, ainsi que pour les réseaux de communication utilisés. Dans l'état de la technique, l'application maître subit alors une telle perte de performance que, souvent, cette gestion de fonctionnement ne peut pas être utilisée de façon satisfaisante en situation d'exploitation.
En effet, pour pouvoir représenter de façon cohérente, voire complète, le déroulement de l'application primaire, les évènements à enregistrer et à transmettre sont souvent très nombreux. De plus, une grande part de ces évènements correspond à des opérations dont l'exécution est très rapide, en particulier les évènements qui sont internes aux ressources matérielles ou logicielles du noeud primaire, par exemple un appel système demandant l'affectation d'un sémaphore ou réalisant la lecture d'une donnée en mémoire.
Par opposition, pour chacun de ces évènements, la transmission des données de journalisation depuis l'espace mémoire utilisateur constitue une opération beaucoup plus longue, en particulier pour les évènements internes.
En effet, ces données sont pour cela transmises au logiciel système, qui les gère et les traite selon un certain nombre de protocoles réseaux, par exemple un protocole TCP suivi d'un protocole IP, pour les émettre ensuite par des moyens de communication, par exemple une carte réseau. Or il se trouve que ces protocoles réseaux représentent une charge de calcul importante par rapport à la durée d'un événement. De plus, en particulier dans un réseau existant, les performances des moyens de communication d'un ordinateur à l'autre sont en général faibles par rapport aux nombres d'évènements, car elles ne sont le plus souvent prévues que pour des échanges de données intermittents. De ce fait, la transmission des données de journalisation de chaque événement d'une part, et l'événement correspondant d'autre part, présentent des durées d'exécution pouvant parfois différer d'un facteur allant de 100 à plus de 10 000.
Un but de l'invention est de pallier tout ou partie de ces inconvénients.
L'invention cherche en particulier à obtenir une transmission plus rapide ou plus fiable des données de journalisation entre le noeud primaire et le ou les noeuds secondaires; - une moindre utilisation du logiciel système ou des moyens de communication; une journalisation plus souple ou plus complète pour apporter une bonne continuité de service en fiabilisation ou en traçage; - une gestion de fonctionnement plus souple ou plus performante.
Pour cela, l'invention propose un procédé de journalisation du déroulement d'un processus appartenant à une application cible et dit processus journalisé, exécuté sur un noeud primaire communiquant avec au moins un noeud secondaire au sein d'un réseau informatique. Ce procédé comprend une constitution itérative ainsi qu'une transmission vers le noeud secondaire d'un ensemble ordonné, dit série courante, de données de journalisation représentant une succession d'évènements internes au noeud primaire, survenus dans le déroulement dudit processus entre d'une part un événement dit déclenchant et d'autre part un événement bloquant constituant la première survenue, depuis l'événement déclenchant, d'un type déterminé d'événement dit type bloquant. Ce même procédé comprend en outre les étapes suivantes: entre l'événement déclenchant et l'événement bloquant, de façon itérative pour chacun des événements internes d'un même type survenant dans le déroulement du processus journalisé, calcul de données de journalisation représentant ledit événement interne et ajout de ces données à la série courante; - avant l'événement bloquant, clôture de la série courante; - poursuite du déroulement du processus journalisé.
En regroupant l'envoi des données de journalisation d'une pluralité au sein d'une seule série, il est possible de n'effectuer qu'une seule transmission pour les données correspondant à plusieurs évènements regroupés. Du fait que le volume des données transmises ne représente seulement qu'une partie de travail et du temps que représente chaque transmission, il est ainsi possible d'optimiser la transmission et de limiter les pertes de performances qu'elle occasionne.
A première vue, il pourrait paraître étonnant d'attendre pour regrouper plusieurs évènements avant de transmettre leurs données de journalisation. En effet, cette attente cause un décalage entre le déroulement du processus journalisé et l'historique qui en est conservé à l'extérieur du noeud primaire, par exemple sur le noeud secondaire. Une telle attente pourrait être vue comme constituant un risque, par exemple en cas de défaillance du noeud primaire au cours d'une série, puisque la journalisation de certains évènements n'aura pas été transmise ni sauvegardée à l'extérieur du noeud primaire.
Pour vaincre ce préjugé, l'invention prévoit que certains types d'évènements pourront être systématiquement déclenchants ou systématiquement bloquants, ou les deux.
Ainsi, les types d'événement déclenchants et bloquants pourront être choisis de façon à ce qu'une éventuelle interruption de la journalisation au sein d'une série ne soit pas ou peu dommageable pour l'usage qui est fait de l'historique (ou log ) constitué par les données de journalisation.
Par exemple, depuis la dernière mise à jour d'une variable (événement déclenchant), une perte de journalisation peut être vu comme acceptable tant qu'aucun événement ne se produit qui prend en compte cette variable. Un type bloquant pourra alors comprendre tous les évènements faisant référence à cette variable.
Une telle série courante peut ne représenter que certains types 30 d'évènements, par exemple correspondant à un type d'évènements étudiés lors d'un traçage pour mise au point de l'application.
Mais la série courante peut également représenter la totalité des évènements internes au noeud primaire survenant dans le déroulement du processus journalisé entre l'événement déclenchant et l'événement bloquant, par exemple dans une utilisation en fiabilisation.
Préférentiellement, l'étape de clôture de série courante comprend une étape d'interruption de l'exécution du processus journalisé, qui pourra garantir par exemple une meilleure sécurité dans l'émission de la série courante.
Plus particulièrement, le type bloquant comprend tous les évènements sortants externes, dits envois externes, du processus journalisé réalisant une émission de données vers l'extérieur de l'application cible ou du noeud primaire.
Un événement sortant externe est constitué dès lors qu'il y a envoi de données vers l'extérieur de l'application cible ou du noeud primaire, en particulier vers une autre application que l'on pourra appeler application externe.
Il peut s'agir ainsi de n'importe quel message transmis vers un client extérieur et susceptible de modifier l'état de ce client.
En effet, pour assurer une bonne continuité de service vis à vis des clients de l'application primaire, il peut suffire de disposer de la journalisation des évènements du processus journalisé jusqu'au dernier envoi de données ou de message vers l'extérieur. En effet, pour les clients, l'évolution de l'état du processus journalisé n'a pas d'importance tant qu'ils n'en ont reçu aucune notification. Les évènements de type sortant externe pourront en particulier constituer à la fois un type déclenchant et un type bloquant.
Selon une variante, le type bloquant ne constitue que la partie des événements sortants externes du processus journalisé correspondant à un type déterminé d'évènement sortant, par exemple les évènements sortants externes à destination d'un noeud ou d'un client déterminé, ou les seuls évènements sortants externes correspondant à un certain type d'action. Si seuls certains destinataires ou clients sont importants dans le type de gestion de fonctionnement recherché, il est ainsi possible de limiter encore la perte de performance, par exemple en ne rendant bloquants que les messages vers de tels destinataires.
En particulier, l'événement déclenchant et l'événement bloquant appartiennent à un même type d'événement. Ainsi, la série peut comprendre les données de journalisation de tous les évènements internes survenus dans le processus journalisé entre deux envois externes successifs.
Mais le type d'événement déclenchant peut également comprendre d'autres types d'évènements. Ce type déclenchant peut par exemple comprendre les opérations de captures d'état de point de reprise déclenchés par une application intermédiaire de fiabilisation. Le type déclenchant peut également comprendre tous les évènements externes survenus dans le processus journalisé, ou une partie d'entre eux.
Ainsi dans un exemple typique d'application intermédiaire de fiabilisation, la série courante représente la totalité des évènements internes au noeud primaire survenant dans le déroulement du processus journalisé entre l'événement déclenchant et l'événement bloquant.
De façon optionnelle, l'événement bloquant peut également comprendre le franchissement d'un seuil déterminé, de la part d'au moins une grandeur liée à la constitution de la série courante ou au déroulement du processus journalisé. Par exemple, ce franchissement peut être calculé par l'application intermédiaire de fiabilisation et correspondre à une durée écoulée, un nombre d'évènements ou d'opérations du processus journalisé, ou une quantité de données de journalisation non encore transmises.
La transmission en elle-même des données de la série courante peut être faite de plusieurs façons différentes, possiblement combinées entre elles.
Ainsi, tout ou partie de la série courante peut être mémorisé au sein du noeud primaire au fur et à mesure de sa constitution, et est transmis du noeud primaire vers le noeud secondaire au cours de la phase de clôture de la série courante.
Alternativement ou en combinaison, tout ou partie de la série courante est envoyé de façon asynchrone du noeud primaire vers le noeud secondaire au fur et à mesure de sa constitution. Les transmissions non encore abouties de cet envoi asynchrone sont alors menées à terme au cours de la phase de clôture de la série courante, en une opération dite de flush au sein des files d'attente contenant des données non encore transmises.
De façon préférentielle, après une phase de clôture de série courante, l'exécution du processus journalisé ne reprend qu'après réception par le noeud primaire de données confirmant un aboutissement satisfaisant de ladite phase de clôture. Il est ainsi possible de garantir une meilleure sécurité dans la réception des données de la série transmise.
Dans le cadre d'une amélioration des performances de la journalisation des évènements internes, c'est à dire les plus rapides et les plus nombreux, un objectif de l'invention est également d'améliorer la gestion du fonctionnement d'une application ou d'au moins un des ces processus.
Le procédé selon l'invention peut ainsi être mis en oeuvre pour réaliser une gestion de fonctionnement d'au moins un premier processus applicatif, dit processus cible, cette gestion de fonctionnement comprenant les étapes suivantes: journalisation d'un ou plusieurs évènements survenant dans le processus cible et constituant une séquence journalisée, et mémorisation des données de journalisation en au moins un fichier journal au sein du noeud secondaire; à partir dudit fichier journal, re-jeu selon la même succession, dans un deuxième processus dit processus de reprise, d'un ou plusieurs évènements constituant une séquence rejouée et correspondant aux évènements de la séquence journalisée.
Selon l'invention, ce procédé est également mis en oeuvre pour réaliser une réplication au fil de l'eau d'au moins un premier processus applicatif dit original exécuté au sein du noeud primaire, à partir d'un point de son déroulement dit de point de reprise, cette réplication au fil de l'eau comprenant les étapes suivantes: journalisation du fonctionnement du processus original à partir du point de reprise et jusqu'à un point dit de réplication, et mémorisation des données de journalisation en au moins un fichier journal au sein du noeud secondaire; pour un processus dit de reprise existant au sein du noeud secondaire dans un état correspondant à l'état du processus original au point de reprise, utilisation du fichier journal pour rejouer dans le processus de reprise les évènements journalisés et amener ainsi le processus de reprise dans un état correspondant à l'état du processus original au point de réplication.
Dans le même esprit, un objectif de l'invention est également d'améliorer les outils de fiabilisation du fonctionnement d'une application, ou d'au moins un des ces processus.
Dans un autre mode de réalisation, le procédé selon l'invention est mis en oeuvre pour réaliser une fiabilisation du fonctionnement d'une première application, dite application fiabilisée, exécutée au sein du noeud primaire, cette fiabilisation comprenant les étapes suivantes: journalisation du déroulement de l'application fiabilisée depuis un point déterminé, dit point de reprise, de son déroulement avant défaillance, et mémorisation des données de journalisation dans au moins un fichier journal à l'extérieur du noeud primaire; détection d'une défaillance matérielle ou logicielle au sein du noeud opérationnel; dans une application dite de secours, existant au sein du noeud secondaire dans un état correspondant à l'état de l'application fiabilisée au point de reprise, utilisation dudit fichier journal pour rejouer dans ladite application de secours les évènements journalisés dans l'application fiabilisée depuis le point de reprise, restaurant ainsi l'application de secours dans un état correspondant à l'état de l'application fiabilisée avant défaillance après le dernier évènement journalisé.
Lors du rejeu dans l'application de secours, certains évènements internes peuvent différer de ceux qui avaient été journalisés mais non émis au cours de la dernière séquence courante. Dans cette séquence en effet, certaines opérations non déterministes peuvent s'être déroulées différemment lors du rejeu, puisque les données de journalisation n'avaient - 10 - pas pu être intégrées dans le fichier journal mémorisé à l'extérieur du noeud primaire.
Cependant, dès lors que tous les évènements sortants externes de l'application fiabilisée sont considérés comme de type bloquant, les clients de l'application fiabilisée n'avaient pas pu tenir compte de ces opérations non déterministes puisque celles ci sont advenues après le dernier message qu'il ont pu recevoir de cette application.
Le fait que l'application fiabilisée soit remplacée auprès de ses clients par une application de secours ne peut donc les gêner ni compromettre la consistence ou la cohérence de leur état.
Par ailleurs, il peut arriver qu'une application fiabilisée rencontre une erreur logicielle d'un type non reproductible ou très difficilement reproductible, parfois appelée erreur byzantine . De telles erreurs sont souvent causées ou rendues possibles par une concordance de différents facteurs complexes et variés, interagissant entre eux d'une façon apparemment aléatoire.
Une telle erreur peu ainsi se produire au sein d'une séquence courante entre deux évènements sortants externes, par exemple sous la forme d'un arrêt de l'application ( crash ) ou d'un d'une interruption volontaire pour sortir d'un blocage en boucle infinie ou en deadlock . Dans une situation de ce genre, le seul fait de reprendre l'exécution au début de la séquence courante peut parfois suffire à éviter la reproduction de l'erreur, si l'évolution interne de l'application varie suffisamment pour ne pas réunir les conditions de cette erreur. Ainsi, en reprenant l'exécution d'une application fiabilisée au début de la dernière séquence courante, il peut arriver que l'erreur ne se reproduise pas.
En cas de nouvel échec du même type lors de la ré-exécution, le fait de reprendre à nouveau plusieurs fois peut augmenter les probabilités de réussir à continuer l'exécution en échappant à cette erreur. Ainsi, l'invention permet de gérer l'application fiabilisée de façon à diminuer statistiquement le nombre de blocages ou de gênes dans l'exploitation du fait de ce type d'erreur.
- 11 - L'invention propose également un système comprenant un réseau d'ordinateurs collaborant entre eux et incluant au moins un noeud dit primaire mettant en oeuvre un tel procédé de journalisation.
Plus particulièrement, l'invention propose un tel réseau utilisant une application de type middleware mettant en oeuvre le procédé selon l'invention pour gérer le fonctionnement d'au moins une application exécutée au sein dudit réseau.
L'invention est applicable en particulier au sein d'un environnement de type middleware , par exemple réalisant une gestion de réseau et/ou 10 d'applications distribuées dans un ou plusieurs réseaux.
D'autres particularités et avantages de l'invention ressortiront de la description détaillée d'un mode de mise en oeuvre nullement limitatif, et des dessins annexés sur lesquels: la figure 1 est un schéma symbolique illustrant l'architecture 15 fonctionnelle d'une application intermédiaire mettant en oeuvre l'invention; la figure 2 est un schéma symbolique résumant l'organisation de la journalisation des évènements sur un noeud opérationnel; la figure 3 est un schéma symbolique illustrant le fonctionnement de 20 la journalisation des évènements externes d'un noeud opérationnel et leur sauvegarde sur un noeud secondaire; la figure 4 est un schéma symbolique illustrant le fonctionnement de la journalisation des évènements internes d'un noeud opérationnel et leur sauvegarde sur un noeud secondaire; - les figures 4a et 4b illustrent deux variantes du fonctionnement d'un mécanisme de transmission groupée des données de journalisation d'une séquence d'évènements internes; la figure 5 est un schéma symbolique illustrant le fonctionnement du re-jeu des évènements externes journalisés lors de la mise à jour 30 d'une application de reprise sur un noeud secondaire; la figure 6 est un schéma symbolique illustrant le fonctionnement du re-jeu des évènements internes lors de la mise à jour d'une application de reprise sur un noeud secondaire; - 12 la figure 7 est un schéma symbolique de l'utilisation d'une technique d'interposition, lors d'un appel à une routine système, pour insérer des instructions supplémentaires dans l'exécution de cette routine; la figure 8 est un schéma temporel illustrant le déroulement du re-jeu d'un évènement interne pour deux processus concurrents, utilisant un ajout d'instructions supplémentaires dans une routine système pour obtenir le même déroulement que lors de la journalisation; les figures 8a et 8b illustrent le fonctionnement de la journalisation et du rejeu des évènements internes de façon à ne traiter que les évènements non déterministes; les figures 8c et 8d sont des schémas illustrant le fonctionnement de l'optimisation le journalisation interne par compression et respectivement décompression heuristique; - les figures 9 et 10 sont des schémas symboliques illustrant un exemple d'optimisation, par compression heuristique, de la journalisation d'évènements internes non-déterministes dans des cas d'ordonnancement différent d'évènements internes entre deux évènements externes, au sein de plusieurs processus simultanés sur un noeud opérationnel; la figure 11 est un schéma symbolique illustrant le fonctionnement non déterministe d'une opération de lecture par la routine read d'un système de type Unix ; la figure 12 est un schéma symbolique illustrant un comportement de cette même routine, rendu déterministe par changement dynamique de sémantique; les figures 13 et 14 sont des schémas symboliques illustrant le fonctionnement non déterministe d'une opération de réception de données dans l'application, en provenance de deux canaux concurrents du système d'exploitation, par les routines select ou poli d'un système de type Unix ; la figure 15 est un schéma symbolique illustrant un comportement de cette même routine, rendu déterministe par changement dynamique de sémantique; - 13 - - la figure 16 est un schéma illustrant les interactions mises en oeuvre par un changement de sémantique.
En particulier dans le déroulement de l'application maître, les opérations de journalisation représentent une charge de travail pour le noeud opérationnel, et peuvent être la cause d'une baisse de performances du fait de l'action de l'application intermédiaire.
La figure 1 illustre l'architecture fonctionnelle d'une application intermédiaire mettant en oeuvre l'invention.
Au sein d'un cluster, une application maître AOP, par exemple une application transactionnelle, rend un certain nombre de services à des utilisateurs ou clients, en particulier par entrée et sortie d'informations sous différentes formes. Au sein du cluster, cette application peut être mono- ou multi-tâches (processus ou threads ), et utilise un certain nombre de ressources. En particulier, ces ressources peuvent être des données, par exemple sous la forme d'espaces de mémoire de travail, de mémoire partagée, ou de fichiers de données, ou être des indicateurs d'état, par exemple sous la forme de sémaphores, ou de mutex.
L'application maître est exécutée sur un ou plusieurs ordinateurs formant un noeud, appelé noeud opérationnel OP ou noeud primaire. Une application de gestion de fonctionnement, dite application intermédiaire INT, est exécutée, en une ou plusieurs parties, sur un ou plusieurs noeuds du cluster.
Selon les modes de réalisation, cette application intermédiaire peut gérer différents aspects du fonctionnement de l'application maître au sein du cluster. Une telle application intermédiaire INT peut en particulier travailler en parallèle avec un logiciel de gestion intermédiaire du cluster de type middleware , être intégrée au sein d'un tel middleware, ou constituer elle-même une forme de middleware.
A travers les fonctionnalités décrites ici, l'application intermédiaire INT peut être utilisée en particulier pour réaliser une réplication de tout ou partie d'une application maître au sein du cluster. La réplication d'une application maître peut fournir une autre application qui sera alors appelée application de reprise.
- 14 - Les fonctionnalités décrites ici, en particulier dans le cadre d'une telle réplication, permettent également de réaliser une fiabilisation de l'application maître, ou un traçage ou une étude de cette application pour réaliser des travaux de mise au point ( debugging ), d'ajustement ou de développement. Une utilisation en fiabilisation comprendra par exemple l'application de reprise comme application desecours ou de remplacement. Une utilisation en traçage ou mise au point comprendra par exemple une journalisation JOP et/ou un re-jeu RSB d'évènements, comme décrit ci-après, selon un rythme ralenti ou commandé, d'évènements journalisés.
Les modes de réalisation appliqués à la fiabilisation ne sont donc décrits ici qu'à titre d'exemples non limitatifs.
En différents points du déroulement de l'application maître AOP à fiabiliser, dits points de reprise ou checkpoints , de façon régulière ou sur évènement, l'application intermédiaire INT crée ou maintient à jour au moins une application de reprise ASB exécutée sur un noeud dit secondaire, ou stand by SB.
Cette application de reprise est crée ou maintenue à jour par exemple par une méthode de réplication par capture et restauration d'application, dite méthode de reprise. Cette méthode de réplication comprend des opérations de capture CAP d'état de l'application maître suivies d'opérations de restauration RES de cet état, c'est-à-dire de l'état de ses processus et de tout ou partie des ressources qu'elle utilise.
Lors d'une telle opération de capture CAP, l'état de l'application maître AOP est sauvegardé sous forme de données formant un état de point 25 de reprise EPR.
Certaines ressources de l'application maître, en particulier des fichiers de données représentant un volume important sur des moyens de mémorisation comme des disques durs, peuvent être maintenues à jour au fil de l'eau en plusieurs exemplaires sur plusieurs supports de stockage différents, constituant des fichiers de données de reprise sur des disques miroirs ou des disques partagés. Dans ce cas, les données formant un état de point de reprise peuvent comprendre des informations constituant des références à ces fichiers de données de reprise. -
Lorsqu'un point de reprise ou une réplication est basé sur une capture d'état reprenant l'ensemble de l'environnement d'exécution et des ressources de l'application maître, soit directement soit par des références à des fichiers de données de reprise, ce point de reprise ou cette réplication peut être qualifié de holistique.
A partir des données d'un état de point de reprise EPR, l'application intermédiaire INT peut effectuer une restauration RES, par création ou mise à jour, d'une application de reprise ASB. Cette restauration peut s'effectuer de façon régulière ou sur évènement déclenchant, par exemple à la demande d'un administrateur ou d'un mécanisme de gestion de la charge de travail du cluster. Cette restauration peut également s'effectuer après une défaillance du noeud opérationnel, détectée par des moyens de détection, l'application de reprise pouvant alors être utilisée comme une application de secours permanente ou non.
En cas de besoin, l'application intermédiaire organise un basculement de tout ou partie des services de l'application maître vers une ou plusieurs applications de reprise. Pour que ce basculement se fasse de façon transparente pour les clients, l'application intermédiaire peut utiliser une méthode d'interposition par metaprocess gérant des adresses réseau virtuelles, et réalisant une migration des connexions des clients depuis l'application maître vers ces applications de reprise. L'application intermédiaire peut également utiliser une méthode d'interposition par metaprocess gérant des identifications virtuelles de processus (PID virtuels), permettant de restaurer les communications de ces processus clones de façon identique à celles de leurs processus originaux.
Ces techniques peuvent être par exemple celles décrites dans le brevet FR 2 843 210.
Une restauration suivie d'un basculement partiel ou total peuvent également s'effectuer hors défaillance, par exemple pour répartir la charge 30 de travail de l'application maître ou permettre une maintenance de certains éléments du noeud opérationnel ou du réseau.
De façon à ce que cette défaillance et/ou ce basculement soient le plus transparents possible du point de vue des clients, l'application intermédiaire enregistre tout ou partie des évènements affectant - 16 l'application maître entre plusieurs points de reprise, et les sauvegarde sous la forme d'un ou plusieurs journaux ou Iogs .
A l'issue d'une restauration à partir d'un état de point de reprise, l'application de reprise se trouve dans l'état de l'application maître lors de l'établissement de ce point de reprise. A partir de cet état, l'application intermédiaire utilise les journaux sauvegardés depuis ce point de reprise pour faire ré-exécuter, ou rejouer, par l'application de reprise, les évènements qui ont eu lieu dans l'application maître depuis ce point de reprise. Cette ré-exécution, ou re-jeu, est réalisée de façon à ce que l'application de reprise arrive à l'état où était l'application maître après le dernier évènement sauvegardé, par exemple à un état précédant immédiatement une défaillance.
L'application intermédiaire peut également réaliser une virtualisation de certaines ressources vis-à-vis de l'application de reprise, par exemple dans le cas où ces ressources ont changé depuis le point de reprise restauré, pour lui permettre d'effectuer sa ré-exécution sans interférer avec l'état réel de ces ressources, tant qu'elle n'est pas revenu à un état correspondant à cet état réel.
Parmi les évènements à journaliser sur le noeud opérationnel et à rejouer sur le noeud secondaire, on peut distinguer des évènements dits externes et des évènements dit internes.
Les évènements externes sont définis comme extérieurs à l'application concernée, en l'occurrence l'application maître. Ainsi, on peut qualifier d'évènements externes ceux qui sont déclenchés dans l'application par des actions ou des informations provenant de l'extérieur de cette application, c'est-à-dire en particulier provenant d'éléments matériels ou logiciels qu'elle ne contrôle pas. Ces évènements externes peuvent prendre la forme d'entrées de données ou de signaux, par exemple des entrées d'interfaces matérielles, telles que clavier ou souris, ou des informations arrivant par le réseau et provenant du monde extérieur, comme d'un client dans le cas d'une application client-serveur. Le plus souvent, ces évènements externes ne peuvent pas être déduits ou recréés à partir de l'environnement de l'application. Ces évènements externes sont journalisés - 17 - du côté de l'application maître et peuvent être rejoués du côté de l'application de reprise.
Si l'application concernée, parfois appelée application cible, comporte des éléments exécutés sur un autre noeud que le noeud primaire, les évènements dans cette application mais extérieurs au noeud primaire peuvent également être traités comme des évènements externes.
Les évènements internes sont définis comme internes à l'application maître ou au noeud qui l'exécute, par exemple sous forme d'entrées de données ou de signaux reçu par un processus de cette application et provenant d'un autre processus qui fait aussi partie de l'application. Ces évènements internes peuvent être reçus directement ou par l'intermédiaire de mécanismes ou agents logiciels extérieurs à l'application mais faisant partie du noeud qui l'exécute, par exemple par l'intermédiaire d'applications partenaires ou faisant partie du système d'exploitation, comme l'agent Inter Process Communication (IPC) d'un système de type Unix. Ces évènements internes peuvent comprendre des évènements de transmission de messages ( message passing events ), par exemple provenant de files d'attente ( pipe , signal queues ou message queues ) ou d'interfaces de type socket . Ces évènements internes peuvent comprendre également des évènements d'accès à des mémoires partagées ( shared memory access ), par exemple des sémaphores ou des mutex .
Au cours du déroulement d'une application, les évènements internes sont particulièrement nombreux, par exemple par rapport aux évènements externes. De plus, les évènements internes correspondent à des opérations d'exécution rapide, ou de faible latence, en particulier par rapport à la durée d'une opération de journalisation, surtout lorsque celle-ci comprend une transmission réseau ou une mémorisation sur un support permanent comme un disque dur. A titre d'exemple, une opération de journalisation peut représenter une durée de 10 à 10000 fois plus élevée qu'un évènement interne.
Ainsi qu'illustré en figure 2, la journalisation JOP des évènements survenus depuis un point de reprise est réalisée de façon différente pour les évènements externes et internes, et sauvegardée séparément.
- 18 - Un noeud opérationnel OP, raccordé au cluster par un réseau, comprend un espace matériel, supportant un espace système, qui supporte lui-même un espace dit espace utilisateur . L'espace matériel, qui peut être défini par référence à une ou plusieurs des couches les plus basses du modèle OSI, comprend en particulier les dispositifs matériels d'exécution de processus, mémoire physique et processeurs, et de communication, tels que des cartes réseau. Typiquement, une grande part des évènements externes transitent par l'espace matériel, sous forme de communications passant par le réseau.
L'espace système, qui peut être défini par référence à une ou plusieurs des couches intermédiaires du modèle OSI, comprend en particulier le système d'exploitation. Cet espace système comprend divers mécanismes ou agents logiciels gérant les communications des applications avec le monde extérieur à travers l'espace matériel, par exemple sous la forme de sockets dans un système Unix, ou gérant les communications entre plusieurs processus d'applications, par exemple sous la forme de pipe et d'IPC dans un système Unix.
L'espace utilisateur, qui peut être défini par référence à une ou plusieurs des couches les plus élevées du modèle OSI, comprend les processus faisant partie des diverses applications exécutées par le noeud, telles que l'application maître et l'application intermédiaire. Dans cet espace utilisateur sont exécutés plusieurs processus P1, P2, et Pn faisant partie d'une ou plusieurs applications, par exemple l'application maître. Ces processus échangent des informations avec l'extérieur par l'intermédiaire d'un ou plusieurs sockets de l'espace système, et entre eux par l'intermédiaire d'un ou plusieurs éléments pipes de l'espace système. Certains de ces processus accèdent également, de façon concourante et gérée par des ressources d'état (non représentées), à des ressources de mémoire partagée SHM ( shared memory ).
Lors de l'établissement d'un point de reprise, l'application intermédiaire peut démarrer un ou plusieurs nouveaux journaux, ou enregistrer une marque de point de reprise ( checkpoint mark ) dans le ou les journaux en cours.
- 19 - Il est à noter que le terme de utilisateur , en particulier dans le cas de I < espace utilisateur ou du journal d'évènements internes user log (décrit plus loin), est ici à prendre dans un sens de utilisateur de l'espace système . C'est-à-dire que l'espace utilisateur est accessible aux applications utilisant le noeud et son système d'exploitation, même si cet espace utilisateur n'est pas directement accessible à des personnes ou ordinateurs communiquant avec ces applications, et qui seront alors qualifiés de clients .
Les évènements externes sont sauvegardés dans un journal, constitué d'un ou plusieurs fichiers KL, appelé kernel log (cf.figure 2). Pour réaliser cette sauvegarde, les données représentant ces évènements sont lues, après leur arrivée au sein du noeud, à un bas niveau des couches de la classification internationale OSI. Préférentiellement, ces évènements externes sont lus dans l'espace système, par exemple dans le kernel, avant d'être démultiplexés, et avant d'être traités par la pile ( protocol stack ). Du fait que cette journalisation se fait directement depuis l'intérieur de l'espace système, il est possible d'éviter des pertes de performances causées par des écritures de tampon ou de changements de contexte non nécessaires.
La figure 3 illustre plus en détails le fonctionnement de la journalisation d'évènements externes, en particulier lorsqu'ils prennent la forme de messages au protocole TCP-IP. L'application maître s'exécute sur le noeud opérationnel OP et comprend au moins un processus P1. L'application intermédiaire comprend d'une part un module IPIogOP comprenant un processus de contrôle CtIOP, s'exécutant sur le noeud opérationnel OP, et d'autre part un module IPIogSB comprenant un processus de contrôle CtISB s'exécutant sur un noeud secondaire SB. Sur chacun de ces noeuds OP et SB, le processus de contrôle configure et gère le fonctionnement d'un mécanisme ou agent logiciel disp (DISPP, DISPS) , s'exécutant dans l'espace système du noeud concerné.
Dans le cas d'un système de type Unix, cet agent disp comprend en particulier un module noyau (kernel), chargé dans l'espace système. Ce module noyau est chargé dynamiquement dans le noyau au moment du démarrage (boot) du système, ou bien avant le lancement de l'application à - 20 gérer ou à fiabiliser. Du point de vue de la structure fonctionnelle, par exemple en référence aux couches OSI, ce module s'insère sous la couche IP, en particulier entre la couche IP et la couche network device qui dépend de l'espace matériel.
Cet agent disp peut intercepter et stocker les messages, reçus du réseau à destination de la couche TCP, dans une file d'attente QOP et QSB, fonctionnant en transmission ou en réception selon les besoins.
En étape 1, un message provenant d'un client, à destination du processus P1, est reçu par l'agent disp au sein de l'espace système du noeud opérationnel OP, qui le garde dans une file d'attente de transmission QOP.
En étape 2, un message de journalisation, représentant le message reçu, est transmis par l'agent DISPP du noeud primaire à un noeud secondaire SB, où un agent DISPS le reçoit en file d'attente de réception QSB.
Le noeud opérationnel OP peut en particulier communiquer avec un ou plusieurs noeuds secondaires SB par sur un réseau local (LAN) séparé, en utilisant un dispositif réseau différent de celui utilisé pour communiquer avec les clients.
Plusieurs de ces noeuds secondaires peuvent également être abonnés à une adresse de type multicast selon le standard RFC 1112 pour communiquer avec le noeud opérationnel OP. L'utilisation d'une adresse multicast, par exemple définie par le standard RFC 1112 Host Extensions for IP Multicasting ) comme une adresse IP dans la plage située entre 224.0.0.0 et 239.255.255.255, permet ainsi au noeud opérationnel de n'émettre qu'une seule fois les messages destinés simultanément à plusieurs noeuds secondaires, sans pour autant alourdir le réseau par une émission qui serait envoyée à toutes les adresses du réseau.
Préférentiellement, le message de journalisation transmis d'un noeud OP à un autre noeud SB contient la totalité du ou des paquets reçus au niveau de la couche physique, sous leur forme originale. C'est-à-dire qu'il contient les données destinées à l'application maître, mais aussi les données de réseau telles que les entêtes Ethernet, IP, et TCP.
- 21 - En étape 3, le noeud secondaire SB transmet un message d'accusé de réception au noeud opérationnel OP.
En étape 4, sur le noeud opérationnel OP et une fois que l'accusé de réception correspondant a été reçu, le message est retiré de la file d'attente 5 de transmission QOP et transmis à la couche TCP.
Dans une étape 4' parallèle, le noeud secondaire SB enregistre le message dans un journal, par exemple le journal KL kernel log des évènements externes, et le retire de la file d'attente de réception QSB.
En étape 5, sur le noeud opérationnel OP, le processus P1 de l'application maître lit le message dans l'élément socket et le traite pour la suite de son fonctionnement.
Du fait que la prise en compte, par l'application maître, du message arrivant ne se fait qu'après accusé de réception de la part du noeud secondaire SB, l'invention permet d'être sûr qu'un message non journalisé ne puisse être traité par l'application. Par exemple, un tel message non lu peut alors être récupéré par les fonctions de retransmission du protocole TCP.
Si une marque de point de reprise est prévue dans le journal kernel log , le processus de contrôle CtISB du noeud secondaire y enregistre des 20 données représentant cette marque de point de reprise.
Le contenu d'un évènement interne dépend directement de l'environnement local, c'est-à-dire au sein du noeud, du contenu des évènements externes précédents, et de questions d'ordonnancement au sein d'un processeur ou de gestion de plusieurs processeurs ou ordinateurs fonctionnant en parallèle au sein d'un noeud. De ce fait, dans la plupart des cas, seul l'ordre de ces évènements influe sur le comportement ultérieur de l'application.
L'application intermédiaire INT se contente de journaliser l'ordre de ces évènements internes, sans mémoriser le détail, ou les paramètres, de chacun d'eux. Ce choix permet alors de diminuer le volume des données à mémoriser pour la journalisation JOP de ces évènements internes, et donc de minimiser la perte de performance engendrée dans le noeud opérationnel et l'application maître par cette journalisation.
- 22 - Les évènements internes sont sauvegardés dans un journal, constitué d'un ou plusieurs fichiers, appelé user log (cf. figure 2).
Ainsi qu'illustré en figure 4, les noeuds primaire OP et secondaire SB communiquent par un système matériel et/ou logiciel d'interconnexion haute vitesse HSI. Ce système HSI permet des transferts de données entre le processus de journalisation PIogOP du noeud primaire OP et un processus de journalisation PIogSB d'un noeud secondaire SB, et ce directement en contournant tout ou partie des systèmes d'exploitation de ces deux noeuds. Un tel système HSI peut être implémenté, selon des moyens connus, en utilisant les contrôleurs d'interface réseau existant, comme les cartes réseaux et leur logiciels pilotes. Un tel système HSI peut également être réalisé en utilisant des dispositifs réseau haute performance, en parallèle ou en combinaison avec le reste du réseau interne au cluster.
Les évènements internes sont scrutés et lus au sein de l'espace utilisateur du noeud opérationnel OP par un processus de journalisation PIogOP de l'application intermédiaire. Celui-ci transmet alors au processus de journalisation PIogSB du noeud secondaire, par le système de connexion haute vitesse HSI, des données représentant ces évènements internes et/ou leur ordre de survenance. Ces données sont alors sauvegardées dans un ou plusieurs fichiers formant le journal User log .
Si une marque de point de reprise est prévue dans le journal user log , le processus de journalisation PlogSB du noeud secondaire y enregistre des données représentant cette marque de point de reprise.
De façon préférentielle, le processus de journalisation PIogOP lit les évènements internes à leur retour , c'est-à-dire lorsque le résultat en est déjà produit mais pas encore transmis au processus de l'application maître qui en a demandé l'exécution.
Cette lecture se fait par exemple en interceptant les appels systèmes d'entrée/sortie, par exemple un accès à un pipe , et les réponses à des opérations de verrouillage de segments de mémoire partagée SHM.
Cette interception peut être réalisée en insérant des instructions d'enregistrement ( recording probes ou sondes d'enregistrement) dans le contenu de tout ou partie des routines fournies par le système et appelées par l'application. Ces sondes d'enregistrement sont ajoutées sous forme 23 - d'instructions supplémentaires, formant par exemple un épilogue à la fin du code de la routine d'origine tel qu'illustré en figure 7, en utilisant une technique d'interposition dynamique par metaprocess , comme précisé plus loin.
Le journal des évènements internes, le user log , comprend ainsi une succession d'enregistrements représentant chacun un évènement interne. Ces évènements peuvent être journalisés dans un seul fichier, et comprendront alors une identification des ressources et/ou des processus concernés. Ils peuvent également être journalisés dans plusieurs fichiers, à raison par exemple d'un fichier par ressource, ou par processus, ou par combinaison des deux.
Pour un fichier correspondant à une ressource déterminée, chacun de ces enregistrements comprend en particulier les champs suivants: un numéro de séquence de l'évènement concerné, au sein d'une séquence propre à chaque ressource, et qui est incrémenté à chaque nouvel évènement ou opération sur cette ressource; une information temporelle, représentant par exemple la durée écoulée depuis le dernier évènement concernant cette ressource; un type d'évènement, par exemple read ou write pour une ressource d'entrée/sortie ( I/O ) ou lock ou unlock pour un sémaphore; un résultat, c'est-à-dire une valeur dans le cas d'une opération d'entrée/sortie ou une identification d'un processus obtenant un accès exclusif dans le cas d'un lock .
Ce résultat sera en particulier utilisé pour réaliser une virtualisation de ressources, par exemple lors du re-jeu des évènements d'un journal par une application de reprise ou de secours restaurée sur un noeud secondaire.
Le résultat mémorisé constituera alors une valeur à forcer comme résultat d'une demande d'opération I/O faite au cours du re-jeu, ou une identification virtuelle de processus (PID virtuel) dans le cas d'une tâche obtenant un lock .
- 24 - De façon à limiter les pertes de performances dues à la transmission des données de journalisation, depuis le noeud opérationnel vers un ou plusieurs noeuds secondaires, il est utile de regrouper l'envoi de données représentant plusieurs évènements internes.
Pour cela, l'application intermédiaire peut utiliser une combinaison de plusieurs méthodes différentes, par exemple mises en oeuvre par le processus de journalisation PIogOP dit primaire du noeud opérationnel OP.
On comprend que l'évolution interne d'une application n'a pas d'importance vis-à-vis du monde extérieur, par exemple vis-à-vis de ses clients, tant que cette opération n'envoie rien vers le monde extérieur. Une application de reprise, restaurée à partir d'un point de reprise et d'un journal, ne comportera aucune interruption de ses services au monde extérieur si ce journal n'inclut pas les évènements internes qui ont eu lieu depuis le dernier message externe émis par l'application maître qui a été journalisée.
Selon une première méthode, ce processus de journalisation primaire PIogOP envoie les données de journalisation interne au fil de l'eau mais en mode asynchrone et au fur et à mesure des possibilités de transmission, sans bloquer le fonctionnement de l'application maître, tant que celle- ci n'envoie pas de message externe. Lors du prochain envoi par l'application maître d'un message externe, des moyens de détection en avertissent le processus de journalisation primaire qui bloque ou suspend l'émission de ce message externe, et possiblement l'exécution d'un ou plusieurs processus de l'application maître. Ce blocage est alors maintenu jusqu'à ce que la totalité des données de journalisation interne en cours de transmission asynchrone aient été envoyées, ou jusqu'à ce qu'il ait reçu un accusé de réception pour ces données.
Selon une deuxième méthode, le processus de journalisation primaire PIogOP mémorise dans un tampon ou cache les données de journalisation interne représentant plusieurs évènements internes successifs, sans les transmettre immédiatement au processus de journalisation PIogSB du noeud secondaire. Il ne les transmet que lorsque leur nombre atteint un seuil déterminé, ou lorsque l'application doit envoyer un message dit externe au monde extérieur, par exemple des données ou - 25 - un signal à destination d'un client ou d'un processus externe. Lors du prochain envoi par l'application maître d'un message externe, des moyens de détection en avertissent le processus de journalisation primaire qui bloque ou suspend l'émission de ce message externe et possiblement l'exécution d'un ou plusieurs processus de l'application maître. Ce blocage est alors maintenu jusqu'à ce que le processus de journalisation primaire ait transmis au noeud secondaire les données de journalisation restant dans le cache, ou jusqu'à ce qu'il ait reçu un accusé de réception pour ces données.
Dans ces deux méthodes, le fait d'avoir à émettre un message externe constitue un événement sortant externe, qui constitue un type d'événement que l'on peut qualifier de bloquant, c'est à dire qui nécessite que la journalisation des évènements précédents soit clôturée avant exécution de cet évènement. Selon les modes de réalisation, d'autres types d'évènements peuvent aussi être choisis comme bloquants, le plus souvent en plus des évènements sortants externes.
La figure 4a illustre le fonctionnement d'une journalisation d'évènements avec regroupement des données de journalisation DJ de plusieurs évènements internes EVI avant transmission à l'extérieur du noeud primaire OP.
En une étape 1, le processus de journalisation PIogOP détecte, au sein du déroulement d'un processus journalisé P1, la survenue d'un d'événement EVI.
En une étape 2, le processus de journalisation PIogOP vérifie si l'événement détecté EVI est d'un type devant être considéré comme bloquant.
En une étape 3, si l'événement EVI n'est pas d'un type bloquant, la journalisation de cet événement produit une donnée de journalisation DJ.
En une étape 4, cette donnée de journalisation DJ est mémorisée au sein du noeud primaire OP dans une structure ordonnée constituant un journal tampon JSlLocal, avant d'attendre la détection d'un prochain événement.
En une phase 5, lorsque l'événement détecté EVI est d'un type bloquant, le processus de journalisation PIogOP réalise une phase de clôture - 26 - de la séquence courante des évènements internes précédemment journalisés dans le journal tampon JSlLocal.
Cette phase 5 comprend une étape 6, où l'exécution du processus journalisé P1 est suspendu en attendant la bonne exécution de la phase de clôture 5.
Cette phase 5 comprend aussi une étape 7, où le processus de journalisation PlogOP du noeud primaire OP transmet le contenu du journal tampon JSlLocal au processus de journalisation du noeud secondaire PlogSB, qui le mémorise dans le journal JSeml concernant l'événement détecté EVI, à la suite des données précédentes. Le processus de journalisation primaire PIogOP continue alors la journalisation de l'événement détecté EVI, en reprenant une séquence tampon si cet événement est aussi un événement interne.
Dans une variante illustrée en figure 4b, la mémorisation en tampon d'évènements internes peut être déclenchée par des types d'évènements possiblement différents des évènements de type bloquant. Il s'agit alors d'évènements de type déclenchant. Un même type d'événement peut être choisi comme constituant un type seulement bloquant ou seulement déclenchant ou les deux.
Dans cette variante, l'étape 1 de détection d'un événement est suivie d'une étape bl. Dans cette étape bl, si l'événement détecté EVI est d'untype considéré comme déclenchant, le processus de journalisation primaire PIogOP vérifie si une séquence courante SEQC de journalisation en mémoire tampon est en cours, et en initialise une si ce n'est pas le cas.
En une étape suivante b2, teste si une telle séquence courante SEQC de journalisation en mémoire tampon est en cours pour l'événement détecté EVI.
En une étape b3, si aucune séquence courante tampon SEQC n'est active pour cet événement EVI, son résultat est journalisé en tant que donnée de journalisation DJ.
En une étape b4, cette donnée de journalisation DJ est transmise au processus de journalisation secondaire PlogSB qui le mémorise à la suite des précédents dans le fichier journal JSeml concernant l'événement détecté EVI, à la suite des données précédentes. Le processus de - 27 journalisation primaire PIogOP attend alors la détection d'un nouvel événement.
A la suite de l'étape b2, si un séquence courante est active pour l'événement détecté EVI, la journalisation de cet événement se poursuit de 5 la même façon qu'en figure 4a.
Lorsque l'application intermédiaire veut basculer tout ou partie des services de l'application maître vers une application de reprise, elle commence par restaurer une telle application de reprise sur un noeud secondaire à partir d'un état de point de reprise, puis effectue un rejeu des évènements journalisés depuis ce dernier point de reprise.
En particulier pour une application maître qui fonctionne de façon évènementielle, c'est à dire sur évènements déclenchants (externes), par exemple une application transactionnelle, le re-jeu de restauration s'effectue de façon différente pour les évènements externes ou pour les évènements internes.
Un tel fonctionnement signifie, pour l'application, qu'elle comprend au moins un processus qui peut rester à attendre de recevoir un évènement externe, et y réagir en réalisant des opérations comprenant des évènements internes.
Le re-jeu comprend alors donc une fourniture active à l'application des évènements externes journalisés, et une réponse passive fournissant les réponses journalisées en réponse à des évènements internes que le déroulement de l'application de reprise crée de lui-même au cours du rejeu.
La figure 5 illustre le fonctionnement du re-jeu RSB des évènements externes de type messages TCP, journalisés dans un ou plusieurs fichiers KL constituant le journal externe kernel log .
Ce kernel log KL est utilisé par un processus de re-jeu PRE, appartenant à l'application intermédiaire et s'exécutant dans l'espace utilisateur du noeud secondaire SB, pour réinjecter dans un processus PB1 de l'application de reprise les messages TCP journalisés précédemment.
Pour effectuer cette réinjection, l'application intermédiaire INT comprend ou utilise un mécanisme ou agent logiciel s'interposant dans les couches de réception de messages TCP, par exemple sous la forme d'un - 28 mécanisme ou agent logiciel ipfilter , comprenant un module kernel fonctionnant entre les couches IP et TCP. Le noeud secondaire comprend également une fonctionnalité de boucle locale de réseau BL, dont l'accès est adressé ( mapped ) par une interface au sein du système pour être accessible à des processus de l'espace utilisateur. Cette boucle BL peut comprendre en particulier un dispositif physique au sein de l'espace matériel, qui lui permet de réinjecter des données à la base de la couche IP, contrairement à des interfaces virtuelles de loop-back qui sont réalisées de façon logicielle au sein d'un système d'exploitation, par exemple Unix.
En une étape 1, le processus de re-jeu PRE lit un message journalisé dans les fichiers du kernel log KL.
En une étape 2, le processus de re-jeu PRE injecte ce message dans l'interface de la boucle locale de réseau BL.
En une étape 3, ce message est reçu par la couche IP, qui la transmet, par l'intermédiaire de l'agent ipfilter , à la couche TCP pour traitement.
En une étape 4, si la couche TCP envoie un accusé de réception vers le réseau, celui-ci sera filtré ou bloqué par l'agent ipfilter .
En une étape 5, après avoir transmis le message vers la couche TCP, après avoir reçu son accusé de réception s'il y en a un, l'agent ipfilter signale au processus de re-jeu PRE que le message a bien été reçu ou traité par la couche TCP.
En une étape 6, le processus PB1 de l'application de reprise reçoit le message de la couche TCP, et réalise une lecture asynchrone du ou des paquets qu'il contient.
Pendant toute la durée du re-jeu, l'agent ipfilter isole l'application de reprise du réseau, en empêchant tous les messages extérieurs d'arriver jusqu'à la couche TCP, et en empêchant tous les messages émis par l'application de reprise d'arriver jusqu'à la couche IP, de façon transparente vis-à-vis de cette application.
Au sein de l'application de reprise, pour effectuer le re-jeu des évènements internes prenant place entre deux évènements externes rejoués, l'application intermédiaire laisse l'application de reprise s'exécuter d'elle-même, tout en virtualisant pour elle les ressources concernées, 29 - réalisant ainsi un rejeu passif. Un processus de re-jeu PRI détecte alors chaque opération constituant un évènement interne concernant une ressource déterminée, et force cette ressource à adopter le comportement qui a été journalisé, renvoyant ainsi à l'application de reprise le résultat mémorisé pour cet évènement lors de cette journalisation.
Les figures 6 à 8 illustrent un exemple de re-jeu RSB d'un évènement interne, dans un cas où il comprend une opération de prise d'un sémaphore SEM1 par deux processus PB1 et PB2 de l'application de reprise, en vue d'obtenir un accès en exclusion mutuelle à une ressource partagée, par exemple une zone de mémoire partagée.
Au cours d'une restauration sur un noeud secondaire SB, ces deux processus PB1, PB2 réalisent un re-jeu à partir de fichiers constituant un journal user log . Au cours de leur re-jeu, l'exécution de l'application de reprise amène ces processus à réaliser chacun un appel à un même sémaphore SEM1, auquel correspond un fichier journal JSEM1 inclus dans le journal des évènements internes user log .
La détection de ces opérations d'accès et le forçage de leur réponse sont réalisés en utilisant en ajoutant des instructions supplémentaires dans le contenu de tout ou partie des routines fournies par le système et appelées par l'application, en utilisant une technique d'interposition dynamique par metaprocess . Une telle technique peut être par exemple celle décrite dans le brevet FR 2 843 809. En particulier, ces instructions peuvent être regroupées avant le code réalisant les fonctions de la routine d'origine et former alors un prologue, ou être regroupées après ce code et former un épilogue.
La figure 7 illustre ainsi l'insertion d'un prologue et d'un épilogue au sein d'une routine R, donnant ainsi une routine modifiée RM. Dans cet exemple, il est à noter que la même routine modifiée RM peut-être utilisée pour réaliser une journalisation d'une application maître et également pour réaliser un rejeu d'une application de reprise.
Lors de l'exécution des fichiers exécutables de l'application, un processus P exécute une ligne de code appelant la routine R, par exemple la routine sem_wait au standard POSIX.4 , qui demande le positionnement d'un sémaphore déterminé lui attribuant un accès en - 30 exclusion mutuelle à une zone déterminée de mémoire partagée. Dans le cas d'une application multi-thread, il peut s'agir d'une instruction pthread_mutex_lock du standard POSIX Threads qui remplit un rôle similaire.
Un agent d'interposition META, chargé dans le système au démarrage ou avant les fichiers exécutables de l'application, intercepte l'appel à la routine d'origine R du système, et le redirige vers la routine modifiée RM. Cette routine modifiée comprend des instructions réalisant ou appelant la routine R d'origine sem_wait , précédées par des instructions réalisant un prologue et suivies par des instructions réalisant un épilogue.
Ces instructions supplémentaires peuvent comprendre, en particulier, un algorithme des types suivants: Pour le prologue: if (replay) check(Jsemi) Pour l'épilogue: if (replay) end_check(Jseml) else record(result, Jseml) Les instruction "if(replay)" testent une condition indiquant si l'application est en train de réaliser un re-jeu ou non.
Dans le cas contraire ( else ), cela signifie que l'application s'exécute de façon normale et doit donc être traitée comme une application maître. L'épilogue exécute alors une fonction record(result, Jseml) , qui constitue une sonde d'enregistrement telle que citée précédemment et participe à la journalisation d'un évènement interne en mémorisant le résultat result dans le journal Jseml .
Lorsque la routine sem_wait est appelée par l'application de reprise au cours d'un re-jeu utilisant le journal Jseml , le prologue est exécuté avant la réalisation de la routine sem_wait d'origine du système.
La figure 8 représente un organigramme temporel qui illustre le fonctionnement de cette routine modifiée RM pour effectuer le re-jeu des deux processus PB1, PB2 à partir du journal JSEM1 inclus dans le journal d'évènements internes User Log . Chaque évènement journalisé dans le journal JSEM1 est numéroté selon une séquence incrémentale #OP propre -31 - au sémaphore SEM1 concerné. Associé à chacun de ces numéros #op, le journal JSEM1 contient une identification PID du processus qui a appelé le sémaphore correspondant à ce journal JSEM1, lors de la journalisation.
Chacun des deux processus PB1 et PB2 s'exécutant de façon parallèle, leurs appels respectifs au sémaphore SEM1 par la fonction sem_wait ne se font pas forcément dans l'ordre mémorisé dans le journal JSEM1 du sémaphore.
Lorsque le processus PB2 d'identifiant id2 appelle le sémaphore SEM1 au cours du re-jeu, le prologue exécute alors l'instruction check(Jseml) au nom de ce même processus PB2, en une étape 21. Cette fonction check(Jseml) lit dans le journal JSEM1 la ligne correspondant à la valeur actuelle du numéro de la séquence OPSEMI, soit la ligne #1: idi .
Cette fonction check compare la valeur PlDlog lue, soit idi , à l'identifiant du processus PB2 appelant, soit id2 . Lorsqu'elle constate que ces valeurs diffèrent, cette fonction check suspend l'exécution du processus PB2 appelant, par exemple en ré-exécutant cette même étape 21 de comparaison en boucle continue.
Par la suite, lorsque le processus PB1 d'identifiant idl appelle lui aussi le sémaphore SEM1 au cours du re-jeu, le prologue exécute également l'instruction check(Jseml) , mais cette fois au nom du nouveau processus appelant PB1, en une étape 11. Lorsqu'elle constate que ce processus appelant PB1 est bien celui dont l'identifiant idl est mémorisé dans le journal à la ligne correspondant au numéro actuel de la séquence active, soit la valeur #1 , la fonction check autorise la poursuite de l'exécution du processus appelant PB1.
En une étape 12, la routine modifiée RM réalise alors les fonctionnalités de la routine R d'origine, soit l'instruction sem_wait , qui lui attribue donc le sémaphore SEM1 et renvoie la valeur idi du processus appelant PB1.
En une étape 13, l'épilogue exécute alors l'instruction end_check(Jseml) au nom du processus appelant PB1. Cette fonction end_check clôt alors l'appel sem_wait du processus PB1 et débloque l'exécution du processus PB2 qui était en attente. Cette opération peut -32 - comprendre en particulier une incrémentation du numéro de la séquence OPSEMI de ce sémaphore SEM1, le faisant passer à la valeur suivante #2 .
Dans ce cas, lorsque la fonction check appelée par le processus PB2 s'exécute à nouveau en une étape 22, elle lit la ligne suivante du journal JSEM1 #2: id2 et laisse son processus PB2 appelant poursuivre son exécution de la routine modifiée RM.
En une étape 23, la routine modifiée RM réalise alors à son tour les fonctionnalités de la routine R d'origine, soit l'instruction sem_wait , qui lui attribue donc le sémaphore SEM1 et renvoie la valeur id2 du processus appelant PB1.
En une étape 24, l'épilogue exécute alors l'instruction end_check(Jseml) au nom du processus PB2 appelant, incrémentant à nouveau la séquence du sémaphore SEM1 et le rendant disponible pour la suite du re-jeu.
Quel que soit l'ordre dans lequel les différents processus en cours de rejeu demandent l'attribution du sémaphore SEM1, on voit qu'ils ne peuvent ainsi l'obtenir que dans l'ordre exact mémorisé dans son journal JSEM1, et donc dans le même ordre que lors du déroulement de l'application maître ayant donné lieu à cette journalisation.
Du fait que ces instructions supplémentaires sont ajoutées par un agent META extérieur à l'application maître et ajouté au système d'exploitation sans modification de celui-ci, on voit que ces opérations de journalisation et re-jeu s'effectuent de façon transparente et non intrusive, pour l'application maître et sans modification des éléments préexistants du système.
Etant donné l'importance du nombre d'évènements internes, il est utile d'optimiser le fonctionnement de leur journalisation et/ou leur re-jeu, en particulier pour éviter une dégradation des performances qui rendrait 30 peu significatifs les bénéfices obtenus par les caractéristiques décrites ci- dessus.
Parmi les types d'évènements internes survenant entre deux évènements externes, la plupart peuvent être qualifiés de déterministes, -33 - c'està-dire ne comportant que des opérations dont le résultat dépend exactement de l'état de l'application avant ces opérations.
Par contre, en particulier dans le cas d'applications mufti-tâches ou réparties sur plusieurs noeuds, certains évènements internes sont d'un type non-déterministe, car ils comprennent des opérations qui peuvent fournir un résultat dépendant de facteurs extérieurs à l'application ou au noeud primaire.
En ne journalisant, ou rejouant, que les évènements internes de types non déterministes, il est ainsi possible de limiter la surcharge de travail du noeud opérationnel, et donc la baisse de performances, causées par l'utilisation de l'application intermédiaire pour fiabiliser ou gérer l'application maître.
Ainsi qu'illustré en 8a et 8b, la journalisation et le re-jeu peuvent être accélérés en particulier en ne journalisant le résultat et en ne forçant le rejeu que pour les évènements internes dont le comportement n'est pas déterministe.
Pour tous les évènements, et en particulier les évènements internes EVI, un mécanisme d'interposition META (figure 7), tel que décrit précédemment, appelle une routine modifiée RM réalisant l'opération prévue au lieu d'une routine d'origine R. Cette routine modifiée RM comprend une fonctionnalité pouvant réveiller ou informer un processus de journalisation PIogOP ou un processus de rejeu PRI de la survenue de cet événement EVI, et si besoin attendre son accord pour poursuivre le traitement de cet événement ou pour rendre la main au processus P1 ou PB1 qui l'a appelée.
Qu'il s'agisse de journalisation ou de rejeu, la gestion de cet événement EVI comprend alors une étape réagissant à la survenue de cet événement, suivie d'une étape de gestion complémentaire GC (figures 8a, 8b) dont le contenu dépend de la nature déterministe ou non de cet événement interne.
La figure 8a illustre le fonctionnement de la journalisation d'un événement interne. Au cours du déroulement du processus P1 en cours de journalisation JOP (figure 1), l'exécution d'une instruction réalise un 34 - événement interne EVI portant sur une ressource partagée, comme un sémaphore SEM1.
En une étape 1, la routine modifiée RM correspondant à l'événement à journaliser EVI informe ou réveille le processus de journalisation PIogOP, 5 qui détecte ainsi la survenue de cet événement EVI.
En une étape 2, la routine modifiée RM correspondant à l'événement EVI réalise sur le sémaphore SEM1 l'opération prévue dans la routine d'origine R et reçoit ou calcule une donnée de résultat DR à destination du processus journalisé Pl.
En une étape 3, le processus de journalisation PIogOP incrémente un numéro de séquence SQ, par exemple affecté au sémaphore SEM1, correspondant à la position de l'événement détecté EVI au sein d'une séquence de P1 en cours de journalisation.
En une étape 4, ce processus PIogOP effectue un test pour savoir si l'événement interne EVI détecté est d'un type déterministe ou non. Ce test peut porter par exemple sur un paramètre reçu de la routine modifiée RM lors de son appel, ou sur la présence d'une donnée de résultat DR transmise avec cet appel, ou sur une identification d'instruction ou d'événement mémorisée par ailleurs dans le noeud primaire OP.
En une étape 5, si l'événement détecté EVI est d'un type non-déterministe, le processus PIogOP transmet la donnée de résultat DR au processus de journalisation PIogSB du noeud secondaire. Celui-ci mémorise alors la donnée de résultat DR et le numéro de séquence SQ correspondant à l'événement EVI, de façon associée au sein d'un fichier de journalisation JSeml correspondant au sémaphore SEM1, à la suite des données de résultat des évènements journalisés précédents. Selon les conditions de journalisation, les données mémorisées dans le journal JSeml peuvent aussi être directement mémorisées dans un fichier journal sur support permanent dans le noeud primaire par le processus de journalisation PIogOP.
A l'issue d'une séquence d'évènements internes du processus journalisé Pi, le journal JSeml contient ainsi une suite ordonnée de toutes les données de résultats renvoyées par le sémaphore SEM1 à ce - 35 - processus Pi, associées aux numéros de séquence des évènements qu'elles concernent.
La figure 8b illustre le fonctionnement du rejeu de cet événement interne EVI, au sein d'un processus de reprise PB1, lors d'une phase de rejeu RSB (figure 1) passif, contrôlé par un processus de rejeu PRI (cf. figure 6), des événements mémorisés dans le journal JSeml correspondant au sémaphore SEM1. Au cours du déroulement du processus PB1 en cours de rejeu des évènements du journal JSeml, l'exécution d'une instruction réalise un événement interne EVI d'un type non déterministe portant sur le sémaphore SEM1.
En une étape 1, la routine modifiée RM correspondant à l'événement à journaliser EVI informe ou réveille le processus de rejeu PRI, qui ainsi détecte et identifie ainsi la survenue de cet événement.
En une étape 2, la routine modifiée RM correspondant à l'événement EVI réalise sur le sémaphore SEM1 l'opération prévue dans la routine d'origine R, et reçoit ou calcule une donnée de résultat correspondant à un résultat réel de rejeu RRJ. La routine modifiée RM suspend alors l'exécution du processus de reprise PB1 et attend un signal du processus de rejeu PRI pour transmettre ce résultat RRJ au processus de reprise PB1.
En une étape 3, le processus de rejeu PRI lit dans le journal JSeml la prochaine valeur RLi non utilisée pour le rejeu, avec le numéro de séquence SQi qui lui est associé.
En une étape 4, le processus de incrémente un numéro de séquence SQ, par exemple affecté au sémaphore SEM1, correspondant à la position de l'événement détecté EVI au sein d'une séquence de PB1 en cours de rejeu.
En une étape 5, le processus de rejeu PRI effectue un test sur le numéro de séquence actuel SQ et le numéro de séquence lu SQi dans le journal, pour savoir si l'événement en cours EVI de rejeu correspond à un événement journalisé.
En une étape de forçage 7, si ces événement correspondent, le processus de rejeu PRI transmet le résultat lu RLi dans le journal à la routine modifiée RM, qui le mémorise en lieu et place du résultat RRJ de -36 l'opération d'origine R. La routine modifiée RM retourne alors ce résultat RLi au processus de reprise PB1 et le laisse poursuivre son exécution.
De façon optionnelle, l'étape de forçage 6 est précédée d'une étape 6, dans laquelle le processus de rejeu PRI reçoit de la routine modifiée RM le résultat réel de rejeu RRJ et le compare au résultat lu RLi correspondant au résultat du même événement lors de la journalisation. Si ces deux résultats RRJ et RLi correspondent, le processus libère directement la routine modifiée qui retourne son résultat au processus de reprise PB1 et le laisse poursuivre son exécution.
Ainsi, on voit que les évènements non déterministes peuvent être enregistrés et rejoués de façon fidèle et exacte, assurant un déroulement du processus de reprise PB1 lors du rejeu qui soit fidèle à celui du processus cible P1 lors de la journalisation.
Du fait que seuls certains évènements sont journalisés ou rejoués, et parce que les opérations internes supplémentaires de mise en oeuvre de l'invention sont bien plus rapides qu'une mémorisation ou transmission pour journalisation, on diminue la surcharge de travail due au fonctionnement de l'application intermédiaire INT.
Optionnellement, lorsqu'une routine d'origine R n'est prévue que pour réaliser des évènements qui sont déterministes, une routine modifiée RM qui lui correspond peut ne pas prévoir du tout d'appel à un processus de journalisation ou de rejeu. De même, lorsqu'une routine d'origine R n'est prévue que pour réaliser des évènements non-déterministes, sa routine modifiée RM peut comprendre un appel systématique à un processus de journalisation ou de rejeu. lors de la journalisation, l'étape 4 (figure 8a) de test de la nature déterministe peut alors être implicitement réalisée dans le type d'appel reçu ou dans le fait même de recevoir un appel.
Dans le cas où un type donné d'évènement interne peut être déterministe ou non selon le type d'application ou les conditions de son exécution, la routine modifiée RM peut aussi inclure dans son prologue et/ou son épilogue des instructions évaluant ce type d'application ou ces conditions d'exécution.
L'utilisation d'un numéro de séquence SQ peut aussi être optionnelle. Dans ce cas, le processus de journalisation PlogOP (figure 8a) se contente - 37 - de mémoriser la donnée de résultat lorsque l'événement EVI est de type non déterministe. De son côté, le processus de rejeu PRI (figure 8b) se contente de lire le prochain résultat RLi journalisé, et considère qu'il s'agit du résultat à forcer pour le prochain événement EVI détecté comme étant non déterministe.
En outre, une méthode d'optimisation heuristique, ou prédictive, permet de ne pas journaliser systématiquement tous les évènements internes non déterministes. Cette méthode peut être mise en oeuvre seule ou en combinaison avec d'autres méthodes d'optimisation.
Du fait du coût en termes de temps des opérations de journalisation et rejeu, en particulier par rapport à des opérations internes à un noeud, il peut en effet être intéressant de réaliser un certain nombre d'opérations internes supplémentaires si cela permet de diminuer le nombre de d'opérations de journalisation.
Cette technique d'optimisation heuristique comprend la mise en oeuvre, par l'application intermédiaire, d'une compression heuristique fonctionnant par prédiction de résultats et portant sur tout ou partie des évènements internes détectés lors du fonctionnement de l'application maître.
Lors de la journalisation au sein du noeud opérationnel, cette compression heuristique peut par exemple être mis en oeuvre par le processus de journalisation interne PlogOP.
La figure 8c illustre le fonctionnement de la journalisation d'un événement non déterministe, avec utilisation d'une telle compression heuristique CH.
Au cours du déroulement du processus P1 en cours de journalisation JOP, l'exécution d'une instruction réalise un événement interne EVInD d'un type non déterministe portant sur une ressource partagée, comme un sémaphore SEM1.
En une étape 1, la routine modifiée RMnD correspondant à l'événement à journaliser EVInD informe ou réveille le processus de journalisation PIogOP, qui détecte ainsi la survenue de cet événement EVInD.
- 38 - En une étape 2, la routine modifiée RMnD correspondant à l'événement EVInD réalise sur le sémaphore SEM1 l'opération prévue dans la routine d'origine RnD et reçoit ou calcule une donnée de résultat DR à destination du processus journalisé P1.
En une étape 3, le processus PIogOP incrémente le numéro de séquence SQ de journalisation correspondant à la ressource SEM1 concernée par l'évènement détecté EVInD.
Avantageusement, ce numéro de séquence SQ est mémorisé en mémoire de travail au sein du noeud primaire OP. De ce fait, sa gestion représente une charge de travail très faible par rapport à la transmission d'une donnée de résultat vers un noeud secondaire ou sa mémorisation dans un fichier journal sur support permanent.
Cette incrémentation du numéro de séquence SQ associé au sémaphore SEM1 et à son journal JSEM1 permet ainsi d'enregistrer le passage d'un événement non déterministe EVInD correctement prédit par la fonction de prédiction FH tout en évitant la surcharge de travail que représenterait la mémorisation systématique de la donnée de résultat DR.
En une étape 4, le processus PIogOP réalise une opération logicielle FH comprenant une prédiction du résultat de cet évènement interne EVInD sous la forme d'un résultat prédit RP. De préférence, cette prédiction est un traitement logiciel déterministe constitué d'une ou plusieurs fonctions déterministes basées sur l'état du processus P1 journalisé ou de l'application maître avant cet évènement EVInD.
En une étape 5, le processus PIogOP compare le résultat prédit RP 25 avec le résultat réel DR issu du déroulement RnD de l'évènement EVInD détecté.
En une étape 6, si ces deux résultats DR et RP sont différents, le processus PIogOP transmet le résultat réel DR et la valeur correspondante du numéro de séquence SQ, au processus PIogSB du noeud secondaire, qui les mémorise de façon associée, comme ligne suivante dans le fichier journal Jseml correspondant à la ressource concernée SEM1.
Lors de cette étape, il est possible de prévoir une réinitialisation du numéro de séquence SQ de journalisation de la ressource SEM1 concernée. Dans ce cas, le numéro de séquence SQ représente le nombre d'évènements correctement prédits depuis le dernier événement dont le résultat a été journalisé.
A l'issue d'une séquence d'évènements internes du processus journalisé P1, le journal JSeml contient ainsi une suite ordonnée de toutes les données de résultats renvoyées par le sémaphore SEM1 à ce processus P1 et qui n'ont pas été prédites correctement par la fonction de prédiction FH.
Dans le cas où la journalisation des évènements internes a été réalisée en utilisant une telle optimisation heuristique, l'application intermédiaire met alors en oeuvre une décompression heuristique lors d'un re-jeu au sein d'un noeud secondaire. Cette décompression heuristique utilise une prédiction identique à celle utilisée pour la compression et porte sur les mêmes évènements que lors de la journalisation avec compression heuristique.
La figure 8d illustre ainsi le fonctionnement du rejeu d'un événement nondéterministe, avec utilisation d'une telle décompression heuristique DH, au sein d'un rejeu passif d'un processus de reprise PB1, contrôlé par un processus de re-jeu interne PRI (cf. figure 6), à partir du journal JSeml portant sur le sémaphore SEM1.
Au cours du rejeu des évènements du journal JSeml, l'exécution d'une instruction réalise un événement interne EVInd d'un type non déterministe portant sur le sémaphore SEM1.
En une étape 1, la routine modifiée RMnD correspondant à l'événement à journaliser EVInD informe ou réveille le processus de rejeu PRI, qui ainsi détecte et identifie ainsi la survenue de cet événement EVInD.
En une étape 2, la routine modifiée RMnD correspondant à l'événement EVInD réalise sur le sémaphore SEM1 l'opération prévue dans la routine d'origine RnD et reçoit ou calcule une donnée de résultat correspondant à un résultat réel de rejeu RRJ. La routine modifiée RMnD suspend alors l'exécution du processus de reprise PB1. Elle attend alors un signal du processus de rejeu PRI pour transmettre ce résultat RRJ au processus de reprise P1 et pour le laisser poursuivre son exécution.
En une étape 3, le processus PRI lit et incrémente la valeur d'un numéro de séquence SQ correspondant au sémaphore SEM1.
- 40 - En une étape 4, le processus de re-jeu interne PRI compare ce numéro de séquence SQ avec le prochain numéro de séquence SQi non encore rejoué parmi ceux mémorisés dans le fichier journal Jseml correspondant à cette même ressource SEM1.
En une étape 5, si ces numéros de séquence SQ et SQi correspondent entre eux, alors le processus de re-jeu interne PRI lit le résultat mémorisé RLi dans ce journal pour ce numéro de séquence SQi, et le mémorise comme résultat forcé RF à retourner par l'évènement détecté EVInD. Le processus de re-jeu interne PRI mémorise alors le fait que l'événement représenté par la ligne SQi du journal JSemi a été rejoué, et active la ligne suivante SQj de ce même journal pour le traitement du prochain événement détecté.
Lors de cette étape, il est possible de prévoir une réinitialisation du numéro de séquence SQ de rejeu de la ressource SEM1 concernée.
En une étape 6, si ces numéros de séquence SQ et SQi ne correspondent pas entre eux, le processus de re-jeu interne PRI réalise une opération logicielle FH comprenant la même prédiction de résultat que celle réalisée lors de la journalisation de cet évènement interne, sous la forme d'un résultat prédit RPJ. Le processus de re-jeu interne PRI mémorise alors le résultat RPJ de cette prédiction comme résultat forcé RF à retourner par l'évènement détecté EVInD.
En une étape 8, le processus de re-jeu interne PRI transmet le résultat forcé RF à la routine modifiée RMnD, qui l'impose au processus de reprise PB1 en lieu et place du résultat réel rejoué RRJ retourné par l'événement interne EVInD. La routine modifiée laisse ensuite le processus de reprise PB1 poursuivre son exécution.
De façon optionnelle, ce forçage peut être précédé d'une étape 7 de test pour comparer ces deux résultats RRJ et RF, et éviter d'intervenir dans le processus de reprise PB1 si ces résultats correspondent.
Il est à noter que les données d'identification ou de séquencement SQ utilisées dans cette méthode d'optimisation prédictive peuvent constituer des variables différentes de celles décrites précédemment (figures 8a et 8b), ou être organisées et traitées de façon à être communes avec elles.
- 41 - On voit ainsi que, même sans journaliser le résultats de tous les évènements non déterministes, ceux-ci peuvent être enregistrés et rejoués de façon fidèle et exacte. De cette façon, il est donc possible d'optimiser ces opérations de journalisation et rejeu tout en assurant un déroulement du processus de reprise PB1 lors du rejeu qui soit fidèle à celui du processus cible P1 lors de la journalisation.
Etant donné la différence de vitesse entre les opérations de journalisation et de simples opérations de calculs internes à un noeud, cette technique d'optimisation heuristique peut être intéressante même si la fonction de prédiction utilisée n'a pas un taux de succès très élevé. Si cette différence est grande, même un taux de succès de prédiction inférieur à 50 % peut permettre une optimisation utile.
Cette technique d'optimisation heuristique peut également utiliser plusieurs fonctions de prédiction différentes, du moment que c'est la même qui est utilisée pour journaliser puis rejouer un même évènement ou groupes d'évènements internes. Le choix de la fonction de prédiction à utiliser peut s'effectuer en fonction de l'état de l'application ou de son environnement, par exemple à partir d'une base de connaissances ou de règles. Ce changement peut alors être mémorisé au sein des données de journalisation mémorisées par l'application intermédiaire. Cette technique d'optimisation heuristique peut également être utilisée de façon auto adaptative, en évaluant son taux de succès au fur et à mesure de la journalisation et en déclenchant un changement de cette fonction basé sur la valeur de ce taux de succès ou sur sa variation.
Un exemple de fonction de prédiction utilisée dans cette technique d'optimisation heuristique comprend une prédiction de l'ordre de survenue des évènements internes en se basant sur l'ordre de survenue des évènements externes provenant de différents clients.
Les figures 9 et 10 illustrent la survenue d'évènements externes et internes participant à trois processus ProcA, ProcB, ProcC d'identifiants valant respectivement a , b , et c , par exemple exécutant trois tâches Ta, Tb, Tc lancées respectivement par trois clients différents. Ces différentes tâches comprennent par exemple chacune un premier évènement externe Eal, Ebi, Ecl, et un deuxième évènement externe Ea2, 42 - Eb2, Ec3. Entre ces premiers et deuxièmes évènements externes, chacune de ces tâches comprend le déclenchement de deux évènements internes non déterministes. En figures 9 et 10, les évènements internes successifs de la tâche Ta sont ainsi référencés Iai et Ia2, ceux de la tâche Tb sont référencés Ib1 et Ib2, et ceux de la tâche Tc sont référencés Ici et Ic2. Ces évènements internes Iai à Ic2 peuvent être différents l'un de l'autre, ou bien concerner une même ressource déterminée, par exemple des attributions de verrou ( lock allocation ) à une même zone déterminée de mémoire partagée.
Dans le cas de tâches sensiblement simultanées, et en particulier lorsqu'elles ont des parties similaires ou communes entre elles et/ou présentent des durées d'exécution similaires, une fonction de prédiction consiste à prédire que l'ordre de survenue des évènements internes Iai, Ibl, Ici intermédiaires sera le même que l'ordre de survenue des évènements externes qui les précédent.
Au cours du déroulement de l'application maître, l'ordre de survenue des premiers évènements externes Eai, Ebl, Eci sur le noeud opérationnel OP est enregistré par l'application intermédiaire, par exemple au sein du processus de journalisation interne PIogOP. Par exemple, cet ordre d'évènements externes comprend la succession des identifiants des processus associés à ces évènements externes, soit la suite des valeurs a b c .
Lors de chaque détection d'un nouvel évènement interne concernant cette ressource, la fonction de prédiction réalise une prédiction du résultat de cet évènement interne, c'est-à-dire de l'identité du processus qui va obtenir le verrou sur cette ressource, c'est-à-dire celui qui vient de le demander. Ce résultat prédit sera alors calculé en comparant l'identité du dernier processus ayant obtenu le verrou sur cette ressource avec cet ordre d'évènements externes.
Ainsi, la fonction de prédiction effectuera une suite de prédictions Pel à Pe6 figurées chacune par une ligne pointillée et dont le résultat est indiqué à son extrémité de droite.
La figure 9 illustre les valeurs des prédictions réalisées à chaque survenue d'un évènement interne, dans le cas où ces évènements internes 43 - suivent l'ordre d'évènements externes. A partir de l'ordre d'évènements externes a b c et du dernier évènement interne survenu, la fonction de prédiction réalisera ainsi une prédiction constituant la suite de valeurs a b c a b c , qui se révèleront juste dans ces six cas. Dans le cadre d'une optimisation heuristique, le processus de journalisation interne PIogOP n'aura ainsi pas besoin de transmettre de données de journalisation pour ces évènements internes, puisqu'ils ont été correctement prévus par la fonction de prédiction.
La figure 10 illustre les valeurs des prédictions réalisées à chaque survenue d'un évènement interne, dans un cas où ces évènements internes ne suivent pas exactement l'ordre d'évènements externes, la tâche Tb du processus PrB d'identifiant b s'exécutant de façon plus rapide que les deux autres tâches. A partir de l'ordre d'évènements externes a b c et du dernier évènement interne survenu, la fonction de prédiction réalisera ainsi une prédiction constituant la suite de valeurs a b c c a b . On voit que deux prédictions Pe3, Pe6 se révèleront fausses, ce qui conduira le processus de journalisation interne PIogOP à transmettre des données de journalisation en deux occasions. Ces données de journalisation comprendront ainsi la valeur c en une transmission L1 à l'issue de la troisième prédiction Pe3 qui s'est révélée erronée, puis la valeur c en une transmission L2 à l'issue de la sixième prédiction P6 qui s'est également révélée erronée.
Malgré ces prédictions erronées Pe3, Pe6, on voit que cette technique d'optimisation heuristique aura permis au processus de journalisation interne PIogOP de n'effectuer que deux transmissions L1, L2 au lieu des six qu'il aurait fallu en son absence. Une telle économie de quatre transmissions sur six représente un temps de travail suffisamment plus grand que les calculs et opérations internes qui sont nécessaires pour mettre en oeuvre cette technique d'optimisation, et peut apporter ainsi un gain de performance significatif, en particulier au sein du noeud opérationnel.
Pour certains évènements internes dont une implémentation standard par le système d'exploitation réalise un comportement non déterministe, il est possible d'utiliser une méthode d'optimisation par changement - 44 sémantique. Cette méthode comprend une modification de l'implémentation de tels évènements au sein du noeud, de façon à leur donner un comportement qui soit déterministe. L'application intermédiaire réalise cette modification de façon identique au sein du noeud opérationnel et du ou des noeuds secondaires, ce qui rend prévisibles les résultats de ces évènements internes modifiés. Cette modification d'implémentation se fait de façon dynamique par une technique d'interposition par un metaprocess qui remplace une routine d'origine R d'implémentation d'un évènement par une routine modifiée RM implémentant un comportement modifié pour cet évènement. La technique utilisée pour réaliser cette modification est similaire à celle décrite ci-dessus (cf. figure 7) pour l'ajout de sondes d'enregistrement en prologue et épilogue, mais peut comprendre une modification du code de la partie centrale de la routine modifiée. Cette modification d'implémentation est réalisée de façon transparente pour l'application maître et ne modifie pas les éléments préexistants du système d'exploitation. Par une utilisation de ces routines modifiées dans l'application maître, de façon permanente ou sur au moins un intervalle d'exécution déterminé et mémorisé, il est ainsi possible de journaliser l'évolution de l'application maître sans avoir à mémoriser le résultat de ces évènements modifiés. L'utilisation des mêmes routines modifiées sur les mêmes intervalles d'exécution d'une application de reprise, permet alors de conserver la reproductibilité de l'application maître en améliorant les performances de la journalisation comme du re- jeu.
Ce comportement modifié est conçu de façon à répondre aux mêmes spécifications que le comportement d'origine et être entièrement compatible avec lui, par exemple en prévoyant qu'à partir d'une situation donnée où la routine d'origine aurait pu renvoyer plusieurs résultats différents, la routine modifiée ne fournisse que des résultats qui auraient pu être fournis par la routine d'origine et sont donc prévus par l'application maître et le système d'exploitation.
Cette technique d'optimisation par changement sémantique permet de diminuer le nombre d'évènements internes non déterministes dont le résultat doit être journalisé dans le noeud opérationnel pour pouvoir être rejoué lors de la restauration d'une application de reprise.
- 45 - Un exemple de fonctionnement et d'interaction des différents intervenants sont illustrés de façon symbolique en figure 16.
Un agent de traitement AT, par exemple au sein du logiciel système, réalise une opération renvoyant un résultat DR à un processus, par exemple un processus journalisé P1. Pour un grand nombre d'opérations ou évènements, en particulier internes, la réalisation de cette opération se fait par un traitement d'opération TO, qui est d'une nature déterministe par rapport à un ensemble de ressources dites déterminantes RDet.
Parmi les ressources accessibles au processus P1, certaines peuvent être qualifiées de ressources reproductibles RRepr à partir de la connaissance de l'état de ce processus P1. Ces ressources reproductibles comprennent en particulier les ressources dont l'état dépend exclusivement de lui.
Dans le fonctionnement de l'agent de traitement AT, le traitement d'opération TO peut comprendre une partie TD de traitement qui est déterministe par rapport aux ressources reproductibles RRepr du processus P1, par exemple parce qu'elle n'utilise que des données DER provenant de ces ressources reproductibles RRepr.
Dans le cas où le traitement d'opération TO comprend une autre partie de traitement utilisant des données DE qui proviennent de ressources SEM1 n'appartenant pas aux ressources reproductibles RRepr du processus Pi, il est fréquent que le résultat de cette partie TnD, et donc de l'ensemble du traitement TO, ne soit pas déterministe vis à vis du processus P1 qui y fait appel.
Dans une telle situation, cette méthode de changement sémantique peut consister à utiliser un agent de gestion AG pour modifier le comportement de l'agent de traitement ou les données qu'il utilise ou produit, de façon à ce que l'opération résultant de cette modification soit déterministe par rapport aux ressources reproductibles RRepr.
Cet agent de gestion peut utiliser un traitement de modification de fonctionnement TMF pour modifier le fonctionnement interne du traitement d'opération TO.
Il peut aussi utiliser des données d'entrées DE issues des ressources déterminantes RDet mais non reproductibles (RRepr) vis à vis du processus P1, pour compenser les variations de résultat DR pouvant constituer une source de non déterminisme pour ce même processus P1. Une telle compensation peut s'effectuer en modifiant TC1 les données d'entrées DE en données d'entrée compensées DEC, ou en modifiant TC2 les données de résultat DR en données de résultat compensées DRC.
Cet agent de gestion AG peut en outre choisir ou régler les modifications TMF, TC1, TC2 qu'il effectue en fonction d'un ou plusieurs paramètres de changement sémantique PCS, de façon à optimiser l'efficacité du traitement global AT et AG. De façon à rester reproductible entre une journalisation JOP et un rejeu RSB, il suffit que les variations de ce paramètre de changement sémantique PCS ne soient déterminées que par des données provenant des ressources reproductibles RRepr, ou que ses variations soient mémorisées au sein du journal UL, KL lors de la journalisation et soient lues et appliquées de la même façon lors du rejeu RSB.
Cette modification de comportement peut concerner en particulier les aspects touchant à la gestion de plusieurs processus concurrents auprès d'une ressource déterminée.
Les figures 11 et 12 illustrent un exemple d'utilisation de cette technique d'optimisation par changement sémantique pour rendre déterministe une opération de lecture de messages reçu, en utilisant la routine read dans un environnement de type Unix.
Dans son implémentation standard, la routine read , déclenchée par une application, utilise une zone de mémoire tampon B pour lire des messages dans un canal d'entrée ICH ( input channel ) et les transmettre à cette application. Les messages reçus dans le système sous forme de données successives qui sont mémorisées dans une zone de mémoire constituant le canal d'entrée, au fur et à mesure qu'elles arrivent. Selon sa configuration, l'opération read peut utiliser un tampon de différentes tailles, mais ce tampon est utilisé intégralement à chaque lecture dans le canal d'entrée.
Dans cet exemple, l'application utilise une succession d'opérations read de tampon B de taille 50 , pour recevoir trois messages M1, M2, M3 qui lui arrivent successivement dans le canal d'entrée ICH. Ces trois - 47 - messages représentent des volumes de données valant respectivement 20 , 30 , et 50 . Or la vitesse d'arrivée des données dans le canal d'entrée, d'une part, et la vitesse d'exécution par l'application d'une succession d'opérations de lecture, d'autre part, peuvent varier l'une par rapport à l'autre d'une façon qui n'est pas prévisible au stade d'une journalisation ou d'un re-jeu.
La figure 11 représente ainsi deux scénarios différents possibles pour la lecture des mêmes trois messages à l'aide d'une routine read d'origine.
Dans un premier scénario SCA, une première lecture RAI s'effectue alors que seul les données du premier message M1 de taille 20 sont arrivées. Le tampon B n'est pas rempli entièrement, et l'opération retourne un résultat correspondant au contenu M1 et d'une taille de données de 20 . Une deuxième lecture RA2 s'effectue alors après arrivée du seul deuxième message M2, ce qui retourne un résultat correspondant au contenu M2 et d'une taille de données de 30 . Une troisième lecture RA3 s'effectue alors après arrivée du troisième message M3, ce qui retourne un résultat correspondant au contenu M3 et d'une taille de données de 50 . Par exemple pour la taille des données reçues par l'application, ce premier scénario A restitue donc une suite de trois résultats valant 20, 30, 50 .
Dans un deuxième scénario SCB, une première lecture RB1 s'effectue alors que les mêmes premier et deuxième messages M1, M2 sont déjà arrivés, ce qui retourne un résultat correspondant au contenu M1, M2 et d'une taille de données de 50 . Une deuxième lecture RB2 s'effectue alors après arrivée du troisième message M3, ce qui retourne un résultat correspondant au contenu M3 et d'une taille de données de 50 . Pour la taille des données reçues par l'application, ce premier scénario SCA restitue donc une suite de deux résultats valant 50, 50 , et ce pour la lecture des mêmes messages.
Ces deux scénarios retournent donc des résultats différents, 20, 30, 50 pour l'un et 50, 50 pour l'autre. En cela, la routine système standard implémentant l'opération read réalise un évènement non déterministe du point de vue de l'application, qu'il s'agisse de la -48 journalisation de l'application maître ou du re-jeu d'une application de reprise.
Pour la même situation qu'en figure 11, la figure 12 représente le scénario unique ScU qui sera obtenu en utilisant une routine modifiée readM en lieu et place de la routine d'origine read .
Dans cet exemple, la routine modifiée prend connaissance de la longueur réelle de chacun des messages reçus et ne lit dans le canal d'entrée ICH que des données correspondant à un seul message, même si le tampon B n'est pas rempli et qu'il reste des données à lire dans le canal d'entrée ICH. Dans le cas de la journalisation de l'application maître, la routine modifiée prend connaissance de la longueur réelle des messages M1, M2, M3 grâce au mécanisme de journalisation des évènements externes correspondant à la réception de ces mêmes messages, par exemple le module IPIogOP. Dans le cas d'un re-jeu lors de la restauration d'une application de reprise, la routine modifiée prend connaissance de la longueur réelle des messages Ml, M2, M3 grâce au mécanisme de re-jeu des évènements externes correspondant à la réception de ces mêmes messages, par exemple le module IPIogSB.
Ces deux scénarios d'arrivée SCA, SCB différents donnent alors un même comportement de l'opération de lecture, en l'occurrence une unique suite de trois résultats valant 20, 30, 50 , pour la taille des données reçues par l'application.
De même pour d'autres tailles du tampon B, une routine read d'origine produit différentes suites de résultats sont possibles.
Ainsi, pour un tampon de taille 20 , peuvent être obtenus par exemple: 20, 20, 20, 20, 20 ou 20, 20, 10, 20, 20, 10 .
Pour un tampon de taille 100 , peuvent être obtenus par exemple: 20, 30, 50 ou 50, 50 ou 20, 80 ou 100 .
Par contre, pour chaque taille de tampon, une routine readM ainsi modifiée ne peut donner qu'une seule suite de résultats.
Ainsi, pour un tampon de taille 20 , la suite de résultats obtenue sera 20, 20, 10, 20, 20, 10 .
Pour un tampon de taille 100 , la suite de résultats obtenue sera 20, 30, 50 .
- 49 - La routine readM ainsi modifiée réalise donc bien un comportement déterministe pour l'évènement interne correspondant à une telle opération de lecture.
Les figures 13 à 15 illustrent un autre exemple d'utilisation de cette technique d'optimisation par changement sémantique, utilisée pour rendre déterministe une opération de lecture multiplexée déclenchée par un processus d'une application réalisant une boucle d'attente et pouvant recevoir des données de plusieurs canaux d'entrée/sortie ( I/O channels ), en particulier associés à plusieurs descripteurs de fichiers. Cet exemple est basé sur l'utilisation de la routine select dans un environnement de type Unix, mais pourrait être également être appliqué à l'utilisation de la routine poil .
Dans le présent exemple, trois messages M1, M2, M3 de contenus valant respectivement a , b et c sont reçus par le système d'exploitation OS du n ud, à destination de deux canaux différents ICH1, ICH2.
Cet exemple peut s'appliquer en particulier à la réception de données sous forme de flux ( stream ) par le premier canal ICH1, et de données sous forme de messages ou paquets de type TCP par le deuxième canal ICH2. Au sein du système d'exploitation OS, deux paquets TCP suivis d'un paquet stream sont alors reçus sous la forme de trois messages successifs M1, M2, M3 de contenu valant respectivement a , b et C .
Au fur et à mesure qu'il les reçoit et selon sa charge de travail, le système d'exploitation OS traite et répartit ces données dans les canaux ICH1, ICH2 correspondant à leur type. A un instant donné de cours de son exécution, l'application appelle la routine select pour déclencher une opération de lecture des différents canaux par lesquels elle peut recevoir des messages.
Dans son implémentation standard, la routine select lit les données en attente dans le premier canal ICH1 puis dans le deuxième canal ICH2, et les transmet aussitôt à l'application, dans l'ordre où elle les a lues.
Or la vitesse d'arrivée des données dans le système d'exploitation OS, la vitesse de leur traitement par le système d'exploitation, et donc leur 50 - vitesse d'arrivée dans les canaux d'entrée, d'une part, et la vitesse d'exécution par l'application d'une succession d'opérations de lecture, d'autre part, peuvent varier l'une par rapport à l'autre d'une façon qui n'est pas prévisible au stade d'une journalisation ou d'un re- jeu.
Dans un premier scénario SCA illustré en figure 13, l'application déclenche une lecture multiplexée par la routine select à un premier instant IA, alors que les trois messages sont déjà arrivés dans les deux canaux d'entrée ICH1, ICH2. Lorsque la routine select lit les données, elle lit donc d'abord le troisième message contenu dans le premier canal ICH1, puis les deux premiers messages M1, M2 dans le deuxième canal ICH2. La routine select transmet ensuite ces données dans l'ordre de lecture, et l'opération de lecture produit donc un résultat comprenant la suite de données c, a, b .
Dans un deuxième scénario SCB illustré en figure 14, l'application déclenche une lecture multiplexée par la routine select à un premier instant IB, alors que seuls les deux premiers messages sont arrivés dans le deuxième canal d'entrée ICH2. Lorsque la routine select lit les données, elle lit donc seulement les deux premiers messages M1, M2 dans le deuxième canal ICH2 et transmet ces données à l'application dans l'ordre de lecture, soit la suite a b . Lors d'une lecture suivante, après que le troisième message M3 soit arrivé dans le premier canal ICH1, la routine select lit ce troisième message et le transmet à l'application. Dans ce deuxième scénario B, l'opération de lecture par la routine select d'origine produit donc un résultat comprenant la suite de données a b c .
Ces deux scénarios différents SCA, SCB retournent donc des résultats différents, c a b pour l'un et a b c pour l'autre. En cela, la routine système standard implémentant l'opération select réalise un évènement non déterministe du point de vue de l'application, qu'il s'agisse de la journalisation de l'application maître ou du re-jeu d'une application de reprise.
Pour la même situation qu'en figures 13 et 14, la figure 15 représente le résultat unique qui sera obtenu en utilisant une routine modifiée selectM en lieu et place de la routine d'origine select .
- 51 - Dans cet exemple, la routine modifiée prend connaissance de l'ordre d'arrivée des messages dans le système d'exploitation OS, et lit les messages dans l'ordre où ils sont arrivés. D'ailleurs, pour diminuer les risques d'ambiguïté, la routine modifiée ne renvoie à chaque fois qu'un seul descripteur de fichier. La routine modifiée peut obtenir les informations d'ordre d'arrivée des messages par exemple en examinant le contenu de messages au sein des canaux d'entrées ICH1, ICH2, ou à partir des données de journalisation ou de re-jeu.
Ces deux scénarios d'arrivée différents SCA, SCB donnent alors un 10 même comportement de l'opération de lecture multiplexée, en l'occurrence une unique suite de trois résultats valant a b c .
En modifiant ainsi le mode de fonctionnement de certaines routines implémentant le comportement d'évènements internes qui n'étaient pas déterministes dans un environnement standard pour les rendre déterministes, on voit que l'on obtient une réduction du nombre d'évènements non déterministes. Lorsque cette modification est appliquée de façon identique lors de la journalisation dans l'application maître et lors du re-jeu dans une application de reprise, on diminue donc le nombre d'évènements qui doivent être journalisés pour pouvoir obtenir à l'issue du re-jeu une application de reprise qui soit dans un état correspondant à celui de l'application maître ou qui présente une bonne continuité de fonctionnement avec cette application maître. Ainsi, on voit que cette technique d'optimisation par changement
sémantique permet d'améliorer les performances des opérations de journalisation et de re-jeu, et donc de l'application intermédiaire.
En effet, selon les routines auxquelles on applique cette technique de changement sémantique, et selon la nature de la modification qu'on leur apporte, il peut en résulter une légère perte de performances au sein de cette routine par rapport à son comportement d'origine. Toutefois, étant donnée la lenteur des opérations de journalisation, l'économie générée en termes de nombre d'opérations à journaliser peut permettre d'améliorer de façon significative les performances globales de l'application maître dans le cadre de l'application intermédiaire.
- 52 - Dans cette description, on voit que les mécanismes de l'application intermédiaire sont principalement réalisés par des processus ou modules s'exécutant dans l'espace utilisateur du noeud opérationnel ou des noeuds secondaires. Il s'agit en particulier des processus de journalisation ou re- jeu, externes ou internes, identifiés ici au sein de l'application intermédiaire INT (figure 1) sous les références Plog (figure 2), IPIogOP et IPIogSB (figure 3), PIogOP et PIogSB (figure 4), PRE (figure 5) et PRI (figure 6), META (figure 7).
Par opposition, les mécanismes s'exécutant dans l'espace système comprennent surtout des modules d'interposition, ou d'ajout ou de modification de fonctionnalités, qui sont gérés depuis les modules applicatifs. Il s'agit en particulier des modules identifiés ici sous les références DISP (figure 3), ipfilter (figure 5). Certains de ces modules noyau peuvent d'ailleurs être chargés ou déchargés au fur et à mesure des besoins, depuis les modules applicatifs.
Le fait que le déroulement et la vie de l'application intermédiaire aient lieu dans l'espace utilisateur permet de limiter les interactions avec le système d'exploitation des différends noeuds. Cette particularité apporte en particulier une souplesse de déploiement et de gestion, une certaine indépendance vis-à-vis des systèmes d'exploitation et de leur éventuelle hétérogénéité, limite les risques d'incompatibilité de type ou de versions, et permet de limiter les interventions dans l'espace système des noeuds qui ne sont pas ou peu concernés par le déploiement de cette application intermédiaire. Cette indépendance vis-à-vis des systèmes d'exploitation permet également de limiter les temps et coûts de développement en évitant d'intervenir trop profondément dans des éléments préexistants de l'espace système, et de garder une certaine indépendance commerciale ou techniques vis-à-vis des spécifications et évolutions de ces systèmes d'exploitation ou des politiques des organismes qui les gèrent.
Une application intermédiaire telle que décrite ci-dessus peut être implémentée de différentes façons et selon différentes combinaisons pour fournir aux utilisateurs ou gestionnaires d'un cluster un service de soutien ou de gestion à d'autres applications. Un tel service peut en particulier être obtenu sous la forme d'un produit logiciel réseau de type middle-ware , permettant de gérer, d'optimiser ou de fiabiliser, au sein d'un cluster, une ou plusieurs applications dans leur version d'origine ( legacy ) tout en leur assurant des fonctionnalités de souplesse ou de sécurité supplémentaires, par exemple adaptées à la nature du cluster.
Une utilisation d'une telle application intermédiaire peu plus particulièrement prendre la forme d'une sécurisation des services rendus par ces applications à leurs clients. Chaque application pourra alors être traitée comme une application maître, et être restaurée sous la forme d'une application de reprise, pour remplacer l'application maître vis-à-vis de ses clients en cas de besoin.
Les services rendus par des applications s'exécutant en tout ou partie sur un noeud déterminé pourront également être déplacés vers un ou plusieurs autres noeuds de façon dynamique et à la demande, en libérant complètement leur noeud d'origine. Il sera ainsi possible de réaliser toutes les interventions matérielles ou logicielles voulues sur ce noeud, qu'il s'agisse de maintenance, d'essais, d'évolutions ou de remplacement.
Une telle application intermédiaire peut être utilisée en particulier pour réaliser un environnement de type middle-ware comprenant des fonctionnalités de répartition de charge de travail ( load balancing ) entre différents noeuds, pour optimiser l'utilisation des différentes matérielles, en particulier en fonction de leur puissance, de leur disponibilité, ou de leur situation géographique au sein du réseau, par exemple leur éloignement vis-à-vis de leurs clients ou des données qui sont utilisées.
Bien sûr, l'invention n'est pas limitée aux exemples qui viennent 25 d'être décrits et de nombreux aménagements peuvent être apportés à ces exemples sans sortir du cadre de l'invention.
- 54 -

Claims (15)

REVENDICATIONS
1. Procédé de journalisation du déroulement d'un processus appartenant à une application cible (AOP) et dit processus journalisé (P1) , exécuté sur un noeud primaire (OP) communiquant avec au moins un noeud secondaire (SB) au sein d'un réseau informatique, caractérisé en ce que d'une part le procédé comprend une constitution itérative ainsi qu'une transmission vers le noeud secondaire d'un ensemble ordonné, dit série courante (JSlLocal fig.4a), de données de journalisation représentant une succession d'évènements survenus dans le déroulement dudit processus journalisé (P1) entre d'une part un événement déclenchant et d'autre part un événement bloquant, ledit évènement bloquant constituant, depuis l'événement déclenchant, la première survenue d'un type déterminé d'événement dit type bloquant; et d'autre part le procédé comprend les étapes suivantes: entre l'événement déclenchant et l'événement bloquant, de façon itérative pour chacun des événements d'un même type internes à l'application cible (AOP) ou au noeud primaire (OP) survenant dans le déroulement du processus journalisé (P1), calcul de données de journalisation (DJ) représentant ledit événement interne (EVI) et ajout de ces données à la série courante (JSlLocal) ; avant l'événement bloquant, clôture (5; fig.4a) de ladite série courante; poursuite du déroulement du processus journalisé (P1).
2. Procédé selon la revendication 1, caractérisé en ce que l'étape (5) de clôture de série courante comprend une étape d'interruption de l'exécution du processus journalisé (P1).
3. Procédé selon l'une des revendications 1 ou 2, caractérisé en ce que le type bloquant comprend tous les évènements, dits évènements sortants externes, du processus journalisé (P1) réalisant une émission de données vers l'extérieur de l'application cible (AOP) ou du noeud primaire (OP).
- 55 -
4. Procédé selon l'une des revendications 1 à 3, caractérisé en ce que le type bloquant ne constitue que la partie des évènements sortants externes du processus journalisé (P1) correspondant à un ou plusieurs types déterminés d'évènements sortants externes.
5. Procédé selon l'une des revendications 1 à 4, caractérisé en ce que l'événement déclenchant et l'événement bloquant appartiennent à un même type d'évènement.
6. Procédé selon l'une des revendications 1 à 5, caractérisé en ce que la série courante représente la totalité des évènements internes au processus journalisé (P1), ou à l'application cible (AOP), ou au noeud primaire (OP) survenant dans le déroulement dudit processus journalisé entre l'événement déclenchant et l'événement bloquant.
7. Procédé selon l'une des revendications 1 à 6, caractérisé en ce que l'événement bloquant comprend le franchissement d'un seuil déterminé, de la part d'au moins une grandeur liée à la constitution de la série courante ou au déroulement du processus journalisé (P1).
8. Procédé selon l'une des revendications 1 à 7, caractérisé en ce que tout ou partie de la série courante (JSlLocal) est mémorisé au sein du noeud primaire (OP) au fur et à mesure de sa constitution, et est transmise du noeud primaire vers le noeud secondaire (SB) au cours de la phase de clôture (5) de la série courante.
9. Procédé selon l'une des revendications 1 à 8, caractérisé en ce que tout ou partie de la série courante (JSiLocal) est envoyé de façon asynchrone du noeud primaire (OP) vers le noeud secondaire (SB) au fur et à mesure de sa constitution, et que les transmissions non encore abouties de cet envoi asynchrone sont menées à terme au cours de la phase de clôture (5) de la série courante.
- 56 -
10. Procédé selon l'une des revendications 1 à 9, caractérisé en ce que, après une phase de clôture de série courante, l'exécution du processus journalisé (P1) ne reprend qu'après réception par le noeud primaire (OP) de données confirmant un aboutissement satisfaisant de ladite phase de clôture.
11. Procédé selon l'une des revendications 3 à 10, caractérisé en ce qu'il réalise une gestion de fonctionnement d'au moins un premier processus applicatif, dit processus cible (P1), cette gestion de fonctionnement comprenant les étapes suivantes: journalisation (JOP) d'un ou plusieurs évènements survenant dans le processus cible et constituant une séquence journalisée, et mémorisation des données de journalisation en au moins un fichier journal (KL, UL) au sein du noeud secondaire (SB) ; - à partir dudit fichier journal, re-jeu (RSB) selon la même succession, dans un deuxième processus dit processus de reprise (PBl), d'un ou plusieurs évènements constituant une séquence rejouée et correspondant aux évènements de la séquence journalisée.
12. Procédé selon la revendication 1.1, caractérisé en ce qu'il est mis en oeuvre pour réaliser une réplication au fil de l'eau d'au moins un premier processus applicatif dit original (P1), exécuté au sein du noeud primaire (OP), à partir d'un point de son déroulement dit de point de reprise, cette réplication au fil de l'eau comprenant les étapes suivantes: journalisation (JOP) du fonctionnement du processus original à partir du point de reprise et Jusqu'à un point dit de réplication, et mémorisation des données de journalisation en au moins un fichier journal (KL, UL) au sein du noeud secondaire (SB) ; pour un processus dit de reprise (PB1) existant au sein du noeud secondaire dans un état correspondant à l'état du processus original (P1) au point de reprise, utilisation dudit fichier journal pour rejouer (RSB) dans le processus de reprise les évènements journalisés et amener ainsi le processus de reprise (PB1) dans un - 57 état correspondant à l'état du processus original (P1) au point de réplication.
13. Procédé selon l'une des revendications 11 ou 12, caractérisé en ce qu'il est mis en oeuvre pour réaliser une fiabilisation du fonctionnement d'une première application, dite application fiabilisée (AOP), exécutée au sein du noeud primaire (OP), cette fiabilisation comprenant les étapes suivantes: - journalisation (JOP) du déroulement de l'application fiabilisée depuis un point déterminé, dit point de reprise, de son déroulement avant défaillance, et mémorisation des données de journalisation dans au moins un fichier journal (KL, UL) à l'extérieur du noeud primaire; - détection d'une défaillance matérielle ou logicielle au sein du noeud primaire (OP) ; dans une application dite de secours (ASB), existant au sein du noeud secondaire (SB) dans un état correspondant à l'état de l'application fiabilisée au point de reprise, utilisation dudit fichier journal pour rejouer dans ladite application de secours les évènements journalisés dans l'application fiabilisée depuis le point de reprise, restaurant (RES) ainsi l'application de secours (AXB) dans un état correspondant à l'état de l'application fiabilisée (AOP) avant défaillance après le dernier évènement journalisé.
14. Système comprenant un réseau d'ordinateurs collaborant entre eux et incluant au moins un noeud dit primaire (OP) mettant en oeuvre un procédé selon l'une des revendications 1 à 13.
15. Système informatique selon la revendication précédente, caractérisé en ce que qu'il utilise une application (INT) de type middleware mettant en oeuvre un procédé selon l'une des revendications 11 à 13 pour gérer le fonctionnement d'au moins une application (AOP) exécutée au sein dudit réseau.
FR0500612A 2005-01-21 2005-01-21 Procede d'optimisation de la transmission de donnees de journalisation en environnement multi-ordinateurs et systeme mettant en oeuvre ce procede Expired - Fee Related FR2881309B1 (fr)

Priority Applications (2)

Application Number Priority Date Filing Date Title
FR0500612A FR2881309B1 (fr) 2005-01-21 2005-01-21 Procede d'optimisation de la transmission de donnees de journalisation en environnement multi-ordinateurs et systeme mettant en oeuvre ce procede
US11/336,975 US7533296B2 (en) 2005-01-21 2006-01-20 Method for optimizing the transmission of logging data in a multi-computer environment and a system implementing this method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
FR0500612A FR2881309B1 (fr) 2005-01-21 2005-01-21 Procede d'optimisation de la transmission de donnees de journalisation en environnement multi-ordinateurs et systeme mettant en oeuvre ce procede

Publications (2)

Publication Number Publication Date
FR2881309A1 true FR2881309A1 (fr) 2006-07-28
FR2881309B1 FR2881309B1 (fr) 2007-03-23

Family

ID=34954173

Family Applications (1)

Application Number Title Priority Date Filing Date
FR0500612A Expired - Fee Related FR2881309B1 (fr) 2005-01-21 2005-01-21 Procede d'optimisation de la transmission de donnees de journalisation en environnement multi-ordinateurs et systeme mettant en oeuvre ce procede

Country Status (2)

Country Link
US (1) US7533296B2 (fr)
FR (1) FR2881309B1 (fr)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008025575A1 (fr) * 2006-08-28 2008-03-06 International Business Machines Corporation Procédé pour améliorer le transfert de journaux d'événements pour une réplication de programmes s'exécutant
US8370841B2 (en) 2007-11-30 2013-02-05 International Business Machines Corporation Optimizing deterministic event record and replay operations

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7818801B2 (en) 2006-09-26 2010-10-19 ScriptLogic Corportation File system event tracking
US10491458B2 (en) * 2013-01-31 2019-11-26 Dell Products L.P. System and method for reporting peer-to-peer transfer events
US9858151B1 (en) * 2016-10-03 2018-01-02 International Business Machines Corporation Replaying processing of a restarted application

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5363503A (en) * 1992-01-22 1994-11-08 Unisys Corporation Fault tolerant computer system with provision for handling external events
US20020065948A1 (en) * 2000-11-30 2002-05-30 Morris Larry A. Operating system event tracker

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5996092A (en) * 1996-12-05 1999-11-30 International Business Machines Corporation System and method for tracing program execution within a processor before and after a triggering event
US6094729A (en) * 1997-04-08 2000-07-25 Advanced Micro Devices, Inc. Debug interface including a compact trace record storage
US6145123A (en) * 1998-07-01 2000-11-07 Advanced Micro Devices, Inc. Trace on/off with breakpoint register
US6732307B1 (en) * 1999-10-01 2004-05-04 Hitachi, Ltd. Apparatus and method for storing trace information
JP2004264970A (ja) * 2003-02-28 2004-09-24 Hitachi Ltd プログラム、情報処理装置、及び情報処理装置におけるログデータの出力方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5363503A (en) * 1992-01-22 1994-11-08 Unisys Corporation Fault tolerant computer system with provision for handling external events
US20020065948A1 (en) * 2000-11-30 2002-05-30 Morris Larry A. Operating system event tracker

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
BARGA R ET AL: "Improving logging and recovery performance in Phoenix/app", DATA ENGINEERING, 2004. PROCEEDINGS. 20TH INTERNATIONAL CONFERENCE ON BOSTON, MA, USA 30 MARCH - 2 APRIL 2004, PISCATAWAY, NJ, USA,IEEE, 30 March 2004 (2004-03-30), pages 486 - 497, XP010713807, ISBN: 0-7695-2065-0 *
MOSER L E ET AL: "Eternal: fault tolerance and live upgrades for distributed object systems", DARPA INFORMATION SURVIVABILITY CONFERENCE AND EXPOSITION, 2000. DISCEX '00. PROCEEDINGS HILTON HEAD, SC, USA 25-27 JAN. 2000, LAS ALAMITOS, CA, USA,IEEE COMPUT. SOC, US, vol. 2, 25 January 2000 (2000-01-25), pages 184 - 196, XP010371114, ISBN: 0-7695-0490-6 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008025575A1 (fr) * 2006-08-28 2008-03-06 International Business Machines Corporation Procédé pour améliorer le transfert de journaux d'événements pour une réplication de programmes s'exécutant
US8984513B2 (en) 2006-08-28 2015-03-17 International Business Machines Corporation Transfer of event logs for replication of executing programs
US8370841B2 (en) 2007-11-30 2013-02-05 International Business Machines Corporation Optimizing deterministic event record and replay operations

Also Published As

Publication number Publication date
US7533296B2 (en) 2009-05-12
US20070174688A1 (en) 2007-07-26
FR2881309B1 (fr) 2007-03-23

Similar Documents

Publication Publication Date Title
FR2881246A1 (fr) Procede perdictif de gestion, de journalisation ou de rejeu d&#39;operations non deterministes au sein du deroulement d&#39;un processus applicatif
FR2882448A1 (fr) Procede de gestion, de journalisation ou de rejeu du deroulement d&#39;un processus applicatif
FR2881242A1 (fr) Procede non intrusif de journalisation d&#39;evements internes au sein d&#39;un processus applicatif, et systeme mettant en oeuvre ce procede
FR2882449A1 (fr) Procede non intrusif de rejeu d&#39;evenements internes au sein d&#39;un processus applicatif, et systeme mettant en oeuvre ce procede
FR2881306A1 (fr) Procede de journalisation non intrusive d&#39;evenements externes aupres d&#39;un processus applicatif, et systeme mettant en oeuvre ce procede
FR2881247A1 (fr) Procede de gestion semantique, de journalisation ou de rejeu d&#39;operations non deterministes au sein du deroulement d&#39;un processus applicatif
FR2881308A1 (fr) Procede d&#39;acceleration de la transmission de donnees de journalisation en environnement multi ordinateurs et systeme utilisant ce procede
US7613597B2 (en) Non-intrusive method for simulation or replay of external events related to an application process, and a system implementing said method
US7082604B2 (en) Method and apparatus for breaking down computing tasks across a network of heterogeneous computer for parallel execution by utilizing autonomous mobile agents
US8458517B1 (en) System and method for checkpointing state in a distributed system
US8516451B2 (en) System and method for creating virtual callback objects
Zhao et al. Evaluating cloud platform architecture with the care framework
FR2881309A1 (fr) Procede d&#39;optimisation de la transmission de donnees de journalisation en environnement multi-ordinateurs et systeme mettant en oeuvre ce procede
US11500763B1 (en) Distributed canary testing with test artifact caching
US9596157B2 (en) Server restart management via stability time
US20150193226A1 (en) Instrumentation agent for manipulating component responses
US8527650B2 (en) Creating a checkpoint for modules on a communications stream
FR2881307A1 (fr) Procede non intrusif de simulation ou rejeu d&#39;evenements externes aupres d&#39;un processus applicatif, et systeme mettant en oeuvre ce procede
Bouizem Fault tolerance in FaaS environments
FR2881244A1 (fr) Procede de comptage d&#39;instructions pour journalisation et rejeu d&#39;une sequence d&#39;evenements deterministes
EP3807757A1 (fr) Procédé d&#39;accéleration de l&#39;exécution d&#39;un programme à chemin unique par exécution en parallèle de séquences conditionnellement concurrentes
Zavattaro et al. Topology-based Scheduling in Serverless Computing Platforms
FR3034541A1 (fr) Procede d&#39;aide a l&#39;identification d&#39;incidents dans une architecture d&#39;informatique dans le nuage

Legal Events

Date Code Title Description
TP Transmission of property
ST Notification of lapse

Effective date: 20130930