EP3528111A1 - Systeme et procede informatique d'analyse de performance d'une application realisant des appels de fonction de communication entre plusieurs processus - Google Patents

Systeme et procede informatique d'analyse de performance d'une application realisant des appels de fonction de communication entre plusieurs processus Download PDF

Info

Publication number
EP3528111A1
EP3528111A1 EP19157608.1A EP19157608A EP3528111A1 EP 3528111 A1 EP3528111 A1 EP 3528111A1 EP 19157608 A EP19157608 A EP 19157608A EP 3528111 A1 EP3528111 A1 EP 3528111A1
Authority
EP
European Patent Office
Prior art keywords
patterns
calls
application
pattern
succession
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
EP19157608.1A
Other languages
German (de)
English (en)
Inventor
Enguerrand PETIT
Cyril MAZAURIC
Benjamin PAJOT
Xavier Vigouroux
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Bull SAS
Commissariat a lEnergie Atomique et aux Energies Alternatives CEA
Original Assignee
Bull SAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Bull SAS filed Critical Bull SAS
Publication of EP3528111A1 publication Critical patent/EP3528111A1/fr
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F8/00—Arrangements for software engineering
    • G06F8/70—Software maintenance or management
    • G06F8/74—Reverse engineering; Extracting design information from source code
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
    • G06F11/3466—Performance evaluation by tracing or monitoring
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
    • G06F11/3409—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment for performance assessment
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/36—Preventing errors by testing or debugging software
    • G06F11/3604—Software analysis for verifying properties of programs
    • G06F11/3612—Software analysis for verifying properties of programs by runtime analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/36—Preventing errors by testing or debugging software
    • G06F11/362—Software debugging
    • G06F11/3636—Software debugging by tracing the execution of the program
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/54—Interprogram communication
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/54—Interprogram communication
    • G06F9/546—Message passing systems or structures, e.g. queues
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/54—Interprogram communication
    • G06F9/547—Remote procedure calls [RPC]; Web services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2201/00—Indexing scheme relating to error detection, to error correction, and to monitoring
    • G06F2201/865—Monitoring of software

Definitions

  • the present invention relates to a computer system and method for performance analysis of an application performing communication function calls between several processes.
  • it finds an application for performance analysis and the mapping of inter-process communications in a computer application in a parallel and distributed computing environment, for example when the communication between processes is implemented according to the "Message Passing Interface" or MPI standard. .
  • Analyzing the performance of an application in parallel and distributed computing environment is a complex task. We are particularly interested in inter-process communication through the MPI standard.
  • the MPI standard implemented as function libraries, allows interfacing with the application, through specific libraries interposed between this application and the MPI library.
  • One of the aims of the invention is therefore to solve in particular the aforementioned problem.
  • one particular object of the invention is to propose a method and a system facilitating the performance analysis of an application using inter-process communication in a parallel and distributed computing environment.
  • the subject of the invention is therefore a computer process for analyzing the performance of an application, said application realizing calls for communication functions between several processes, a call or a succession of at least two calls. forming a pattern.
  • the method includes a step of collecting information relating to function calls, and a step of compressing the information collected.
  • the compression step comprises a step of detecting, from the collected information, patterns and successions of patterns, to form a grammar in which each pattern and each succession of patterns are identified by a unique identifier.
  • the compression step also comprises a step of detecting, in grammar, the repetition of patterns and successions of patterns.
  • This compression step further comprises a step of generating a compressed trace file in which are stored patterns and successions of patterns, and their respective numbers of repetition.
  • the subject of the invention is also a computer system for analyzing the performance of an application providing calls for communication functions between several processes, the system comprising a processor and a memory, the memory comprising instructions program which, when executed by the processor, implement the method as presented above.
  • the method and system of the invention make it possible to easily generate the time line, and to simplify this time line, by detecting the call loops of communication functions between processes, ie a succession of hierarchical calls that repeats itself.
  • function calls are examined, run-of-river when running the application, or using a trace file that records calls.
  • communications are generally performed between a process and its close neighbors (distance equal to 1), at each time step.
  • FIG. 1 An example application, represented in the form of an algorithm, is shown to the figure 1 .
  • a number of operations corresponding to MPI function calls are repeated N times. More precisely, these are sending operations to, and receiving from, the distance process equal to 1 (rank of the sending process, respectively receiving, plus or minus 1).
  • syntax used for the communication function calls is that of the MPI function library in C language.
  • the performance analysis of the application represented algorithmically at the figure 1 consists first of all in detecting patterns, ie calls from calls 1 to 6, or a succession of at least two calls from calls 1 to 6, and their possible repetitions.
  • the method thus comprises a step of detecting the repetition of the patterns and successions of patterns, these patterns being represented in an example with references 7 to 11 on the figures 3 and 4 which will be described later in more detail.
  • Each pattern 7 to 11 detected is identified by a unique identifier, which may for example contain the name of the first function called in the pattern 7 to 11, and each detected succession of patterns is identified by a unique identifier, which may for example contain the name of the first function called in the first pattern of the succession of patterns.
  • This step of detecting the patterns 7 to 11 makes it possible to form a grammar, from which, while traversing it, the repetitions of patterns are detected in their turn.
  • a compressed trace file is generated, as represented on the figure 3 , in which are stored patterns 7 to 11 and successions of patterns 7 to 11, and their respective repetition numbers referenced 12 to 15.
  • Sequitur is an algorithm that allows hierarchical compression of text, by inferring a hierarchical structure from a sequence of discrete symbols, by replacing repetitive sentences detected by a grammatical rule that generates the sentence, and continuing recursively (see : Nevill-Manning, CG and Witten, IH (1997) "Identifying Hierarchical Structure in Sequences: A linear-time algorithm," Journal of Artificial Intelligence Research, 7, 67-82 ).
  • Sequitur is based on simple symbols such as letters or numbers
  • the method of the invention is more complex, since a terminal element of the hierarchical structure, corresponding to a pattern 7 to 11, is composed at once. of words, integers and real numbers.
  • the function its name
  • the rank of the caller the receiver
  • the transmitter the moment
  • the moment defines for example by the line number in the trace file.
  • the character strings corresponding to the function calls, in the trace file or in the course of the water, are therefore analyzed to form the compressed trace file represented in FIG. figure 3 , comprising the terminal symbols 7 to 11 corresponding to the patterns 7 to 11, and the loops 12 to 15 representing the repetitions 12 to 15 of one or more symbols terminals or patterns 7 to 11.
  • the compressed trace file also includes the definition of the chronological links 17 to 20 between the different patterns 7 to 11.
  • This compressed trace makes it possible to generate a graph to visualize the sequence of the patterns 7 to 11 and the different repetitions 12 to 15.
  • This graph 16 contains nodes 7 to 11 represent the patterns 7 to 11 ordered according to the chronology of calls 1 to 6 of the functions forming these patterns 7 to 11.
  • the graph 16 comprises two categories of orders 12 to 20 connecting some of the nodes 7 to 11 between them.
  • each stop 17 to 20 connects two nodes 7 to 11 corresponding to two successive patterns 7 to 11 according to the chronological order of the calls 1 to 6 of the functions forming each of the two successive patterns 7 to 11.
  • each stop 12 to 15 is connected two nodes 7 to 11 respectively corresponding to the beginning and end of a succession of patterns 7 to 11 which is repeated during the execution of the application and / or in the trace file, or forms a loop 14 on a node 11 which is repeated during the execution of the application and / or in the trace file.
  • Each edge 12 to 15 of this second category of edges is assigned a weight 21 to 24 corresponding to the number of repetitions 21 to 24 of the corresponding sequence of patterns 7 to 11, or the corresponding pattern 11.
  • the parameter N of the application represented on the figure 1 is equal to 9.
  • the in-depth path of the hierarchical structure corresponding to the grammar obtained is performed, and the different non-terminal symbols are compared in order to group them together. they are equivalent, while counting the number of times they repeat themselves at the different depths of grammar.
  • the depth of the grammar corresponds to the number of non-terminal symbols before a terminal symbol in the hierarchical structure obtained.
  • a graph 16 consists of nodes 7 to 11 and directional stops 12 to 20 which represent the passage from one call to another or from a succession of calls to another.
  • the edges 12 to 15 corresponding to the loops 12 to 15 are assigned weight 21 to 24 representing the number of respective passages by these edges.
  • a node can also be associated with all the statistical data relating to the call or the succession of calls corresponding to the node concerned for the different processes of a group.
  • a computer system which includes a processor and a memory.
  • the memory are stored program instructions which, when executed by the processor, implement the method of the invention.
  • the invention is not limited to applications using MPI type inter-process communication functions. It extends to other function libraries, such as "Open Multi-Processing" or OpenMP type functions, for example. It also extends to the analysis of input-output function calls (read-write). More generally, it extends to the analysis of applications that perform function calls that can be retrieved chronologically from a trace file or as the application runs.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Quality & Reliability (AREA)
  • Debugging And Monitoring (AREA)

Abstract

L'invention concerne un système et un procédé informatique d'analyse de performance d'une application réalisant des appels de fonction de communication entre plusieurs processus, trouvant notamment une application pour l'analyse de performance et la schématisation des communications inter-processus dans une application informatique en environnement de calcul parallèle et distribué.Le procédé comprend une étape de collecte d'informations relatives aux appels de fonction, un appel ou une succession d'au moins deux appels formant un motif 7 à 11, et une étape de compression des informations collectées.L'étape de compression comprend :- une étape de détection, à partir des informations collectées, de motifs 7 à 11 et de successions de motifs 7 à 11, pour former une grammaire dans laquelle chaque motif 7 à 11 et chaque succession de motifs 7 à 11 sont identifiés par un identifiant unique,- une étape de détection, dans la grammaire, de la répétition de motifs 7 à 11 et de successions de motifs 7 à 11,- une étape de génération d'un fichier trace compressé dans lequel sont stockés les motifs 7 à 11 et les successions de motifs 7 à 11, ainsi que leurs nombres respectifs de répétition 12 à 15.

Description

  • La présente invention concerne un système et un procédé informatique d'analyse de performance d'une application réalisant des appels de fonction de communication entre plusieurs processus. Elle trouve notamment une application pour l'analyse de performance et la schématisation des communications inter-processus dans une application informatique en environnement de calcul parallèle et distribué, par exemple lorsque la communication entre processus est implémentée selon la norme « Message Passing Interface » ou MPI.
  • L'analyse des performances d'une application en environnement de calcul parallèle et distribué est une tâche complexe. On s'intéresse notamment à la communication inter-processus à travers la norme MPI. La norme MPI, implémentée sous forme de bibliothèques de fonctions, permet un interfaçage avec l'application, par l'intermédiaire de bibliothèques spécifiques s'interposant entre cette application et la bibliothèque MPI.
  • Ceci permet de récolter des informations telles que :
    • le temps par processus et le temps global de communication,
    • le nombre de messages ainsi que la taille des messages envoyés et reçus,
    • les différents appels de fonction MPI,
    • la durée par appel de fonction MPI,
    • le moment où intervient cet appel.
  • Ces différentes informations sont utiles à la fois pour obtenir des statistiques globales et locales à chaque processus, et pour tracer une suite temporelle d'appels de fonctions (communément appelée ligne de temps ou « timeline »). Cette suite temporelle est cependant compliquée à générer, à interpréter, et à utiliser.
  • Un des buts de l'invention est donc de résoudre notamment le problème précité. Ainsi, l'invention a notamment pour objectif de proposer un procédé et un système facilitant l'analyse de performance d'une application utilisant la communication inter-processus en environnement de calcul parallèle et distribué.
  • L'invention a ainsi pour objet, selon un premier aspect, un procédé informatique d'analyse de performance d'une application, ladite application réalisant des appels de fonctions de communication entre plusieurs processus, un appel ou une succession d'au moins deux appels formant un motif.
  • Le procédé comprend une étape de collecte d'informations relatives aux appels de fonction, et une étape de compression des informations collectées.
  • L'étape de compression comprend une étape de détection, à partir des informations collectées, de motifs et de successions de motifs, pour former une grammaire dans laquelle chaque motif et chaque succession de motifs sont identifiés par un identifiant unique.
  • L'étape de compression comprend également une étape de détection, dans la grammaire, de la répétition de motifs et de successions de motifs.
  • Cette étape de compression comprend encore une étape de génération d'un fichier trace compressé dans lequel sont stockés les motifs et les successions de motifs, ainsi que leurs nombres respectifs de répétition.
  • Suivant certains modes de mise en oeuvre, le procédé comprend en outre une ou plusieurs des caractéristiques suivantes, prise(s) isolément ou suivant toutes les combinaisons techniquement possibles :
    • le procédé comprend la génération d'un graphe à partir du fichier trace compressé, dont les noeuds représentent les motifs ordonnés selon la chronologie des appels des fonctions formant lesdits motifs ;
    • le graphe comprend une première catégorie d'arrêtes, chaque arrête de ladite première catégorie d'arrêtés reliant deux noeuds correspondant à deux motifs successifs selon l'ordre chronologique des appels des fonctions formant chacun des deux motifs successifs ;
    • le graphe comprend une deuxième catégorie d'arrêtes, chaque arrête de ladite deuxième catégorie d'arrêtés reliant deux noeuds correspondant respectivement au début et la fin d'une succession de motifs qui se répète dans le fichier trace, ou formant une boucle sur un noeud qui se répète dans le fichier trace, chaque arrête de ladite deuxième catégorie d'arêtes étant affectée d'un poids correspondant au nombre de répétition de la succession de motifs correspondante ou du motif correspondant ;
    • la détection de motifs et de successions de motifs comprend une détermination à partir des informations collectées, pour chaque appel d'une fonction de communication, de la fonction appelée, du processus receveur, du processus émetteur, et/ou du moment de l'appel ;
    • la détermination effectuée pour chaque appel est réalisée au fur et à mesure de l'exécution de l'application;
    • la grammaire est stockée dans une mémoire, et l'étape de détection de la répétition des motifs et des successions de motifs est réalisée par parcours de la grammaire une fois l'exécution de l'application terminée ;
    • l'étape de collecte d'informations comprend une étape de génération d'un fichier trace dans lequel sont stockés, pour chaque appel d'une fonction de communication et de façon ordonnée selon le moment de l'appel, la fonction appelée, le processus receveur, le processus émetteur, et la détermination de la fonction appelée, du processus receveur, du processus émetteur, et/ou du moment de l'appel est réalisée dans le fichier trace, une fois l'exécution de l'application terminée ;
    • chaque motif est identifié par le nom de la première fonction appelée dans ce motif, et chaque succession de motifs est identifiée par le nom de la première fonction appelée dans le premier motif de cette succession de motifs ;
    • les appels de fonctions sont réalisés, par exemple, selon un protocole de type « Message Passing Interface » ou MPI, ou de type « Open Multi-Processing » ou OpenMP.
  • L'invention a également pour objet, selon un deuxième aspect, un système informatique d'analyse de performance d'une application réalisant des appels de fonctions de communication entre plusieurs processus, le système comprenant un processeur et une mémoire, la mémoire comprenant des instructions de programme qui, lorsqu'elles sont exécutées par le processeur, mettent en oeuvre le procédé tel que présenté ci- dessus.
  • Ainsi, le procédé et le système de l'invention permettent de générer facilement la ligne de temps, et de simplifier cette ligne de temps, en détectant les boucles d'appels de fonctions de communication entre processus, c'est-à-dire une succession d'appels hiérarchiques qui se répète.
  • Pour ce faire, les appels de fonction sont examinés, au fil de l'eau lors de l'exécution de l'application, ou en utilisant un fichier trace qui enregistre les appels.
  • Ces appels forment des motifs complexes qui sont détectés et enregistrés, sans perte d'information. Cette détection de motifs est réalisée sur chaque processus, mais également entre processus, ce qui permet d'obtenir une représentation graphique encore plus allégée et claire de tous les schémas de communication en un seul graphique.
  • Les caractéristiques et avantages de l'invention apparaitront à la lecture de la description qui va suivre, donnée uniquement à titre d'exemple, et non limitative, en référence aux figures annexées suivantes :
    • figure 1 : représentation algorithmique d'un exemple application réalisant des appels de fonctions de communication inter-processus, selon la norme MPI ;
    • figure 2 : représentation d'un exemple de fichier trace brut généré au cours de l'exécution de l'application de la figure 1 ;
    • figure 3 : représentation d'un exemple de fichier trace compressé correspondant à l'exécution de l'application de la figure 1, généré selon le procédé de l'invention ;
    • figure 4 : représentation schématique d'un graphe généré selon le procédé de l'invention, à partir de l'application de la figure 1.
  • Dans la suite de la description, un exemple de mise en oeuvre du procédé de l'invention est présenté dans le contexte de l'utilisation de la norme MPI.
  • Dans un programme, ou une application, parallèle et distribué, les communications sont généralement réalisées entre un processus et ses voisins proches (distance égale à 1), à chaque pas de temps.
  • Un exemple d'application, représenté sous la forme d'un algorithme, est représenté à la figure 1. Dans cet exemple, un certain nombre d'opérations correspondant à des appels de fonctions MPI sont répétées N fois. Plus précisément, il s'agit d'opérations d'envoi aux, et de réception depuis les, processus de distance égale à 1 (rang du processus émetteur, respectivement récepteur, plus ou moins 1).
  • Dans cet exemple, 6 appels 1 à 6 de fonction de communication sont effectués et répétés, à savoir :
    • un appel 1 à la fonction de réception MPI_Irecv pour réception par le processus de rang courant d'une information de la part d'un processus de rang courant plus un (distance égale à un),
    • un appel 2 à la fonction de réception MPI_Irecv pour réception par le processus de rang courant d'une information de la part d'un processus de rang courant moins un (distance égale à un),
    • un appel 3 à la fonction d'envoi MPI_Isend pour envoi par le processus de rang courant d'une information à un processus de rang courant plus un (distance égale à un),
    • un appel 4 à la fonction d'envoi MPI_Isend pour envoi par le processus de rang courant d'une information à un processus de rang courant moins un (distance égale à un),
    • deux appels 5 et 6 à la fonction MPI_Waitall pour temporisation, le temps que toutes les communications en cours soient terminées.
  • Dans cet exemple, la syntaxe utilisée pour les appels de fonction de communication est celle de la bibliothèque de fonctions MPI en langage C.
  • Ainsi, selon le procédé de l'invention, l'analyse de performance de l'application représentée algorithmiquement à la figure 1, consiste tout d'abord à détecter des motifs, soit des appels parmi les appels 1 à 6, ou une succession d'au moins deux appels parmi les appels 1 à 6, et leurs répétitions éventuelles.
  • Le procédé comprend ainsi une étape de détection de la répétition des motifs et successions de motifs, ces motifs étant représentés sur un exemple avec les références 7 à 11 sur les figures 3 et 4 qui seront décrites plus loin de manière plus détaillée.
  • Chaque motif 7 à 11 détecté est identifié par un identifiant unique, qui peut par exemple contenir le nom de la première fonction appelée dans le motif 7 à 11, et chaque succession de motifs détectée est identifiée par un identifiant unique, qui peut par exemple contenir le nom de la première fonction appelée dans le premier motif de la succession de motifs.
  • Cette étape de détection des motifs 7 à 11 permet de former une grammaire, à partir de laquelle, en la parcourant, les répétitions de motifs sont détectées à leur tour.
  • A partir de l'examen des appels 1 à 6, un fichier trace compressé est généré, tel que représenté sur la figure 3, dans lequel sont stockés les motifs 7 à 11 et les successions de motifs 7 à 11, ainsi que leurs nombres respectifs de répétition référencés 12 à 15.
  • Plus précisément, pour la détection de la répétition de motifs 7 à 11 et de la répétition de successions de motifs 7 à 11, on examine, pour chaque appel 1 à 6 d'une fonction de communication, la fonction appelée, le processus receveur, le processus émetteur, et le moment de l'appel.
  • Ces appels 1 à 6 peuvent être examinés directement au fil de l'eau lors de l'exécution de l'application, c'est-à-dire en traitant les appels dès leur achèvement.
  • Alternativement, on peut utiliser un fichier trace qui enregistre ces appels 1 à 6, tel que représenté sur la figure 2. Précisément, pour chaque appel 1 à 6, sont notamment stockés, de façon ordonnée selon le moment de l'appel, la fonction appelée, le processus receveur, le processus émetteur. L'examen de chaque appel 1 à 6 peut alors être réalisé en différé dans ce fichier trace.
  • Pour la détection des motifs 7 à 11 et de leurs répétitions, on peut utiliser un algorithme de type compression de données sans perte d'information et sans perte de séquentialité, tel qu'un algorithme de type Sequitur modifié.
  • Sequitur est un algorithme qui permet une compression hiérarchique de texte, en inférant une structure hiérarchique à partir d'une séquence de symboles discrets, par remplacement des phrases répétées détectées par une règle grammaticale qui génère la phrase, et en continuant de manière récursive (voir : Nevill-Manning, C.G. and Witten, I.H. (1997) " Identifying Hierarchical Structure in Sequences: A linear-time algorithm, " Journal of Artificial Intelligence Research, 7, 67-82).
  • Le résultat de l'exécution d'un tel algorithme peut être donné sous la forme d'une représentation hiérarchique de la séquence originale, qui offre des informations sur sa structure lexicale.
  • Mais alors que Sequitur se base sur des symboles simples comme des lettres ou des chiffres, le procédé de l'invention est plus complexe, puisqu'un élément terminal de la structure hiérarchique, correspondant à un motif 7 à 11, est composé à la fois de mots, d'entiers et de nombre réels.
  • Pour les besoins du procédé de l'invention, on se limite cependant à un sous-ensemble d'information, à savoir : la fonction (son nom), le rang de l'appelant, le receveur, l'émetteur, le moment (définit par exemple par le numéro de ligne dans le fichier trace).
  • On se recentre ainsi sur la séquence d'instructions (ou d'appels), tout en conservant les notions d'émetteur, de receveur, d'appelant, ainsi que la notion de temporalité par la structure même du fichier trace puisque les appels sont ordonnés chronologiquement.
  • Les chaines de caractères correspondant aux appels de fonction, dans le fichier trace ou au fil de l'eau, sont donc analysées pour former le fichier trace compressé représenté à la figure 3, comprenant les symboles terminaux 7 à 11 correspondant aux motifs 7 à 11, et les boucles 12 à 15 représentants les répétitions 12 à 15 d'un ou plusieurs symboles terminaux ou motifs 7 à 11.
  • Le fichier trace compressé comprend également la définition des liens chronologiques 17 à 20 entre les différents motifs 7 à 11.
  • Cette trace compressée permet de générer un graphe pour visualiser l'enchaînement des motifs 7 à 11 et les différentes répétitions 12 à 15.
  • Ainsi, à partir de la trace compressée correspondant à l'exécution de l'application représentée sur la figure 1, le graphe 16 de la figure 4 est généré.
  • Ce graphe 16 contient des noeuds 7 à 11 représentent les motifs 7 à 11 ordonnés selon la chronologie des appels 1 à 6 des fonctions formant ces motifs 7 à 11.
  • Par ailleurs, le graphe 16 comprend deux catégories d'arrêtés 12 à 20 reliant certains des noeuds 7 à 11 entre eux.
  • Dans la première catégorie d'arrêtés, chaque arrête 17 à 20 relie deux noeuds 7 à 11 correspondant à deux motifs 7 à 11 successifs selon l'ordre chronologique des appels 1 à 6 des fonctions formant chacun des deux motifs 7 à 11 successifs.
  • Ainsi :
    • l'arrête 17 relie les noeuds 7 et 8, en direction du noeud 8,
    • l'arrête 18 relie les noeuds 8 et 9, en direction du noeud 9,
    • l'arrête 19 relie les noeuds 9 et 10, en direction du noeud 10,
    • l'arrête 20 relie les noeuds 10 et 11, en direction du noeud 11.
  • Dans la deuxième catégorie d'arrêtes, chaque arrête 12 à 15, soit relie deux noeuds 7 à 11 correspondant respectivement au début et la fin d'une succession de motifs 7 à 11 qui se répète lors de l'exécution de l'application et/ou dans le fichier trace, soit forme une boucle 14 sur un noeud 11 qui se répète lors de l'exécution de l'application et/ou dans le fichier trace.
  • Chaque arrête 12 à 15 de cette deuxième catégorie d'arêtes est affectée d'un poids 21 à 24 correspondant au nombre de répétition 21 à 24 de la succession de motifs 7 à 11 correspondante, ou du motif 11 correspondant.
  • Dans l'exemple de graphe 16 représenté sur la figure 2, le paramètre N de l'application représenté sur la figure 1 est égal à 9.
  • Ainsi :
    • l'arrête 12 relie les noeuds 7 et 8, en direction du noeud 7, et est affectée du poids 21 égal à 9, pour matérialiser les 9 répétitions des appels successifs des fonctions dans les motifs 7 et 8,
    • l'arrête 13 relie les noeuds 9 et 10, en direction du noeud 9, et est affectée du poids 22 égal à 9, pour matérialiser les 9 répétitions des appels successifs des fonctions dans les motifs 9 et 10,
    • l'arrête 14 relie le noeud 11 avec lui-même, et est affectée du poids 23 égal à 9, pour matérialiser les 9 répétitions des appels successifs des fonctions dans le motif 11,
    • l'arrête 15 relie les noeuds 7 et 11, en direction du noeud 7, et est affectée du poids 24 égal à 9, pour matérialiser les 9 répétitions des appels successifs des fonctions dans les motifs 7 à 11.
  • Pour générer le fichier trace compressé à partir du fichier trace, et pouvoir ensuite générer le graphe 16, on effectue le parcours en profondeur de la structure hiérarchique correspondant à la grammaire obtenue, et on compare les différents symboles non-terminaux afin de les regrouper s'ils sont équivalant, tout en comptant le nombre de fois où ils se répètent aux différentes profondeurs de la grammaire. La profondeur de la grammaire correspond au nombre de symboles non terminaux avant un symbole terminal dans la structure hiérarchique obtenue.
  • Différents graphes sont ainsi obtenus pour les différents processus. On compare alors ces graphes pour former des groupes de processus. Un groupe est composé de tous les processus ayant un graphe identique. A la fin de ce processus, un seul graphe est conservé par groupe, ce qui permet d'alléger encore le modèle et de n'afficher qu'un graphe par groupe de processus.
  • Comme présenté plus haut, un graphe 16 se compose de noeuds 7 à 11 et d'arrêtés directionnelles 12 à 20 qui représentent le passage d'un appel à l'autre ou d'une succession d'appels à une autre. Les arrêtes 12 à 15 correspondant aux boucles 12 à 15 sont affectées de poids 21 à 24 représentant les nombre de passages respectifs par ces arrêtes.
  • Une fois le graphe 16 obtenu, on récupère toutes les données exclues lors de la compression pour reconsidérer toutes les notions de temps, durées et de tailles des messages transmis. En récupérant ces données, il est possible de calculer pour chaque boucle, et / ou pour chaque appel, des données statistiques de temps et / ou de tailles de messages transmis. Il est également possible de détecter les désynchronisations de processus au sein d'un même groupe.
  • A partir de ces données, on peut affecter un poids à chaque noeud, proportionnel au temps passé dans l'appel de fonction ou la succession d'appels correspondant au noeud concerné. Un noeud peut également être associé à toutes les données statistiques relatives à l'appel ou la succession d'appels correspondant au noeud concerné pour les différents processus d'un groupe.
  • Une analyse des performances de l'application est ainsi possible à partir du graphe et/ou des données statistiques associées aux noeuds et/ou des poids affectés aux noeuds et/ou des poids affectés aux arêtes.
  • Pour la mise en oeuvre du procédé, un système informatique est utilisé, qui comprend un processeur et une mémoire. Dans la mémoire sont stockées des instructions de programme qui, lorsqu'elles sont exécutées par le processeur, mettent en oeuvre le procédé de l'invention.
  • La présente description est donnée à titre d'exemple et n'est pas limitative de l'invention.
  • En particulier, l'invention ne se limite pas à des applications utilisant des fonctions de communication inter-processus de type MPI. Elle s'étend à d'autres bibliothèques de fonctions, telles que les fonctions de type « Open Multi-Processing » ou OpenMP par exemple. Elle s'étend aussi à l'analyse des appels de fonctions d'entrée-sortie (lecture-écriture). Plus généralement elle s'étend à l'analyse d'applications réalisant des appels de fonctions dont on est en mesure d'extraire les informations de façon chronologique, depuis un fichier trace ou au fil de l'exécution de l'application en question.

Claims (10)

  1. Procédé informatique d'analyse de performance d'une application, ladite application réalisant des appels (1 à 6) de fonctions de communication entre plusieurs processus, un appel (1 à 6) ou une succession d'au moins deux appels (1 à 6) formant un motif (7 à 11), le procédé comprenant
    une étape de collecte d'informations relatives aux appels (1 à 6) de fonction, et
    une étape de compression des informations collectées, ladite étape de compression comprenant :
    - une étape de détection, à partir des informations collectées, de motifs (7 à 11) et de successions de motifs (7 à 11), pour former une grammaire dans laquelle chaque motif (7 à 11) et chaque succession de motifs (7 à 11) sont identifiés par un identifiant unique,
    - une étape de détection, dans la grammaire, de la répétition de motifs (7 à 11) et de successions de motifs (7 à 11),
    - une étape de génération d'un fichier trace compressé dans lequel sont stockés les motifs (7 à 11) et les successions de motifs (7 à 11), ainsi que leurs nombres respectifs de répétition (12 à 15).
  2. Procédé selon la revendication 1, le procédé comprenant en outre
    - une génération d'un graphe (16) à partir du fichier trace compressé, dont les noeuds (7 à 11) représentent les motifs (7 à 11) ordonnés selon la chronologie des appels (1 à 6) des fonctions formant lesdits motifs (7 à 11).
  3. Procédé selon la revendication 2, dans lequel le graphe (16) comprend une première catégorie d'arrêtés, chaque arrête (17 à 20) de ladite première catégorie d'arrêtes reliant deux noeuds (7 à 11) correspondant à deux motifs (7 à 11) successifs selon l'ordre chronologique des appels (1 à 6) des fonctions formant chacun des deux motifs (7 à 11) successifs.
  4. Procédé selon l'une quelconque des revendications 2 et 3, dans lequel que le graphe (16) comprend une deuxième catégorie d'arrêtes, chaque arrête (12 à 15) de ladite deuxième catégorie d'arrêtes reliant deux noeuds (7 à 11) correspondant respectivement au début et la fin d'une succession de motifs (7 à 11) qui se répète dans le fichier trace, ou formant une boucle (14) sur un noeud (11) qui se répète dans le fichier trace, chaque arrête (12 à 15) de ladite deuxième catégorie d'arêtes étant affectée d'un poids (21 à 24) correspondant au nombre de répétition (21 à 24) de la succession de motifs (7 à 11) correspondante ou du motif (11) correspondant.
  5. Procédé selon l'une quelconque des revendications précédentes, dans lequel l'étape de détection de motifs (7 à 11) et de successions de motifs (7 à 11) comprend une détermination à partir des informations collectées, pour chaque appel (1 à 6) d'une fonction de communication, de la fonction appelée, du processus receveur, du processus émetteur, et du moment de l'appel.
  6. Procédé selon la revendication 5, dans lequel la détermination est réalisée au fur et à mesure de l'exécution de l'application.
  7. Procédé selon l'une quelconque des revendications précédentes, dans lequel la grammaire est stockée dans une mémoire, et l'étape de détection de la répétition des motifs (7 à 11) et des successions de motifs (7 à 11) est réalisée par parcours de la grammaire une fois l'exécution de l'application terminée.
  8. Procédé selon la revendication 5, dans lequel l'étape de collecte d'informations comprend une étape de génération d'un fichier trace dans lequel sont stockés, pour chaque appel (1 à 6) d'une fonction de communication et de façon ordonnée selon le moment de l'appel, la fonction appelée, le processus receveur, le processus émetteur, et la détermination de la fonction appelée, du processus receveur, du processus émetteur, et/ou du moment de l'appel est réalisée dans le fichier trace, une fois l'exécution de l'application terminée.
  9. Procédé selon l'une quelconque des revendications précédentes, dans lequel chaque motif (7 à 11) est identifié par le nom de la première fonction appelée dans ce motif (7 à 11), et chaque succession de motifs (7 à 11) est identifiée par le nom de la première fonction appelée dans le premier motif (7 à 11) de cette succession de motifs (7 à 11).
  10. Système informatique d'analyse de performance d'une application réalisant des appels (1 à 6) de fonctions de communication entre plusieurs processus, le système comprenant un processeur et une mémoire, ladite mémoire comprenant des instructions de programme qui, lorsqu'elles sont exécutées par ledit processeur, amènent ledit système à mettre en oeuvre le procédé selon l'une quelconque des revendications précédentes.
EP19157608.1A 2018-02-19 2019-02-17 Systeme et procede informatique d'analyse de performance d'une application realisant des appels de fonction de communication entre plusieurs processus Pending EP3528111A1 (fr)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
FR1851375A FR3078182B1 (fr) 2018-02-19 2018-02-19 Systeme et procede informatique d'analyse de performance d'une application realisant des appels de fonction de communication entre plusieurs processus.

Publications (1)

Publication Number Publication Date
EP3528111A1 true EP3528111A1 (fr) 2019-08-21

Family

ID=61764031

Family Applications (1)

Application Number Title Priority Date Filing Date
EP19157608.1A Pending EP3528111A1 (fr) 2018-02-19 2019-02-17 Systeme et procede informatique d'analyse de performance d'une application realisant des appels de fonction de communication entre plusieurs processus

Country Status (4)

Country Link
US (1) US11061797B2 (fr)
EP (1) EP3528111A1 (fr)
CN (1) CN110231978A (fr)
FR (1) FR3078182B1 (fr)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150143339A1 (en) * 2013-11-19 2015-05-21 Google Inc. Callpath finder

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5321838A (en) * 1991-02-28 1994-06-14 Hensley Billy W Event capturing for computer software evaluation
US7165190B1 (en) * 2002-07-29 2007-01-16 Oracle International Corporation Method and mechanism for managing traces within a computer system
US7716647B2 (en) * 2004-10-01 2010-05-11 Microsoft Corporation Method and system for a system call profiler
US8726232B1 (en) * 2005-12-02 2014-05-13 The Math Works, Inc. Identification of patterns in modeling environments
US8578213B2 (en) * 2011-04-27 2013-11-05 Microsoft Corporation Analyzing software performance issues

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150143339A1 (en) * 2013-11-19 2015-05-21 Google Inc. Callpath finder

Also Published As

Publication number Publication date
FR3078182A1 (fr) 2019-08-23
CN110231978A (zh) 2019-09-13
US20190258562A1 (en) 2019-08-22
FR3078182B1 (fr) 2021-12-24
US11061797B2 (en) 2021-07-13

Similar Documents

Publication Publication Date Title
CN109961204B (zh) 一种微服务架构下业务质量分析方法和系统
CN108932945B (zh) 一种语音指令的处理方法及装置
US20170192882A1 (en) Method and system for automatically generating a plurality of test cases for an it enabled application
EP4217859A1 (fr) Recommandations de récupération de défaillance pour des commandes cli
EP2962301B1 (fr) Generation d'une signature d'un signal audio musical
WO2002005088A1 (fr) Procede et appareil d'extraction, du code d'un logiciel ou d'autres donnees, des connaissances d'un domaine
WO2020029608A1 (fr) Procédé et appareil pour détecter une bavure de feuille d'électrode
CN103440243A (zh) 一种教学资源推荐方法及其装置
CN113612808B (zh) 音频处理方法、相关设备、存储介质及程序产品
CN105354132A (zh) 移动应用的投放处理方法、跟踪投放渠道的方法及系统
TW201732655A (zh) 目標特徵資料的挖掘方法和其裝置
US10467538B2 (en) Link de-noising in a network
Chuprov et al. How degrading network conditions influence machine learning end systems performance?
CN113032281B (zh) 一种代码覆盖率实时获取方法及装置
CN110096612A (zh) 语音日志的在线音频分析数据的获取方法及系统
CN112437022B (zh) 网络流量识别方法、设备及计算机存储介质
CN116319467B (zh) 基于idc机房双向流量的深度合成音频检测方法及系统
EP3528111A1 (fr) Systeme et procede informatique d'analyse de performance d'une application realisant des appels de fonction de communication entre plusieurs processus
CN110311806B (zh) 一种移动应用程序界面响应延迟诊断方法、系统及终端
EP3853743A1 (fr) Cadriciel d'exploration de données à motif séquentiel distribué
WO2016200413A1 (fr) Système de recommandation et analyse de session d'application
FR2883086A1 (fr) Dispositif d'optimisation d'arbres de diagnostic d'un outil de diagnostic d'un reseau de communication
US10740119B2 (en) Identifying a common action flow
CN111369010B (zh) 一种信息资产类别识别方法、装置、介质和设备
CN106777010B (zh) 日志的提供方法、装置以及日志的获取方法、装置和系统

Legal Events

Date Code Title Description
PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE APPLICATION HAS BEEN PUBLISHED

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

AX Request for extension of the european patent

Extension state: BA ME

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: REQUEST FOR EXAMINATION WAS MADE

17P Request for examination filed

Effective date: 20200130

RBV Designated contracting states (corrected)

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: EXAMINATION IS IN PROGRESS

17Q First examination report despatched

Effective date: 20200527

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: EXAMINATION IS IN PROGRESS

P01 Opt-out of the competence of the unified patent court (upc) registered

Effective date: 20230330

RAP1 Party data changed (applicant data changed or rights of an application transferred)

Owner name: COMMISSARIAT A L'ENERGIE ATOMIQUE ET AUX ENERGIES ALTERNATIVES

Owner name: BULL SAS

GRAP Despatch of communication of intention to grant a patent

Free format text: ORIGINAL CODE: EPIDOSNIGR1

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: GRANT OF PATENT IS INTENDED

INTG Intention to grant announced

Effective date: 20240506