FR3118235A1 - Reconnaissance de mode de déplacement par capteur de mouvement - Google Patents

Reconnaissance de mode de déplacement par capteur de mouvement Download PDF

Info

Publication number
FR3118235A1
FR3118235A1 FR2013579A FR2013579A FR3118235A1 FR 3118235 A1 FR3118235 A1 FR 3118235A1 FR 2013579 A FR2013579 A FR 2013579A FR 2013579 A FR2013579 A FR 2013579A FR 3118235 A1 FR3118235 A1 FR 3118235A1
Authority
FR
France
Prior art keywords
individual
mode
correlations
movement
current
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
FR2013579A
Other languages
English (en)
Inventor
Grégoire LEFEBVRE
Paul COMPAGNON
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Orange SA
Original Assignee
Orange SA
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Orange SA filed Critical Orange SA
Priority to FR2013579A priority Critical patent/FR3118235A1/fr
Publication of FR3118235A1 publication Critical patent/FR3118235A1/fr
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/014Hand-worn input/output arrangements, e.g. data gloves
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1123Discriminating type of movement, e.g. walking or running
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/044Recurrent networks, e.g. Hopfield networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Dentistry (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Human Computer Interaction (AREA)
  • Physiology (AREA)
  • Computing Systems (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Pathology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

L’invention porte sur un procédé de reconnaissance d’un mode de déplacement d’un individu. Le procédé comprend une obtention (P6) d’un premier ensemble structuré de corrélations entre des données de référence extraites d’un signal d’intérêt historique issu de capteurs portés par l’individu, les données de référence étant pré-classées par mode possible de déplacement de l’individu. Le procédé comprend en outre une reconnaissance (P7) d’un mode de déplacement courant de l’individu. La reconnaissance (P7) s’appuie sur : - une structuration d’un second ensemble de corrélations entre des données courantes extraites d’un signal d’intérêt courant, issu desdits capteurs portés par l’individu, les données courantes étant indicatives d’un déplacement courant de l’individu, - un couplage du premier ensemble avec le second ensemble, et - une inférence d’une valeur indicative du mode de déplacement courant de l’individu au cours de l’intervalle temporel courant sur la base du second ensemble couplé au premier ensemble. Figure de l’abrégé : Figure 1

Description

Reconnaissance de mode de déplacement par capteur de mouvement
La présente divulgation relève du domaine de la science des données. Plus précisément, la présente divulgation porte sur un procédé de reconnaissance d’un mode de déplacement d’un individu et sur un programme informatique et un support d’enregistrement correspondants.
Dans le cadre des services de santé numérique pour des personnes fragiles, par exemple les personnes âgées, les personnes souffrant de déficience, ou les personnes isolées, un enjeu permanent est d’évaluer, automatiquement si possible, leur bien-être et leur santé.
Dans ce cadre, il apparaît nécessaire d’avoir une bonne compréhension des modes de locomotion et de transport que ces personnes utilisent au quotidien, afin de fournir une mesure d’autonomie robuste. Cette mesure est un des indicateurs forts pour évaluer la bonne santé physique, sociale et morale des individus par le corps médical, la famille et la personne elle-même lors de services de télé-vigilance, télé-assistance ou télé-secours.
En effet, l’usage et la fréquence d’utilisation des modes de locomotion et de transport peuvent révéler des variations et décrire les habitudes et le degré d’autonomie d’une personne. Il est trivial de dire que l’absence d’usage de moyens de transport ou au contraire une régularité dans l’usage des transports sont des révélateurs du bien-être de la personne et ces caractéristiques peuvent influencer sa santé.
Ainsi, pour analyser les modes de transport, un système d’analyse peut se focaliser sur les mouvements effectués par la personne elle-même, mais aussi sur les vibrations ou accélérations que subit la personne dans une situation de transport, par exemple sous l’effet d’un mode de propulsion ou de traction d’un véhicule.
Une méthode d’analyse de modes de locomotion ou de transport est connue et décrite dansM. Leodolter, P. Widhalm, C. Plant and N. Brandle, "Semi-supervised segmentation of accelerometer time series for transport mode classification," 2017 5th IEEE International Conference on Models and Technologies for Intelligent Transportation Systems (MT-ITS), Naples, 2017, pp. 663-668, doi: 10.1109/MTITS.2017.8005596. Dans ce document, les auteurs proposent une reconnaissance des modes de transport (marche, voiture, bus, train) à partir de données d’un accéléromètre. Leur approche propose une segmentation semi-supervisée automatique des signaux pour un regroupement, ou « clustering » en anglais, par un algorithme dit DTW, pour « Dynamic Time Warping » en anglais. Cependant, un tel algorithme nécessite de comparer tous les signaux de la base de connaissance avec chaque signal à classer, ce qui est très coûteux en temps et puissance de calcul, cet algorithme n'est donc pas adapté à une analyse rapide d'une situation de déplacement.
Une méthode d’analyse de modes de locomotion est par ailleurs connue et décrite dansTaimoor Afzal, Gannon White, Andrew B. Wright and Kamran Iqbal - Locomotion Mode Identification for Lower Limbs using Neuromuscular and Joint Kinematic Signals, 36th Annual International Conference of the IEEE Engineering in Medicine and Biology Society (EMBC), 2014, doi: 10.1109/EMBC.2014.6944518. Dans ce document, les auteurs proposent une étude comparative pour identifier différents modes de locomotion (position debout, marche, escalier montant, escalier descendant, rampe montante, rampe descendante) avec des signaux électromyographiques (i.e. obtenus par analyse des muscles et des cellules nerveuses qui les contrôlent), des signaux accélérométriques (i.e. représentatifs de mouvements du corps) et des signaux goniométriques (i.e. obtenus par des mesures angulaires au niveau de la hanche). Ces trois sources d’information sont couplées et classées à l’aide d’une classification du type d’une analyse discriminante linéaire. Cependant, une telle approche requiert l’utilisation d’informations multimodales, ce qui nécessite d’exploiter des données issues de différents appareils de capture. L’analyse discriminante linéaire s’appuie par ailleurs sur de nombreuses variables caractéristiques, ce qui implique de mettre en œuvre de nombreux traitements de signaux.
En outre, une méthode d’analyse de modes de locomotion et de transport est connue et décrite dansA. Jahangiri and H. A. Rakha, "Applying Machine Learning Techniques to Transportation Mode Recognition Using Mobile Phone Sensor Data," in IEEE Transactions on Intelligent Transportation Systems, vol. 16, no. 5, pp. 2406-2417, Oct. 2015, doi: 10.1109/TITS.2015.2405759. Les auteurs utilisent des techniques d’apprentissage automatique pour reconnaître des modes de transport (vélo, voiture, marche, course, bus) à partir d’un accéléromètre, d’un gyroscope et d’un capteur de rotation. Il s’agit d’une approche traditionnelle du traitement du signal pour décrire des singularités, les sélectionner et les classer. 165 caractéristiques sont calculées dans les signaux captés dont la moyenne, l’énergie et l’entropie spectrale.
Résumé
La présente divulgation vient améliorer la situation.
Il est proposé un procédé, mis en œuvre par un circuit de traitement de données, de reconnaissance d’un mode de déplacement d’un individu, le procédé comprenant :
- une obtention d’un premier ensemble structuré de corrélations temporelles et multimodales entre des données numériques de référence extraites d’un signal temporel multidimensionnel d’intérêt historique, issu de capteurs portés par l’individu, les données numériques de références étant pré-classées par mode possible de déplacement de l’individu, et
- une reconnaissance d’un mode de déplacement de l’individu au cours d’un intervalle temporel courant, la reconnaissance s’appuyant sur :
-- une structuration d’un second ensemble de corrélations temporelles et multimodales entre des données numériques courantes extraites d’un signal temporel multidimensionnel d’intérêt courant, issu desdits capteurs portés par l’individu, les données numériques courantes étant indicatives d’un déplacement de l’individu au cours de l’intervalle temporel courant,
-- un couplage du premier ensemble de corrélations avec le second ensemble de corrélations, et
-- une inférence d’une valeur indicative du mode de déplacement de l’individu au cours de l’intervalle temporel courant sur la base du second ensemble de corrélations couplé au premier ensemble de corrélations.
Par « mode de déplacement de l’individu », on entend un mode de locomotion ou un mode de transport.
La locomotion désigne le déplacement de l’individu essentiellement par ses propres moyens, c’est-à-dire par son énergie musculaire. On peut citer par exemple la marche, la course, le cyclisme ou le ski.
Le transport désigne le déplacement de l’individu essentiellement à l’aide d’une autre forme d’énergie que l’énergie musculaire de l’individu. On peut citer par exemple le transport automobile, ferroviaire, aérien ou maritime.
On considère que certains modes de locomotion ou de transport sont préalablement définis et identifiés en tant que « modes possibles de déplacement de l’individu ».
Le procédé proposé rend possible de reconnaître de manière robuste le mode de locomotion ou de transport d’un individu à un instant courant, et ce même si le nombre de capteurs pouvant être exploités à cet effet est réduit. Les inventeurs ont par exemple obtenu de bons résultats en exploitant uniquement quatre capteurs portés, à savoir un accéléromètre, un gyromètre, un magnétomètre et un baromètre. La robustesse de la reconnaissance est inhérente au couplage entre deux ensembles de corrélations, l’un relatif à des données de référence, l’autre à des données courantes.
Le procédé proposé a également pour avantages d’être peu coûteux en ressources et en temps de calcul, et est capable d’évoluer pour prendre en compte de nouveaux modes de transport ou de locomotion sans nécessiter un réapprentissage intégral. Ceci résulte du fait que la reconnaissance d’un mode de locomotion ou de transport se fait par référence à des situations déjà produites et non pas par un apprentissage exhaustif et massif de tous les modes de locomotion et de transport existants.
Le procédé proposé présente l’avantage supplémentaire d’une mise en œuvre pouvant être à la fois locale et personnalisée. En effet, les données numériques de référence comme les données numériques courantes sont relatives à des déplacements d’un individu donné, sont issues de capteurs portés par cet individu donné, et peuvent être en outre traitées exclusivement localement aux fins de la reconnaissance du mode de déplacement courant de cet individu donné.
Selon un autre aspect, il est proposé un programme informatique comportant des instructions pour la mise en œuvre de tout ou partie d’un procédé tel que défini dans les présentes lorsque ce programme est exécuté par un processeur. Selon un autre aspect, il est proposé un support d’enregistrement non transitoire, lisible par un ordinateur, sur lequel est enregistré un tel programme.
Les caractéristiques exposées dans les paragraphes suivants peuvent, optionnellement, être mises en œuvre, indépendamment les unes des autres ou en combinaison les unes avec les autres :
Dans certains exemples, le procédé comprend en outre une détermination, sur la base du second ensemble de corrélations couplé au premier ensemble de corrélations, d’un degré de similarité entre les données numériques courantes et les données numériques de référence, et l’inférence de la valeur indicative du mode de déplacement de l’individu au cours de l’intervalle temporel courant est basée sur ledit degré de similarité.
Ainsi, il est possible, par exemple, de comparer les données numériques courantes à différentes données numériques de référence, indicatives respectivement d’un mode de déplacement donné, par exemple la marche, la trottinette, la voiture, etc. Le mode de déplacement de l’individu à l’instant courant peut ainsi être identifié, ou reconnu, comme étant analogue au mode de déplacement correspondant aux données numériques de référence les plus similaires. Il est ainsi possible d’identifier n’importe quel mode de déplacement courant déjà connu, tel que dans cet exemple la marche. Il est également possible d’identifier des modes de déplacement courant précédemment inconnus, c’est-à-dire des modes de déplacement auxquels aucune donnée numérique de référence n’est associée, par mesure de similarité avec des modes de déplacement déjà connus. Ainsi, par exemple, des données numériques courantes associées à un déplacement de l’individu en bus peuvent être identifiées comme présentant plus de similitudes avec des données numériques de référence associées à un déplacement de l’individu en voiture qu’avec les autres données numériques de référence disponibles. Réciproquement, du fait du couplage, l’exploitation dynamique des données numériques de référence associées à un déplacement en voiture peut évoluer pour pouvoir mieux reconnaître de futurs déplacements de l’individu en bus.
Dans certains exemples, le procédé comprend en outre une association d’une mesure de confiance à la reconnaissance du mode de déplacement, une comparaison de la mesure de confiance avec un premier seuil et un second seuil, et si le résultat de la comparaison indique que la mesure de confiance est comprise entre le premier seuil et le second seuil, une alerte à destination de l’individu en vue d’obtenir, par interaction avec une interface homme-machine, une identification du mode de déplacement de l’individu et de mettre à jour le premier ensemble de corrélations en fonction du mode de déplacement identifié.
La mesure de confiance peut être par exemple corrélée au degré de similarité, et/ou être basée sur un degré de fiabilité des données numériques de référence ou des données numériques courantes.
Un tel double seuillage permet d’obtenir une confirmation de l’individu uniquement en cas de doute raisonnable sur le mode de déplacement reconnu, afin d’identifier définitivement le mode de déplacement courant et d’améliorer à l’avenir la robustesse du procédé de reconnaissance tout en sollicitant l’individu le moins possible.
Dans certains exemples, le procédé comprend en outre, si le résultat de la comparaison indique que la mesure de confiance est à la fois supérieure au premier seuil et au second seuil, une présentation à l’individu d’une recommandation de service adapté au mode de déplacement reconnu.
Dans certains exemples, le procédé comprend en outre, si le résultat de la comparaison indique que la mesure de confiance est comprise entre le premier seuil et le second seuil et après obtention de l’identification du mode de déplacement de l’individu par interaction avec l’interface homme-machine, une présentation à l’individu d’une recommandation de service adapté au mode de déplacement identifié.
Ainsi, il est possible, après avoir reconnu ou obtenu confirmation du mode de déplacement courant de l’individu, de lui recommander un ou plusieurs services adaptés à ce mode de déplacement courant. Par exemple, certains modes de locomotion ou de transport exigent une attention permanente de l’individu. A cet effet, il est possible, sur reconnaissance par exemple d’un déplacement en voiture en tant que mode de transport courant, de proposer une restriction des fonctions d’un terminal, tel qu’un basculement en mode mains libres.
Dans certains exemples, la recommandation de service est basée sur un modèle de préférences de l’individu.
Par exemple, un individu particulier peut souhaiter conserver un historique de ses activités de marche, comprenant éventuellement un nombre de pas ou une distance parcourue, ainsi qu’un historique séparé de ses activités de course à pied ou de ses trajets en vélo. Ainsi, sur détection de l’un des modes de locomotion correspondants, il est possible de signaler un début et un type d’activité en cours et de proposer à l’individu d’enregistrer les données se rapportant à cette activité en cours.
Dans certains exemples, le procédé comprend en outre une évaluation d’un retour de l’individu à la recommandation de service présentée et une mise à jour du modèle de préférences de l’individu sur la base de l’évaluation. Ceci permet de personnaliser les recommandations de service.
Dans certains exemples, le procédé comprend en outre une mise en œuvre du service recommandé sur réception d’un signal d’acceptation issu d’une interaction de l’individu avec une interface homme-machine. Alternativement, le service recommandé peut être par exemple automatiquement mis en œuvre après expiration d’un délai prédéfini.
Dans certains exemples, le procédé comprend en outre un pré-classement des signaux d’intérêt historiques par mode possible de déplacement de l’individu, les signaux d’intérêt historiques étant dérivés d’un historique d’informations numériques issues de capteurs d’un équipement porté par l’individu, les informations numériques décrivant des mouvements provoqués ou subis par lesdits capteurs.
D’autres caractéristiques, détails et avantages apparaîtront à la lecture de la description détaillée ci-après, et à l’analyse des dessins annexés, sur lesquels :
Fig. 1
montre un exemple d’algorithme général d’un programme informatique pour la mise en œuvre du procédé proposé, selon un mode de réalisation.
Fig. 2
montre la structure d’un modèle basé sur deux réseaux neuronaux récurrents à portes siamois, selon un mode de réalisation.
Fig. 3
montre un circuit de traitement pour la mise en œuvre du procédé proposé, selon un mode de réalisation.
La présente invention vise à répondre aux inconvénients cités précédemment et à proposer une prédiction robuste des modes de locomotion (ex : la marche, la course, le patin à roulette, la raquette) et de transport (ex : en trottinette, en vélo, en skateboard, en véhicule, en train, maritime, fluvial, aérien, spatial).
Dans ce but, on établit, par apprentissage, un modèle prédictif structurant des corrélations temporelles et multimodales entre des signaux d’intérêt issus de capteurs.
Le modèle prédictif, qui peut être par exemple à base de réseaux de neurones récurrents, est formé de deux systèmes dynamiques couplés. Un tel modèle permet, à partir de signaux d’intérêt bruts issus desdits capteurs à un instant courant, de reconnaître un mode associé de déplacement de l’individu. La reconnaissance d’un mode de locomotion ou de transport se fait par similarité avec des situations déjà apprises. Un tel modèle prédictif représente une optimisation en termes de coût et de temps de calcul par rapport aux méthodes connues reposant sur un apprentissage exhaustif et massif de tous les modes de locomotion et de transport connus. Par ailleurs, si l’individu se met à utiliser pour la première fois un mode de transport donné, par exemple un gyropode, le modèle prédictif est tout de même en mesure d’identifier ce nouveau mode de transport par analogie avec une situation similaire déjà apprise, tel qu’un autre mode de transport, par exemple une trottinette.
Ainsi, il est possible de fournir à une cohorte d’individus une version par défaut du modèle prédictif, apte à reconnaître initialement un faible nombre de modes génériques de locomotion et de transport. Ensuite, sous réserve d’une autorisation spécifique fournie par un individu, le modèle peut évoluer, localement, en fonction de données issues des capteurs d’un ou de plusieurs objets connectés portés par cet individu, de manière à reconnaître progressivement des modes de locomotion et de transport additionnels couramment utilisés par cet individu.
L’apprentissage est optionnellement adaptatif par interaction avec l’individu. De manière générale, une telle personnalisation par supervision de l’apprentissage a pour avantage d’améliorer la robustesse de la reconnaissance ultérieure d’un mode de locomotion ou de transport de l’individu.
Le modèle prédictif proposé offre une prédiction robuste même si les signaux d’intérêt sont issus d’une liste restreinte de capteurs, par exemple une liste comprenant un accéléromètre, un gyromètre, un magnétomètre et un baromètre. Dans un exemple d’implémentation, de tels capteurs sont par exemple intégrés à un unique objet connecté porté par un individu, tel qu’une montre connectée.
Le mode de locomotion ou de transport reconnu peut alors être utilisé comme référence situationnelle pour proposer ou recommander un service, par exemple un service dit de "santé connectée", à l’individu. La conception du modèle de bout en bout, c’est-à-dire des données brutes vers la promotion d’un service adapté, constitue un point d’innovation supplémentaire.
Cette invention permet d'alimenter de nombreuses applications et services qui peuvent être liés à la santé connectée pour le suivi de personnes fragiles ou au suivi des habitants dans leur usage de la maison intelligente ou de la ville intelligente.
Un exemple d’application est la mesure de l’autonomie pour des personnes fragiles dans des services de santé connectée. Cette mesure permet d’informer la famille et le corps médical des évolutions de la santé physique, morale, et sociale de la personne suivie pour des services notamment de télévigilance.
Un autre exemple d’application imaginable est un service futur pour l’industrie du futur dite aussi "industrie 4.0" qui utiliserait favorablement l’analyse des modes de transport dans des environnements intérieurs ou extérieurs.
De même, des services adaptés à la situation d’un travailleur isolé peuvent être fournis en fonction de ses modes de locomotion et de transport perçus à distance, près d’une zone de danger. Par exemple, une alerte peut être émise lors de l’arrivée d’un travailleur dans une zone à risque dès lors que le mode de locomotion employé et reconnu est potentiellement trop rapide.
Il est maintenant fait référence à la , qui illustre un exemple de réalisation du procédé objet de l’invention.
En P1, un collecteur de données enregistre en continu des informations numériques provenant de jusqu’à quatre sources d’information et collectées par un même terminal. Dans un exemple d’implémentation, le terminal est un téléphone ou une montre connectée. Les quatre sources d’information en question sont quatre capteurs différents, à savoir un accéléromètre, un gyromètre, un magnétomètre et un baromètre, tous intégrés à un même objet connecté porté par un individu. Par exemple, l’objet connecté porté par l’individu et le terminal collectant les informations numériques peuvent désigner la même entité. Alternativement, il peut s’agir de deux entités distinctes configurées pour communiquer l’une avec l’autre. Les informations numériques collectées décrivent les mouvements provoqués ou subis par le capteur dont elles sont issues.
En P2, en parallèle à la collecte de données, un processus permet d’obtenir et, optionnellement, de sélectionner les signaux d’intérêt à traiter pour chaque source d’information. Par exemple, il est possible, par un tel filtrage, de ne traiter que les informations numériques issues d’une, deux ou trois des sources d’information.
En P3, les signaux d’intérêt bruts font, si nécessaire, l’objet d’une segmentation temporelle. Dans un exemple d’implémentation, à l’issue de la segmentation, un signal d’intérêt issu d’une source d’information donnée peut être représenté sous la forme d’une série temporelle formée de points de mesure consécutifs. Chaque point de mesure correspond à une moyenne des données numériques collectées sur une fenêtre temporelle d’analyse. Par exemple, les fenêtres d’analyse peuvent être des segments d’une minute. Par exemple, deux fenêtres d’analyse consécutives, correspondant à deux points de mesure consécutifs, peuvent se recouvrir partiellement. Par exemple, les fenêtres d’analyse peuvent être des segments de 20 secondes avec un recouvrement de 10 secondes entre deux fenêtres d’analyse consécutives. Dans la suite de ce document, on considère que tous les signaux d’intérêt font l’objet d’une segmentation temporelle en segments d’une minute respectivement associés à un instant correspondant.
En P4, des traitements numériques peuvent être effectués sur les signaux d’intérêts recueillis en P2 et, optionnellement, segmentés en P3. Les traitements sont, de façon non exhaustive, du filtrage passe-bas pour débruiter l’information, de la normalisation pour uniformiser les données, du rééchantillonnage de données pour synchroniser les sources, des calculs d’amplitude, de la gravité, d’orientation. Une réorientation des signaux d’intérêt issus de capteurs inertiels (accéléromètre et gyromètre) est également envisageable dans la mesure où les objets connectés tels qu’un téléphone ou une montre ne sont pas orientés de la même façon suivant le mode de locomotion ou de transport.
En P5, les signaux issus de P4 sont pré-classés par mode de locomotion et de transport. Dans un exemple d’implémentation, plusieurs modes de locomotion ainsi que plusieurs modes de transport peuvent être prédéfinis. Par exemple, on peut considérer quatre modes de locomotion possible que sont la marche, la course, les patins à roulette et les raquettes, associés à un numéro respectif de 1 à 4 dans un premier domaine informationnel. Par exemple, on peut considérer neuf modes de transport possibles que sont le vélo, le skateboard, la trottinette, le train, un véhicule roulant, un transport maritime, un transport fluvial, un transport aérien et un transport spatial, associés à un numéro respectif de 1 à 9 dans un second domaine informationnel.
Dans un exemple d’implémentation, des bases de données des capteurs, notées SEN_DB, peuvent être constituées pour stocker respectivement des historiques des signaux d’intérêt pré-classés pour les deux domaines informationnels décrivant, respectivement, les modes de locomotion et les modes de transport.
Par ailleurs, des données inertielles et magnétométriques peuvent être collectées pour décrire des situations de locomotion, telles que la marche ou la course, dans une base de données relative aux modes de locomotion, notée LOC_DB, et pour décrire des situations de transport, tel que maritime ou aérien, dans une base de données relative aux modes de transport, notée TRAN_DB.
En P6, on charge un modèle MOD qui structure des corrélations temporelles et multimodales entre les différentes sources d’informations afin d’inférer en P7, sur la base des signaux d’intérêt issus de P4 jusqu’à un instant courant, le mode le plus probable de locomotion et/ou le mode le plus probable de transport d’un individu audit instant courant.
Dans un exemple d’implémentation, le modèle MOD est préalablement appris à partir des bases de données SEN_DB, LOC_DB et TRAN_DB.
Il est à présent fait référence à la , qui illustre la structure d’un tel modèle MOD dans un exemple d’implémentation.
Dans cet exemple, le modèle MOD utilise deux réseaux de neurones récurrents à portes siamois. Les réseaux de neurones récurrents à portes sont également connus de l’homme du métier sous l’expression anglaise « Gated Recurrent Units » ou « GRU » et sont décrits, par exemple, dansCho, Kyunghyun; van Merrienboer, Bart; Gulcehre, Caglar; Bahdanau, Dzmitry; Bougares, Fethi; Schwenk, Holger; Bengio, Yoshua (2014). "Learning Phrase Representations using RNN Encoder-Decoder for Statistical Machine Translation". arXiv:1406.1078.
A un instant courant, un premier réseau (1) dispose, en entrée, d’un premier ensemble de vecteurs d’entrée dits de référence (x’t-n, …, x’t-1, x’t) , respectivement associés à un instant correspondant t-n, …, t-1, t. Ce premier ensemble de vecteurs d’entrée est préalablement associé, en P5, à un mode de transport ou de locomotion particulier de l’individu. En sortie, le premier réseau génère un premier vecteur de sortie de référence h’t caractéristique de ce mode de transport ou de locomotion particulier de l’individu. Il est ainsi possible, par exemple, de définir une pluralité de premiers réseaux, conçus pour générer respectivement un premier vecteur de sortie de référence h’t caractéristique d’un mode respectif de transport ou de locomotion particulier de l’individu.
En parallèle, toujours à l’instant courant, un second réseau (2) dispose d’un ensemble de vecteurs d’entrée (xt-n, …, xt-1, xt) indicatifs, respectivement, d’un segment temporel des signaux d’intérêts issus de P4. L’instant t est l’instant courant correspondant au vecteur d’entrée le plus récemment obtenu. En sortie, le second réseau, dont le principe de fonctionnement est par ailleurs identique à celui du premier réseau, génère un second vecteur de sortie ht caractéristique d’un mode de transport ou de locomotion de l’individu à l’instant courant.
Ainsi, pour deux signaux temporels multidimensionnels x’t et xt respectivement fournis en entrée, le modèle génère au moins une mesure de similarité entre un premier vecteur de sortie h’t généré par un premier réseau (1) et le second vecteur de sortie ht généré par le second réseau (2). La mesure de similarité est par exemple normalisée entre 0 et 1. Ainsi, deux signaux proches, correspondant à un même mode de locomotion ou de transport, ont une ressemblance maximale.
Par exemple, lorsque l’individu est en train de marcher, les signaux issus des capteurs présentent des similitudes avec des signaux de référence précédemment issus des capteurs et préalablement associés avec une activité de marche de l’individu. La mesure de similarité entre un premier vecteur de sortie h’t caractéristique de la marche et le second vecteur de sortie ht prend une valeur proche de 0.
Selon un autre exemple, on peut imaginer que l’individu se déplace, à l’instant courant, à l’aide d’un gyropode, mais qu’aucun signal de référence n’est associé avec le gyropode comme moyen de locomotion. Dans une telle situation, il est possible que les signaux issus des capteurs présentent des similitudes avec des signaux de référence précédemment issus des capteurs et préalablement associés avec un mode de locomotion similaire au gyropode (par exemple une trottinette). Ainsi, la mesure de similarité entre le premier vecteur de sortie h’t caractéristique d’un déplacement de l’individu en trottinette, d’une part, et le second vecteur de sortie ht caractéristique du déplacement de l’individu à l’instant courant, d’autre part, prend dans cet exemple une valeur faible, proche de 0.
A l’inverse, deux signaux éloignés, correspondant à des modes de locomotion ou de transport radicalement différents (par exemple la course à pied et la voiture) ont une ressemblance minimale et la mesure de similarité prend une valeur proche de 1.
Selon encore un autre exemple, on peut imaginer que l’individu marche, à l’instant courant, au cours d’un déplacement en train. Dans une telle situation, il est possible que le second vecteur de sortie ht ait un haut niveau de similarité à la fois avec un premier vecteur de sortie h’t caractéristique d’une activité de marche de l’individu et avec un autre premier vecteur de sortie h’t caractéristique d’un déplacement de l’individu en train.
De manière connue, le fonctionnement des réseaux de neurones récurrents à portes repose sur des vecteurs internes nommés portes, et plus particulièrement sur une porte d’actualisation et une porte de réinitialisation, ainsi que sur une fonction d’activation, respectivement notées z’t, r’t ett pour un premier réseau de neurones et zt, rt ett pour le second réseau de neurones.
De manière simple, au sein d’un réseau de neurones, ces vecteurs internes et cette fonction d’activation contrôlent les données qui sont exploitées pour déterminer un vecteur de sortie. C’est-à-dire que les données comprises dans l’ensemble de vecteurs d’entrée, soit (xt-n, … xt-1, xt) en prenant l’exemple du second réseau de neurones, sont filtrées de sorte que seules les données jugées pertinentes pour la détermination du mode de locomotion ou de transport à l’instant courant sont prises en compte.
Les équations générales définissant les portes d’actualisation et de réinitialisation et la fonction d’activation sont représentées ci-dessous. Dans ces équations apparaissent non seulement le vecteur d’entrée xt associé à l’instant courant, mais également le vecteur de sortie ht-1 associé à l’instant précédant immédiatement l’instant courant. C’est en ce sens que la détermination du vecteur de sortie ht s’appuie, notamment, sur une récurrence temporelle. Par ailleurs, l’équation de la fonction d’activation fait intervenir la porte de réinitialisation.
Dans ces équations et les suivantes, les valeurs des grandeurs W et b (par exemple Wir et bir) résultent d’un procédé d’apprentissage automatique et sont donc évolutives au fur et à mesure que de nouveaux vecteurs d’entrée sont obtenus et que de nouveaux vecteurs de sortie sont générés.
Si l’on se repose uniquement sur les équations ci-dessus, les deux réseaux de neurones fonctionnent de manière totalement découplée.
Une particularité du modèle MOD proposé est de comporter un couplage entre :
- d’une part, les corrélations temporelles et multimodales entre signaux d’intérêt issus de P4, et
- d’autre part, les corrélations temporelles et multimodales entre signaux d’intérêt de référence pré-classés par mode de transport ou de locomotion issus de P5.
En reprenant l’exemple d’implémentation de la , pour mettre en œuvre ce couplage, on définit un vecteur de couplage, noté ct, fonction du vecteur de sortie ht-1, associé à l’instant précédant l’instant courant, généré en sortie du second réseau de neurones, et du vecteur de sortie h’t-1 correspondant généré en sortie du premier réseau de neurones.
En d’autres termes, le vecteur de couplage est déterminé exclusivement en fonction de données obtenues dans le passé et permet d’intégrer les dynamiques propres à chaque mode de transport dans la mesure de similarité.
On définit également un vecteur de porte intermédiaire, notét pour le premier réseau de neurones ett pour le second réseau de neurones. Chaque vecteur de porte intermédiaire est fonction du vecteur de couplage et des fonctions d’activation respectivement définies au sein des deux réseaux de neurones.
Le vecteur de sortie ht est alors déterminé sur la base du vecteur de couplage, sur la base de la porte d’actualisation définie au sein du second réseau de neurones, ainsi que sur la base des fonctions d’activation respectivement définies au sein des deux réseaux de neurones.
Les équations générales définissant le vecteur de couplage, le vecteur de porte intermédiaire et le vecteur de sortie sont représentés ci-dessous.
Ainsi, de manière générale, le modèle MOD structure et établit un couplage entre
- d’une part, un premier ensemble de corrélations temporelles et multimodales entre des données numériques de référence extraites des signaux d’intérêt de référence pré-classés par mode de transport ou de locomotion, issus de P5, et
- d’autre part, un second ensemble de corrélations temporelles et multimodales entre des données numériques extraites des signaux d’intérêt issus de P4.
En P7, le modèle MOD reconnaît un mode de déplacement courant de l’individu, plus précisément un mode de locomotion en P7A et/ou un mode de transport en P7B, par inférence, sur la base d’une ressemblance entre les vecteurs de sortie ht et h’t, c’est-à-dire par exemple d’une distance entre ces vecteurs dans un espace à n dimensions, n désignant le nombre de coordonnées de chacun de ces vecteurs dans cet espace.
De manière générale, en P7, la reconnaissance du mode de locomotion, dans le premier domaine informationnel et/ou du mode de transport, dans le second domaine informationnel, à l’instant courant est effectuée en fonction d’un historique des signaux d’intérêt pré-classés issus de P5.
En P8, une mesure de confiance Z est associée par le modèle MOD à la reconnaissance de la situation. Par exemple, on peut calculer une valeur de maximum de vraisemblance que le mode de locomotion ou de transport reconnu corresponde ou non au mode de locomotion ou de transport de l’individu à l’instant courant.
Plus cette valeur est haute, et plus le modèle MOD est confiant sur la robustesse de la reconnaissance en P7 à l’instant courant.
La mesure de confiance est déterminée sur la base de l’historique des signaux d’intérêt pré-classés issus de P5. Par exemple, si un mode de locomotion particulier est reconnu (par exemple la course) la mesure de confiance peut être d’autant plus élevée que le nombre de signaux d’intérêt pré-classés associés à ce mode de locomotion particulier est important. En effet, il est plus probable qu’un individu utilise, à l’instant courant, un mode de locomotion qu’il a l’habitude d’utiliser.
Par ailleurs, en reprenant l’exemple de la , la mesure de confiance peut être déterminée sur la base d’une comparaison, ou d’un ratio, entre la distance entre les vecteurs de sortie ht et h’t d’une part et une valeur seuil d’autre part.
En P9, si la mesure de confiance Z calculée en P8 est supérieure à une valeur seuil, un service adapté au mode de locomotion ou de transport reconnu peut être déterminé.
Dans un exemple d’implémentation, sur une échelle de 0 à 1, la valeur seuil peut être fixée à 0.8. Il peut également être prévu de solliciter une interaction avec l’individu dès lors que la mesure Z est comprise entre une première valeur seuil A et une seconde valeur seuil A’. A l’inverse, si la mesure Z est inférieure à la seconde valeur seuil A’, aucun service n’est proposé et l’individu n’est pas non plus sollicité. Une nouvelle itération du procédé est alors initiée depuis P1.
Cette interaction basée sur un double seuillage peut permettre de lever un doute raisonnable concernant la situation courante. La situation courante est alors labélisée parmi les modes de locomotion et de transport définis dans le modèle MOD, qui est mis à jour en conséquence. Un service adapté à la situation labélisée peut alors être déterminé.
En P10, une recommandation du service déterminé en P9 peut être présentée à l’individu. Dans un exemple d’implémentation, la recommandation du service est présentée via le meilleur canal de diffusion pour l’individu compte tenu du mode de locomotion ou de transport reconnu ou labélisé, par exemple sur l’écran d’un smartphone, ou d’une montre connectée. Par exemple, si le mode de locomotion prédit est un usage d’une trottinette, les services associés à ce mode de locomotion dans un modèle de préférences PREF peuvent être dans un ordre de préférence, une activation d’un mode avion sur un terminal ou une inactivation d’une interaction gestuelle avec le terminal. D’autres exemples de services peuvent être décrits pour chaque situation selon les préférences et les habitudes de l’individu.
Ces préférences peuvent être définies par l’individu lui-même ou par un tiers de confiance (ex : famille, proche, ou corps médical) ou automatiquement par apprentissage des services utilisés dans le passé en corrélation avec les modes de locomotion ou de transport reconnus.
Par exemple, si l’individu est une personne semi-dépendante, une fonctionnalité supplémentaire peut prévoir que si le mode de transport reconnu correspond à une liste prédéfinie de modes de transport (par exemple le train, ou la voiture si l’individu conduit toujours), alors cette reconnaissance déclenche automatiquement un suivi géographique de l’individu, par exemple par géolocalisation à l’aide d’un récepteur GPS. Ceci permet de détecter d’éventuelles situations à risque tout en respectant la vie privée de l’individu car sa localisation n’est pas enregistrée en permanence.
En P11, on peut évaluer la réaction ou la réponse de l’individu à la recommandation de service. Le service proposé peut en effet être activé ou non par l’individu. En cas d’activation, le service recommandé peut ensuite être exécuté en P12.
En P13, le modèle des préférences PREF de l’individu peut être mis à jour en fonction de la situation reconnue et, le cas échéant, en fonction de l’activation ou de la non-activation d’un service recommandé suite à cette reconnaissance.
Il est à présent fait référence à la qui représente un exemple de circuit de traitement pour la mise en œuvre du procédé ci-avant. Un tel circuit de traitement CT (100) comprend au moins un processeur CPU (101) raccordé à un support d’enregistrement non transitoire MEM (102) sur lequel est enregistré un programme comportant des instructions pour la mise en œuvre du procédé ci-avant.
Le circuit de traitement peut comprendre en outre une interface de communication COM (103) avec au moins un dispositif tiers. L’interface de communication COM (103) peut par exemple être pilotée pour recevoir le signal temporel multidimensionnel d’intérêt courant ou les données numériques courantes qui en sont extraites, ou encore pour transmettre la valeur inférée indicative du mode de déplacement de l’individu à l’instant courant.

Claims (10)

  1. Procédé, mis en œuvre par un circuit de traitement de données, de reconnaissance d’un mode de déplacement d’un individu, le procédé comprenant :
    - une obtention (P6) d’un premier ensemble structuré de corrélations temporelles et multimodales entre des données numériques de référence extraites d’un signal temporel multidimensionnel d’intérêt historique, issu de capteurs portés par l’individu, les données numériques de référence étant pré-classées par mode possible de déplacement de l’individu, et
    - une reconnaissance (P7) d’un mode de déplacement de l’individu au cours d’un intervalle temporel courant, la reconnaissance (P7) s’appuyant sur :
    -- une structuration d’un second ensemble de corrélations temporelles et multimodales entre des données numériques courantes extraites d’un signal temporel multidimensionnel d’intérêt courant, issu desdits capteurs portés par l’individu, les données numériques courantes étant indicatives d’un déplacement de l’individu au cours de l’intervalle temporel courant,
    -- un couplage du premier ensemble de corrélations avec le second ensemble de corrélations, et
    -- une inférence d’une valeur indicative du mode de déplacement de l’individu au cours de l’intervalle temporel courant sur la base du second ensemble de corrélations couplé au premier ensemble de corrélations.
  2. Procédé selon la revendication 1, comprenant en outre :
    - une détermination, sur la base du second ensemble de corrélations couplé au premier ensemble de corrélations, d’un degré de similarité entre les données numériques courantes et les données numériques de référence, et
    - dans lequel l’inférence de la valeur indicative du mode de déplacement de l’individu au cours de l’intervalle temporel courant est basée sur ledit degré de similarité.
  3. Procédé selon la revendication 1 ou 2, comprenant en outre :
    - une association (P8) d’une mesure de confiance à la reconnaissance du mode de déplacement,
    - une comparaison (P9) de la mesure de confiance avec un premier seuil et un second seuil, et
    si le résultat de la comparaison indique que la mesure de confiance est comprise entre le premier seuil et le second seuil, une alerte à destination de l’individu en vue d’obtenir, par interaction avec une interface homme-machine, une identification du mode de déplacement de l’individu, et de mettre à jour le premier ensemble de corrélations en fonction du mode de déplacement identifié.
  4. Procédé selon la revendication 3, dans lequel si le résultat de la comparaison indique que la mesure de confiance est à la fois supérieure au premier seuil et au second seuil, une présentation (P10) à l’individu d’une recommandation de service adapté au mode de déplacement reconnu.
  5. Procédé selon la revendication 3 ou 4, comprenant en outre, si le résultat de la comparaison indique que la mesure de confiance est comprise entre le premier seuil et le second seuil et après obtention de l’identification du mode de déplacement de l’individu par interaction avec l’interface homme-machine, une présentation (P10) à l’individu d’une recommandation de service adapté au mode de déplacement identifié.
  6. Procédé selon la revendication 4 ou 5, dans lequel la recommandation de service est basée sur un modèle de préférences de l’individu.
  7. Procédé selon la revendication 6, comprenant en outre une évaluation (P11) d’un retour de l’individu à la recommandation de service présentée et une mise à jour (P13) du modèle de préférences de l’individu sur la base de l’évaluation.
  8. Procédé selon l’une des revendications 4 à 7, comprenant une mise en œuvre (P12) du service recommandé sur réception d’un signal d’acceptation issu d’une interaction de l’individu avec une interface homme-machine.
  9. Programme informatique comportant des instructions pour la mise en œuvre du procédé selon l’une des revendications 1 à 8 lorsque ce programme est exécuté par un processeur.
  10. Support d’enregistrement non transitoire lisible par un ordinateur sur lequel est enregistré un programme pour la mise en œuvre du procédé selon l’une des revendications 1 à 8 lorsque ce programme est exécuté par un processeur.
FR2013579A 2020-12-17 2020-12-17 Reconnaissance de mode de déplacement par capteur de mouvement Pending FR3118235A1 (fr)

Priority Applications (1)

Application Number Priority Date Filing Date Title
FR2013579A FR3118235A1 (fr) 2020-12-17 2020-12-17 Reconnaissance de mode de déplacement par capteur de mouvement

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FR2013579 2020-12-17
FR2013579A FR3118235A1 (fr) 2020-12-17 2020-12-17 Reconnaissance de mode de déplacement par capteur de mouvement

Publications (1)

Publication Number Publication Date
FR3118235A1 true FR3118235A1 (fr) 2022-06-24

Family

ID=75438909

Family Applications (1)

Application Number Title Priority Date Filing Date
FR2013579A Pending FR3118235A1 (fr) 2020-12-17 2020-12-17 Reconnaissance de mode de déplacement par capteur de mouvement

Country Status (1)

Country Link
FR (1) FR3118235A1 (fr)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014118767A1 (fr) * 2013-02-03 2014-08-07 Sensogo Ltd. Classification de types de locomotion
US20170178011A1 (en) * 2015-12-21 2017-06-22 Intel Corporation User pattern recognition and prediction system for wearables

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014118767A1 (fr) * 2013-02-03 2014-08-07 Sensogo Ltd. Classification de types de locomotion
US20170178011A1 (en) * 2015-12-21 2017-06-22 Intel Corporation User pattern recognition and prediction system for wearables

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
A. JAHANGIRIH. A. RAKHA: "Applying Machine Learning Techniques to Transportation Mode Recognition Using Mobile Phone Sensor Data", IEEE TRANSACTIONS ON INTELLIGENT TRANSPORTATION SYSTEMS, vol. 16, no. 5, October 2015 (2015-10-01), pages 2406 - 2417, XP011670157, DOI: 10.1109/TITS.2015.2405759
CHO, KYUNGHYUNVAN MERRIENBOER, BARTGULCEHRE, CAGLARBAHDANAU, DZMITRYBOUGARES, FETHISCHWENK, HOLGERBENGIO, YOSHUA: "Learning Phrase Representations using RNN Encoder-Decoder for Statistical Machine Translation", ARXIV:1406.1078, 2014
M. LEODOLTERP. WIDHALMC. PLANTN. BRANDLE: "Semi-supervised segmentation of accelerometer time sériés for transport mode classification", 2017 5TH IEEE INTERNATIONAL CONFERENCE ON MODELS AND TECHNOLOGIES FOR INTELLIGENT TRANSPORTATION SYSTEMS (MT-ITS), 2017, pages 663 - 668, XP033138605, DOI: 10.1109/MTITS.2017.8005596
TAIMOOR AFZALGANNON WHITEANDREW B. WRIGHTKAMRAN IQBAL: "Locomotion Mode Identification for Lower Limbs using Neuromuscular and Joint Kinematic Signals", 36TH ANNUAL INTERNATIONAL CONFERENCE OF THE IEEE ENGINEERING IN MEDICINE AND BIOLOGY SOCIETY (EMBC), 2014

Similar Documents

Publication Publication Date Title
US11343643B2 (en) Using telematics data to identify a type of a trip
WO2021180062A1 (fr) Procédé d'identification d'intention et dispositif électronique
US10003924B2 (en) Method of and server for processing wireless device sensor data to generate an entity vector associated with a physical location
Otebolaku et al. User context recognition using smartphone sensors and classification models
US20190102705A1 (en) Determining Preferential Device Behavior
EP2696344A1 (fr) Procede et systeme pour detecter des evenements sonores dans un environnement donne
CN103309918A (zh) 解释用户状况的动态社交和传感器数据的近实时分析
WO2011092639A1 (fr) Systèmes, procédés et appareils de délivrance de services de navigation à base de contexte
Zhao et al. Recognition of Transportation State by Smartphone Sensors Using Deep Bi‐LSTM Neural Network
Ferrer et al. Travel behavior characterization using raw accelerometer data collected from smartphones
WO2019110914A1 (fr) Extraction automatique d'attributs d'un objet au sein d'un ensemble d'images numeriques
Miyata et al. Barrier detection using sensor data from unimpaired pedestrians
Noor Behavior analysis-based iot services for crowd management
WO2020058234A1 (fr) Dispositif de prédiction de trajet le plus probable d'un véhicule
Tabatabaie et al. Naturalistic e-scooter maneuver recognition with federated contrastive rider interaction learning
EP3252563B1 (fr) Détermination d'un contexte de mobilité d'un utilisateur porteur d'un équipement muni de capteurs inertiels
Kamalian et al. A survey on local transport mode detection on the edge of the network
WO2019109290A1 (fr) Ensemble de contextes et fusion de contextes
FR3118235A1 (fr) Reconnaissance de mode de déplacement par capteur de mouvement
CN116701990A (zh) 日常行为检测方法、装置、设备和计算机存储介质
Smirnov et al. Tourist attraction recommendation service: an approach, architecture and case study
EP3836014A1 (fr) Procédé de suivi d'un élément, dispositif électronique et produit programme d'ordinateur associés
FR3103598A1 (fr) Module de traitement d’un flux audio-vidéo associant les paroles prononcées aux visages correspondants
Amrani et al. Homogenization of existing inertial-based datasets to support human activity recognition
WO2024208593A1 (fr) Procédé de génération d'une séquence temporelle d'évaluations d'une situation et dispositif associé

Legal Events

Date Code Title Description
PLFP Fee payment

Year of fee payment: 2

PLSC Publication of the preliminary search report

Effective date: 20220624

PLFP Fee payment

Year of fee payment: 3

PLFP Fee payment

Year of fee payment: 4