EP4771898A1

EP4771898A1 - Sélection de clients d'un réseau de télécommunications pour la mise en oeuvre d'un apprentissage fédéré

Info

Publication number: EP4771898A1
Application number: EP24752406.9A
Authority: EP
Inventors: Kahina MOKRANI; Selman SEZGIN
Original assignee: Orange SA
Current assignee: Orange SA
Priority date: 2023-08-30
Filing date: 2024-08-02
Publication date: 2026-07-08
Also published as: WO2025045518A1; FR3152618A1

Abstract

L'invention concerne un procédé de gestion d'un apprentissage fédéré comprenant les étapes suivantes d'une phase courante (30): - connexion (300) d'un client, obtention (301) de la position et la vitesse du client et estimation (302) en fonction de la vitesse et/ou de la position du client d'une durée de connexion dudit client à la station de base par application d'un modèle de prédiction; - sur initialisation d'un cycle d'apprentissage fédéré, sélection (305) d'un sous-ensemble de clients ayant chacun une durée restante de connexion supérieure à une estimation d'une durée de participation nécessaire au cycle d'apprentissage fédéré; - transmission (306) de valeurs initiales de paramètres au sous-ensemble; - obtention (308) de valeurs optimisées depuis les clients du sous-ensemble; - détermination (309) de valeurs globales, en fonction des valeurs optimisées; - transmission (310) des valeurs globales aux clients dudit ensemble.

Description

Sélection de clients d’un réseau de télécommunications pour la mise en œuvre d’un apprentissage fédéré

L'invention se rapporte au domaine des réseaux de télécommunications.

Elle a notamment pour but de permettre un apprentissage fédéré entre des terminaux clients ayant accès à un réseau de télécommunications.

Etat de la technique

Les entités connectées, appelées clients ci-après, à un réseau de télécommunications, telles que des smartphones, véhicules, objets connectés accédant à un réseau mobile de type cellulaire par exemple, génèrent des données durant leur fonctionnement. De telles données peuvent permettre d’entraîner des modèles par apprentissage machine, de tels modèles ayant des applications très variées.

Or, ces données sont souvent volumineuses d’une part, et peuvent comprendre des données sensibles, notamment des données issues de la vie privée des utilisateurs des clients.

Par exemple, les données peuvent comprendre des courriels, des appels téléphoniques enregistrés, ou la position du client.

Il est par conséquent difficile d’entraîner un modèle sur une base de données globale réunissant l’ensemble des données localement obtenues par des clients connectés à un réseau de télécommunications. En effet, une telle approche engendrerait des coûts importants liés à la transmission des données collectées localement par les clients, vers la base de données, ainsi que des problèmes de sécurité liés à la confidentialité des données transmises.

Une approche alternative est appelée apprentissage fédéré.

Selon une telle approche, l’apprentissage est distribué entre les différents clients. Les clients collaborent ainsi pour construire un modèle global, la collaboration n’impliquant que le transfert, vers un agrégateur commun à plusieurs clients, de paramètres d’un modèle local, les paramètres étant optimisés localement par chaque client.

Les clients n’ont alors pas à transmettre les données accumulées localement, sur la base desquelles les paramètres du modèle local sont optimisés, seuls les paramètres optimisés étant transmis vers l’agrégateur.

Une telle approche permet ainsi de surmonter à la fois les problèmes de coûts, la quantité d’informations échangées étant drastiquement réduite, mais également les problèmes de confidentialité, puisqu’aucune donnée personnelle n’est transmise sur le réseau lors de l’agrégation des paramètres optimisés. L’agrégateur agrège ensuite les paramètres reçus de différents clients, en un ensemble de paramètres optimisés d’un modèle global, ou paramètres globaux. Les paramètres globaux sont ensuite renvoyés vers les clients pour mise à jour de leurs modèles locaux respectifs à partir des paramètres globaux.

Toutefois, en raison des limitations en bande passante des réseaux de télécommunications, ainsi que du nombre élevé de clients connectés simultanément à un tel réseau de télécommunications, notamment dans les réseaux cellulaires, l’agrégateur n’implique pas tous les clients connectés dans le processus d’apprentissage mais en sélectionne quelques-uns.

La sélection des clients participant à l’apprentissage supervisé est mise en œuvre par l’agrégateur selon une approche donnée. Une telle approche peut reposer sur une sélection aléatoire affectant une même probabilité de sélection à tous les clients connectés à un même agrégateur.

L’inconvénient d’une telle approche aléatoire est qu’elle ne prend pas en compte les caractéristiques propres à chaque client, et qui peuvent influencer considérablement les performances d’apprentissage ou le fonctionnement du client. En effet, pour qu’un modèle d’apprentissage local puisse converger, le client doit disposer de ressources suffisantes.

D’autres approches proposent de sélectionner les clients en fonction de leurs ressources locales respectives ou en fonction des performances respectives de leurs modèles locaux.

Dans le premier cas, les clients ayant le plus de ressources sont sélectionnés en priorité pour l’apprentissage fédéré.

Dans le second cas, les clients ayant les performances d’apprentissage local les plus élevées sont sélectionnés en priorité, en considérant que cela permet de faire converger plus rapidement le modèle global.

Toutefois, ces deux approches supposent que les clients sont statiques ou peu mobiles, et que leur temps de connexion au réseau, ou d’association à l’agrégateur, est suffisamment long pour permettre la mise en œuvre de l’apprentissage fédéré.

Toutefois, dans certains contextes, tels que ceux associés à un réseau mobile cellulaire, des clients peuvent être mobiles, notamment lorsque les clients sont des véhicules ou sont embarqués dans des véhicules.

Dans ces contextes, la prise en compte seule des ressources locales de chaque client ou des performances des modèles locaux respectifs des clients peut conduire à sélectionner des clients qui ne peuvent pas participer à l’ensemble des étapes d’apprentissage fédéré, ou cycle d’apprentissage fédéré, à cause de leur grande mobilité.

Il en résulte que la sélection de clients d’un réseau de télécommunications, pour la mise en œuvre d’un apprentissage fédéré d’un modèle, est inadaptée aux contextes dans lesquels les clients sont mobiles.

L'invention offre une solution ne présentant pas les inconvénients de l'état de la technique.

A cet effet, selon un aspect fonctionnel, l'invention a pour objet un procédé de gestion d’un apprentissage fédéré entre plusieurs dispositifs clients, dits clients, aptes à communiquer avec une station de base d’un réseau de télécommunications associée à une zone de couverture radio, un ensemble de clients étant apte à communiquer, à un instant donné, avec la station de base, les clients dudit ensemble comprenant des modules d’application respectifs d’une fonction donnée, le procédé comprenant les étapes suivantes, durant une phase courante :
- sur connexion d’un client à la station de base, obtention d’au moins une information parmi la position et la vitesse du client, estimation, en fonction de ladite au moins une information, d’une durée de connexion dudit client à la station de base, par application d’un modèle de prédiction de durée de connexion, et ajout dudit client audit ensemble de clients ;
- sur initialisation d’un cycle d’apprentissage fédéré, sélection d’un sous-ensemble de clients parmi les clients dudit ensemble, de manière à ce que, pour tout client du sous-ensemble, une durée restante de connexion soit supérieure à une estimation d’une durée de participation nécessaire au cycle d’apprentissage fédéré ;
- transmission de valeurs initiales de paramètres aux clients du sous-ensemble, pour configuration des modules d’application et pour entraînement des modules d’application à partir de données locales des clients du sous-ensemble ;
- obtention de valeurs optimisées de paramètres depuis au moins certains des clients du sous-ensemble ;
- détermination de valeurs globales de paramètres, en fonction des valeurs optimisées de paramètres reçues ;
- transmission des valeurs globales de paramètres à au moins certains des clients dudit ensemble pour configuration des modules d’application à partir des valeurs globales de paramètres.

Une telle transmission peut être une transmission multicast de la station de base vers au moins certains des clients dudit ensemble, et de préférence vers tous les clients dudit ensemble (c’est à dire les clients stockant un module d’application d’une fonction donnée et aptes à communiquer avec la station de base).

Ainsi, l’utilisation d’un modèle de prédiction de durée de connexion pour chaque client dudit ensemble permet une sélection d’un sous-ensemble adapté à des réseaux de télécommunications dans lesquels les clients sont dynamiques. La probabilité que les clients sélectionnés puissent participer à l’ensemble du cycle d’apprentissage fédéré (taux de participation effective) est ainsi considérablement augmentée par rapport aux solutions dans l’art antérieur, qui ne tiennent pas compte des aspects dynamiques liés aux clients.

Selon des modes de réalisation, le procédé peut comprendre une phase d’apprentissage du modèle de prédiction de durée de connexion, le procédé comprenant les étapes suivantes pendant la phase d’apprentissage :
- obtention, pour plusieurs clients, d’au moins une information parmi la vitesse et la position ;
- détermination, pour lesdits clients, de durées de connexion respectives à la station de base, en fonction desdites informations obtenues ;
- entraînement du modèle de prédiction de durée de connexion à partir de la vitesse et/ou de la position, par apprentissage supervisé à partir d’une base de données d’entraînement comprenant des associations entre la vitesse et/ou la position de chacun desdits plusieurs clients d’une part, et la durée de connexion dudit client d’autre part.

Ainsi, le modèle de prédiction de durée de connexion est entraîné par apprentissage machine, ce qui améliore considérablement la précision du modèle de prédiction, étant donné le caractère complexe et non déterministe du réseau de télécommunications et des clients qui s’y connectent.

En complément, la phase d’apprentissage peut être réitérée à une fréquence donnée.

Il est ainsi rendu permis de mettre à jour régulièrement le modèle de prédiction, par exemple toutes les heures.

Selon des modes de réalisation, le modèle de prédiction de durée de connexion peut être obtenu par régression linéaire à partir des données d’entraînement.

Ainsi, un modèle simple peut être utilisé pour la construction du modèle de prédiction, ce qui est compatible avec des puissances de calcul modérées.

En variante, le modèle de prédiction de durée de connexion peut être obtenu par une interpolation linéaire de krigeage à partir des données d’entraînement.

Un tel modèle de prédiction est simple et, en pratique, capable de mettre en œuvre des prédictions de durées de connexion avec une grande précision.

Encore en variante, le modèle de prédiction de durée de connexion peut être un arbre de régression entraîné à partir des données d’entraînement

Un tel mode de réalisation facilite la prédiction d’une durée de connexion en phase courante.

Selon des modes de réalisation, lors de la phase courante, la durée restante de connexion d’un client peut être déterminée à partir de la durée de connexion estimée du client et à partir de l’instant d’initialisation du cycle d’apprentissage fédéré et l’estimation de la durée de participation nécessaire au cycle d’apprentissage fédéré pour un client donné dudit ensemble peut être une somme :
- d’une durée estimée de transmission descendante des valeurs initiales de paramètres de la station de base vers le client donné,
- d’une durée estimée d’entraînement local, nécessaire au client donné pour entraîner le module d’application d’une fonction donnée contenu dans ledit client donné, à partir de données locales stockées par le client donnée, afin d’obtenir des valeurs optimisées de paramètres ; et
- d’une durée estimée de transmission montante des valeurs optimisées de paramètres du client donné vers la station de base.
Ainsi, la précision associée à l’estimation de la durée de participation nécessaire au cycle d’apprentissage est améliorée.

En complément, la durée estimée de transmission montante et la durée estimée de transmission descendante peuvent être obtenues à partir d’une information relative à une qualité de lien radio entre la station de base et le client donné, l’information relative à la qualité du lien radio étant obtenue lors de la connexion du client donné à la station de base.

Ainsi, la précision associée à l’estimation de la durée de participation nécessaire au cycle d’apprentissage est améliorée, comparativement à un mode de réalisation considérant des valeurs fixes de durée de transmissions montante et descendante.

Selon des modes de réalisation, le sous-ensemble de clients peut comprendre un nombre de clients inférieur ou égal à un nombre maximal K_sel,max, et, si le nombre de clients dudit ensemble dont la durée restante de connexion est supérieure à l’estimation de la durée de participation nécessaire au cycle d’apprentissage fédéré, est supérieur au nombre maximal K_sel,max, alors la sélection du sous-ensemble de clients peut comprendre la sélection de K_sel,max clients parmi les clients dudit ensemble dont la durée restante de connexion est supérieure à l’estimation de la durée de participation nécessaire au cycle d’apprentissage fédéré.

Ainsi, la taille du sous-ensemble peut être limitée, ce qui permet de limiter la complexité associée à l’apprentissage fédéré et de limiter les échanges dans le réseau de télécommunications.

En complément, la sélection de K_sel,max clients parmi les clients dudit ensemble dont la durée restante de connexion est supérieure à l’estimation de la durée de participation nécessaire au cycle d’apprentissage fédéré, peut être aléatoire.

Ainsi, la sélection du sous-ensemble de clients est simplifiée.

En variante, les K_sel,max clients ayant les durées restantes de connexion les plus longues parmi les clients dudit ensemble dont la durée restante de connexion est supérieure à l’estimation de la durée de participation nécessaire au cycle d’apprentissage fédéré, peuvent être sélectionnés dans le sous-ensemble.

Ainsi, le taux de participation effective au cycle d’apprentissage fédéré est amélioré.

Selon des modes de réalisation, le procédé peut comprendre en outre, lors de la phase courante, sur connexion d’un client à la station de base, l’ajout d’informations du client à une base de données courante en association avec la durée de connexion prédite pour ledit client, la base de données courante maintenant à jour ledit ensemble de clients.

Ainsi, il est possible de maintenir à jour en temps réel ledit ensemble de clients, ce qui assure, au début du cycle d’apprentissage fédéré, que la sélection du sous-ensemble est effectuée sur la base d’un ensemble qui est à jour.

Selon un aspect matériel, l’invention concerne un dispositif d’agrégation associé à au moins une station de base d’un réseau de télécommunications, ladite station de base étant associée à une zone de couverture radio et étant apte à communiquer avec des dispositifs clients, dits clients, le dispositif d’agrégation comprenant un processeur configuré pour :
- sur connexion d’un client à ladite au moins une station de base, obtenir au moins une information parmi la position et la vitesse du client, estimer, en fonction de ladite au moins une information, une durée de connexion dudit client à la station de base, par application d’un modèle de prédiction de durée de connexion, et ajouter le client à un ensemble de clients comprenant des clients aptes à communiquer, à un instant donné, avec la station de base, les clients dudit ensemble comprenant des modules d’application respectifs d’une fonction donnée ;
- sur initialisation d’un cycle d’apprentissage fédéré, sélectionner un sous-ensemble de clients parmi les clients dudit ensemble, de manière à ce que pour tout client du sous-ensemble, une durée restante de connexion soit supérieure à une estimation d’une durée de participation nécessaire au cycle d’apprentissage fédéré ;
- transmettre, par la station de base, des valeurs initiales de paramètres aux clients du sous-ensemble, pour configuration des modules d’application et pour entraînement des modules d’application à partir de données locales des clients du sous-ensemble ;
- obtenir, par la station de base, des valeurs optimisées de paramètres depuis au moins certains des clients du sous-ensemble ;
- déterminer des valeurs globales de paramètres, en fonction des valeurs optimisées de paramètres reçues ;
- transmettre, par la station de base, des valeurs globales de paramètres à au moins certains des clients dudit ensemble, pour configuration des modules d’application en fonction des valeurs globales de paramètres.

Selon un autre aspect matériel, l'invention concerne également un programme d'ordinateur apte à être mis en œuvre sur un dispositif d’agrégation, le programme comprenant des instructions de code qui, lorsque le programme est exécuté par un processeur, réalise les étapes du procédé défini.

De tels programmes peuvent utiliser n’importe quel langage de programmation. Ils peuvent être téléchargés depuis un réseau de communication et/ou enregistrés sur un support lisible par ordinateur.

Selon un autre aspect matériel, l’invention a trait à un support de données sur lequel a été mémorisée au moins une série d’instructions de code de programme pour l’exécution du procédé défini ci-dessus.

Selon un autre aspect matériel, l’invention concerne également une station de base d’un réseau de télécommunications, comprenant le dispositif d’agrégation défini ci-dessus.

L'invention sera mieux comprise à la lecture de la description qui suit, donnée à titre d'exemple et faite en référence aux dessins annexés sur lesquels :

La illustre un exemple d’un réseau de télécommunications selon des modes de réalisation de l’invention ;

La illustre les étapes d’une phase d’apprentissage de modèle de prédiction de durée horaire d’un procédé de gestion d’un apprentissage fédéré, selon des modes de réalisation de l’invention ;

La illustre les étapes d’une phase courante d’un procédé de gestion d’un apprentissage fédéré, selon des modes de réalisation de l’invention ;

La illustre un dispositif d’agrégation d’un réseau de télécommunications selon des modes de réalisation de l’invention.

La illustre un exemple d’environnement de mise en œuvre de l’invention selon des modes de réalisation.

Un réseau de télécommunications 100 selon l’invention comprend au moins un premier agrégateur 110.1 et un premier ensemble d’entité connectées 111.1 au réseau de télécommunications 100, ci-après appelé premier ensemble de clients 111.1.

Le réseau de télécommunications 100 peut être un réseau mobile de type cellulaire, comprenant une pluralité de stations de base 101.1-101.2, chaque station de base étant apte à couvrir une zone de couverture radio respective 102.1-102.2, appelée zone radio dans ce qui suit, c’est-à-dire à communiquer de manière bidirectionnelle avec des clients situés dans la zone radio qu’elle couvre. Par exemple, le réseau de télécommunications 100 peut être un réseau de type 3G, 4G, 5G ou tout autre réseau cellulaire, notamment de génération ultérieure.

Chaque station de base 101.1 et 101.2 est associée à au moins une cellule radio couverte dans la zone radio de la station de base. Par exemple, la première station de base 101.1 peut être associée à au moins une cellule radio, voire à plusieurs cellules radio (une cellule 2G, une cellule 3G et une cellule 4G par exemple).

Dans ce qui suit, il est considéré, à titre illustratif uniquement, que chaque station de base 101.1-101.2 n’est associée qu’à une seule cellule radio.

Le premier agrégateur 110.1 peut être associé au premier ensemble de clients 111.1, c’est-à-dire qu’il est apte à recevoir les données locales des clients 111.1 du premier ensemble. A cet effet, l’agrégateur 110.1 peut être intégré dans la station de base 101.1 ou peut être apte à communiquer, à distance ou de manière locale, avec la station de base 101.1.

On entend par agrégateur, ou dispositif d’agrégation, une unité centrale qui joue un rôle d’orchestrateur dans l’apprentissage fédéré, en coordonnant l’apprentissage entre les clients de l’ensemble de clients qui lui est associé. L'agrégateur peut être une cellule, une station de base, un site de radiocommunication cellulaire ou tout autre entité qui dispose de ressources radio et à laquelle les terminaux clients peuvent se connecter. Un agrégateur peut être également un terminal client. Dans l’exemple considéré ici, le premier agrégateur 110.1 est associé à la première cellule radio desservie par la première station de base 101.1 dans la première zone radio 102.1. Dans une variante non décrite, le premier agrégateur 110.1 peut être associé à plusieurs premières cellules radio desservies par la première station de base 101.1 dans la première zone radio 102.1. Dans une autre variante non décrite, le premier agrégateur 110.1 peut être associé à plusieurs cellules radio desservies par plusieurs stations de base dans plusieurs zones radio.

Dans le cadre de l’invention, le premier agrégateur 110.1 est en charge de la sélection d’un sous-ensemble de clients parmi le premier ensemble de clients, afin que le sous-ensemble de clients sélectionné participe à l’apprentissage fédéré.

Le premier ensemble de clients comprend tous les clients connectés à la première station de base à un instant donné et ayant un module d’application d’une fonction donnée, apte à implémenter, de manière logicielle ou matérielle, un modèle local de mise en œuvre de la fonction. Ainsi, le premier ensemble varie dynamiquement selon que des clients rejoignent ou quittent la première zone radio 102.1.

Chaque modèle local est défini par un ensemble de paramètres. La fixation des valeurs des paramètres dans chaque client correspond ainsi à la configuration du module d’application.

Comme détaillé dans ce qui suit, une fois le sous-ensemble sélectionné, le premier agrégateur envoie, à chaque client du sous-ensemble sélectionné, des valeurs initiales de paramètres à utiliser pour configurer le modèle local implémenté par le module d’application de chaque client. Chaque client optimise les paramètres obtenus à partir des données stockées localement dans le client, les données stockées localement étant utilisées comme données d’apprentissage pour entraîner le modèle local.

L’entraînement du modèle local conduit ainsi, de manière connue, à l’obtention de valeurs optimisées de paramètres, qui peuvent différer des valeurs initiales. On entend par « valeurs optimisées de paramètres », des valeurs de paramètres induisant une performance améliorée du modèle local, comparativement aux valeurs initiales des paramètres. Par exemple, lorsque le modèle local est un modèle prédictif local, une erreur moyenne associée à la prédiction est plus faible pour les valeurs optimisées de paramètres que pour les valeurs initiales des paramètres.

Aucune restriction n’est attachée aux paramètres considérés. Lorsque les modèles locaux sont des réseaux de neurones, les paramètres peuvent être des coefficients de pondération associés à des neurones respectifs du réseau de neurones. Les modèles locaux peuvent être des modèles différents de réseaux de neurones, et englobent tout modèle apte à obtenir des données de sortie à partir de données d’entrée, à partir de paramètres du modèle local, le modèle local étant configuré en attribuant des valeurs données aux paramètres.

Aucune restriction n’est attachée aux valeurs initiales des paramètres transmises initialement par le premier agrégateur 110.1 au sous-ensemble de clients sélectionné. Il peut s’agir des valeurs courantes du modèle global, obtenues lors d’un cycle précédent de l’apprentissage fédéré. Alternativement, il peut s’agir des valeurs de paramètres d’un modèle local d’un client donné, remontées précédemment vers l’agrégateur 110.1, ou encore des valeurs transférées d’un modèle pré-entrainé sur un ensemble important de données (aussi appelé « apprentissage par transfert »).

Sur réception des valeurs optimisées de paramètres, depuis le sous-ensemble de clients sélectionné, le premier agrégateur 110.1 peut déterminer des valeurs globales de paramètres à partir des valeurs optimisées de paramètres reçues. Ainsi, l’apprentissage fédéré permet une optimisation des valeurs de paramètres de manière locale, puis une détermination centralisée des valeurs globales de paramètres à partir des valeurs optimisées de paramètres déterminées localement.

On entend par « valeur globale d’un paramètre », une valeur de paramètre déterminée à partir de plusieurs valeurs obtenues localement pour ce même paramètre (les valeurs optimisées pré-citées).

Aucune restriction n’est attachée à la formule appliquée aux valeurs optimisées d’un paramètre pour obtenir la valeur globale de ce paramètre. Par exemple, la valeur globale d’un paramètre peut être obtenue en moyennant les valeurs optimisées localement obtenues pour ce paramètre, ou en appliquant une pondération prédéterminée aux valeurs optimisées de ce même paramètre.

Par exemple, pour un paramètre donné, le premier agrégateur 110.1 reçoit plusieurs valeurs optimisées, pouvant être différentes, depuis les clients du sous-ensemble sélectionné (une valeur optimisée par client, pour ce paramètre donné).

Les valeurs globales de paramètres ainsi déterminées peuvent être transmises au premier sous-ensemble de clients 111.1, pour mise à jour des modèles locaux sur la base des valeurs globales de paramètres. On comprend alors pourquoi un tel apprentissage est dit « fédéré ».

Dans l’exemple représenté sur la à titre illustratif, le réseau 100 comprend en outre un deuxième agrégateur 101.2 associé à un deuxième ensemble de clients 111.2 aptes à communiquer, dans une deuxième zone de couverture radio 102.2, de manière bidirectionnelle avec une deuxième station de base 101.2.

Aucune restriction n’est attachée aux clients 111.1 et 111.2 qui peuvent être des terminaux mobiles de type Smartphone, des objets connectés mobiles tels que des drones connectés, ou encore des véhicules connectés.

De manière générale, un client désigne toute entité apte à communiquer avec le réseau 100, et à obtenir et stocker des données de manière locale. Afin d’obtenir des données, chaque client peut comprendre au moins un capteur et/ou au moins une interface utilisateur apte à recevoir des entrées utilisateur.

Par exemple, un client de type Smartphone peut obtenir des données par des capteurs tels qu’une caméra, un microphone, un module de positionnement satellitaire, ou GPS pour « Global Positioning System » en anglais, ou par une interface tactile apte à recevoir des entrées de l’utilisateur. Des données relatives au comportement de l’utilisateur peuvent également être issues d’applications installées sur le smartphone.

Un client de type automobile, peut obtenir des données par des capteurs du véhicule, tels qu’un radar, un lidar, un module GPS, une caméra, etc.

Ainsi, aucune restriction n’est attachée aux données locales obtenues et stockées par chaque client : il peut s’agir de contenus textuels, de données organisées sous la forme de tableurs, de photos, de vidéos, de contenus audio, de données illustratives du comportement d’un utilisateur, de données d’indicateurs d’une qualité du réseau radio, etc.

Les données de chaque client 111.1 peuvent être stockées dans une mémoire locale 112.1.

Comme précédemment décrit, chaque client 111.1 peut en outre comprendre un modèle local implémenté par un module d’application, matériel ou logiciel du client 111.1 et qui peut être entraîné par le client 111.1 au moyen de ressources locales 113.1, le modèle local étant défini initialement à partir des paramètres initiaux puis entraîné en recevant en entrée les données stockées localement, lorsque le client fait partie du sous-ensemble sélectionné par l’agrégateur 110.1, ce qui permet de déterminer des valeurs optimisées de paramètres.

Le client 111.1 peut en outre appliquer le modèle local, une fois configuré à partir des valeurs globales de paramètres reçues de l’agrégateur 101.1 (que le client fasse partie du sous-ensemble sélectionné ou non), sur des données acquises en temps réel par le client 111.1 (en dehors du cycle d’apprentissage fédéré) au moyen de son module d’application.

Aucune restriction n’est attachée à la fonction donnée réalisée par le modèle local implémenté par le module d’application du client 111.1.

Par exemple, lorsque les clients 111.1 sont des véhicules automobiles, le modèle local peut être dédié à une fonction de prédiction de collisions, de prédiction des intentions du conducteur, d’aide à la conduite, de reconnaissance d’image. Lorsque les clients 111.1 sont des smartphones ou des véhicules, le modèle local de chaque client 111.1 peut être dédié à une fonction d’optimisation d’applications ou d’un système d’info-divertissement afin d’améliorer l’expérience des utilisateurs. Encore en variante, le modèle local de chaque client 111.1 peut être dédié à une fonction de prédiction d’une qualité de service du réseau de télécommunications 100 et/ou à une fonction de prédiction de la qualité du signal radio.

Ainsi, aucune restriction n’est attachée à la fonction des modèles locaux dont les valeurs des paramètres sont optimisés par apprentissage fédéré, selon l’invention.

Dans l’exemple de la , chaque agrégateur est associé à une unique station de base (correspondant à une unique cellule) et chaque station de base est associée à un unique agrégateur. Toutefois, en variante selon l’invention :
- un agrégateur peut être associé à deux, ou à plus de deux, stations de base, auquel cas l’ensemble de clients associés à l’agrégateur est l’ensemble des clients aptes à communiquer avec au moins une station de base parmi les deux, ou plus de deux, stations de base ;
- une station de base peut être associée à deux, ou plus de deux, agrégateurs, auquel cas l’ensemble de clients associés à chaque agrégateur est une partie seulement des clients aptes à communiquer avec la station de base.

Comme évoqué précédemment, chaque station de base est associée à une ou plusieurs cellules dans la zone de couverture radio qu’elle couvre. Ainsi, chaque agrégateur est associé à au moins une cellule radio d’une station de base, mais peut en outre être associé :
- à plusieurs cellules radio d’une même station de base ;
- à plusieurs cellules radio de plusieurs stations de base.

De plus, dans un réseau de télécommunications 100, chaque cellule radio peut être associée à un agrégateur. En variante, seules certaines des cellules radio du réseau de télécommunications 100 peuvent être associées à des agrégateurs respectifs.

Il est considéré dans ce qui suit, l’application de l’invention au premier agrégateur 110.1 et au premier ensemble de clients 111.1, à titre illustratif, le premier ensemble de clients 111.1 étant l’ensemble des clients communiquant avec la première station de base 101.1 et ayant un modèle local implémenté par un module d’application et apte à réaliser une fonction donnée (dont des exemples seront donnés dans ce qui suit).

Ainsi, afin de minimiser les échanges dans le réseau, et les coûts associés, l’apprentissage fédéré propose la sélection d’un sous-ensemble de clients, parmi les clients du premier ensemble, pour un cycle d’apprentissage, ou période d’apprentissage.

Comme précédemment décrit, les approches existantes de sélection d’un sous-ensemble prévoient soit une sélection aléatoire, soit une sélection basée sur les ressources disponibles dans chaque client, soit une sélection basée sur les performances du modèle local de chaque client.

Toutefois, ces approches ne tiennent pas compte du caractère dynamique des clients. En effet, dans le réseau de télécommunications 100, les clients en déplacement ne restent pas constamment connectés à la même station de base, et donc au même agrégateur dans l’exemple considéré précédemment, mais changent de station de base au cours du déplacement, afin de rester connectés au réseau 100, via une procédure de transfert ou « handover » en anglais. Lorsque la durée de connexion d’un client est inférieure à un cycle d’apprentissage (ou inférieure à une partie du cycle durant laquelle la participation du client est nécessaire), ce qui est fréquent lorsque le client se déplace sur une autoroute, comparativement à un déplacement en centre-ville, la sélection de ce client selon les approches de l’art antérieur conduit à une dégradation des performances du cycle d’apprentissage fédéré.

Afin de surmonter les inconvénients identifiés dans les méthodes existantes d’apprentissage fédéré, l’invention prévoit la sélection du sous-ensemble de clients 111.1 tenant compte d’une durée de connexion estimée pour chaque client d’un premier ensemble de clients, le premier ensemble de clients comprenant tous les clients connectés à la première station de base à un instant donné, et stockant chacun un modèle local, dans l’exemple considéré ci-après.

En particulier, des clients ayant une durée de connexion estimée qui est supérieure à une durée de cycle d’apprentissage sont sélectionnés dans le premier ensemble.

Une telle estimation, ou prédiction, de la durée de connexion peut être mise en œuvre par chaque agrégateur à partir d’un modèle de prédiction de durée de connexion, obtenu conformément à la description de la .

La présente les étapes d’une phase 20 d’apprentissage d’un modèle de prédiction de durée de connexion, d’un procédé selon des modes de réalisation de l’invention.

Comme détaillé précédemment, la phase 20 est décrite dans le contexte où le premier agrégateur 110.1 est implémenté dans la première station de base 101.1 en communication avec le premier ensemble de clients 111.1 à un instant donné.

La phase 20 d’apprentissage comprend une étape 200, durant laquelle un client 111.1 initie une connexion à la première station de base 101.1. Aucune restriction n’est attachée à une telle étape d’initiation de connexion, qui peut être selon une procédure dépendant du réseau de télécommunications 100, par exemple décrite dans un standard de télécommunications.

Suite à l’initiation de la connexion, le client 111.1 requiert une connexion à la station de base 101.1. Lors d’une telle requête, la première station de base 101.1 peut recevoir, à une étape 201, l’une, plusieurs, ou l’intégralité des informations suivantes :
- une localisation du client 111.1 ;
- une vitesse du client 111.1 ;
- des informations sur les ressources 113.1 du client 111.1 ; et/ou
- des informations relatives à la qualité radio entre le client 111.1 et la station de base 101.1.

Ces informations sont ainsi disponibles au premier agrégateur 110.1 qui est intégré dans la première station de base 101.1 dans l’exemple considéré.

A une étape 202, sur réception des informations précitées, ou de certaines de informations précitées, le premier agrégateur 110.1 met à jour une base de données d’entraînement avec les informations reçues, et le client 111.1 est ainsi ajouté à la base de données d’entraînement en association avec les informations reçues. La base de données d’entraînement peut être interne au premier agrégateur 110.1 ou peut être accessible au premier agrégateur 110.1. Une telle mise à jour à l’étape 202 peut notamment comprendre la création d’une entrée dans la base de données, l’entrée comprenant :
- un identifiant du client 111.1 ;
- un instant de connexion T_e, correspondant à l’instant de réception d’une requête en connexion par la station de base 101.1 par le client 111.1 ;
- les informations précitées, ou certaines des informations précitées, telles que la localisation du client 111.1 et/ou la vitesse du client 111.1.

Durant une étape 203, le client 111.1 est en déplacement dans la première zone radio 102.1 couverte par la première station de base 101.1. Le client 111.1 étant connecté à la station de base, il peut exploiter les services de télécommunications pour échanger des données voix et/ou des fichiers avec d’autres clients du réseau 100.

A une étape 204, le client 111.1 initie la terminaison de la connexion avec la première station de base 101.1, parce que le client 111.1 sort de la première zone radio 102.1 couverte par la première station de base 101.1. L’initiation de la terminaison peut être mise en œuvre selon une procédure de « handover » de manière à assurer la continuité de la connexion au réseau 100, le client 111.1 initiant une connexion sur une station de base du réseau autre que la première station de base 101.1, par exemple la deuxième station de base 101.2 décrite précédemment. En variante, le client 111.1 sort de la zone de couverture radio 102.1 à l’étape 204.

La première station de base 101.1, et par conséquent le premier agrégateur 110.1, est informée de l’initiation de la fin de connexion du client 111.1, à une étape 205, correspondant à un instant de terminaison T_s.

A une étape 206 consécutive à l’étape 205, le premier agrégateur 110.1 met à jour la base de données d’entraînement en ajoutant l’instant de terminaison T_s à l’entrée créée pour le client 111.1 à l’étape 202.

Ainsi, l’entrée identifie une durée de connexion à la première station de base 101.1 du client 111.1, correspondant à la différence T_s-T_e.

Les étapes précitées peuvent être répétées en parallèle, ou séquentiellement, pour tous les clients 111.1 se connectant à la première station de base 101.1 pendant une période de collecte P, référencée 210, ou pour certains de ces clients 111.1, des entrées étant respectivement créées dans la base de données d’entraînement. La période de collecte peut être une période d’une heure par exemple, ou de plusieurs heures.

A une étape 211 faisant suite à la période de collecte P 210, la base de données d’entraînement comprend ainsi des entrées pour une pluralité de clients 111.1, chaque entrée identifiant une durée de connexion T_s-T_e du client 111.1 auquel elle correspond, ainsi que des informations complémentaires telles que la position du client 111.1 lors de l’initialisation de la connexion, sa vitesse, ses ressources, tel que décrit précédemment.

La base de données d’entraînement peut alors être exploitée pour mettre en œuvre un apprentissage automatique à une étape 212, qui est un apprentissage supervisé notamment, d’un modèle de prédiction d’une durée de connexion. Le modèle de prédiction ainsi entraîné est apte à prédire une durée de connexion à partir des informations reçues pour un client 111.1 lors de sa connexion à la première station de base 101.1, à savoir sa position et/ou sa vitesse (de préférence ces deux informations).

L’apprentissage supervisé de l’étape 212 peut consister à :
- recevoir une entrée de la base de données d’entraînement, l’entrée correspondant à un client 111.1 ;
- estimer une durée de connexion D du client 111.1 à partir de la position et/ou de la vitesse du client 111.1 contenues dans l’entrée ;
- comparer la durée de connexion D estimée, ou prédite, avec la différence T_s-T_e ;
- modifier le modèle de manière à minimiser un écart entre D et T_s-T_e ;
- recommencer avec une entrée suivante (non encore utilisée pour l’entraînement du modèle de prédiction de durée de connexion) de la base de données d’entraînement.

L’apprentissage supervisé peut ainsi être mis en œuvre jusqu’à convergence du modèle de prédiction de durée de connexion et/ou jusqu’à épuisement des entrées de la base de données d’entraînement.

Le modèle de prédiction de durée de connexion peut ensuite être exploité par le premier agrégateur 110.1 pour prédire la durée de connexion des clients 111.1 du premier ensemble de clients connectés à la première station de base durant une phase courante du procédé selon l’invention, lors de la sélection d’un sous-ensemble de clients 111.1 pour la mise en œuvre de l’apprentissage fédéré conduisant à l’obtention des valeurs globales des paramètres. Les étapes décrivant l’apprentissage fédéré sont décrites en référence à la .

Il convient de noter que les modèles locaux des clients 111.1 précédemment décrits sont distincts du modèle de prédiction de durée de connexion issu de la phase 20. Le modèle de prédiction de durée de connexion est utilisé pour améliorer l’apprentissage fédéré conduisant à l’optimisation des modèles locaux des clients 111.1 du premier ensemble.

Dans ce qui suit, des exemples détaillés correspondant à la mise en œuvre de la phase 20 sont décrits, à titre illustratif.

La base de données d’entraînement est notée avec :
- : le nombre de clients 111.1 qui se sont connectés à la cellule sur la période de collecte 210 ;
- : la position du client i, chaque client est alors référencé par un indice i variant entre 1 et N, lors de l’établissement de la connexion avec la première station de base 101.1 ;
- : la vitesse du client 111.1 d’indice i lors de l’établissement de la connexion avec la première station de base 101.1 ;
- : la durée de connexion du client 111.1 d’indice i à la première station de base 101.1. Cette durée de connexion, observée, correspond à la différence entre l’instant de terminaison , de la déconnexion du client 111.1 d’indice i de la première cellule radio et l’instant de connexion , correspondant à l’établissement de la connexion entre le client 111.1 d’indice i et la première station de base 101.1 : .

Une fois constituée, la base de données d’entraînement B est utilisée par la première station de base 101.1, ou par le premier agrégateur 110.1, pour entraîner le modèle de prédiction de durée de connexion précité. Ainsi, le premier agrégateur 110.1 dispose d’un modèle de prédiction permettant d’estimer la durée de connexion de tout nouveau client 111.1 qui se connecterait à la première station de base 101.1, le modèle de prédiction prenant en entrée la position du nouveau client et sa vitesse, lors de la connexion à la première station de base 101.1.

La base de données d’entraînement B peut être séparée en données d’entraînement et en données de test. Par exemple, 80 % de la base de données d’entraînement peuvent être dédiés aux données d’entraînement, les 20 % restants étant dédiés aux données de test. Les données de test peuvent être choisies aléatoirement dans la base de données d’entraînement.

Trois exemples d’algorithmes pouvant être utilisés pour construire le modèle de prédiction de durée de connexion, sont donnés ci-après à titre illustratif. D’autres algorithmes, non décrits, tels que des réseaux de neurones, peuvent toutefois être utilisés pour la construction du modèle de prédiction de durée de connexion.

Un premier exemple est un modèle de prédiction basé sur une régression linéaire. Selon un tel modèle de prédiction, est estimé par une combinaison linéaire de et , pour chaque client d’indice i, compris entre 1 et N, ayant une entrée dans la base de données d’entraînement B. Plus précisément les réels et sont recherchés lors de l’apprentissage supervisé, de manière à minimiser l’erreur quadratique moyenne, EQM, sur les données de test, entre les et les :

En variante, l’erreur absolue moyenne peut être utilisée sur les données de test.

Le modèle de régression utilisé dans ce premier exemple peut être issu de la bibliothèque scikit-learn de Python^TM. D’autres langages tels que le langage R peuvent être utilisés.

Un deuxième exemple est un modèle de prédiction basé sur une méthode d’interpolation spatiale linéaire dite krigeage. La durée de connexion d’un client 111.1 est estimée par l’estimation à partir d’au moins certaines des durées de connexion des clients d’indice i de la base de données d’entraînement B, de la manière suivante :

Lors de l’entraînement par apprentissage supervisé, les coefficients sont calculés de manière à minimiser la variance de l’erreur d’estimation entre la durée de connexion réelle et son estimé : .

Ainsi, une durée de connexion est estimée pour chaque association entre une position dans la cellule et une vitesse. Lors de la connexion d’un nouveau client 111.1, la durée de connexion estimée est celle qui est associée par la méthode de krigeage à la position du nouveau client dans la cellule et à sa vitesse.

Le modèle de krigeage utilisé dans ce premier exemple peut être issu de la bibliothèque pykrige de Python^TM. D’autres langages tels que le langage R peuvent être utilisés.

Un troisième exemple est un modèle de prédiction basé sur un arbre de régression. L’espace des variables d’entrée (position et vitesse du client se connectant à la première station de base), ci-après « l’espace », est divisé en plusieurs régions, chaque région étant affectée d’une valeur de prédiction de durée de connexion. L’espace est divisé en différentes régions de manière récursive. A une première itération, l’espace est divisé en deux régions, et une valeur de prédiction de durée de connexion est attribuée à la région, de manière à minimiser une erreur de prédiction dans chaque région. L’erreur de prédiction est fonction des différences entre les durées de connexion réelles des clients de la région (les durées de connexion réelles étant issues de la base de données d’entraînement B), et la valeur de prédiction affectée à la région. Par exemple, à l’issue de la première itération, une première région peut correspondre aux vitesses inférieures ou égales à 30km/h, tandis qu’une deuxième région correspond aux vitesses supérieures à 30 km/h. Chacune des deux régions est ensuite divisée en deux sous-régions, de la même manière, et une telle opération est répétée sur chaque région calculée à l’issue d’une itération, jusqu’à un critère d’arrêt donné, qui peut être une profondeur donnée de l’arbre de régression, ou un critère lié aux erreurs de prédiction.

L’arbre de régression utilisé dans ce premier exemple peut être issu de la bibliothèque scikit-learn de Python^TM. D’autres langages tels que le langage R peuvent être utilisés.

D’autres algorithmes d’apprentissage peuvent être prévus pour la construction du modèle de prédiction de durée de connexion, selon l’invention. Quel que soit l’algorithme utilisé, le modèle de prédiction résultant est apte à prédire une durée de connexion à partir d’une vitesse et d’une position de client 111.1 dans la première zone radio 102.1.

En variante, le modèle de prédiction n’est élaboré que pour la position du client dans la cellule, et ne prend pas en compte sa vitesse. Encore en variante, seule la vitesse est prise en compte pour estimer la durée de connexion du client.

Plusieurs phases d’apprentissage 20 peuvent être mises en œuvre sur plusieurs périodes d’apprentissage distinctes, par exemple toutes les heures, ce qui permet de mettre à jour de manière régulière le modèle de prédiction de durée de connexion qui est propre à la première zone radio 102.1. Il convient de noter que le premier ensemble de clients 111.1, qui représente les premiers clients 111.1 connectés à la station de base à un moment donné, évolue de manière dynamique. Ainsi, les clients ajoutés à la base de données d’entraînement sur une première période de collecte P sont différents des clients ajoutés à la base de données d’entraînement lors d’une deuxième période de collecte P ultérieure à la première période de collecte P.

La illustre une phase courante 30 de mise en œuvre d’un apprentissage fédéré entre plusieurs premiers clients 111.1, d’un procédé selon des modes de réalisation de l’invention.

La phase courante 30 peut faire suite à une phase 20 d’apprentissage d’un modèle de prédiction de durée de connexion. Autrement dit, au début de la phase courante 30, l’agrégateur 110.1 dispose d’un modèle de prédiction de durée de connexion, construit de la manière décrite précédemment en référence à la .

Comme évoqué précédemment, le premier ensemble de clients 111.1 variant dynamiquement, le premier ensemble lors de la phase courante 30 diffère des clients ajoutés à la base de données d’entraînement lors de la phase 20 décrite en référence à la . Autrement dit, le premier client 111.1 illustré sur la est une entité distincte du premier client 111.1 illustré sur la (dans la mesure où le premier client de la a quitté la première zone radio 102.1).

A une étape 300, un premier client 111.1 initie une connexion à la première station de base 101.1, de manière similaire à l’étape 200 précédemment décrite.

A une étape 301, suite à l’initiation de la connexion à l’étape 300, le client 111.1 requiert une connexion à la première station de base 101.1. Lors d’une telle requête, la première station de base 101.1 peut recevoir, à l’étape 301, l’une, plusieurs, ou l’intégralité des informations suivantes :
- une localisation du client 111.1 ;
- une vitesse du client 111.1 ;
- des informations sur les ressources 113.1 du client 111.1 ; et/ou
- des informations relatives à la qualité radio entre le client 111.1 et la première station de base 101.1.

A une étape 302, le premier agrégateur 110.1 applique le modèle de prédiction de durée de connexion en prenant la vitesse et/ou la position du client 111.1, reçues à l’étape 301, afin de prédire la durée de connexion du client 111.1. La durée de connexion ainsi prédite est ajoutée en association avec des informations du client 111.1 dans une base de données courante qui maintient à jour le premier ensemble de clients 111.1 connectés, à un instant donné.

Ainsi, la base de données courante comprend une entrée pour chaque client 111.1 faisant partie du premier ensemble à un instant courant, l’entrée comprenant les informations précitées du client 111.1 ainsi que la durée de connexion prédite.

A une étape 303, les étapes 300 à 302 peuvent être répétées pour d’autres clients 111.1 qui se connectent à la première station de base 101.1 et qui stockent un modèle local ayant la fonction donnée, et rejoignent ainsi le premier ensemble. Des entrées sont respectivement créées dans la base de données courante pour chacun de ces autres clients 111.1. En cas de déconnexion d’un client 111.1, l’entrée associée au client 111.1 dans la base de données courante est supprimée.

Ainsi, la base de données courante maintient à jour les clients 111.1 faisant partie du premier ensemble connectés à la première station de base 101.1.

A un instant t₀, un cycle d’apprentissage fédéré est initié. Aucune restriction n’est attachée au déclenchement du cycle d’apprentissage fédéré, qui peut être requis par un gestionnaire du réseau 100, ou qui peut être mis en œuvre de manière régulière à une fréquence donnée.

L’instant t₀est donc un instant de début de cycle d’apprentissage fédéré.

A une étape 304, le premier agrégateur 110.1 obtient de la base de données courante, les informations relatives aux clients 111.1 du premier ensemble ainsi que les durées de connexion prédites associées aux clients 111.1.

A une étape 305, le premier agrégateur 110.1 sélectionne un sous-ensemble des clients 111.1 du premier ensemble, en fonction des durées de connexion prédites respectivement pour les clients 111.1 du premier ensemble, de manière à ce qu’une durée restante de connexion de chaque client 111.1 du sous-ensemble soit supérieure à une estimation d’une durée de participation nécessaire au cycle d’apprentissage fédéré.

L’étape 305 de sélection est décrite en détails après la description des étapes 306 à 312 qui suivent.

A une étape 306, le premier agrégateur 110.1 transmet à l’ensemble des clients 111.1 du sous-ensemble sélectionné à l’étape 305, des valeurs initiales de paramètres à utiliser pour paramétrer le modèle local de chaque client 111.1 du sous-ensemble sélectionné.

A une étape 307, chaque client 111.1 du sous-ensemble sélectionné, sur réception des valeurs initiales de paramètres, configure, selon une configuration initiale, le modèle local de son module d’application avec les valeurs initiales de paramètres et entraîne le module d’application ainsi configuré par apprentissage automatique en traitant les données locales stockées dans sa mémoire locale 112.1. A l’issue de l’entraînement, le client 111.1 du sous-ensemble sélectionné obtient des valeurs optimisées de paramètres, telles que précédemment décrites.

A une étape 308, le client 111.1 du sous-ensemble sélectionné transmet les valeurs optimisées de paramètres à l’agrégateur 110.1.

Il convient de noter que la n’illustre la transmission que depuis un seul client 111.1. En pratique, tous les clients 111.1 du sous-ensemble sélectionné déterminent leurs propres valeurs optimisées de paramètres à l’étape 307 et transmettent les valeurs optimisées de paramètres respectives, au premier agrégateur 110.1 à l’étape 308.

Sur réception des valeurs optimisées de paramètres depuis les clients 111.1 du sous-ensemble sélectionné, le premier agrégateur 110.1 agrège à l’étape 309 les valeurs optimisées de paramètres afin d’obtenir des valeurs globales de paramètres. Chaque valeur globale d’un paramètre peut être déterminée par moyennage ou pondération des valeurs optimisées de ce même paramètre, obtenues localement par les clients 111.1 du sous-ensemble sélectionné.

A une étape 310, les valeurs globales de paramètres sont transmises du premier agrégateur 110.1 au moins vers les clients 111.1 du sous-ensemble sélectionné, et de préférence vers l’ensemble des clients 111.1 du premier ensemble.

Ainsi, chaque client 111.1 recevant les valeurs globales de paramètres peut mettre à jour (paramétrer ou configurer) le modèle local implémenté par son module d’application, à partir des valeurs globales de paramètres, à une étape 311. Le cycle d’apprentissage fédéré est ainsi achevé.

Les étapes 306 à 311 sont conformes aux principes de l’apprentissage fédéré, et ne sont pas décrites davantage dans la présente description.

A une étape 312, la phase courante peut être itérée afin de mettre en œuvre un nouveau cycle d’apprentissage fédéré. Il convient de noter que pour un prochain cycle d’apprentissage fédéré, le modèle de prédiction de durée de connexion peut avoir été mis à jour comparativement au cycle d’apprentissage fédéré précédent, suite à une nouvelle itération de la phase d’apprentissage décrite en référence à la .

Dans ce qui suit, l’étape de sélection 305 est décrite en détails.

Soit : Le nombre de clients 111.1 connectés à la première station de base 101.1 à l’instant t₀ et stockant un modèle local ayant la fonction donnée, soit le nombre de clients du premier ensemble ;

Soit l’ensemble des clients 111.1 connectés à la première station de base 101.1 à t₀ et stockant un modèle local ayant la fonction donnée. E correspond donc à l’état de la base de données courante à l’instant t₀. Autrement dit, E est le premier ensemble de clients 111.1 à l’instant t₀.

Soit : Pour chaque client , le vecteur indique l’instant de l’établissement de la connexion entre e_k et la première station de base 101.1. Par exemple, si le client e_k est le client 111.1 représenté sur la figure 3, l’instant correspond à l’exécution de l’étape 301 requérant la connexion auprès de la première station de base 101.1.

Soit , le nombre maximum de clients que le premier agrégateur 110.1 peut sélectionner à chaque cycle d’apprentissage, soit la taille maximale du sous-ensemble sélectionné à l’issue de l’étape 305. Le nombre maximum de clients peut être compris entre 8 et 20, par exemple égal à 10.

Soit , le nombre de clients qui sont effectivement sélectionnés par le premier agrégateur 110.1 lors de l’étape 305, pour participer au cycle d’apprentissage.

Soit , le sous-ensemble des clients 111.1 sélectionnés pour participer au cycle d’apprentissage fédéré lors de l’étape 305, avec = .

Soit , l’ensemble des clients 111.1 qui ont été sélectionnés par le premier agrégateur 110.1 pour participer au cycle d’apprentissage fédéré et qui ont eu une participation effective, c’est-à-dire desquels des valeurs optimisées de paramètres ont été reçus à l’étape 308.

Soit = le taux de participation effective.

Soit . Pour chaque client du premier ensemble, le vecteur T_down indique la durée de transmission descendante estimée nécessaire à la station de base 101.1 pour envoyer les valeurs initiales des paramètres au client . Cette durée peut être estimée par le premier agrégateur 110.1 lors de l’établissement de la connexion entre le client et la station de base 101.1, à partir des informations obtenues à l’étape 301, notamment à partir de la position du client et/ou à partir de la qualité de la liaison radio. Il s’agit ainsi d’une estimation de la durée d’exécution de l’étape 306, pour chaque client 111.1 du premier ensemble. En variante, les durées de transmission descendantes estimées sont considérées égales et constantes, quel que soit k, auquel cas le vecteur T_down peut être remplacé par une valeur unique.

Soit : Pour chaque client du premier ensemble, le vecteur T_up indique la durée de transmission montante estimée nécessaire au client pour envoyer les paramètres de son modèle local à la première station de base 101.1. Cette durée peut être estimée lors de l’établissement de la connexion entre le client et la première station de base 101.1, à partir des informations obtenues à l’étape 301, notamment à partir de la position du client et/ou à partir de la qualité de la liaison radio. Il s’agit ainsi d’une estimation de la durée d’exécution de l’étape 308, pour chaque client 111.1 du premier ensemble. En variante, les durées de transmission montantes estimées sont considérées égales et constantes, quel que soit k, auquel cas le vecteur T_up peut être remplacé par une valeur unique. Dans cette variante, T_up peut être égal à T_down. Par exemple, T_up et T_down peuvent être de l’ordre d’une seconde, voire peuvent être égales à 1 seconde.

Soit . Pour chaque client du premier ensemble, le vecteur T_train indique la durée d’entraînement local estimée nécessaire au client pour entraîner son modèle local. Cette durée peut être estimée à partir des informations obtenues à l’étape 301, notamment des informations relatives aux ressources 113.1 indiquées par chaque client 111.1 lors de l’étape 301 de connexion à la station de base 101.1. En particulier, plus les ressources du client sont importantes, plus la durée d’entraînement local est courte.

Soit : Pour chaque client du premier ensemble, le vecteur indique la durée de connexion , prédite par application du modèle de prédiction par le premier agrégateur 110.1 lors de l’étape 302.

A partir des notations ci-dessus, la sélection du sous-ensemble par le premier agrégateur 110.1 lors de l’étape 305 peut être mise en œuvre par l’algorithme correspondant aux sous-étapes 1 à 5 suivantes :

1- Soit l’ensemble qui va contenir tous les clients du premier ensemble (ou d’un type donné dans le premier ensemble) dont la durée restante de connexion est suffisante pour participer au cycle d’apprentissage, notamment pour atteindre l’étape 308 de transmission des valeurs optimisées des paramètres vers le premier agrégateur 110.1.

2- ; est initialisé à l’ensemble vide ;

3- Les vecteurs , , et sont obtenus ;

4- pour chaque client , vérifier si la durée restante de connexion est supérieure à une estimation de la durée du cycle d’apprentissage jusqu’à l’obtention des valeurs optimisées de paramètres par le premier agrégateur 110.1 (appelée « estimation d’une durée de participation nécessaire du client au cycle d’apprentissage fédéré »), soit :

Si alors :

Ajouter à :

Sinon est exclu de la sélection.

5- Si S₀ comprend plus de K_sel clients 111.1, déterminer le sous-ensemble , des clients qui vont participer à l’apprentissage fédéré parmi l’ensemble S₀. Les clients peuvent être sélectionnés dans de manière aléatoire ou avec priorité aux clients dont ( ) sont les plus élevés, ce qui permet de prioriser les clients qui ont les probabilités plus élevées de participer à tout le cycle d’apprentissage fédéré, ce qui permet donc de maximiser le taux de participation effective r_eff.

Sinon S=S₀.

S correspond ainsi au sous-ensemble sélectionné lors de l’étape 305 précédemment décrite.

Il convient de noter que, pour un apprentissage fédéré d’un modèle d’aide à la conduite, le premier ensemble comprend les clients correspondant à des véhicules automobiles stockant un tel modèle local d’aide à la conduite et connectés à l’agrégateur à un instant donné. Le sous-ensemble est donc sélectionné en fonction des durées restantes de connexion estimées pour les clients de type véhicule uniquement, les autres clients ne faisant pas partie du premier ensemble considéré. De même, dans le cadre de l’apprentissage fédéré d’un modèle d’amélioration de l’utilisation d’une application sur téléphone mobile, seuls les téléphones mobiles ayant un tel modèle local d’amélioration font partie du premier ensemble et sont considérés pour la sélection du sous-ensemble impliqué dans l’apprentissage fédéré.

Le type de client peut être connu du premier agrégateur à partir des informations reçues lors de la connexion à l’étape 301.

De manière complémentaire, les clients du sous-ensemble sélectionné peuvent en outre être sélectionnés selon au moins un critère complémentaire. Par exemple, les ressources de chaque client du premier ensemble, les performances du modèle local de chaque client du premier ensemble et/ou la quantité de données locales de chaque client du premier ensemble peuvent également être pris en compte, en plus de la durée restante de connexion, lors de la sélection du sous-ensemble à l’étape 305.

La sélection du sous-ensemble selon l’invention, permet d’améliorer le taux de participation effectif r_eff comparativement aux solutions de l’art antérieur décrites précédemment.

A titre d’exemple, dans un cas où les clients 111.1 considérés dans le premier ensemble sont des véhicules automobiles stockant des modèles locaux de classification d’images acquises par des caméras respectives des véhicules, permettant la détection de panneaux de signalisation et/ou de piéton, le taux de participation effectif r_eff obtenu est d’environ 85% alors que les solutions de l’art antérieur sont de l’ordre de 30%.

L’amélioration du taux de participation effectif permet en outre d’améliorer la précision du modèle global après l’étape d’agrégation 309 décrite précédemment, conduisant à l’obtention des valeurs globales des paramètres, à l’issue de chaque cycle d’apprentissage fédéré.

Ainsi, l’invention permet avantageusement de tenir compte de l’aspect dynamique inhérent à la majorité des entités connectées à un réseau de télécommunications. Une telle prise en compte est permise par la prédiction de la durée de connexion de chaque client au moyen d’un modèle de prédiction issu d’un apprentissage machine reposant sur les principes de l’intelligence artificielle. L’intelligence artificielle permet d’adresser le caractère complexe et non déterministe du réseau 100 et des clients 111.1 qui s’y connectent.

Dans ce qui suit, quatre exemples d’applications du procédé selon l’invention, sont décrits, à titre illustratif.

Dans un premier exemple d’application, chaque modèle local est dédié à l’aide à la conduite, et les clients 111.1 considérés dans le premier ensemble sont les véhicules automobiles. Dans ce premier exemple d’application, chaque véhicule peut maintenir à jour un modèle local qui lui permet de prédire, en fonction de sa perception de l’environnement qui l’entoure, captée par un ou plusieurs capteurs, s’il peut initier une action en toute sécurité comme par exemple accélérer, ou changer de voie. Le modèle local peut correspondre à un modèle de classification qui retourne une sortie binaire, par exemple zéro si l’action peut se faire sans risque et un dans le cas contraire. Les données locales du véhicule qui peuvent être utilisées sont des données d’historique enregistrées dans la mémoire locale 112.1 de chaque véhicule, représentant les actions effectuées par le véhicule durant les trajets passés. En prenant par exemple le cas de l’assistance au changement de voie, l’apprentissage supervisé mis en œuvre à l’étape 307 peut être basé sur des données d’environnement telles que des vidéos ou des images décrivant l’état du trafic à proximité du véhicule et la structure de la route, des données sur un état de conduire du véhicule, telles que son accélération et sa vitesse, ces données étant étiquetées par des données relatives à la situation après le changement de voie, pour permettre un apprentissage supervisé (situation d’accident ou de non-accident, niveau de risque suite au changement de voie par exemple). Ces dernières données correspondent aux variables à prédire par le modèle local. Lorsqu’un conducteur de véhicule souhaite initier un changement de voie, le modèle local prédit si oui ou non le changement de voie peut être effectué de manière sécurisée. Le modèle local prend en entrée les données sur son environnement et/ou les données sur l’état de conduite du véhicule et prédit si le changement de voie peut être opéré ou non. L’apprentissage fédéré consiste dans ce cas à déterminer des valeurs optimisées de paramètres pour chaque modèle local de chaque véhicule du sous-ensemble sélectionné, puis à déterminer des valeurs globales de paramètres à partir des valeurs optimisées de paramètres, les valeurs globales de paramètres étant renvoyées à l’ensemble des véhicules dans la première zone radio.

Dans un deuxième exemple d’application, les clients du premier ensemble sont toujours des véhicules automobiles, mais chaque modèle local vise une prédiction en temps réel du trafic afin d’adapter un itinéraire du véhicule. Les véhicules sélectionnés dans le sous-ensemble collaborent pour mettre à jour leurs modèles locaux avec les valeurs globales de paramètres issues de l’apprentissage fédéré. Ainsi, chaque véhicule est en mesure de trouver le meilleur itinéraire vers sa destination. Le modèle local dans chaque véhicule est ainsi un modèle de classification qui peut prendre en entrée la position du véhicule, sa destination, des paramètres de préférence (type de route souhaité par exemple, péage ou absence de péage), l’ensemble des itinéraires possibles et les conditions de trafic, et qui prédit en sortie une classe pour chaque itinéraire, qui représente un score de l’itinéraire, l’itinéraire avec le plus haut score étant sélectionné pour assister la navigation du véhicule. Le modèle local peut être appliqué à une fréquence donnée, afin de s’adapter en temps réel aux conditions de circulation qui évoluent le long du trajet. Dans ce deuxième exemple, et comme décrit en référence aux figures, chaque agrégateur peut être associé 1 à 1 à une zone radio du réseau 100.

Dans un troisième exemple d’application, les modèles locaux sont aptes à prédire la qualité du lien radio avec la première station de base 101.1, pour différentes positions dans la première cellule. Dans ce cas, tout type de clients (véhicules, téléphones, drones, etc.) peuvent participer à l’apprentissage fédéré et peuvent ainsi faire partie du premier ensemble. Ainsi, les clients 111.1 du premier ensemble peuvent être les clients aptes à communiquer avec la première station de base 101.1 et chacun de ces clients 111.1 dispose d’une application permettant de sonder la qualité du signal radio reçu à différentes localisations différentes d’une position courante du client 111.1. L’application permet de construire une base de données locale dans la mémoire locale 112.1 de chaque client 11.1, avec des informations de position géographique du client et de qualité du signal radio reçu à chaque position géographique. La base de données locale est enrichie au fur et à mesure des déplacements du client 111.1 dans la première zone radio. Le modèle local entraîné localement par chaque client, pour l’obtention des valeurs optimisées de paramètres, consiste ainsi en un modèle de prédiction de la qualité du signal radio pour une positon donnée ou pour un ensemble de positions donné. De telles prédictions peuvent ensuite être exploitées par des véhicules autonomes pour éliminer des itinéraires dont les positions successives comprennent des positions associées à une qualité de signal radio trop faible. Il est ainsi permis d’assurer une connexion permanente au réseau 100. L’apprentissage fédéré permet ainsi de déterminer des valeurs globales de paramètres pour configurer le modèle local, obtenu par des clients 111.1 occupant des positions différentes successivement dans la cellule, ce qui permet d’améliorer la précision du modèle local ainsi paramétré dans chaque client 111.1.

Dans un quatrième exemple d’application, le modèle local peut être associé à une application de recommandation touristique, installée sur certains des clients 111.1 aptes à communiquer avec la première station de base 101.1. Le modèle local peut prédire, en temps réel, à un touriste en déplacement dans une ville, les endroits à proximité qui peuvent l’intéresser, notamment des restaurants, des loisirs ou tout autre point d’intérêt.

L’application prend en entrée des données de l’utilisateur du client 111.1, telles que des préférences ou habitudes, la position courante du client et les lieux qu’il a déjà visité, des données relatives à la ville (calendrier d’évènements, lieux d’intérêt). A partir de l’ensemble de ces données, l’application propose le ou les lieux les plus pertinents pour l’utilisateur du client 111.1.

Les données locales permettant d’entraîner le modèle local dans chaque client 111.1 peuvent ainsi associer les recommandations passées de l’application avec des retours de l’utilisateur, positifs ou non, relatifs à ces recommandations. Les recommandations peuvent ainsi être améliorées en continu par apprentissage fédéré entre les différents clients disposant de l’application dans une zone radio donnée.

La présente la structure du premier agrégateur 110.1, selon des modes de réalisation de l’invention.

Le premier agrégateur 110.1 comprend un processeur 401 configuré pour communiquer de manière unidirectionnelle ou bidirectionnelle, via un ou des bus ou via une connexion filaire directe, avec une mémoire 402 telle qu’une mémoire de type « Random Access Memory », RAM, ou une mémoire de type « Read Only Memory », ROM, ou tout autre type de mémoire (Flash, EEPROM, etc.). En variante, la mémoire 402 comprend plusieurs mémoires des types précités.

La mémoire 402 comprend au moins une mémoire non-volatile dans laquelle sont stockées, de manière temporaire ou permanente, les données utilisées et/ou issues de la mise en œuvre des étapes 201, 202, 205, 206, 210 à 213 de la phase 20 d’apprentissage du modèle de prédiction, ainsi que de la mise en œuvre des étapes 301 à 305, 306, 308 à 310 et 312 de la phase courante 30 d’apprentissage fédéré décrite en référence à la .

En particulier, la mémoire 402 peut stocker le modèle de prédiction de durée de connexion obtenu à l’issue de l’étape 212, la base de données d’entraînement mise à jour à l’issue de l’étape 206, la base de données courante stockant les entités du premier ensemble à chaque instant, en association avec les durées de connexion prédites à l’étape 302. En variante, le modèle de prédiction, la base de données d’entraînement et/ou la base de données courante peu(ven)t être externe(s) mais accessibles au premier agrégateur 110.1.

Le processeur 401 est apte à exécuter des instructions, stockées dans la mémoire 402, pour la mise en œuvre des étapes 201, 202, 205, 206, 210 à 213 de la phase 20 d’apprentissage du modèle de prédiction décrite en référence à la , ainsi que des étapes 301 à 305, 306, 308 à 310 et 312 de la phase courante 30 d’apprentissage fédéré décrite en référence à la .

Le premier agrégateur 110.1 comprend une interface 403 apte à communiquer de manière bidirectionnelle avec la première station de base 101.1, lorsque le premier agrégateur 110.1 est distinct de la première station de base 101.1. Lorsque le premier agrégateur 110.1 est intégré dans la première station de base 101.1, l’interface 403 peut être une interface radio permettant d’échanger de manière bidirectionnelle avec les clients du premier ensemble dans la première cellule radio.

Claims

Procédé de gestion d’un apprentissage fédéré entre plusieurs dispositifs clients (111.1), dits clients, aptes à communiquer avec une station de base (101.1) d’un réseau de télécommunications (100) associée à une zone de couverture radio (102.1), un ensemble de clients étant apte à communiquer, à un instant donné, avec la station de base, les clients dudit ensemble comprenant des modules d’application respectifs d’une fonction donnée, le procédé comprenant les étapes suivantes, durant une phase courante (30) :
- sur connexion (300) d’un client à la station de base, obtention (301) d’au moins une information parmi la position et la vitesse du client, estimation (302), en fonction de ladite au moins une information, d’une durée de connexion dudit client à la station de base, par application d’un modèle de prédiction de durée de connexion, et ajout dudit client audit ensemble de clients ;
- sur initialisation d’un cycle d’apprentissage fédéré, sélection (305) d’un sous-ensemble de clients parmi les clients dudit ensemble, de manière à ce que pour tout client du sous-ensemble, une durée restante de connexion soit supérieure à une estimation d’une durée de participation nécessaire au cycle d’apprentissage fédéré ;
- transmission (306) de valeurs initiales de paramètres aux clients du sous-ensemble, pour configuration des modules d’application et pour entraînement des modules d’application à partir de données locales des clients du sous-ensemble ;
- obtention (308) de valeurs optimisées de paramètres depuis au moins certains des clients du sous-ensemble ;
- détermination (309) de valeurs globales de paramètres, en fonction des valeurs optimisées de paramètres reçues ;
- transmission (310) des valeurs globales de paramètres à au moins certains des clients dudit ensemble, pour configuration des modules d’application à partir des valeurs globales de paramètres.
Procédé selon la revendication 1, comprenant en outre une phase d’apprentissage (20) du modèle de prédiction de durée de connexion, le procédé comprenant les étapes suivantes pendant la phase d’apprentissage :
- obtention (201), pour plusieurs clients, d’au moins une information parmi la vitesse et la position ;
- détermination (206), pour lesdits clients, de durées de connexion à la station de base, en fonction desdites informations obtenues;
- entraînement (212) du modèle de prédiction de durée de connexion à partir de la vitesse et/ou de la position, par apprentissage supervisé à partir d’une base de données d’entraînement comprenant des associations entre la vitesse et/ou la position de chacun desdits plusieurs clients d’une part, et la durée de connexion dudit client d’autre part.
Procédé selon la revendication 2, dans lequel la phase d’apprentissage (20) est réitérée (213) à une fréquence donnée.
Procédé selon l’une des revendications précédentes, dans lequel le modèle de prédiction de durée de connexion est obtenu par régression linéaire à partir des données d’entraînement.
Procédé selon l’une des revendications 1 à 3, dans lequel le modèle de prédiction de durée de connexion est obtenu par une interpolation linéaire de krigeage à partir des données d’entraînement.
Procédé selon l’une des revendications 1 à 3, dans lequel le modèle de prédiction de durée de connexion est un arbre de régression entraîné à partir des données d’entraînement.
Procédé selon l’une des revendications précédentes, dans lequel, lors de la phase courante (30), la durée restante de connexion d’un client est déterminée à partir de la durée de connexion estimée du client et à partir de l’instant d’initialisation du cycle d’apprentissage fédéré et l’estimation de la durée de participation nécessaire au cycle d’apprentissage fédéré pour un client (111.1) donné dudit ensemble est une somme :
- d’une durée estimée de transmission descendante de valeurs initiales de paramètres de la station de base vers le client donné,
- d’une durée estimée d’entraînement local, nécessaire au client donné pour entraîner le module d’application d’une fonction donnée contenu dans ledit client donné, à partir de données locales stockées par le client donné, afin d’obtenir des valeurs optimisées de paramètres ; et
- d’une durée estimée de transmission montante de valeurs optimisées de paramètres du client donné vers la station de base.
Procédé selon la revendication 7, dans lequel la durée estimée de transmission montante et la durée estimée de transmission descendante sont obtenues à partir d’une information relative à une qualité de lien radio entre la station de base (101.1) et le client donné (111.1), l’information relative à la qualité du lien radio étant obtenue lors de la connexion (300) du client donné à la station de base.
Procédé selon l’une des revendications précédentes, dans lequel le sous-ensemble de clients (111.1) comprend un nombre de clients inférieur ou égal à un nombre maximal K_sel,max, dans lequel si le nombre de clients dudit ensemble dont la durée restante de connexion est supérieure à l’estimation de la durée de participation nécessaire au cycle d’apprentissage fédéré, est supérieur au nombre maximal K_sel,max, alors la sélection (305) du sous-ensemble de clients comprend la sélection de K_sel,max clients parmi les clients dudit ensemble dont la durée restante de connexion est supérieure à l’estimation de la durée de participation nécessaire au cycle d’apprentissage fédéré.
Procédé selon la revendication 9, dans lequel la sélection (305) de K_sel,max clients (111.1) parmi les clients dudit ensemble dont la durée restante de connexion est supérieure à l’estimation de la durée de participation nécessaire au cycle d’apprentissage fédéré, est aléatoire.
Procédé selon la revendication 9, dans lequel les K_sel,max clients (111.1) ayant les durées restantes de connexion les plus longues parmi les clients dudit ensemble dont la durée restante de connexion est supérieure à l’estimation de la durée de participation nécessaire au cycle d’apprentissage fédéré, sont sélectionnés (305) dans le sous-ensemble.
Procédé selon l’une des revendications précédentes, comprenant en outre, lors de la phase courante (30), sur connexion (300) d’un client (111.1) à la station de base (101.1), l’ajout d’informations du client à une base de données courante en association avec la durée de connexion prédite pour ledit client, la base de données courante maintenant à jour ledit ensemble de clients.
Dispositif d’agrégation (110.1) associé à au moins une station de base (101.1) d’un réseau de télécommunications (100), ladite station de base étant associée à une zone de couverture radio (102.1) et étant apte à communiquer avec des dispositifs clients (111.1), dits clients, le dispositif d’agrégation comprenant un processeur (401) configuré pour :
- sur connexion d’un client à ladite au moins une station de base, obtenir au moins une information parmi la position et la vitesse du client, estimer, en fonction de ladite au moins une information, une durée de connexion dudit client à la station de base, par application d’un modèle de prédiction de durée de connexion, et ajouter le client à un ensemble de clients comprenant, à un instant donné, des clients aptes à communiquer avec la station de base, les clients dudit ensemble comprenant des modules d’application respectifs d’une fonction donnée ;
- sur initialisation d’un cycle d’apprentissage fédéré, sélectionner un sous-ensemble de clients parmi les clients dudit ensemble, de manière à ce que pour tout client du sous-ensemble, une durée restante de connexion soit supérieure à une estimation d’une durée de participation nécessaire au cycle d’apprentissage fédéré ;
- transmettre, par la station de base, des valeurs initiales de paramètres aux clients du sous-ensemble, pour configuration des modules d’application, et pour entraînement des modules d’application à partir de données locales des clients du sous-ensemble ;
- obtenir, par la station de base, des valeurs optimisées de paramètres depuis au moins certains des clients du sous-ensemble ;
- déterminer des valeurs globales de paramètres, en fonction des valeurs optimisées de paramètres reçues ;
- transmettre, par la station de base, des valeurs globales de paramètres à au moins certains des clients dudit ensemble, pour configuration des modules d’application en fonction des valeurs globales de paramètres.
Programme d'ordinateur apte à être mis en œuvre dans un dispositif d’agrégation (110.1) tel que défini dans la revendication 13, le programme comprenant des instructions de code qui, lorsqu’il est exécuté par un processeur (401), réalise les étapes du procédé défini dans l’une des revendications 1 à 12.
Station de base (101.1) d’un réseau de télécommunications, comprenant le dispositif d’agrégation (110.1) selon la revendication 13.