ARRIERE-PLAN TECHNOLOGIQUE
Depuis l’apparition et le déploiement massif des réseaux sociaux au niveau mondial, un nombre croissant de situations de cyberharcèlement et de toxicité en ligne est constaté et les parents d’enfants ayant accès à ces réseaux sociaux sont démunis face aux risques graves que leurs enfants peuvent courir.
Il existe déjà des outils logiciels visant à détecter des messages toxiques ou de cyberharcèlement dans un flux d’information transitant via des messageries et des réseaux sociaux.
Le document US11,138,237 B2 (IBM) « Social Media Toxicity analysis » divulgue un procédé d’analyse de toxicité d’un contenu de média sociaux, incluant une construction d’un modèle de classe qui est représentatif d'un type et d'un niveau de toxicité associés au contenu. Un premier message de média social est analysé, à l'aide d'un processeur et d'une mémoire, pour calculer un premier score de toxicité associé au premier message de média social et attribuer le premier message de média social à une première classe du modèle de classe. Un second message de média social est analysé, à l'aide d'un processeur et d'une mémoire, pour calculer un second score de toxicité associé au second message de média social et attribuer le second message de média social à une seconde classe du modèle de classe. Sur la base du premier score de toxicité, de la première classe, du second score de toxicité et de la seconde classe, une tendance de toxicité est prévue. En réponse à l'augmentation prévue de la tendance à la toxicité, une mesure corrective est appliquée pour réduire la tendance à la toxicité.
Le document US10,915,789 B2 divulgue un procédé et un dispositif pour détecter un contenu offensant sur un dispositif électronique portable, en surveillant des communications envoyées, reçues ou stockées sur le dispositif électronique portable, et dans lequel la surveillance comprend la collecte de données de contenu, la classification de données de contenu en calculant un score d'alerte pour des données de contenu dans lequel un score d'alerte correspond à un contenu offensant détecté, et l'envoi d'une notification d'alerte à un second dispositif électronique portable pour alerter la détection d'un contenu offensant sur le premier dispositif électronique portable.
Le document US2019/0266242 A1 divulgue un procédé pour atténuer le cyberharcèlement en interceptant et en analysant avec précision le sentiment des messages des médias sociaux avant de les présenter à l'appareil destinataire prévu. En fonction du sentiment des messages et de la catégorie d'expéditeur, les messages abusifs peuvent être envoyés à un administrateur pour examen et pour prendre les mesures appropriées. Par conséquent, de tels messages peuvent être bloqués à partir du dispositif destinataire prévu. Le système peut analyser le sentiment des messages à l'aide d'une approche d'apprentissage automatique, par exemple en utilisant un algorithme Naive Bayes. Un modèle d'inférence peut être généré via l'apprentissage automatique. Le modèle d'inférence peut produire une métrique qui est utilisée lors de l'évaluation du sentiment du message.
Le document US2021/0042830 A1 divulgue un système multimédia numérique qui utilise un système de communication décentralisé pour transférer des données numériques. Dans certains modes de réalisation, les données numériques comprennent une propriété numérique, une devise et des instructions pour exécuter des transactions financières. Dans certains modes de réalisation, le système multimédia numérique contrôle le stockage et le flux de données numériques via des nœuds spécifiés situés dans des juridictions spécifiées.
Le document US2018/349502 A1 divulgue un procédé et système pour filtrer un contenu provenant d'un affichage graphique d'un dispositif informatique, ce contenu pouvant avoir un objet associé à des identifiants de contenu. Ce procédé comprend une détermination, par le dispositif informatique et sur la base d'une indication de critères de filtre sélectionnés, d’une probabilité pondérée respective pour l'objet, et d’un élément graphique pour une application sur la base de la probabilité pondérée.
Le document WO2015/095597 A1 divulgue un procédé et système permettant à des parents de visualiser et de suivre les activités des smartphones de leurs enfants pouvant comprendre un ou plusieurs modules logiciels enfants. Le module, qui peut être installé sur le smartphone de chaque enfant, peut consulter et extraire des données concernant plusieurs autres applications logicielles du smartphone, y compris au moins deux des applications suivantes : une application SMS, une application de médias sociaux, une application d'images qui facilite la transmission ou la réception d'images, et une application de navigateur Web.
Le document US2015/095014 A1 divulgue un procédé pour la sélection et l'évaluation de contenu. Une plateforme de classification de contenu traite un contenu dirigé vers ou provenant d'un utilisateur pour déterminer un ou plusieurs éléments dans le contenu. La plateforme d'évaluation de contenu calcule une évaluation de contenu pour le contenu en comparant le ou les éléments à au moins un dictionnaire configurable par l'utilisateur, puis sélectionne une opération pour traiter le contenu sur la base de l'évaluation de contenu.
Le document WO2022/055546 A1 divulgue un procédé et système et un produit pour filtrer un contenu multimédia social indésirable en temps réel. Le système comprend des ensembles de classificateurs d'apprentissage automatique pour filtrer le contenu indésirable sur plusieurs supports Des classificateurs sont entraînés avec des données marquées. Après avoir été entraînés, les modèles filtrent les données entrantes en temps réel soit sur un serveur, soit sur un dispositif mobile.
Mais force est de constater que les outils actuellement proposés ne présentent pas l’efficacité et l’ergonomie de la part des utilisateurs des réseaux sociaux et des parents de mineurs accédant à ces réseaux.
Le but de la présente invention est de remédier à ces inconvénients et ces limitations en proposant un nouveau procédé de traitement en ligne de contenus de cyberharcèlement ou toxiques qui présente un meilleur niveau d’efficacité et d’ergonomie que les outils existants.
On entend ici par cerveau un modèle informatique, basé sur la simulation de l’activité de populations de neurones, qui possède ou développe des facultés cognitives similaires aux cerveaux biologiques.
On entend par blockchain un registre, une grande base de données qui a la particularité d’être partagée simultanément avec tous ses utilisateurs, tous également détenteurs de ce registre, et qui ont également tous la capacité d’y inscrire des données, selon des règles spécifiques fixées par un protocole informatique très bien sécurisé grâce à la cryptographie, en référence à la définition donnée dans le « Rapport de la mission d’information commune sur la blockchain (chaîne de blocs) et ses usages: un enjeu de souveraineté. ».
[https:/www2.assemblee-nationale.fr/static/15/commissions/CFinances/blockchain-synthese.pdf?v=1692355067].
Cet objectif est atteint avec un procédé pour protéger un utilisateur d’un ou plusieurs réseaux sociaux ou de jeux vidéo, contre des risques de cyberharcèlement, cet utilisateur disposant d’un équipement connecté à un réseau de communication pour accéder à des contenus numériques issus du ou desdits réseaux sociaux ou de jeux vidéo ou pour recevoir des contenus numériques provenant d’un ou plusieurs autres utilisateurs du ou desdits réseaux sociaux ou de jeux vidéo, comprenant :
- une analyse sémantique et contextuelle desdits contenus numériques accédés ou reçus, mettant en œuvre des techniques d’intelligence artificielle,
- un traitement des résultats d’analyse sémantique et contextuelle pour détecter une situation de cyberharcèlement ou une toxicité de tout ou partie desdits contenus , mettant en œuvre une base de données de situations prédéterminées,
- en cas de détection d’une situation de cyberharcèlement ou d’une toxicité d’un contenu numérique, un masquage de l’affichage du contenu numérique toxique sur l’écran de l’équipement connecté,
caractérisé en ce qu’il est implémenté dans un serveur dédié apte à être connecté, via ledit réseau de communication, avec lesdits réseaux sociaux ou de jeux vidéo,
et en ce qu’il comprend en outre, en cas de détection d’une situation de cyberharcèlement ou d’une toxicité d’un contenu numérique, une inscription dans une blockchain, d’un ensemble de données descriptives de ce cyberharcèlement, et en ce que l’analyse sémantique et contextuelle implémente une pluralité de cerveaux dédiés chacun à une thématique particulière de cyberharcèlement et opérant simultanément, chacun desdits cerveaux étant prévu pour détecter, après analyse, un mot, une transcription d’un message vocal, une expression ou un Emoji appartenant à la thématique qui lui est associée.
Les données descriptives d’un cyberharcèlement ou d’une toxicité de contenu peuvent être éditées sous la forme d’un rapport de signalement.
Le procédé de protection selon l’invention peut en outre comprendre un contrôle préalable de l’identité de l’utilisateur à protéger, mettant en œuvre un cryptage des données d’identité saisies par cet utilisateur à partir de l’équipement connecté, et mettre en œuvre des outils logiciels décentralisés sur le Web3.
Le procédé de protection selon l’invention peut en outre comprendre une étape pour accéder depuis un second équipement connecté à des contenus numériques reçus et détectés comme relevant d’un cyberharcèlement ou toxiques sur un premier équipement connecté, ainsi qu’une étape pour saisir depuis l’équipement connecté une mention d’un ou plusieurs réseaux sociaux ou réseaux de jeux vidéo sur lesquels une protection est recherchée.
Lorsque le procédé de protection selon l’invention est appliqué à une participation à un jeu vidéo en ligne, les étapes d’analyse sémantique et contextuelle sont en outre configurées pour détecter une situation de toxicité dans ce jeu vidéo.
Suivant un autre aspect de l’invention, il est proposé un système pour protéger un utilisateur d’un ou plusieurs réseaux sociaux ou de jeux vidéo, contre des risques de cyberharcèlement, cet utilisateur disposant d’un équipement connecté à un réseau de communication pour accéder à des contenus numériques issus du ou desdits réseaux sociaux ou de jeux vidéo ou pour recevoir des contenus numériques provenant d’un ou plusieurs autres utilisateurs du ou desdits réseaux sociaux ou de jeux vidéo, mettant en œuvre le procédé de protection selon l’invention, ce système comprenant :
- des moyens pour effectuer une analyse sémantique et contextuelle desdits contenus numériques accédés ou reçus, mettant en œuvre des techniques d’intelligence artificielle,
- des moyens pour traiter les résultats d’analyse sémantique et contextuelle pour détecter une situation de cyberharcèlement ou une toxicité de tout ou partie desdits contenus , mettant en œuvre une base de données de situations prédéterminées,
- en cas de détection d’une situation de cyberharcèlement ou d’une toxicité d’un contenu numérique, des moyens pour masquer l’affichage d’un contenu numérique toxique ou de cyberharcèlement sur l’écran de l’équipement connecté,
caractérisé en ce qu’il est implémenté dans un serveur dédié apte à être connecté, via ledit réseau de communication, avec lesdits réseaux sociaux de jeux vidéo, et en ce qu’il comprend en outre des moyens pour inscrire dans une blockchain, un ensemble de données descriptives de ce cyberharcèlement, et en ce que les moyens d’analyse sémantique et contextuelle comprennent une pluralité de cerveaux dédiés chacun à une thématique particulière de cyberharcèlement et opérant simultanément, chacun desdits cerveaux étant prévu pour détecter, après analyse, un mot, une transcription d’un message vocal, une expression ou un Emoji appartenant à la thématique qui lui est associée.
Le système de protection selon l’invention peut être avantageusement implémenté au sein d’un serveur dédié communiquant via un ou plusieurs réseaux de communication, d’une part, avec une ou plusieurs plateformes opératrices de services de réseaux sociaux et, d’autre part, avec une pluralité d’équipements connectés accédant à ces services de réseaux sociaux et pour lesquels une protection contre le cyberharcèlement est recherchée.
Il peut aussi comprendre des moyens pour émettre vers une plateforme dédiée une notification de détection d’une situation de cyberharcèlement.
Le procédé de traitement selon l’invention est avantageusement réalisé sous la forme d’une application de lutte contre le cyberharcèlement et la toxicité en ligne, qui peut être téléchargée sur tous supports (mobile/tablette/pc/console).
A l’aide de son Intelligence artificielle, le procédé masque la toxicité sur les réseaux sociaux ajoutés par ses utilisateurs et la haine qu’ils pourraient recevoir. Celui-ci analyse sémantiquement et contextuellement les conversations pour obtenir des résultats qui concordent avec la volonté de l’utilisateur.
Si un utilisateur fait face à de vrais problèmes de cyberharcèlement, l’application implémentant le procédé selon l’invention, l’accompagne dans ses démarches juridiques et certifie ses données pour établir un dossier de dépôt de plainte auprès des autorités compétentes. L’application est également là pour accompagner la victime à trouver une association spécialisée dans la lutte contre la toxicité en ligne.
L’application est également adaptée pour les joueurs en ligne pour qui la toxicité est récurrente en s’intégrant sur les plates formes sur lesquelles ils sont connectées ainsi que sur les jeux vidéo autorisant la solution à agir.
L’application permet également aux utilisateurs et à leur tuteurs désignés d’être informés s’ils émettent des éléments contextuels non appropriés qui pourraient être considérés comme toxiques par leurs récepteurs.
Cette application est réalisée à partir d’outils logiciels disponibles dans l’univers AWS, selon l’architecture ci-dessous :
Le procédé de traitement selon l’invention met en œuvre :
- une application intégralement conçue pour un déploiement sur le Web3, multi-supports et multi-réseaux sociaux,
- Une IA mettant en œuvre une pluralité de cerveaux affectés chacun à la détection d’une typologie particulière de contenus de cyberharcèlement, en contraste avec la pratique habituelle de l’utilisation d’un seul cerveau,
- Une aide à l’édition automatique de rapports de signalement et une inscription des signalements de tous types de contenus (image/texte/vidéo/fichier) dans une blockchain.
DESCRIPTION DES FIGURES
- La est un schéma synoptique d’un exemple de réalisation d’un système de protection contre le cyberharcèlement selon l’invention ;
- La illustre les principales étapes d’un exemple de réalisation du procédé de protection selon l’invention ;
- La illustre un exemple d’architecture logicielle mise en œuvre dans un système de protection selon l’invention ;
- La représente un exemple d’interface utilisateur procurant à un utilisateur protégé un récapitulatif des opérations de détection de situations de cyberharcèlement et de contenus toxiques ;
- La représente un exemple d’interface utilisateur procurant à un utilisateur superviseur un récapitulatif des opérations de détection de situations de cyberharcèlement et de contenus toxiques auxquels un ou plusieurs proches, notamment des mineurs, auraient pu être exposés ;
- La représente un exemple d’interface utilisateur procurant à un utilisateur protégé des fonctions de blocage et de signalement en réponse à une détection de cyberharcèlement ou de contenu toxique ;
- La représente un exemple d’interface utilisateur procurant à un utilisateur de jeu vidéo un tableau de bord des opérations de détection réalisées par le procédé de protection selon l’invention.
DESCRIPTION DETAILLEE D’UN MODE DE REALISATION
En référence aux Figures 1 et 2, un système 1 de protection contre le cyberharcèlement selon l’invention est mis en œuvre dans un serveur 13 auquel est associée une base de données 14, et est relié via un réseau de commun à un nuage numérique 2 (désigné usuellement sous le terme de Cloud) reliant un ensemble de plateformes de réseaux sociaux 5 (ou social media) incluant par exemple à titre non limitatif Discord®, Tweeter®, Instagram®, TikTok® ou Facebook®, et des plateformes 4 de jeu de vidéo telles que la plateforme Steam®.
Le procédé de protection contre le cyberharcèlement selon l’invention est utilisé dans un ensemble de dispositifs numériques de communication connectés au Cloud 2, tels que des smartphones 6-9,12 ou des tablettes 10, dans lesquels une application dédiée a été installée. Certains de ces smartphones 8,9 peuvent être connectés aux ressources du Cloud 2 via un routeur 11.
La mission du Système 1 de protection contre le cyberharcèlement selon l’invention va être de protéger les utilisateurs de smartphones ou tablettes 6-10 équipés de l’application de protection, contre les agissements malveillants de personnes ou d’organisations depuis des serveurs 5 connectés au Cloud 2 et cherchant à nuire à ces utilisateurs par le canal d’un ou plusieurs réseaux sociaux ou d’une ou plusieurs plateformes de jeux vidéo.
On va maintenir décrire, en référence à la , un exemple de mise en œuvre du procédé de protection contre le cyberharcèlement selon l’invention. On suppose qu’une application dédiée a été téléchargée par un utilisateur d’un smartphone 7 depuis un serveur de protection 1 implémentant le procédé de protection selon l’invention.
A partir cette application procurant une interface graphique sur l’écran du smartphone 7 de l’utilisateur ou sur l’écran d’un smartphone 12 d’un utilisateur parent ou proche d’un utilisateur mineur, un accès 100 à un compte de l’utilisateur d’un réseau social, par exemple le réseau Discord, est demandé au serveur 30 gérant ce réseau.
Dès lors que le serveur 13 gérant le procédé de protection a obtenu l’accès au compte du réseau social Discord de l’utilisateur protégé, une analyse 101 sémantique et fonctionnelle des contenus reçus sur ce compte d’utilisateur va être réalisée, soit en permanence ou de manière périodique selon une fréquence prédéterminée. Cette analyse est effectuée directement au niveau du serveur de protection avant que les contenus analysés soient consultables depuis le smartphone 7 de l’utilisateur.
Cette analyse 101 met en œuvre un ensemble de cerveaux artificiels C1,C2,C3,C4,C5 affectés chacun une catégorie particulière de cyberharcèlement ou de toxicité.
On entend par cerveau artificiel un modèle informatique, basé sur la simulation de l’activité de populations de neurones, qui possède ou développe des facultés cognitives similaires aux cerveaux biologiques.
Si un serveur malveillant 5 émet un message de cyberharcèlement ou à contenu toxique à destination de l’utilisateur protégé, l’un des cerveaux C1-C5 va détecter 103, après analyse, un mot, une transcription d’un message vocal, une expression ou un Emoji appartenant à l’une des catégories associées à chacun de ces cerveaux.
Le serveur de protection 13 va alors masquer 104 le message détecté comme relevant d’un cyberharcèlement ou d’un contenu toxique, de sorte que ce message ou ce contenu ne sera pas accédé par l’utilisateur protégé sur l’écran de son smartphone 7.
S’en suivent une étape 105 d’inscription de données descriptives de cette détection de cyberharcèlement ou de toxicité dans une blockchain (ou chaine de blocs) 15 accessible par le serveur de protection 13 via le Cloud 2 et une étape 106 d’édition d’un rapport de signalement 107 destiné à être transmis à une autorité administrative ou officielle chargée de la lutte contre le cyberharcèlement.
Les données de détection peuvent inclure par exemple le contenu du message intercepté, la date, l’heure et l’origine (si techniquement possible) de ce message.
Dans une configuration de l’invention dédiée à la protection d’utilisateurs mineurs sous la supervision d’un parent, on peut prévoir plusieurs options de mise en œuvre du procédé de protection selon l’invention.
Le procédé de protection selon l’invention peut être construit, à titre non limitatif, à partir d’une architecture logicielle 20 telle que celle représentée par la . Plusieurs modules de base de cette architecture logicielle peuvent être issus de l’offre logicielle d’AWS (Amazon Web Services).
L’architecture logicielle 20 met en œuvre un système de nom de domaine DNS 21, associé à un gestion de certificats SSL 23 et à un réseau de diffusion de contenus CDN pour la gestion et l’hébergement 25 du site Web implémentant le procédé de protection selon l’invention,
Ce site Web est réalisé à partir d’un Framework Web 27 pilotant un module de gestion de consentement 24 et un module de gestion d’identité et d’accès personnel 29.
Le cœur de l’architecture logicielle 20 comprend un module Container d’images 34, réalisé par exemple à partir d’un Framework GraphQL en Python, qui est alimenté par un Registre d’images Docker 28.
Ce container 34 pilote un module de service de paiement 35, un module de reconnaissance d’image 30 contrôlé par le module 29 de gestion d’identité et d’accès personnel, un moteur d’inférence en langage naturel NLP (pour Natural Language Processing : Traitement en Langage Naturel) 36, un module 31 de gestion des identités et des accès à des réseaux sociaux qui vont faire l’objet d’une protection et une base de données NoSQL 37.
Le module 31 de gestion des identités et des accès aux réseaux sociaux contrôle via des jetons d’autorisation un module de calcul sans serveur 32 qui adresse directement chacun des réseaux sociaux 21 (par exemple WhatsApp), 33 (par exemple Messenger) qui sont ciblés par le procédé de protection selon l’invention. Il est bien entendu que ces réseaux sociaux peuvent inclure à titre non limitatif, comme l’illustre la , les réseaux Discord, Tweeter, Instagram, TikTok ou Facebook
Le moteur d’inférence en langage naturel NLP 36 pilote un module de Machine Learning (apprentissage machine) NLP 41, un module d’apprentissage personnalisé NLP 42 qui peut adresser à la demande un module 44 d’apprentissage par GPU (Graphical Processing Unit : unité de traitement graphique) qui pet être activé par un module de programmation horaire 45.
La base de données NoSQL 37 alimente un moteur d’intégration de données 38 qui nourrit un entrepôt de données 39 pourvu un module 40 d’indicateurs clés de performance et une base de données non modifiable (pour Non Mutable Database) ou une blockchain 15.
On va maintenant décrire, en référence aux figures 4 à 7, plusieurs exemples pratiques d’interfaces graphiques utilisateurs générés sur l’écran d’utilisateurs protégés ou d’un superviseur, par implémentation du procédé de protection selon l’invention.
L’interface utilisateur 50 représenté par la correspond à ce qu’un utilisateur protégé va pouvoir visualiser sur l’écran de son smartphone : il contient un récapitulatif graphique 51, par exemple sous une forme circulaire, illustrant les pourcentages de messages toxiques 54 et de messages bloqués 55. L’utilisateur protégé peut accéder aux données récapitulatives pour chacun des réseaux sociaux 52 auxquels il est abonné et à une liste 53 des derniers messages bloqués.
Le superviseur, par exemple un parent ou un proche majeur, peut en référence à la visualiser une interface utilisateur 60 sur laquelle il va pouvoir consulter, pour chacun des utilisateurs protégés 62,63 dont il assure la supervision, un récapitulatif 61 des pourcentages de messages toxiques et bloqués 64,65.
Lors de chaque détection d’une situation de cyberharcèlement ou d’un contenu toxique, l’utilisateur protégé - ou son superviseur – va pouvoir visualiser sur son smartphone une interface utilisateur 70 « Me défendre » proposant une action « Bloquer » 71 permettant de bloquer l’utilisateur émetteur de ce message et une action « Signalement Pharos » 72 permettant de constituer un dossier juridique et d’éditer un rapport de signalement à partir des informations de détection enregistrées par le procédé de protection selon l’invention.
Bien sûr, la présente invention n’est pas limitée au mode de réalisation qui vient d’être décrit, et bien d’autres modes de réalisation peuvent être envisagés sans sortir du cadre de la présente invention. En particulier, le nombre de cerveaux artificiels mis en œuvre dans le procédé de protection selon l’invention n’est pas limité à ce qui vient d’être décrit. Par ailleurs, la structure des données de détection destinées à être inscrites dans la blockchain peut être de toute nature, en fonction de l’efficacité des techniques d’analyse sémantique et contextuelles qui sont mises en œuvre. Il en est de même pour la structure et le contenu pratique des rapports de signalement.