FR3115976A1 - Dispositif de traitement de l’information et procédé de détermination d’état biologique - Google Patents

Abstract

Dispositif de traitement de l’information et procédé de détermination d’état biologique La détermination d’un état biologique avec plus de précision sans qu’il soit nécessaire de procéder à des corrections pour tenir compte des différences de caractéristiques des capteurs, etc. Un dispositif de traitement de l’information (100) comprenant un module de génération d’informations d’image (301) qui génère des informations d’image sur la base d’informations biologiques, un module de construction de modèle (303) qui construit un modèle d’apprentissage par apprentissage automatique en utilisant lesdites informations d’image, et un module de détermination d’état biologique (305) qui entre lesdites informations d’image dans ledit modèle d’apprentissage (322) et obtient une valeur de sortie qui est le résultat de la détermination dudit état biologique. Figure pour l'abrégé : Figure 2

Description

Dispositif de traitement de l’information et procédé de détermination d’état biologique

La présente invention porte sur un dispositif de traitement de l’information et un procédé de détermination d’état biologique.

Le document de brevet JP2016-120062 concerne un dispositif de mise à jour de règles d’estimation de la somnolence et fournit les informations suivantes : « La présente invention comporte un moyen d’acquisition de données d’IRR pour acquérir des données d’IRR, un moyen de calcul de valeurs d’indicateurs pour calculer des valeurs d’indicateurs pour une pluralité d’indicateurs relatifs à l’activité du système nerveux autonome sur la base desdites données d’IRR, un moyen de stockage dans lequel sont stockées des règles d’estimation de la somnolence, un moyen d’acquisition de données de somnolence pour acquérir des informations de sortie d’un dispositif de sortie d’informations de somnolence qui délivre des informations sur la présence ou l’absence de somnolence, qui sont des informations obtenues du sujet ou des informations obtenues en analysant l’état biologique du sujet, un moyen de génération de données de référence pour générer des données de référence pour évaluer la pertinence de la règle d’estimation de la somnolence en utilisant les données de somnolence, et un moyen de mise à jour pour mettre à jour les règles d’estimation de la somnolence stockées dans ledit moyen de stockage sur la base desdites valeurs d’indicateurs et desdites données de référence ».

Ces dernières années, l’attention s’est portée sur les technologies de mesure d’informations biologiques d’un conducteur, telles que son pouls et sa fréquence cardiaque, afin de déterminer son état biologique, comme son niveau de somnolence, de fatigue ou de concentration, puis de contrôler automatiquement le véhicule, en fonction des résultats de la détermination, en émettant des alertes ou en arrêtant le véhicule afin d’éviter des accidents.

Afin de déterminer l’état biologique, les données de mesure sont corrigées pour tenir compte des différences de caractéristiques entre les différents modèles de capteurs, des différences individuelles de la cible de mesure et des différences dans la méthode de mesure. Toutefois, cela est compliqué par le fait que le processus et les conditions de correction doivent être définis à l’avance pour chaque capteur. Il existe donc un besoin pour une détermination plus précise de l’état biologique, sans nécessiter de correction pour absorber les différences de caractéristiques des capteurs.

Le document de brevet JP2016-120062 divulgue un dispositif qui utilise l’IRR (intervalle R-R : intervalle entre deux battements cardiaques) pour déterminer la somnolence. Selon la technologie dudit document, les données d’IRR sont corrigées pour absorber les différences de caractéristiques entre les différents modèles de capteurs, et les informations sur les caractéristiques des capteurs utilisées pour la correction sont définies à l’avance. En d’autres termes, la technologie n’adresse pas la problématique de la détermination d’un état biologique sans nécessiter de correction pour absorber les différences de caractéristiques des capteurs.

L’objectif de la présente invention est donc de déterminer un état biologique avec plus de précision, sans qu’il soit nécessaire de procéder à des corrections pour tenir compte des différences de caractéristiques des capteurs, etc.

La présente invention propose une pluralité de moyens pour résoudre au moins une partie des problématiques susmentionnées, dont quelques exemples sont présentés ci-dessous. Un dispositif de traitement de l’information selon un aspect de la présente invention qui résout le problème susmentionné comprend un module de génération d’informations d’image qui génère des informations d’image sur la base d’informations biologiques, un module de construction de modèle qui construit un modèle d’apprentissage par apprentissage automatique en utilisant lesdites informations d’image, et un module de détermination d’état biologique qui entre lesdites informations d’image dans ledit modèle d’apprentissage et obtient une valeur de sortie qui est le résultat de la détermination dudit état biologique.

Selon la présente invention, un état biologique peut être déterminé avec plus de précision sans qu’il soit nécessaire de procéder à des corrections pour tenir compte des différences de caractéristiques des capteurs, etc.

Les problèmes, configurations ou résultats autres que ceux décrits ci-dessus seront adressés dans la description des modes de réalisation fournie plus bas.

La représente un exemple de configuration schématique d’un dispositif de traitement de l’information selon le premier mode de réalisation.

La représente un schéma fonctionnel d’un exemple de configuration fonctionnelle du dispositif de calcul d’un dispositif de traitement de l’information.

La (a) est un exemple d’informations d’image d’une courbe de Lorenz, qui représente la fluctuation de l’intervalle entre des battements cardiaques lorsque l’utilisateur ne se sent pas somnolent. La (b) est un exemple d’informations d’image d’une courbe de Lorenz, qui représente la fluctuation de l’intervalle entre des battements cardiaques lorsque l’utilisateur se sent somnolent.

La représente un diagramme de flux d’un exemple de processus de construction d’un modèle d’apprentissage.

La représente un diagramme de flux d’un exemple de processus de détermination d’état biologique.

La représente un schéma fonctionnel d’un exemple de configuration fonctionnelle d’un dispositif de traitement de l’information et d’un dispositif serveur selon un second mode de réalisation.

Des exemples de modes de réalisation de la présente invention sont fournis ci-dessous.

Mode de réalisation 1

La représente un exemple de configuration schématique d’un dispositif de traitement de l’information 100. Le dispositif de traitement de l’information 100 est destiné à la détermination d’un état biologique d’un utilisateur (par exemple, un conducteur) se déplaçant dans un corps en mouvement, tel qu’un véhicule, à l’aide d’informations biologiques. Plus précisément, le dispositif de traitement de l’information 100 utilise des informations biologiques (par exemple, des données d’IRR : intervalle R-R) obtenues à partir de mesures de fréquence cardiaque et de pouls, entre autres, pour générer des informations d’image de graphique (courbe de Lorenz) montrant les fluctuations de l’intervalle de battements cardiaques, et entre ces informations dans un modèle d’apprentissage pour déterminer l’état biologique, tel qu’un niveau de somnolence.

Comme illustré, le dispositif de traitement de l’information 100 comporte un dispositif de calcul 110, un capteur 120, un dispositif de communication 130, et un dispositif de stockage 140. En outre, le dispositif de calcul 110, le dispositif de communication 130, le dispositif de stockage 140, et le capteur 120 du dispositif de traitement de l’information 100 peuvent être logés dans un même boîtier, ou le dispositif de calcul 110, le dispositif de communication 130, le dispositif de stockage 140, et le capteur 120 peuvent chacun être logés dans des boîtiers distincts. De plus, le dispositif de calcul 110 et le capteur 120 sont connectés l’un à l’autre par des câbles de transmission ou un protocole de communication sans fil prédéterminé (par exemple, Bluetooth : marque déposée).

Le dispositif de calcul 110 est un dispositif qui effectue diverses opérations de traitement arithmétique du dispositif de traitement de l’information 100. Comme le montre la figure, le dispositif de calcul 110 comprend une unité centrale de traitement (CPU) 111 qui exécute diverses opérations de traitement arithmétique réalisées dans le dispositif de traitement de l’information 100, une mémoire morte (ROM) 112 qui stocke, entre autres, un programme exécuté par la CPU 111, une mémoire vive (RAM) 113 qui stocke temporairement diverses informations lues dans la ROM 112, et une interface (I/F) 114 permettant de connecter électriquement le dispositif de calcul 110 avec le capteur 120, ainsi qu’un bus 115 permettant d’interconnecter ces derniers.

Le dispositif de calcul 110 obtient des informations biologiques (par exemple, des données d’IRR indiquant l’intervalle de battements cardiaques) à partir du capteur 120 et les utilise pour générer des informations d’image d’un graphique d’une courbe de Lorenz représentant les fluctuations de l’intervalle de battements cardiaques (ci-après parfois appelées « informations d’image de courbe de Lorenz »). Le dispositif de calcul 110 construit (génère) également un modèle d’apprentissage en effectuant un apprentissage automatique à l’aide des informations d’image générées.

Le dispositif de calcul 110 obtient une valeur de sortie, qui est le résultat du traitement arithmétique par le modèle d’apprentissage, en entrant dans le modèle d’apprentissage les informations d’image générées à l’aide des informations biologiques obtenues à partir du capteur 120. La valeur de sortie est le résultat de la détermination de l’état biologique à l’aide des informations d’image, et correspond à un état biologique tel que, par exemple, somnolent, non somnolent, fatigué, non fatigué, concentré, non concentré.

Le dispositif de calcul 110 convertit les valeurs de sortie du modèle d’apprentissage en un format de données prédéterminé qui peut être utilisé par l’unité principale 200 (par exemple, un dispositif embarqué tel qu’un dispositif de navigation ou une unité audionumérique (Digital Audio - D/A), ou une unité de commande de moteur (Engine Control Unit - ECU)), et les délivre en sortie vers ces dispositifs. Le dispositif embarqué ou analogue utilise le résultat de la détermination d’état biologique obtenu à partir du dispositif de traitement de l’information 100, et exécute un processus (par exemple, jouer de la musique, ou commander le climatiseur pour changer la température dans la voiture) en fonction de l’état biologique de l’utilisateur.

Le capteur 120 est un dispositif de mesure destiné à mesurer des données vitales, telles que la fréquence cardiaque et le pouls, d’un utilisateur. Plus précisément, le capteur 120 est un capteur de contact capable de détecter la fréquence cardiaque (ou le pouls) de l’utilisateur, tel qu’un piézomètre intégré dans un siège de véhicule, ou un dispositif portable porté en contact avec le corps, tel qu’une montre. En outre, le capteur 120 peut être un capteur sans contact tel qu’un capteur Doppler qui irradie des micro-ondes ou des ondes millimétriques sur le corps humain et détecte la fréquence cardiaque de l’utilisateur en fonction des ondes réfléchies. En variante, le capteur 120 peut être une caméra capable de détecter la fréquence cardiaque sur la base du débit d’hémoglobine dans le sang.

Le capteur 120 mesure la fréquence cardiaque de l’utilisateur pendant une période de temps prédéterminée (par exemple, 5, 10 ou 30 minutes à partir du début de la mesure) et génère des données d’IRR à titre d’informations biologiques, qui sont transmises au dispositif de traitement de l’information 100. Les données d’IRR sont des informations sur l’intervalle de battements cardiaques (intervalle entre des ondes R), qui correspond à l’intervalle de temps entre deux battements cardiaques.

Le type du capteur 120 n’est pas limité à un type en particulier, mais peut être n’importe quel dispositif de mesure capable de mesurer des données vitales telles que la fréquence cardiaque ou le pouls d’un utilisateur. Par exemple, le capteur 120 peut être un dispositif de mesure capable de rétrocalculer l’intervalle de battements cardiaques d’un utilisateur sur une période de temps prédéterminée sur la base de la fréquence cardiaque détectée et de générer des données d’IRR.

Le dispositif de communication 130 est un module de communication ou analogue destiné à communiquer des informations avec un dispositif externe (par exemple, l’unité principale 200). Le dispositif de communication 130 est connecté à l’unité principale 200 par un câble de transmission ou un protocole de communication sans fil prédéterminé (par exemple, Bluetooth : marque déposée), et transmet les résultats de la détermination d’état biologique à l’unité principale 200.

Le dispositif de stockage 140 est un disque dur (Hard Disk Drive), un disque statique (SSD), une mémoire flash ou tout autre dispositif de stockage non volatile capable de stocker des informations numériques. Le dispositif de stockage 140 stocke, par exemple, diverses informations utilisées pour la construction de modèles d’apprentissage ainsi que les modèles d’apprentissage construits.

La représente un schéma fonctionnel d’un exemple de configuration fonctionnelle du dispositif de calcul 110 d’un dispositif de traitement de l’information 100. Comme illustré, le dispositif de calcul 110 comporte un module de calcul 300, un module de commande 310, un module de stockage 320, et un module de communication 330.

Le module de calcul 300 est un module fonctionnel qui réalise diverses tâches de traitement exécutées par le dispositif de calcul 110. Plus précisément, le module de calcul 300 comporte un module de génération d’informations d’image 301, un module d’étiquetage 302, un module de construction de modèle 303, un module d’authentification d’utilisateur 304, un module de détermination d’état biologique 305, et un module de conversion de format de données 306. La détermination de la somnolence est présentée ci-dessous à titre d’exemple de détermination d’état biologique.

Le module de génération d’informations d’image 301 est un module fonctionnel qui génère des informations d’image en utilisant les informations biologiques obtenues à partir du capteur 120. Plus précisément, le module de génération d’informations d’image 301 utilise les données d’IRR acquises à partir du capteur 120 pour générer des informations d’image d’une courbe de Lorenz représentant la fluctuation de l’intervalle de battements cardiaques sur une période prédéterminée.

Plus spécifiquement, en utilisant les données d’IRR, le module de génération d’informations d’image 301 prend l’intervalle de temps entre le début de la mesure et le premier (Nième (N = 1)) battement de cœur sur l’axe horizontal (axe X), et l’intervalle de temps entre le premier (Nième (N = 1)) et le (N + 1ième (N = 1)) battement de cœur suivant sur l’axe vertical (axe Y), et réalise un tracé de leurs points d’intersection. Le module de génération d’informations d’image 301 prend ensuite l’intervalle de temps entre le premier (Nième (N = 1)) battement de cœur et le (N + 1ième (N = 1)) battement de cœur suivant sur l’axe horizontal (axe X) et l’intervalle de temps entre le (N + 1ième (N = 1)) battement de cœur suivant et le (N + 1 (N = 2)) battement de cœur suivant sur l’axe vertical (axe Y), et réalise un tracé de leurs points d’intersection. Ainsi, le module de génération d’informations d’image 301 génère un graphique d’une courbe de Lorenz en répétant le même processus pour tous les intervalles de battements cardiaques mesurés dans une période donnée.

Le module de génération d’informations d’image 301 génère également des informations d’image en convertissant le graphique de la courbe de Lorenz généré dans un format prédéterminé.

La (a) est un exemple d’informations d’image d’une courbe de Lorenz, qui représente la fluctuation de l’intervalle entre des battements cardiaques lorsque l’utilisateur ne se sent pas somnolent. La (b) est un exemple d’informations d’image d’une courbe de Lorenz, qui représente la fluctuation de l’intervalle entre des battements cardiaques lorsque l’utilisateur se sent somnolent. Comme le montrent ces figures, lorsque l’utilisateur ne se sent pas endormi, l’intervalle de battements cardiaques varie peu, de sorte que la position de chaque tracé de la représentation graphique n’est pas étalée et se concentre dans une certaine zone. D’autre part, lorsque l’utilisateur est somnolent, la variation de l’intervalle de battements cardiaques est importante, de sorte que la position de chaque tracé de la représentation graphique est dispersée sur une zone étendue. Ainsi, les informations d’image de courbe de Lorenz basées sur les données d’IRR peuvent être utilisées pour déterminer l’état biologique de l’utilisateur, grâce à la forme spécifique représentant l’état biologique de l’utilisateur (par exemple, somnolent ou non, etc.)

Le module d’étiquetage 302 est un module fonctionnel qui exécute un processus d’étiquetage. Plus précisément, le module d’étiquetage 302 exécute un processus d’étiquetage qui fait correspondre les étiquettes correctes indiquant un état biologique d’un utilisateur aux informations d’image de courbe de Lorenz. Plus spécifiquement, le module d’étiquetage 302 exécute un processus d’étiquetage qui obtient les étiquettes correctes indiquant si l’utilisateur se sentait somnolent ou non durant la période de mesure et les met en correspondance avec les informations d’image de courbe de Lorenz générées à l’aide des informations biologiques de l’utilisateur au cours de la période correspondante.

Le module d’étiquetage 302 obtient l’étiquette correcte par le biais d’un procédé prédéterminé. Par exemple, après la fin de la période de mesure, le module d’étiquetage 302 affiche des informations sur le dispositif d’affichage fourni par le module de traitement de l’information 100 ou l’unité principale 200 pour recevoir une réponse de l’utilisateur quant à savoir si une somnolence a été ressentie ou non pendant la période de mesure, et obtient l’étiquette correcte en recevant la réponse directement de l’utilisateur.

En variante, le module d’étiquetage 302 capture l’expression faciale de l’utilisateur pendant la période de mesure par le biais d’une caméra embarquée capable de capturer des images de l’intérieur du véhicule, et en effectuant une authentification de visage à l’aide de ces informations d’image, obtient l’étiquette correcte indiquant si l’utilisateur avait sommeil ou non pendant la période de mesure. La technologie d’authentification de visage devrait être basée sur une technologie connue, comme la méthode d’évaluation de la NEDO (New Energy Industrial Technology Development Organization - Organisation pour le développement des énergies nouvelles et des technologies industrielles).

Le procédé d’obtention d’une étiquette correcte ne serait en aucun cas être limité, et n’importe quel procédé peut être utilisé tant que l’étiquette correcte indiquant si l’utilisateur se sentait somnolent ou non pendant la période de mesure peut être obtenue.

Le module de construction de modèle 303 est un module fonctionnel qui construit un modèle d’apprentissage 322. Plus précisément, le module de construction de modèle 303 construit le modèle d’apprentissage 322 en effectuant un apprentissage automatique à l’aide des informations d’image de courbe de Lorenz générées par le module de génération d’informations d’image 301 et de l’étiquette de réponse correcte associée à ces informations d’image. Le processus de construction du modèle d’apprentissage 322 sera décrit plus bas.

Le module d’authentification d’utilisateur 304 est un module fonctionnel qui réalise l’authentification de l’utilisateur sur la base d’informations d’utilisateur. Les informations relatives à l’utilisateur comprennent un ID d’utilisateur, permettant d’identifier l’utilisateur, ainsi qu’une catégorie à laquelle il appartient parmi des catégories prédéterminées définies sur la base de caractéristiques physiques. Le module d’authentification d’utilisateur 304 extrait le modèle d’apprentissage 322 associé à l’ID d’utilisateur ou à la catégorie à laquelle l’utilisateur appartient à partir du module de stockage 320.

Le module de détermination d’état biologique 305 est un module fonctionnel qui entre des informations d’image de courbe de Lorenz générées à l’aide d’informations biologiques (données d’IRR) acquises à partir d’un capteur 120 dans le modèle d’apprentissage 322 et obtient des valeurs de sortie indiquant les résultats de la détermination de l’état biologique.

Le module de conversion de format de données 306 est un module fonctionnel qui acquiert les valeurs de sortie (informations représentant le résultat de la détermination de l’état biologique) résultant du calcul du modèle d’apprentissage 322 et convertit ces valeurs de sortie en un format de données qui peut être utilisé par l’unité principale 200. Le module de conversion de format de données 306 envoie également les valeurs de sorties (résultats de la détermination d’état biologique) converties à l’unité principale 200 par l’intermédiaire du module de communication 330. Le format de données à convertir n’est pas limité, tant qu’il s’agit d’un format de données pouvant être utilisé par l’unité principale 200.

Le module de commande 310 est un module fonctionnel qui commande le fonctionnement d’un capteur 120. Plus précisément, le module de commande 310 émet des instructions de mesure d’informations biologiques vers le capteur 120. En outre, le module de commande 310 envoie des instructions au capteur 120 pour des objets de commande prédéterminés, tels que la reconnaissance de la position de l’utilisateur, la durée de mesure pour l’utilisateur et la gamme de fréquences de l’onde radio à émettre.

Le module de stockage 320 est un module fonctionnel permettant de stocker diverses données. Plus précisément, le module de stockage 320 stocke divers modèles de base 321 aidant à la construction du modèle d’apprentissage 322. Un modèle de base 321 est, par exemple, un réseau neuronal convolutif (CNN), qui présente d’excellentes performances en matière de reconnaissance d’images. Le module de stockage 320 stocke également les modèles d’apprentissage 322 construits.

Il existe une pluralité de modèles d’apprentissage 322, construits au moyen d’une prise de mesures sur un utilisateur d’un véhicule dans lequel le dispositif de traitement de l’information 100 est monté et d’une prise de mesures sur des individus (autres que l’utilisateur) appartenant à chaque catégorie définie sur la base de caractéristiques physiques. En outre, ces modèles d’apprentissage 322 sont stockés dans le module de stockage 320 avec des ID d’utilisateur et les catégories de types qui leur sont associés.

Le module de communication 330 est un module fonctionnel qui assure une communication d’informations avec l’unité principale 200. Plus précisément, le module de communication 330 transmet les résultats de la détermination d’état biologique à l’unité principale 200. Le module de communication 330 peut également obtenir l’étiquette de réponse correcte à partir de l’unité principale 200.

La configuration fonctionnelle du dispositif de traitement de l’information 100 a été décrite ci-dessus.

Le module de calcul 300 et le module de commande 310 sont mis en œuvre par le biais de programmes qui amènent l’unité centrale de traitement 111 du dispositif de calcul 110 à effectuer un traitement. Ces programmes sont stockés, par exemple, dans la ROM 112, chargés dans la RAM 113 pour exécution, et exécutés par l’unité centrale de traitement 111. Le module de commande 310 peut être mis en œuvre par le biais d’un circuit de commande prédéterminé. Le module de stockage 320 est mis en œuvre par le biais de la RAM 113 ou de la ROM 112 ou du dispositif de stockage 140, ou d’une combinaison de ceux-ci. Le module de communication 330 est mis en œuvre par le biais du dispositif de communication 130.

Chaque bloc fonctionnel du dispositif de traitement de l’information 100 est classé en fonction du contenu principal du traitement afin de faciliter la compréhension de chaque fonction réalisée dans le présent mode de réalisation. Par conséquent, la présente invention n’est pas limitée par la manière dont chaque fonction est catégorisée ou désignée. Chacun des composants du dispositif de traitement de l’information 100 peut également être réparti en plusieurs composants en fonction du contenu du traitement. Il est également possible d’employer une répartition telle qu’un composant puisse effectuer plusieurs tâches de traitement.

L’ensemble ou une partie de chaque module fonctionnel peut reposer sur du matériel (par exemple, un circuit intégré, tel qu’un ASIC) mis en œuvre dans un ordinateur. En outre, le traitement de chaque module fonctionnel peut être exécuté par un ou plusieurs dispositifs matériels.

Description du fonctionnement

Le processus de construction d’un modèle d’apprentissage exécuté par le dispositif de traitement de l’information 100 va maintenant être décrit.

La représente un diagramme de flux d’un exemple de processus de construction d’un modèle d’apprentissage. Un tel processus est lancé, par exemple, lorsqu’un utilisateur (ou un individu autre que l’utilisateur) reçoit une instruction d’exécuter le processus de construction de modèle d’apprentissage pendant la conduite. Ci-dessous est décrit à titre d’exemple le cas où un modèle d’apprentissage 322 est construit pour un utilisateur.

Une fois que le processus a débuté, les étapes S001 à S005, décrites ci-dessous, vont générer des informations d’image qui seront utilisées pour l’apprentissage automatique. Plus précisément, le module de commande 310 émet (étape S001) des instructions au capteur 120 pour exécuter (débuter) la mesure de données biologiques d’un utilisateur (par exemple, un conducteur). Sur la base de ces instructions, le capteur 120 effectue des mesures sur l’utilisateur pendant une période de temps prédéterminée (par exemple, 5 minutes), génère des données d’IRR sur la base des données de mesure, et envoie les données au module de génération d’informations d’image 301.

Ensuite, le module de construction de modèle 303 acquiert (étape S002) les données d’IRR à partir du capteur 120. En outre, le module de construction de modèle 303 stocke temporairement les données d’IRR acquises dans le module de stockage 320.

Ensuite, le module de construction de modèle 303 effectue (étape S003) un nettoyage des données. Plus précisément, le module de construction de modèle 303 réalise la suppression des valeurs aberrantes et un traitement complémentaire des informations ne pouvant pas être lues comme des valeurs numériques (NaN) à partir des données d’IRR acquises. Le traitement complémentaire est effectué d’une manière prédéterminée, par exemple, en adoptant le milieu des valeurs avant et après l’emplacement des données NaN.

Ensuite, le module de génération d’informations d’image 301 génère (étape S004) un graphique d’une courbe de Lorenz sur la base des données d’IRR et génère les informations d’image d’un tel graphique.

Ensuite, le module d’étiquetage 302 exécute (étape S005) un processus d’étiquetage sur les informations d’image générées. Plus précisément, le module d’étiquetage 302 obtient de l’utilisateur une étiquette correcte indiquant l’état biologique pendant la période de mesure des données d’IRR correspondant aux informations d’image générées, et l’associe aux informations d’image.

Le processus des étapes S001 à S005 génère des informations pour l’apprentissage automatique en mettant en correspondance les informations d’image d’une courbe de Lorenz, générées en utilisant les données d’IRR d’un utilisateur mesurées pendant une période de temps prédéterminée, avec une étiquette de réponse correcte indiquant l’état biologique de l’utilisateur pendant cette période.

Ensuite, le module de construction de modèle 303 détermine (étape S006) si un nombre prédéfini (par exemple, 100) d’éléments d’informations d’apprentissage automatique a été généré ou non. On suppose que le nombre prédéterminé d’éléments d’informations pour l’apprentissage automatique comprend les informations d’image de courbe de Lorenz montrant la fluctuation de l’intervalle de battements cardiaques dans chaque cas où l’utilisateur se sent somnolent ou non dans un rapport prédéterminé (par exemple, un nombre égal pour chaque état).

Puis, s’il est déterminé que le nombre prédéterminé d’éléments d’informations n’a pas été généré (Non à l’étape S006), le module de construction de modèle 303 renvoie le processus à l’étape S001. En revanche, s’il est déterminé que le nombre prédéterminé d’éléments d’informations d’apprentissage automatique a été généré (Oui à l’étape S006), le module de construction de modèle 303 fait passer le processus à l’étape S007.

A l’étape S007, le module de construction de modèle 303 divise les informations destinées à l’apprentissage automatique en proportions arbitraires. Plus précisément, le module de construction de modèle 303 divise les informations pour l’apprentissage automatique, c’est-à-dire les informations d’image de courbe de Lorenz auxquelles une étiquette de réponse correcte indiquant l’état biologique est attribuée, en données d’entraînement et en données de validation, au moyen de la méthode holdout d’estimation de la précision décrite ci-dessous. Le rapport de division entre les données d’entraînement et les données de validation est arbitraire. Par exemple, les données d’entraînement et les données de validation sont divisées selon des proportions arbitraires telles que 6:4 ou 7:3.

Ensuite, le module de construction de modèle 303 construit le modèle d’apprentissage 322 par l’intermédiaire des tâches de traitement des étapes S008 à S0011. Plus précisément, le module de construction de modèle 303 détermine (étapeS008) le modèle de base 321. Plus spécifiquement, le module de construction de modèle 303 extrait un modèle de base 321 prédéterminé (par exemple, un réseau neuronal convolutif) à partir du module de stockage 320 et le définit comme modèle de base 321 à utiliser pour la construction de modèles.

Ensuite, le module de construction de modèle 303 procède (étape S009) à un apprentissage automatique en utilisant les données d’entraînement. Le processus d’apprentissage automatique va maintenant être décrit. Le module de construction de modèle 303 entre les informations d’image de données d’apprentissage dans la fonction de transfert indiquée par le modèle de base 321 déterminé, tel qu’un réseau neuronal convolutif, et compare les valeurs de sortie du modèle de base 321 comme résultat de prédiction pour l’étiquette de réponse correcte avec l’étiquette de réponse correcte associée aux informations d’image d’entrée. En outre, en cas de différence de la valeur de sortie pour l’étiquette correcte, le module de construction de modèle 303 renvoie l’information et modifie les variables étudiées de la fonction de transfert. Le module de construction de modèle 303 effectue un apprentissage automatique en exécutant de tels processus de prédiction et de rétroaction pour toutes les données d’entraînement, et construit le modèle d’apprentissage 322.

Ensuite, le module de construction de modèle 303 effectue (étape S010) une vérification de la précision du modèle d’apprentissage 322 à l’aide des données de validation. Plus précisément, le module de construction de modèle 303 introduit des données destinées à la validation dans le modèle d’apprentissage 322 construit. En outre, le module de construction de modèle 303 vérifie la précision du modèle d’apprentissage 322 construit sur la base de la comparaison des valeurs de sortie d’un tel modèle d’apprentissage 322 avec l’étiquette de réponse correcte associée aux informations d’image des données de validation.

Ensuite, le module de construction de modèle 303 détermine (étape S011) si la précision du modèle d’apprentissage 322 est suffisante ou non. Plus précisément, le module de construction de modèle 303 base sa prise de décision sur le fait que la précision du modèle d’apprentissage 322 vérifiée à l’étape S010 satisfait ou non une valeur standard (par exemple, 80 % ou plus de réponses correctes) prédéterminée qui est jugée suffisante. Si la précision est jugée suffisante (Oui à l’étape S011), le module de construction de modèle 303 fait passer le processus à l’étape S012. En revanche, s’il est déterminé que la précision n’est pas suffisante (Non à l’étape S011), le module de construction de modèle 303 renvoie le processus à l’étape S001.

Dans les processus de l’étape S009 et de l’étape S010, qui sont exécutés après renvoi depuis l’étape S011, le module de construction de modèle 303 exécute ces processus en utilisant de nouvelles données d’entraînement et de nouvelles données de validation. Plus précisément, le module de construction de modèle 303 envoie des instructions pour l’exécution de nouvelles mesures au capteur 120 par l’intermédiaire du module de commande 310 à l’étape S001, et exécute le même processus qu’aux étapes S002 à S010 décrites ci-dessus en utilisant les nouvelles informations biologiques acquises.

À l’étape S012, le module de construction de modèle 303 stocke (sauvegarde) dans le module de stockage 320 des catégories prédéterminées définies sur la base de l’ID d’utilisateur et de caractéristiques physiques en les mettant en correspondance avec le modèle d’apprentissage 322 construit.

Le processus de ce flux s’achève lorsque le module de construction de modèle 303 sauvegarde le modèle d’apprentissage 322.

Dans le cas de la construction d’un modèle d’apprentissage 322 pour un individu autre que l’utilisateur, le module de construction de modèle 303 construit un modèle d’apprentissage 322 correspondant à chaque catégorie en effectuant des mesures sur une personne appartenant à chaque catégorie définie sur la base de caractéristiques physiques. Les catégories sont classées en fonction du type de caractéristiques physiques et de la combinaison de leurs plages. Deux exemples de catégories pourraient être : « sexe = homme, âge = 30 ans, taille = 170 cm-180 cm, poids = 60 kg-70 kg, maladie chronique = aucune » et « sexe = femme, âge = 40 ans, taille = 150 cm-160 cm, poids = 50 kg-60 kg, maladie chronique = aucune ».

Le module de construction de modèle 303 effectue des mesures sur des personnes de la population statistique appartenant aux catégories définies, et construit un modèle d’apprentissage 322 correspondant à chaque catégorie en utilisant les informations d’image générées sur la base des informations biologiques ainsi acquises.

Par conséquent, dans le processus de détermination d’état biologique décrit ci-dessous, l’utilisateur peut réaliser la détermination d’état biologique en appliquant le modèle d’apprentissage 322 construit par des mesures sur sa propre personne ou sur des individus appartenant à la même catégorie que l’utilisateur, sur la base de l’authentification de l’utilisateur.

Le processus de détermination d’état biologique effectué par le dispositif de traitement de l’information 100 va maintenant être décrit.

La représente un diagramme de flux d’un exemple de processus de détermination d’état biologique. Ce traitement est lancé, par exemple, au démarrage du moteur du véhicule (lorsque la clé de contact est positionnée sur ON) à la réception d’une instruction de lancement du traitement par l’utilisateur. Le démarrage du moteur peut être détecté par le module d’authentification d’utilisateur 304 qui acquiert des informations indiquant que le moteur a démarré à partir de l’unité de commande de moteur via le module de communication 330, par exemple. L’instruction de lancement par l’utilisateur peut être déclenchée, par exemple, par pression d’un bouton de commande de démarrage de traitement fourni par le dispositif de traitement de l’information 100, qui peut être détectée par le module d’authentification d’utilisateur 304.

Lorsque le traitement est lancé, le module d’authentification d’utilisateur 304 effectue (étape S021) une authentification personnelle de l’utilisateur. Plus précisément, le module d’authentification d’utilisateur 304 récupère le modèle d’apprentissage 322 auquel est associé l’ID d’utilisateur entré via le dispositif d’entrée prédéterminé à partir du module de stockage 320. Dans le cas où un tel modèle d’apprentissage 322 n’existerait pas, le module d’authentification d’utilisateur 304 récupère un modèle d’apprentissage 322 associé à une catégorie à laquelle l’utilisateur appartient à partir du module de stockage 320.

Le dispositif d’entrée prédéterminé peut être un module principal 200, comme un dispositif de navigation, par exemple. Dans ce cas, le module d’authentification d’utilisateur 304 peut obtenir les informations d’entrée de l’utilisateur à partir de l’unité principale 200 par l’intermédiaire du module de communication 330. Le dispositif d’entrée peut également être fourni par le dispositif de traitement de l’information 100.

La méthode d’authentification ne se limite pas à l’entrée d’informations relatives à l’utilisateur. Par exemple, lorsque le véhicule est équipé d’une caméra embarquée qui capture des images à l’intérieur du véhicule, le module d’authentification d’utilisateur 304 peut acquérir les informations d’images capturées par la caméra embarquée et les utiliser pour effectuer une authentification de visage afin d’identifier les caractéristiques physiques de l’utilisateur. Lorsque cette méthode est employée, le dispositif de traitement de l’information 100 doit être connecté à la caméra embarquée par l’intermédiaire du dispositif de communication 130 pour permettre la communication d’informations.

La méthode d’authentification peut également être une authentification par empreinte digitale. Lorsque cette méthode est employée, il suffit que le dispositif de traitement de l’information 100 soit équipé d’un capteur d’authentification d’empreintes digitales. En variante, lorsqu’un capteur d’authentification d’empreintes digitales est installé à un emplacement prédéterminé du véhicule (par exemple, un volant, etc.), le dispositif de traitement de l’information 100 peut identifier les caractéristiques physiques de l’utilisateur en acquérant des informations d’empreintes digitales à partir de l’unité de commande de moteur connectée via le dispositif de communication 130, par exemple, et en faisant correspondre les informations d’empreintes digitales aux informations d’empreintes digitales déjà sauvegardées dans le module de stockage 320.

Ensuite, le module d’authentification d’utilisateur 304 détermine (étape S022) s’il existe ou non un modèle d’apprentissage 322 correspondant. Plus précisément, le module d’authentification d’utilisateur 304 effectue une telle détermination en fonction du fait que le modèle d’apprentissage 322 auquel est associé l’ID d’utilisateur ou la catégorie à laquelle appartient l’utilisateur est stocké ou non dans le module de stockage 320. Ensuite, s’il est déterminé qu’il existe un modèle d’apprentissage 322 correspondant (Oui à l’étape S022), le module d’authentification d’utilisateur 304 fait passer le processus à l’étape S023. D’autre part, s’il est déterminé qu’il n’y a pas de modèle d’apprentissage 322 correspondant (Non à l’étape S022), le module d’authentification d’utilisateur 304 fait passer le processus à l’étape S030.

A l’étape S030, le module d’entrée de détermination d’état biologique 305 notifie à l’utilisateur l’absence de modèle d’apprentissage 322 correspondant. Par exemple, le module de détermination d’état biologique 305 génère un message prédéterminé notifiant l’absence de modèle d’apprentissage 322 correspondant, et affiche ce message sur un dispositif d’affichage d’équipement embarqué, à savoir l’unité principale 200, via le module de communication 330. Après affichage d’un tel message sur l’unité principale 200, le module de détermination d’état biologique 305 met fin au processus de ce flux.

Dans le processus de l’étape S023, à laquelle le flux passe lorsqu’il est déterminé qu’il existe un modèle d’apprentissage 322 correspondant, le module d’authentification d’utilisateur 304 obtient le modèle d’apprentissage 322 correspondant à partir du module de stockage 320.

Ensuite, le module de détermination d’état biologique 305 envoie (étape S024) une instruction de mesure de données vitales, telle que la fréquence cardiaque, au capteur 120 via le module de commande 310. Puis, le module de détermination d’état biologique 305 acquiert (étape S025) les données d’IRR émises en sortie du capteur 120 et les introduit (étape S026) dans le modèle d’apprentissage 322 récupéré.

Ensuite, le module de détermination d’état biologique 305 obtient (étape S027) la valeur de sortie résultant du calcul du modèle d’apprentissage 322, c’est-à-dire le résultat de la détermination concernant la présence ou l’absence de somnolence de l’utilisateur durant la période de mesure (somnolent/non somnolent).

En outre, le module de conversion de format de données 306 convertit (étape S028) les valeurs de sortie en un format de données prédéterminé, et les délivre en sortie (étape S029) vers l’unité principale 200 via le module de communication 330. Le processus de ce flux s’achève lorsque le module de conversion de format de données 306 envoie les valeurs de sortie, c’est-à-dire les résultats de détermination d’état biologique, à l’unité principale 200.

Le dispositif de traitement de l’information 100 du présent mode de réalisation a été décrit ci-dessus.

Ce type de dispositif de traitement de l’information ne nécessite pas de correction pour tenir compte des différences de caractéristiques des capteurs, etc., et permet de déterminer un état biologique avec plus de précision. En particulier, le dispositif de traitement de l’information utilise les données d’IRR, qui sont des données biologiques, pour générer des informations d’image de courbe de Lorenz, qui sont une représentation visuelle des fluctuations de l’intervalle de battements cardiaques, et utilise ces informations d’image pour déterminer un état biologique. Par exemple, lorsque les données d’IRR sont introduites dans un modèle d’apprentissage pour déterminer un état biologique, il est nécessaire de définir à l’avance le processus et les conditions de correction, car les différences de caractéristiques des capteurs se reflètent dans les données numériques. Cependant, selon le dispositif de traitement de l’information, l’état biologique peut être déterminé avec précision sans nécessiter de correction et de réglages pour la correction, car l’état biologique est déterminé à l’aide d’informations d’image qui permettent une distinction visuelle de la tendance indiquant l’état biologique.

Mode de réalisation 2

La représente un schéma fonctionnel d’un exemple de configuration fonctionnelle d’un dispositif de traitement de l’information 100 et d’un dispositif serveur 400 selon le présent mode de réalisation. Comme illustré, le dispositif de traitement de l’information 100 est interconnecté au dispositif serveur 400 par l’intermédiaire d’un réseau N prédéterminé, tel qu’un LAN (Local Area Network, réseau local), par exemple.

Puisque le module de génération d’informations d’image 411, le module d’étiquetage 412, le module de construction de modèle 413, le module de stockage 420, le modèle de base 421, et le module de communication 430 contenus dans le dispositif serveur 400 sont chacun des modules fonctionnels et des informations qui servent au même traitement que le module de génération d’informations d’image 301, le module d’étiquetage 302, le module de construction de modèle 303, le module de stockage 320, le modèle de base 321, et le module de communication 330 dans le dispositif de traitement de l’information 100 du premier mode de réalisation, leur description détaillée est omise dans ce mode de réalisation.

Dans le premier mode de réalisation décrit ci-dessus, le modèle d’apprentissage 322 a été construit par le dispositif de traitement de l’information 100, mais dans le présent mode de réalisation, les informations biologiques acquises à partir du capteur 120 sont transmises au dispositif serveur 400, et le modèle d’apprentissage 322 est construit par le module de génération d’informations d’image 411, le module d’étiquetage 412, et le module de construction de modèle 413 compris dans le module de calcul 410 du dispositif serveur.

Plus précisément, lorsque le module de calcul 300 du dispositif de traitement de l’information 100 acquiert des informations biologiques (des données d’IRR) à partir du capteur 120 lors du processus de construction du modèle d’apprentissage, il transmet les informations au dispositif serveur 400 par l’intermédiaire du module de communication 330. Lorsque le module de génération d’informations d’image 411, le module d’étiquetage 412 et le module de construction de modèle 413 du dispositif serveur 400 acquièrent les données d’IRR par l’intermédiaire du module de communication 430, le modèle d’apprentissage 322 est construit suivant le même processus que celui des étapes S003 à S011 décrites plus haut.

Le modèle d’apprentissage 322 construit par le module de construction de modèle 413 du dispositif serveur 400 est transmis au dispositif de traitement de l’information 100 par l’intermédiaire du module de communication 430 du dispositif serveur 400 et stocké dans le module de stockage 320. Le dispositif de traitement de l’information 100 exécute également le même processus de détermination d’état biologique que celui décrit ci-dessus en utilisant le modèle d’apprentissage 322 stocké dans le module de stockage 320.

Selon le dispositif de traitement de l’information 100 et le dispositif serveur 400 du second mode de réalisation, étant donné que la construction du modèle d’apprentissage 322 peut être effectuée par le dispositif serveur avec des performances de traitement élevées, les spécifications du dispositif de traitement de l’information 100 peuvent être supprimées, et par conséquent, le coût de fabrication peut être réduit.

La présente invention n’est pas limitée au dispositif de traitement de l’information 100 présenté dans les premier et second modes de réalisation, et diverses variations sont possibles. Par exemple, le dispositif de calcul 110 (module de calcul 300 et module de commande 310), le dispositif de communication 130 et le dispositif de stockage 140 dans le premier mode de réalisation peuvent être intégrés dans un dispositif embarqué ou une unité de commande de moteur, tel qu’un dispositif de navigation, qui constitue l’unité principale 200.

En outre, bien que le mode de réalisation susmentionné utilise des résultats de détermination tels que « somnolent/non somnolent » comme valeurs de sortie, la présente invention n’y est pas limitée, et le dispositif de traitement de l’information 100 peut émettre des résultats de détermination comprenant un niveau d’intensité de l’état biologique, par exemple, « un peu endormi », « très endormi », « somnolence (faible) », « somnolence (moyenne) » et « somnolence (élevée) ».

Une telle détermination peut être réalisée, par exemple, en subdivisant les étiquettes correctes en plusieurs niveaux pour un état biologique et en les mettant en correspondance avec les informations d’image, puis en construisant un modèle d’apprentissage 322 par apprentissage automatique en utilisant ces étiquettes.

Selon cette variante de dispositif de traitement de l’information 100, l’état biologique de l’utilisateur peut être déterminé à un niveau plus détaillé.

Dans le mode de réalisation susmentionné, des informations d’image de courbe de Lorenz ont été générées, mais l’invention n’est pas limitée à cela. Des informations d’image montrant la forme des ondes d’un ECG de l’utilisateur peuvent par exemple être générées et utilisées pour déterminer l’état biologique.

Cette variante du dispositif de traitement de l’information permet également de déterminer un état biologique avec précision, sans nécessiter de correction et de réglages pour la correction, car l’état biologique est déterminé à l’aide d’informations d’image qui permettent une distinction visuelle de la tendance indiquant l’état biologique.

La présente invention n’est pas limitée aux modes de réalisation et aux variations décrits ci-dessus, mais comprend également divers autres modes de réalisation et variations. Par exemple, les modes de réalisation ci-dessus sont décrits en détail dans le but d’expliquer la présente invention d’une manière facile à comprendre, et ne sont pas nécessairement limités à ceux qui présentent toutes les configurations décrites. Il est également possible de remplacer certaines des configurations d’un mode de réalisation par les configurations d’autres modes de réalisation ou variations, et il est également possible d’ajouter les configurations d’autres modes de réalisation aux configurations d’un mode de réalisation. Il est également possible d’ajouter, de supprimer ou de substituer d’autres configurations à certaines des configurations de chaque mode de réalisation.

Description des numéros de référence

100 : Dispositif de traitement de l’information,

110 : Dispositif de calcul,

111 : Unité centrale de traitement,

112 : ROM,

113 : RAM,

114 : I/F (interface),

115 : Bus,

120 : Capteur,

130 : Dispositif de communication,

140 : Dispositif de stockage,

200 : Unité principale,

300 : Module de calcul,

301 : Module de génération d’informations d’image,

302 : Module d’étiquetage,

303 : Module de construction du modèle,

304 : Module d’authentification d’utilisateur,

305 : Module de détermination d’état biologique,

306 : Module de conversion de format de données,

310 : Module de commande,

320 : Module de stockage,

321 : Modèle de base,

322 : Modèle d’apprentissage,

330 : Module de communication

Claims (8)

1. Dispositif de traitement de l’information caractérisé en ce qu’il comprend un module de génération d’informations d’image (301) qui génère des informations d’image sur la base d’informations biologiques ;
   un module de construction de modèle (303) qui construit un modèle d’apprentissage par apprentissage automatique en utilisant lesdites informations d’image ;
   et un module de détermination d’état biologique (305) qui entre lesdites informations d’image dans ledit modèle d’apprentissage et obtient une valeur de sortie qui est le résultat de la détermination dudit état biologique.
2. Dispositif de traitement de l’information selon la revendication 1, dans lequel le module de génération d’informations d’image (301) utilise lesdites informations biologiques pour générer des informations d’image montrant un graphique d’une courbe de Lorenz représentant les fluctuations de l’intervalle de battements cardiaques.
3. Dispositif de traitement de l’information selon la revendication 1 ou 2, caractérisé en ce qu’il comprend en outre un module de communication (330) qui transmet lesdits résultats de la détermination de l’état biologique à un dispositif prédéterminé.
4. Dispositif de traitement de l’information selon l’une quelconque des revendications 1 à 3, dans lequel un état biologique est la présence ou l’absence de somnolence, de fatigue ou un manque de concentration.
5. Dispositif de traitement de l’information selon l’une quelconque des revendications 1 à 4, caractérisé en ce qu’il comprend
   un module de stockage (320) destiné au stockage d’au moins un desdits modèles d’apprentissage construits à l’aide desdites informations biologiques obtenues par mesure sur un utilisateur et à l’aide desdites informations biologiques obtenues par mesure sur des individus appartenant à une catégorie prédéterminée définie selon une combinaison de types et de plages de caractéristiques physiques.
6. Dispositif de traitement de l’information selon la revendication 5, dans lequel ledit modèle d’apprentissage est stocké dans le module de stockage avec les informations d’identification de l’utilisateur ou lesdites informations d’identification de l’utilisateur et lesdites catégories prédéterminées ; et caractérisé en ce qu’il comprend en outre un module d’authentification de l’utilisateur qui extrait dudit module de stockage ledit modèle d’apprentissage correspondant aux informations d’identification dudit utilisateur ou à ladite catégorie à laquelle ledit utilisateur appartient.
7. Procédé de détermination d’un état biologique exécuté par un dispositif de traitement de l’information, caractérisé en ce que ledit dispositif de traitement de l’information réalise
   une étape de génération d’informations d’image sur la base d’informations biologiques ;
   une étape de construction d’un modèle d’apprentissage par apprentissage automatique en utilisant lesdites informations d’image ;
   une étape d’entrée desdites informations d’image dans ledit modèle d’apprentissage, et d’obtention d’une valeur de sortie qui est le résultat de la détermination dudit état biologique.
8. Procédé de détermination d’un état biologique selon la revendication 7, dans lequel dans l’étape de génération desdites informations d’image, lesdites informations biologiques sont utilisées pour générer des informations d’image montrant un graphique d’une courbe de Lorenz représentant la fluctuation de l’intervalle de battements cardiaques.