FR3106008A1 - Procédé de commande d’équipements d’un habitacle d’un véhicule et dispositifs associés - Google Patents

Procédé de commande d’équipements d’un habitacle d’un véhicule et dispositifs associés Download PDF

Info

Publication number
FR3106008A1
FR3106008A1 FR2000029A FR2000029A FR3106008A1 FR 3106008 A1 FR3106008 A1 FR 3106008A1 FR 2000029 A FR2000029 A FR 2000029A FR 2000029 A FR2000029 A FR 2000029A FR 3106008 A1 FR3106008 A1 FR 3106008A1
Authority
FR
France
Prior art keywords
sound signal
class
category
list
equipment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
FR2000029A
Other languages
English (en)
Other versions
FR3106008B1 (fr
Inventor
Souheil Hadj Said
Romain RICHARD
Nicolas GORRITY
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Faurecia Services Group SAS
Original Assignee
Faurecia Services Group SAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Faurecia Services Group SAS filed Critical Faurecia Services Group SAS
Priority to FR2000029A priority Critical patent/FR3106008B1/fr
Priority to US17/140,097 priority patent/US20210206364A1/en
Publication of FR3106008A1 publication Critical patent/FR3106008A1/fr
Application granted granted Critical
Publication of FR3106008B1 publication Critical patent/FR3106008B1/fr
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W10/00Conjoint control of vehicle sub-units of different type or different function
    • B60W10/30Conjoint control of vehicle sub-units of different type or different function including control of auxiliary equipment, e.g. air-conditioning compressors or oil pumps
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60HARRANGEMENTS OF HEATING, COOLING, VENTILATING OR OTHER AIR-TREATING DEVICES SPECIALLY ADAPTED FOR PASSENGER OR GOODS SPACES OF VEHICLES
    • B60H1/00Heating, cooling or ventilating [HVAC] devices
    • B60H1/00642Control systems or circuits; Control members or indication devices for heating, cooling or ventilating devices
    • B60H1/00735Control systems or circuits characterised by their input, i.e. by the detection, measurement or calculation of particular conditions, e.g. signal treatment, dynamic models
    • B60H1/00757Control systems or circuits characterised by their input, i.e. by the detection, measurement or calculation of particular conditions, e.g. signal treatment, dynamic models by the input of sound, e.g. by using a voice synthesizer
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60NSEATS SPECIALLY ADAPTED FOR VEHICLES; VEHICLE PASSENGER ACCOMMODATION NOT OTHERWISE PROVIDED FOR
    • B60N2/00Seats specially adapted for vehicles; Arrangement or mounting of seats in vehicles
    • B60N2/02Seats specially adapted for vehicles; Arrangement or mounting of seats in vehicles the seat or part thereof being movable, e.g. adjustable
    • B60N2/0224Non-manual adjustments, e.g. with electrical operation
    • B60N2/0244Non-manual adjustments, e.g. with electrical operation with logic circuits
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60QARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q3/00Arrangement of lighting devices for vehicle interiors; Lighting devices specially adapted for vehicle interiors
    • B60Q3/80Circuits; Control arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016Input arrangements with force or tactile feedback as computer generated output to the user
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16Sound input; Sound output
    • G06F3/167Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/044Recurrent networks, e.g. Hopfield networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60NSEATS SPECIALLY ADAPTED FOR VEHICLES; VEHICLE PASSENGER ACCOMMODATION NOT OTHERWISE PROVIDED FOR
    • B60N2220/00Computerised treatment of data for controlling of seats
    • B60N2220/20Computerised treatment of data for controlling of seats using a deterministic algorithm
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60NSEATS SPECIALLY ADAPTED FOR VEHICLES; VEHICLE PASSENGER ACCOMMODATION NOT OTHERWISE PROVIDED FOR
    • B60N2220/00Computerised treatment of data for controlling of seats
    • B60N2220/30Computerised treatment of data for controlling of seats using a neural network
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/54Audio sensitive means, e.g. ultrasound
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2710/00Output or target parameters relating to a particular sub-units
    • B60W2710/30Auxiliary equipments
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00Machine learning
    • G06N20/10Machine learning using kernel methods, e.g. support vector machines [SVM]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Transportation (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Thermal Sciences (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
  • Air-Conditioning For Vehicles (AREA)

Abstract

Procédé de commande d’équipements d’un habitacle d’un véhicule et dispositifs associés La présente invention concerne un procédé de commande d’équipements (15) d’un habitacle d’un véhicule (10) à partir d’un signal sonore, les équipements étant de préférence choisis dans la liste constituée d’un siège, un éclairage, un tableau de bord et un système de ventilation. Le procédé comprend la détermination d’une catégorie à laquelle appartient le signal sonore fourni parmi une liste de catégories prédéfinies, les catégories étant représentative de la nature du signal sonore, l’attribution d’une classe au signal sonore parmi une liste de classes prédéfinies associées à la catégorie déterminée, les classes étant une description du son produit par le signal sonore lors d’une lecture du signal sonore, et la génération, en fonction de la classe attribuée au signal sonore, d’au moins un signal de commande à destination d’au moins un équipement (15) de l’habitacle. Figure pour l'abrégé : Figure 1

Description

Procédé de commande d’équipements d’un habitacle d’un véhicule et dispositifs associés
La présente invention concerne un procédé de commande d’équipements d’un habitacle d’un véhicule de transport. La présente invention se rapporte également à un dispositif associé. La présente invention se rapporte également à un véhicule de transport comprenant un tel dispositif. La présente invention se rapporte également à un produit programme d’ordinateur comprenant des instructions logicielles, qui lorsqu’elles sont exécutées par un ordinateur, mettent en œuvre un tel procédé. La présente invention se rapporte également à un support lisible d’informations associé.
L’utilisation de lecteurs de médias tels que des écrans et des haut-parleurs dans des habitacles de véhicule, tel qu’un véhicule automobile ou un aéronef, permet le divertissement d’un passager du véhicule. Il est alors possible pour le passager de visionner une vidéo, écouter de la musique, ou encore jouer à un jeu vidéo pendant un voyage à bord du véhicule de transport.
Toutefois, de tels lecteurs médias ne sont pas toujours suffisants pour divertir le passager, celui-ci pouvant par exemple être perturbé par des bruits extérieurs du véhicule, des bruits provenant d’un moteur du véhicule ou encore par d’autres passagers du véhicule.
Il existe des dispositifs dédiés permettant d’augmenter l’immersion de l’utilisateur via des actions associées à une musique, tels que des boules à facettes, ou encore des tablettes vibrantes. Cependant de tels dispositifs sont encombrants.
De plus, de tels dispositifs ne permettent pas une telle augmentation de l’immersion de l’utilisateur quel que soit le signal sonore utilisé. Ces dispositifs sont généralement limités à une interaction avec un nombre très limité de signaux sonores, et impliquent, de surcroit, de préconfigurer une synchronisation des actions avec le signal sonore.
Il existe un besoin pour un dispositif moins encombrant et permettant d’augmenter l’immersion du passager.
A cet effet, il est proposé un procédé de commande d’équipements d’un habitacle d’un véhicule à partir d’un signal sonore, les équipements étant de préférence choisis dans la liste constituée d’un siège, un éclairage, un tableau de bord et un système de ventilation. Le procédé comprend la détermination d’une catégorie à laquelle appartient le signal sonore fourni parmi une liste de catégories prédéfinies, les catégories étant représentative de la nature du signal sonore, l’attribution d’une classe au signal sonore parmi une liste de classes prédéfinies associées à la catégorie déterminée, les classes étant une description du son produit par le signal sonore lors d’une lecture du signal sonore, et la génération, en fonction de la classe attribuée au signal sonore, d’au moins un signal de commande à destination d’au moins un équipement de l’habitacle.
Un tel procédé permet d’associer au signal sonore des commandes d’équipements de l’habitacle, ce qui permet d’augmenter l’immersion du passager et de le divertir davantage.
Suivant des modes de réalisation particuliers, le procédé de commande comprend une ou plusieurs des caractéristiques suivantes, prise(s) isolément ou suivant toutes les combinaisons techniquement possibles:
- la détermination de la catégorie du signal sonore comprend la détermination de propriétés du signal sonore, et pour chaque catégorie de la liste de catégories prédéfinies, le calcul d’un score représentatif de la probabilité que le signal sonore appartienne à ladite catégorie à partir des propriétés du signal sonore déterminées, pour obtenir un score calculé pour chaque catégorie, le calcul de la probabilité étant mis en œuvre par une premier unité de calcul implémentant une machine à vecteurs de support, la catégorie déterminée étant la catégorie dont la probabilité calculée est la plus grande.
- l’attribution de la classe au signal sonore comprend la conversion du signal sonore en un spectrogramme du signal sonore, pour obtenir un spectrogramme, et pour chaque classe de la liste de classes prédéfinies associées à la catégorie du signal sonore, le calcul de la probabilité que le signal sonore appartienne à ladite classe à partir du spectrogramme obtenu, pour obtenir une probabilité calculée pour chaque classe, le calcul des probabilités de classe étant mis en œuvre par une deuxième unité de calcul implémentant plusieurs réseaux de neurones distincts : un premier réseau de neurones, tel qu’un réseau neuronal convolutif, et pour une pluralité de catégories liste de catégories prédéfinie, un deuxième réseau de neurones respectif, tel qu’un réseau de neurones récurrents, la classe attribuée étant la classe dont la probabilité calculée est la plus grande.
- le premier réseau de neurones est propre à transformer le spectrogramme du signal sonore obtenu en un vecteur de propriétés extraites du signal sonore et chaque deuxième réseau de neurones est propre à convertir le vecteur de propriétés extraites obtenu par le premier réseau de neurones en probabilité, pour chaque classe de la liste de classes prédéfinies associées à la catégorie du signal sonore, que le signal sonore appartienne à ladite classe.
- les étapes de détermination, d’attribution et de génération sont effectuées de manière synchronisée avec la lecture du signal sonore.
La présente description concerne aussi un dispositif de commande d’équipements d’un habitacle d’un véhicule, à partir d’un signal sonore, les équipements étant de préférence choisis dans la liste constituée d’un siège, un éclairage, un tableau de bord et un système de ventilation. Le dispositif de commande est adapté pour déterminer une catégorie à laquelle appartient le signal sonore fourni parmi une liste de catégories prédéfinies, les catégories étant représentative de la nature du signal sonore, attribuer une classe au signal sonore parmi une liste de classes prédéfinies associées à la catégorie déterminée, les classes étant une description du son produit par le signal sonore lors d’une lecture du signal sonore, et générer, en fonction de la classe attribuée au signal sonore, d’au moins un signal de commande à destination d’au moins un équipement de l’habitacle.
La présente description concerne également un véhicule de transport comprenant un dispositif de commande tel que défini ci-dessus.
La présente description concerne également un produit programme d’ordinateur comprenant des instructions logicielles, qui lorsqu’elles sont exécutées par un ordinateur, mettent en œuvre un procédé de commande tel que défini ci-dessus.
La présente description concerne également un support lisible d’informations sur lequel est mémorisé un programme d’ordinateur comprenant des instructions de programme, le programme d’ordinateur étant chargeable sur une unité de traitement de données et adapté pour entraîner la mise en œuvre d’un procédé de commande tel que défini ci-dessus lorsque le programme d’ordinateur est mis en œuvre sur l’unité de traitement des données
D'autres caractéristiques et avantages de l'invention apparaîtront à la lecture de la description qui suit de modes de réalisation de l'invention, donnée à titre d'exemple uniquement et en référence aux dessins qui sont :
- figure 1, une vue schématique d’un exemple de véhicule, et
- figure 2, un organigramme d’un exemple de mise en œuvre d’un procédé d’évaluation.
Un véhicule de transport 10, dit simplement véhicule dans ce qui suit, est représenté sur la figure 1.
Le véhicule 10 est par exemple un véhicule automobile, ou alternativement, un aéronef, ou encore n’importe quel autre type de véhicule transportant des passagers, tels qu’une voiture, un bus, un train, un avion, ou un camion.
Le véhicule 10 comprend un habitacle comportant une pluralité d’équipements 15 et un dispositif de commande 20.
Il est entendu par équipement de l’habitacle n’importe quel équipement de l’habitacle pouvant être commandé électroniquement.
Chaque équipement 15 est un actionneur de l’habitacle.
Par exemple, les équipements 15 sont choisis dans la liste constituée d’un siège, un éclairage, un tableau de bord et un système de ventilation.
Le dispositif de commande 20 est configuré pour commander les équipements 15 à partir d’un signal sonore fourni.
Par exemple, le signal sonore est le contenu audio d’une vidéo, d’une musique, ou encore d’un jeu vidéo.
Selon l’exemple décrit, le signal sonore est inclus dans une base de données mémorisée dans une mémoire du dispositif de commande 20. Une telle base de données est souvent désignée sous le terme de playlist. La mémoire mémorisant la base de donnée est intégrée dans le véhicule 10 ou est amovible.
Alternativement, le signal sonore est mémorisé dans une mémoire d’un appareil électronique, tel qu’un ordiphone, et le dispositif de commande 20 est propre à obtenir le signal sonore via une connexion sans fil, telle qu’une connexion Bluetooth.
Alternativement, le signal sonore est obtenu à l’aide d’un capteur, notamment d’un microphone.
Le dispositif de commande 20 comprend une unité de détermination 24, une première unité de calcul 26, une unité de conversion 28, une deuxième unité de calcul 30 et une unité de génération 32.
En tant qu’exemples spécifiques, le dispositif de commande comprend un processeur monocœur ou multicœurs (tel qu’une unité de traitement centrale (CPU), une unité de traitement graphique (GPU), un microcontrôleur et un processeur de signal numérique (DSP)), un circuit logique programmable (comme un circuit intégré spécifique à une application (ASIC), un réseau de portes programmablesin situ(FPGA), un dispositif logique programmable (PLD) et des réseaux logiques programmables (PLA)), une machine à états, une porte logique et des composants matériels discrets.
Par exemple, le dispositif de commande 20 est réalisé sous forme d’un produit programme d’ordinateur et comprend une mémoire et un processeur associé à la mémoire, non représentés. L’unité de détermination 24, la première unité de calcul 26, l’unité de conversion 28, la deuxième unité de calcul 30 et l’unité de génération 32 sont alors réalisées chacun sous forme d’un logiciel, ou d’une brique logicielle, exécutables par le processeur. La mémoire est alors apte à stocker un logiciel de détermination de propriétés du signal sonore, un premier logiciel de calcul, pour chaque catégorie, d’un score représentatif de la probabilité de catégorie du signal sonore, un logiciel de conversion du signal sonore en un spectrogramme du signal sonore, un deuxième logiciel de calcul de probabilités de classe du signal sonore et un logiciel de génération d’un signal de commande.
Lorsque le dispositif de commande 20 est réalisé sous forme d’un produit programme d’ordinateur, il est en outre apte à être enregistré sur un support, non représenté, lisible par ordinateur. Le support lisible par ordinateur est, par exemple, un médium apte à mémoriser des instructions électroniques et à être couplé à un bus d’un système informatique.
A titre d’exemple, le support lisible d’informations est une disquette ou disque souple (de la dénomination anglaise de «floppy disk»), un disque optique, un CD-ROM, un disque magnéto-optique, une mémoire ROM, une mémoire RAM, une mémoire EPROM, une mémoire EEPROM, une carte magnétique ou une carte optique.
L’unité de détermination 24 est configurée pour déterminer des propriétés du signal sonore.
Plus précisément, l’unité détermination 24 est configurée pour déterminer les propriétés d’une pluralité de segments du signal sonore, l’ensemble des segments formant de préférence le signal sonore.
De préférence, chaque segment du signal sonore a une même durée prédéfinie, par exemple une durée d’une seconde.
Les propriétés du signal sonore sont des valeurs caractéristiques du signal sonore et calculables à partir du signal sonore.
Les propriétés du signal sonore sont, par exemple, le taux de changement de signe du signal sonore, l’énergie à court terme, l’entropie d’énergie à court terme, le centroïde et l’étalement spectral, l’entropie spectrale, le flux spectral, l’atténuation spectrale, les coefficients cepstraux fréquence Mel (en anglaisMel-Frequency Cepstral Coefficients, désigné par le sigle MFCC), et des propriétés de la réponse impulsionnelle du signal sonore.
Le taux de changement de signe est le taux avec lequel le signal sonore passe d’une valeur négative à une valeur positive et inversement.
L’énergie à court terme est l’énergie calculée sur une courte période Ts, par exemple égale à 50 millisecondes.
L’entropie d’énergie à court terme est l’entropie calculée sur la courte période Ts.
Le centroïde spectral est le centre de gravité d’un spectre. Il est calculé à partir de la moyenne pondérée des fréquences dans le signal sonore.
L’étalement spectral est l’écart type du spectre en considérant le centroïde spectral comme moyenne.
Le flux spectral est la différence quadratique entre les intensités normalisées des spectres de deux trames successives de période Ts.
L’atténuation spectrale est la fréquence en dessous de laquelle 90% de la distribution du spectre est concentrée.
L’unité de détermination 24 est, en outre, apte à fournir les propriétés de chaque segment du signal sonore à la première unité de calcul 26.
La première unité de calcul 26 est configurée pour calculer, pour chaque catégorie d’une liste de catégories prédéfinie, la probabilité que le signal sonore appartienne à la catégorie à partir des propriétés du signal sonore, pour obtenir une probabilité calculée pour chaque catégorie.
Plus précisément, la première unité de calcul 26 est configurée pour calculer les scores pour chaque catégorie de chaque segment du signal sonore, à partir des propriétés du segment.
Selon l’exemple décrit, la liste de catégories prédéfinies comprend au moins l’une des catégories suivantes: paroles, musique, et événement sonore.
Un signal sonore appartenant à la catégorie «paroles» est un signal sonore comprenant du dialogue, par exemple du dialogue entre personnages.
Un signal sonore appartenant à la catégorie «musique» est un signal sonore comprenant majoritairement du contenu musical.
Un signal sonore appartenant à la catégorie «événement sonore» est un signal sonore comprenant un bruitage ou un son spécifique, par exemple émis par un objet. Typiquement, un ensemble d’événements sonores est fourni à la première unité de calcul26 pour définir la catégorie «événement sonore».
De manière plus générale, chaque catégorie prédéfinie est représentative de la nature du signal sonore.
Selon l’exemple décrit, la première unité de calcul 26 est configurée pour implémenter une machine à vecteurs de support (en anglaisSupport Vector Machine, désigné par le sigle SVM).
Une machine à vecteurs de support est un modèle d’apprentissage supervisé destiné à résoudre des problèmes de discrimination et de régression. A partir d’un ensemble d’échantillons d’apprentissage, chacun identifié comme appartenant à une catégorie. La machine à vecteurs de support est un modèle permettant d’attribuer de nouveaux échantillons à une des catégories, via une classification linéaire binaire non probabiliste.
Avant d’être implémentée par la première unité de calcul 26, la machine à vecteur de support est préalablement entraînée sur une base de données de signaux sonores annoté par un superviseur.
Une variable d’entrée de la machine à vecteurs de support est un vecteur contenant les propriétés du signal sonore. Des variables de sortie de la machine à vecteurs de support sont les scores pour chaque catégorie de la liste de catégories prédéfinies.
Par exemple, au terme du calcul des scores, tous les scores ont une valeur négative, sauf un. On considère alors que la catégorie du segment est la catégorie dont le score a une valeur positive.
L’unité de conversion 28 est configurée pour convertir le signal sonore en un spectrogramme du signal sonore.
Le spectrogramme est une représentation visuelle de l’évolution du spectre de puissance du signal sonore au cours du temps.
Plus précisément, l’unité de conversion 28 est configurée pour convertir chaque segment du signal sonore en spectrogramme.
Selon l’exemple décrit, chaque spectrogramme est un spectrogramme de Mel, c’est-à-dire un spectrogramme dont les bandes de fréquence sont espacés logarithmiquement selon l’échelle de Mel.
L’échelle de Mel est une échelle dont l’unité est le mel. Le mel est relié au Hertz par une relation établie par des expériences basées sur l’audition humaine.
L’unité de conversion 28 est, en outre, apte à fournir les spectrogrammes de chaque segment du signal sonore à la deuxième unité de calcul 30.
La deuxième unité de calcul 30 est configurée pour calculer, pour chaque classe d’une liste de classes prédéfinie associée à la catégorie du signal sonore, la probabilité que le signal sonore appartienne à la classe à partir du spectrogramme obtenu.
Plus précisément, la deuxième unité de calcul 30 est configurée pour calculer les probabilités pour chaque classe de séries d’un nombre prédéterminé de segments consécutifs d’une même catégorie, par exemple de séries de dix segments consécutifs d’une même catégorie. Par définition, une classe est associée à une catégorie au sens où la classe vient apporter une précision à l’information que le signal sonore appartient à la catégorie.
La classe est une description du son produit par le signal sonore lors d’une lecture du signal sonore.
Selon les cas, la description est objective ou subjective.
A titre d’exemples de description objective, la liste de classes prédéfinies associées à un événement sonore comprend des classes correspondant à différents types d’événements sonores reconnaissables, tels qu’une explosion, un coup de feu, un son de train, ou encore un son de bateau.
A titre d’exemples de description subjective, la liste de classes prédéfinie associée à une musique comprend au moins l’une des classes suivantes: musique joyeuse, musique amusante, musique triste, musique douce, musique excitante, musique de colère, et musique effrayante. Une telle description est une description de type émotionnelle. Une classification en de tels attributs est souvent désignée sous la dénomination anglaise de «mood classification».
En variante, il est possible de mélanger des classes de description subjective et objective.
La deuxième unité de calcul 30 est configurée pour implémenter un premier réseau de neurones R1 et, pour chaque catégorie de la liste de catégories prédéfinie, un deuxième réseau de neurones R2.
Une variable d’entrée du premier réseau de neurones R1 est le spectrogramme du signal sonore. Une variable de sortie du premier réseau de neurones R1 est un vecteur de propriétés extraites du signal sonore.
Plus précisément, la variable d’entrée du premier réseau de neurones R1 est le spectrogramme d’un segment du signal sonore, et la variable de sortie du premier réseau de neurones R1 est le vecteur de propriétés extraites du segment.
Selon l’exemple décrit, le premier réseau de neurones R1 est un réseau neuronal convolutif (plus souvent désigné sous l’abréviation CNN qui renvoie à la dénomination anglaise de«Convolutional Neural Network»,).
Un réseau neuronal convolutif est un réseau de neurones comprenant un ensemble de couches, au moins une des couches utilisant une opération de convolution.
Le premier réseau de neurones R1 est préalablement entraîné sur une base de données de spectrogrammes, par exemple une base de données de deux millions échantillons. Par exemple la base de données comprend des échantillons appartenant à une des trois catégories «paroles», «musique», et «événement sonore» et à une classe parmi plus de cinq cent classes différentes, chacune des classes étant associée à une des trois catégories.
Selon l’exemple décrit, chaque deuxième réseau de neurones R2 présente la même architecture, au sens où chaque deuxième réseau de neurones R2 met en œuvre les mêmes opérations.
Selon l’exemple décrit, chaque deuxième réseau de neurones R2 est un réseau de neurones récurrents (plus souvent désigné sous l’abréviation RNN qui renvoie à la dénomination anglaise de «Recurrent Neural Network»)
Un réseau de neurones récurrents est un réseau de neurones constitué d’unités interconnectés interagissant non-linéairement et pour lequel il existe au moins un cycle dans la structure. Les unités sont reliées par des arcs qui possèdent un poids. La sortie d'une unité est une combinaison non linéaire de ses entrées.
Plus particulièrement, chaque deuxième réseau de neurones R2 est un réseau LSTM (de l’anglais «Long Short-Term Memory», désignant littéralement en français longue mémoire à court-terme).
Un réseau LSTM est un réseau de neurones récurrent dont chaque unité comprend une mémoire interne pilotée par des portes de contrôle.
Alternativement, chaque deuxième réseau de neurones R2 est un autre type de réseau de neurones apte à calculer des probabilités pour chaque classe du signal sonore, tel qu’un réseau GRU (de l’anglais «Gated Recurrent Unit», désignant littéralement en français unité à portes récurrentes), ou un réseau DBoF (de l’anglais «Deep Bag of Frames», désignant littéralement en français paquet de trames profond).
Selon une variante plus élaborée, les deuxièmes réseaux de neurones R2 sont différents selon les classes considérées.
Néanmoins, les paramètres de chaque deuxième réseau de neurones R2, tels que le poids de chaque unité du deuxième réseau de neurones R2 et ses sorties, sont différents et sont préalablement définis suivant la catégorie associée au deuxième réseau de neurones R2 et aux classes de la liste de classes associée à la catégorie.
Une variable d’entrée des deuxièmes réseaux de neurones R2 est le vecteur de propriétés extraites obtenu, et des variables de sortie des deuxièmes réseaux de neurones R2 sont les probabilités pour chaque classe associée à la catégorie du signal sonore, pour chaque classe de la liste de classes prédéfinie associée à la catégorie du signal sonore.
Plus précisément, les deuxièmes réseaux de neurones R2 sont propre à convertir le vecteur de propriétés extraites obtenu par le premier réseau de neurones en probabilité, pour chaque classe de la liste de classes prédéfinies associées à la catégorie du signal sonore, que le signal sonore appartienne à ladite classe.
Chaque deuxième réseau de neurones R2 est préalablement entraîné sur une base de données de vecteurs de propriétés extraites, suivant sa catégorie associée.
On considère alors que la classe d’une série de segments du signal sonore est la classe dont la probabilité calculée est la plus grande.
L’unité de génération 32 est configurée pour générer, en fonction de la classe du signal sonore, plus précisément de la série de segments du signal sonore, au moins un signal de commande à destination d’un équipement de l’habitacle.
Par exemple, pour chaque catégorie de la liste de catégorie, au moins un signal de commande d’un équipement de l’habitacle est préalablement associés à chaque classe de la liste de classe prédéfinie associée à la catégorie, l’unité de génération 32 étant configurée pour générer l’au moins un signal de commandes associé à la classe attribuée au signal sonore.
En complément, l’unité de génération 32 est configurée pour générer des signaux de commande de manière synchronisée avec la lecture du signal sonore.
Par exemple, la lecture du signal sonore est effectuée par un système audio de l’habitacle ou par un appareil électronique externe fournissant le signal sonore.
Plus précisément, lors de la lecture du signal sonore, l’unité de génération 32 est configurée pour générer le ou les signaux de commande associés à la classe d’une série de segments du signal sonore, au moment où le premier segment de la série est lu.
Par exemple, l’au moins un signal de commande est choisi parmi une liste de commandes comprenant au moins l’une des commandes suivantes: la commande de l’éclairage, la commande d’un siège, la commande de l’affichage du tableau de bord, et la commande du système de ventilation.
Par exemple, la commande de l’éclairage est choisie parmi l’une des commandes suivantes: la commande de la luminosité ou de la couleur de l’éclairage, et la commande d’un clignotement de l’éclairage, l’éclairage pouvant être disposé notamment dans le plafond, sur la planche de bord, sur la porte, sur la console centrale, sur un siège sur un pilier, et/ou au sol.
La commande d’un siège de l’habitacle est choisie parmi l’une des commandes suivantes: la commande de l’inclinaison du siège, d’un déplacement latéral et/ou longitudinal du siège, d’une rotation du siège, du chauffage du siège, d’une vibration du siège, et la commande d’un système de massage intégré au siège lorsque le siège en est pourvu.
La commande du système de ventilation de l’habitacle est choisie parmi l’une des commandes suivantes: la commande de l’intensité de la ventilation, de la température de l’air ventilé, et de la ventilation d’un air parfumé sélectionné.
Le fonctionnement du dispositif de commande 20 est maintenant décrit en référence à la figure 2 qui illustre un exemple de mise en œuvre d’un procédé de commande d’un éclairage orange à partir d’un signal sonore correspondant à une musique joyeuse.
Le procédé de commande comprend une étape de détermination 110, une étape d’attribution 120 et une étape de génération 130.
L’étape de détermination 110 comprend une sous-étape de détermination 110A et une première sous-étape de calcul 110B.
Lors de la sous-étape de détermination 110A, l’unité de détermination 24 détermine les propriétés du signal sonore et les fournit au premier unité de calcul 26.
Plus précisément, l’unité détermination 24 détermine les propriétés de chaque segment du signal sonore et les fournit au premier unité de calcul 26.
Lors de la première sous-étape de calcul 110B, la première unité de calcul 26 calcule, pour chaque catégorie de la liste de catégories prédéfinie, à partir des propriétés du signal sonore déterminées, la probabilité que le signal sonore appartienne à la catégorie.
Plus précisément, la première unité de calcul 26 calcule la probabilité pour chaque catégorie de chaque segment du signal sonore, à partir des propriétés déterminées du segment.
Par exemple, lors de la première sous-étape de calcul 110B, pour chaque segment du signal sonore, la machine à vecteurs de support prend en entrée le vecteur contenant les propriétés du segment, et fournit en sortie le score, pour chaque catégorie de la liste de catégorie, la catégorie déterminée au terme de l’étape de détermination 110 étant la catégorie pour laquelle le score est positif.
Selon l’exemple décrit, à l’issue de l’étape de détermination 110, la catégorie dont le score calculé ayant une valeur positive est la catégorie «musique».
L’étape d’attribution 120 comprend une sous-étape de conversion 120A et une deuxième sous-étape de calcul 120B.
Lors de la sous-étape de conversion 120A, l’unité de conversion 28 convertit le signal sonore en un spectrogramme du signal sonore.
Plus précisément, l’unité de conversion 28 convertit chaque segment du signal sonore en spectrogramme.
Lors de la deuxième sous-étape de calcul 120B, la deuxième unité de calcul 30 calcule, pour chaque classe de la liste de classes prédéfinie associée à la catégorie du signal sonore, une probabilité que le signal sonore appartienne à la classe à partir du spectrogramme obtenu.
Plus précisément, la deuxième unité de calcul 30 calcule la probabilité pour chaque classe de chaque série de dix segments consécutifs d’une même catégorie.
Par exemple, lors de la deuxième sous-étape de calcul 120B, pour chaque segment du signal sonore, le premier réseau de neurones R1 prend en entrée le spectrogramme et donne en sortie un vecteur de propriétés extraites du segment, puis, pour chaque série de segments du signal sonore, le deuxième réseau de neurones R2 prend en entrée les vecteurs de propriétés extraites de chaque segment de la série et donne en sortie la probabilité pour chaque classe de la liste de classe associée à la catégorie des segments de la série, la classe attribuée au terme de l’étape d’attribution 120 étant la classe pour laquelle la probabilité est la plus grande.
Par exemple, pour les séries de segments consécutifs d’une même catégorie comprenant un nombre de segments strictement inférieur à dix, la classe de la série est considérée inconnue, et les segments ne sont pas pris en compte par la deuxième unité de calcul.
Selon l’exemple décrit, à l’issue de l’étape d’attribution 120, la classe dont la probabilité calculée est la plus grande pour le signal sonore, est la classe «musique joyeuse».
Au cours de l’étape de génération 130, l’unité de génération 32 génère, en fonction de la classe du signal sonore, l’au moins un signal de commande à destination d’un équipement 15 de l’habitacle.
Le signal de commande généré est choisi selon une base d’actions prédéfinies suivant la classe attribuée au signal sonore. Par exemple, la génération de signal de commande est basée sur une base de données contenant l’ensemble des actions prédéfinies et associant une pluralité d’actions à une classe de signal sonore.
Selon l’exemple décrit, l’unité de génération 32 génère un signal de commande d’un éclairage orange.
En complément, l’unité de génération 32 génère l’au moins un signal de commande en même temps que la lecture du signal sonore.
Plus précisément, l’unité de génération 32 génère le ou les signaux de commande associés à la classe attribuée à une série de segments du signal sonore au moment où le premier segment de la série est lu.
Par exemple, une commande associée à la classe «bruit de bateau» est la commande de la ventilation d’air frais.
En variante, aucune classe n’est associée à la catégorie «paroles», de sorte que les étape d’attribution 120 et de génération 130 ne sont pas mises en œuvre lorsque la catégorie déterminée est la catégorie «paroles».
Un tel procédé permet donc de déterminer une catégorie et une classe d’un signal sonore, afin de commander des équipements de l’habitacle. Le procédé permet alors d’associer à un signal sonore des commandes en rapport avec le signal sonore lors de sa lecture, afin d’augmenter l’immersion et donc le divertissement du passager, le passager étant alors surpris par l’effet apporté par la commande des équipements, ce qui rend le trajet plus agréable et moins long.
En outre, le procédé est facile à implémenter et rapide.
Le procédé ne nécessite aucune modification vis-à-vis du véhicule et est adaptable à tous types de véhicules.
Par ailleurs, la solution proposée n’est pas encombrante, puisqu’elle utilise les équipements déjà présents du véhicule.
La solution proposée est avantageuse car elle permet de détecter automatiquement, lors de la lecture, les différentes catégories et classes associées au signal sonore et de commander en temps réel les différents équipements du véhicule. Cela évite d’avoir à calibrer, et préprogrammer différents évènements à l’avance. Cela est notamment avantageux pour des flux non linéaires et/ou interactifs, par exemple jeu vidéo, où il est difficile voire impossible de programmer à l’avance les événements, ceux-ci dépendant des actions du joueur.

Claims (9)

  1. Procédé de commande d’équipements (15) d’un habitacle d’un véhicule (10) à partir d’un signal sonore, les équipements étant de préférence choisis dans la liste constituée d’un siège, un éclairage, un tableau de bord et un système de ventilation,
    le procédé comprenant:
    - la détermination d’une catégorie à laquelle appartient le signal sonore fourni parmi une liste de catégories prédéfinies, les catégories étant représentative de la nature du signal sonore,
    - l’attribution d’une classe au signal sonore parmi une liste de classes prédéfinies associées à la catégorie déterminée, les classes étant une description du son produit par le signal sonore lors d’une lecture du signal sonore, et
    - la génération, en fonction de la classe attribuée au signal sonore, d’au moins un signal de commande à destination d’au moins un équipement (15) de l’habitacle.
  2. Procédé selon la revendication 1, dans lequel la détermination de la catégorie du signal sonore comprend:
    - la détermination de propriétés du signal sonore, et
    - pour chaque catégorie de la liste de catégories prédéfinies, le calcul d’un score représentatif de la probabilité que le signal sonore appartienne à ladite catégorie à partir des propriétés du signal sonore déterminées, pour obtenir un score calculé pour chaque catégorie,
    le calcul de la probabilité étant mis en œuvre par une premier unité de calcul (24) implémentant une machine à vecteurs de support,
    la catégorie déterminée étant la catégorie dont la probabilité calculée est la plus grande.
  3. Procédé selon la revendication 1 ou 2, dans lequel l’attribution de la classe au signal sonore comprend:
    - la conversion du signal sonore en un spectrogramme du signal sonore, pour obtenir un spectrogramme, et
    - pour chaque classe de la liste de classes prédéfinies associées à la catégorie du signal sonore, le calcul de la probabilité que le signal sonore appartienne à ladite classe à partir du spectrogramme obtenu, pour obtenir une probabilité calculée pour chaque classe,
    le calcul des probabilités de classe étant mis en œuvre par une deuxième unité de calcul (30) implémentant plusieurs réseaux de neurones distincts: un premier réseau de neurones, tel qu’un réseau neuronal convolutif, et pour une pluralité de catégories de la liste de catégories prédéfinie, un deuxième réseau de neurones respectif, tel qu’un réseau de neurones récurrents,
    la classe attribuée étant la classe dont la probabilité calculée est la plus grande.
  4. Procédé selon la revendication 3, dans lequel le premier réseau de neurones est propre à transformer le spectrogramme du signal sonore obtenu en un vecteur de propriétés extraites du signal sonore et chaque deuxième réseau de neurones est propre à convertir le vecteur de propriétés extraites obtenu par le premier réseau de neurones en probabilité, pour chaque classe de la liste de classes prédéfinies associées à la catégorie du signal sonore, que le signal sonore appartienne à ladite classe.
  5. Procédé selon l’une quelconque des revendications 1 à 4, dans lequel les étapes de détermination, d’attribution et de génération sont effectuées de manière synchronisée avec la lecture du signal sonore.
  6. Dispositif de commande (20) d’équipements (15) d’un habitacle d’un véhicule (10), à partir d’un signal sonore, les équipements étant de préférence choisis dans la liste constituée d’un siège, un éclairage, un tableau de bord et un système de ventilation, le dispositif de commande (20) étant adapté pour:
    - déterminer une catégorie à laquelle appartient le signal sonore fourni parmi une liste de catégories prédéfinies, les catégories étant représentative de la nature du signal sonore,
    - attribuer une classe au signal sonore parmi une liste de classes prédéfinies associées à la catégorie déterminée, les classes étant une description du son produit par le signal sonore lors d’une lecture du signal sonore, et
    - générer, en fonction de la classe attribuée au signal sonore, d’au moins un signal de commande à destination d’au moins un équipement (15) de l’habitacle.
  7. Véhicule (10) comprenant un habitacle comportant une pluralité d’équipements (15), et un dispositif de commande (20) des équipements (15), selon la revendication 6.
  8. Produit programme d’ordinateur comprenant des instructions logicielles, qui lorsqu’elles sont exécutées par un ordinateur, mettent en œuvre un procédé selon l’une quelconque des revendications 1 à 5.
  9. Support lisible d’informations sur lequel est mémorisé un programme d’ordinateur comprenant des instructions de programme, le programme d’ordinateur étant chargeable sur une unité de traitement de données et adapté pour entraîner la mise en œuvre d’un procédé selon l’une quelconque des revendications 1 à 5 lorsque le programme d’ordinateur est mis en œuvre sur l’unité de traitement des données.
FR2000029A 2020-01-03 2020-01-03 Procédé de commande d’équipements d’un habitacle d’un véhicule et dispositifs associés Active FR3106008B1 (fr)

Priority Applications (2)

Application Number Priority Date Filing Date Title
FR2000029A FR3106008B1 (fr) 2020-01-03 2020-01-03 Procédé de commande d’équipements d’un habitacle d’un véhicule et dispositifs associés
US17/140,097 US20210206364A1 (en) 2020-01-03 2021-01-03 Method for controlling equipment of a cockpit of a vehicle and related devices

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FR2000029A FR3106008B1 (fr) 2020-01-03 2020-01-03 Procédé de commande d’équipements d’un habitacle d’un véhicule et dispositifs associés
FR2000029 2020-01-03

Publications (2)

Publication Number Publication Date
FR3106008A1 true FR3106008A1 (fr) 2021-07-09
FR3106008B1 FR3106008B1 (fr) 2022-01-14

Family

ID=71661918

Family Applications (1)

Application Number Title Priority Date Filing Date
FR2000029A Active FR3106008B1 (fr) 2020-01-03 2020-01-03 Procédé de commande d’équipements d’un habitacle d’un véhicule et dispositifs associés

Country Status (2)

Country Link
US (1) US20210206364A1 (fr)
FR (1) FR3106008B1 (fr)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11524685B2 (en) * 2020-09-30 2022-12-13 Nissan North America, Inc. System and method for reducing driver awareness of engine stoppage by a vehicle

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015075191A1 (fr) * 2013-11-25 2015-05-28 Thomson Licensing Procédé pour générer des coefficients haptiques à l'aide d'un modèle autorégressif, signal et dispositif pour reproduire de tels coefficients
KR20190106916A (ko) * 2019-08-30 2019-09-18 엘지전자 주식회사 음향 제어 시스템, 장치 및 방법

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100262336A1 (en) * 2009-04-09 2010-10-14 Qualcomm Incorporated System and method for generating and rendering multimedia data including environmental metadata
US11295735B1 (en) * 2017-12-13 2022-04-05 Amazon Technologies, Inc. Customizing voice-control for developer devices
KR102584779B1 (ko) * 2018-09-07 2023-10-05 그레이스노트, 인코포레이티드 오디오 분류를 통한 동적 볼륨 조절을 위한 방법 및 장치
US20210358496A1 (en) * 2018-10-03 2021-11-18 Visteon Global Technologies, Inc. A voice assistant system for a vehicle cockpit system
US11231905B2 (en) * 2019-03-27 2022-01-25 Intel Corporation Vehicle with external audio speaker and microphone

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015075191A1 (fr) * 2013-11-25 2015-05-28 Thomson Licensing Procédé pour générer des coefficients haptiques à l'aide d'un modèle autorégressif, signal et dispositif pour reproduire de tels coefficients
KR20190106916A (ko) * 2019-08-30 2019-09-18 엘지전자 주식회사 음향 제어 시스템, 장치 및 방법
US20200042285A1 (en) * 2019-08-30 2020-02-06 Lg Electronics Inc. Acoustic control system, apparatus and method

Also Published As

Publication number Publication date
FR3106008B1 (fr) 2022-01-14
US20210206364A1 (en) 2021-07-08

Similar Documents

Publication Publication Date Title
US20210074315A1 (en) Augmented multi-tier classifier for multi-modal voice activity detection
US11003414B2 (en) Acoustic control system, apparatus and method
Lezhenin et al. Urban sound classification using long short-term memory neural network
US12001755B2 (en) Apparatus and method for caring emotion based on vehicle sound
US11393473B1 (en) Device arbitration using audio characteristics
Vivek et al. Acoustic scene classification in hearing aid using deep learning
Okuyucu et al. Audio feature and classifier analysis for efficient recognition of environmental sounds
CN110288974B (zh) 基于语音的情绪识别方法及装置
Valles et al. An audio processing approach using ensemble learning for speech-emotion recognition for children with ASD
Darekar et al. A hybrid meta-heuristic ensemble based classification technique speech emotion recognition
FR3106008A1 (fr) Procédé de commande d’équipements d’un habitacle d’un véhicule et dispositifs associés
Abraham et al. A deep learning approach for robust speaker identification using chroma energy normalized statistics and mel frequency cepstral coefficients
Cervantes et al. Embedded design of an emotion-aware music player
Abdzadeh et al. A comparison of CQT spectrogram with STFT-based acoustic features in Deep Learning-based synthetic speech detection
Nascimento et al. On the development of an acoustic-driven method to improve driver’s comfort based on deep reinforcement learning
Bicer et al. Explainable acoustic scene classification: Making decisions audible
FR3086451A1 (fr) Filtrage d'un signal sonore acquis par un systeme de reconnaissance vocale
Shah et al. Speech emotion recognition for psychotherapy: an analysis of traditional machine learning and deep learning techniques
Gismelbari et al. Speech Emotion Recognition Using Deep Learning
Xia et al. Speech Emotion Recognition using Time-frequency Random Circular Shift and Deep Neural Networks
EP1981021A1 (fr) Procede d'estimation de l'etat mental d'une personne
Stolar et al. Optimized multi-channel deep neural network with 2D graphical representation of acoustic speech features for emotion recognition
Paul et al. Imagine, design, and experience interior active sounds for EV: a comprehensive process
CN118692444A (zh) 提示音频的生成方法、装置、设备、介质
Abdiche et al. A Hybrid of Deep Neural Network and eXtreme Gradient Boosting for Automatic Speaker Identification

Legal Events

Date Code Title Description
PLFP Fee payment

Year of fee payment: 2

PLSC Publication of the preliminary search report

Effective date: 20210709

PLFP Fee payment

Year of fee payment: 3

PLFP Fee payment

Year of fee payment: 4

PLFP Fee payment

Year of fee payment: 5