FR3114736A1 - Dispositif d’estimation du rythme cardiaque d’un occupant d’un véhicule - Google Patents

Dispositif d’estimation du rythme cardiaque d’un occupant d’un véhicule Download PDF

Info

Publication number
FR3114736A1
FR3114736A1 FR2010180A FR2010180A FR3114736A1 FR 3114736 A1 FR3114736 A1 FR 3114736A1 FR 2010180 A FR2010180 A FR 2010180A FR 2010180 A FR2010180 A FR 2010180A FR 3114736 A1 FR3114736 A1 FR 3114736A1
Authority
FR
France
Prior art keywords
heart rate
interest
roi
occupant
control unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
FR2010180A
Other languages
English (en)
Other versions
FR3114736B1 (fr
Inventor
Mengdi Song
Aisha NUERZHATI
Nicolas RINGELSTEIN
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Valeo Comfort and Driving Assistance SAS
Original Assignee
Valeo Comfort and Driving Assistance SAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Valeo Comfort and Driving Assistance SAS filed Critical Valeo Comfort and Driving Assistance SAS
Priority to FR2010180A priority Critical patent/FR3114736B1/fr
Publication of FR3114736A1 publication Critical patent/FR3114736A1/fr
Application granted granted Critical
Publication of FR3114736B1 publication Critical patent/FR3114736B1/fr
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/02Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/024Detecting, measuring or recording pulse rate or heart rate
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/02Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/024Detecting, measuring or recording pulse rate or heart rate
    • A61B5/02416Detecting, measuring or recording pulse rate or heart rate using photoplethysmograph signals, e.g. generated by infrared radiation
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/68Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6887Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient mounted on external non-worn devices, e.g. non-medical devices
    • A61B5/6893Cars
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2503/00Evaluating a particular growth phase or type of persons or animals
    • A61B2503/20Workers
    • A61B2503/22Motor vehicles operators, e.g. drivers, pilots, captains
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0033Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room
    • A61B5/0037Performing a preliminary scan, e.g. a prescan for identifying a region of interest
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0062Arrangements for scanning
    • A61B5/0064Body surface scanning
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0077Devices for viewing the surface of the body, e.g. camera, magnifying lens
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/72Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235Details of waveform analysis
    • A61B5/7253Details of waveform analysis characterised by using transforms
    • A61B5/7257Details of waveform analysis characterised by using transforms using Fourier transforms
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/74Details of notification to user or communication with user or patient ; user input means
    • A61B5/7475User input or interface means, e.g. keyboard, pointing device, joystick
    • A61B5/748Selection of a region of interest, e.g. using a graphics tablet
    • A61B5/7485Automatic selection of region of interest

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Cardiology (AREA)
  • Medical Informatics (AREA)
  • Surgery (AREA)
  • Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Physics & Mathematics (AREA)
  • Molecular Biology (AREA)
  • Pathology (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Biophysics (AREA)
  • Physiology (AREA)
  • Measuring Pulse, Heart Rate, Blood Pressure Or Blood Flow (AREA)

Abstract

L’invention concerne un dispositif d’estimation du rythme cardiaque d’un occupant d’un véhicule, comprenant :- une caméra configurée pour acquérir des images dudit occupant,- une unité de contrôle électronique configurée pour : - identifier une partie du corps à partir desdites images acquises,- sélectionner des zones d’intérêt sur ladite partie de corps identifiée,- appliquer une transformée de Fourier sur chaque zone d’intérêt sélectionnée de sorte à obtenir un spectre correspondant,- moyenner l’amplitude pour chaque fréquence des spectres des zones d’intérêt sélectionnées de sorte à obtenir un spectre global,- à partir dudit spectre global, déterminer des grands maximas qui sont potentiellement la fréquence fondamentale et/ou les harmoniques correspondantes du rythme cardiaque de l’occupant,- à partir desdits grands maximas, déterminer une liste de candidats potentiels du rythme cardiaque de l’occupant,- à partir de ladite liste, estimer le rythme cardiaque dudit occupant.

Description

Dispositif d’estimation du rythme cardiaque d’un occupant d’un véhicule
La présente invention se rapporte à un dispositif d’estimation du rythme cardiaque d’un occupant d’un véhicule. Elle trouve une application particulière mais non limitative dans les véhicules automobiles.
Dans le domaine des véhicules automobiles, il existe des dispositifs d’estimation du rythme cardiaque d’un occupant d’un véhicule comprenant une caméra configurée pour acquérir des images dudit occupant, et une unité de contrôle électronique configurée pour déterminer le rythme cardiaque dudit occupant à partir de la fréquence fondamentale d’un spectre d’une partie du corps dudit occupant.
Un inconvénient de cet état de la technique est que ledit occupant doit rester immobile pendant dix à douze secondes pour que cette solution de l’état de la technique antérieur fonctionne. Or un occupant d’un véhicule, notamment, le conducteur, ne reste pas immobile pendant dix secondes lorsqu’il conduit. Par conséquent cette solution n’est pas en pratique utilisable.
Dans ce contexte, la présente invention vise à proposer un dispositif d’estimation du rythme cardiaque d’un occupant d’un véhicule qui permet de résoudre l’inconvénient mentionné.
A cet effet, l’invention propose un dispositif d’estimation du rythme cardiaque d’un occupant d’un véhicule, caractérisé en ce que ledit dispositif d’estimation comprend :
- une caméra configurée pour acquérir des images dudit occupant,
- une unité de contrôle électronique configurée pour :
- identifier une partie du corps dudit occupant à partir desdites images acquises,
- sélectionner des zones d’intérêt sur ladite partie de corps identifiée,
- appliquer une transformée de Fourier sur chaque zone d’intérêt sélectionnée de sorte à obtenir un spectre correspondant à chaque zone d’intérêt,
- moyenner l’amplitude pour chaque fréquence des spectres des zones d’intérêt sélectionnées de sorte à obtenir un spectre global,
- à partir dudit spectre global, déterminer des grands maximas qui sont potentiellement la fréquence fondamentale et/ou les harmoniques correspondantes du rythme cardiaque de l’occupant,
- à partir desdits grands maximas, déterminer une liste de candidats potentiels dudit rythme cardiaque de l’occupant,
- à partir de ladite liste, estimer le rythme cardiaque dudit occupant.
Ainsi, comme on va le voir en détail ci-après, la solution proposée de l’invention permet d’estimer le rythme cardiaque dudit occupant du véhicule, sans qu’il soit nécessaire qu’il reste immobile trop longtemps. L’estimation se fait sur la base de la fréquence fondamentale et des harmoniques ce qui permet d’augmenter le niveau de confiance de l’estimation car on utilise plus d’informations (la fréquence fondamentale et les harmoniques) que dans le cas de l’utilisation de la fréquence fondamentale uniquement. Comme on utilise un maximum d’informations (la fréquence fondamentale et les harmoniques), on obtient assez d’informations pour estimer le rythme cardiaque avec un signal beaucoup plus court (~5s). Par ailleurs, le mouvement de la tête d’un occupant d’un véhicule introduit très souvent des bruits dans les basses fréquences (<1Hz) et beaucoup moins dans les hautes fréquences (>1Hz). Par exemple, la rotation de la tête d’un occupant est rarement plus rapide qu’une rotation par seconde. Les harmoniques apparaissent sur des fréquences plus élevées qui sont moins impactées par le mouvement contrairement à la fréquence fondamentale (~1Hz). Ainsi, l’invention nécessite un signal plus court et est plus robuste au mouvement.
Selon des modes de réalisation non limitatifs, le dispositif d’estimation du rythme cardiaque d’un occupant d’un véhicule peut comporter en outre une ou plusieurs caractéristiques supplémentaires prises seules ou selon toutes les combinaisons techniquement possibles, parmi les suivantes.
Selon un mode de réalisation non limitatif, lesdites images sont acquises sur une fenêtre glissante inférieure ou égale à cinq secondes.
Selon un mode de réalisation non limitatif, chaque zone d’intérêt est représentée par un vecteur d’intensité temporel et ladite unité de contrôle électronique est en outre configurée pour réaliser une normalisation dudit vecteur d’intensité temporel de chaque zone d’intérêt.
Selon un mode de réalisation non limitatif, chaque zone d’intérêt est représentée par un vecteur d’intensité temporel et ladite unité de contrôle électronique est en outre configurée pour réaliser un différentiel sur le vecteur d’intensité temporel de chaque zone d’intérêt.
Selon un mode de réalisation non limitatif, chaque zone d’intérêt est représentée par un vecteur d’intensité temporel et ladite unité de contrôle électronique est en outre configurée pour supprimer les zones d’intérêt dont le vecteur d’intensité temporel comprend un écart-type supérieur à un seuil de fluctuation d’intensité.
Selon un mode de réalisation non limitatif, ladite unité de contrôle électronique est en outre configurée pour déterminer si le nombre de zones d’intérêt sélectionnées est inférieur à un seuil primaire.
Selon un mode de réalisation non limitatif, chaque zone d’intérêt est représentée par un vecteur d’intensité temporel et ladite unité de contrôle électronique est en outre configurée pour réaliser une fonction fenêtre de Hamming sur le vecteur d’intensité temporel de chaque zone d’intérêt sélectionnée.
Selon un mode de réalisation non limitatif, chaque zone d’intérêt est représentée par un vecteur d’intensité temporel et ladite unité de contrôle électronique est en outre configurée pour appliquer un filtre passe-haut sur le vecteur d’intensité temporel de chaque zone d’intérêt sélectionnée.
Selon un mode de réalisation non limitatif, chaque zone d’intérêt est représentée par un vecteur d’intensité temporel et ladite unité de contrôle électronique est en outre configurée pour ajouter des zéros sur le vecteur d’intensité temporel de chaque zone d’intérêt sélectionnée de sorte à augmenter la résolution spectrale dudit spectre correspondant audit signal temporel.
Selon un mode de réalisation non limitatif, ladite unité de contrôle électronique est en outre configurée pour déterminer lesdits grands maximas à partir de maximas dudit spectre global.
Selon un mode de réalisation non limitatif, un maxima est un grand maxima si :
- (1-c1)*AMAX>=ALMIN, et
- (1-c1)*AMAX>=ARMIN, avec AMAX l’amplitude du maxima, ALMIN l’amplitude du plus proche minima à gauche dudit maxima, et ARMIN, le plus proche minima à droite dudit maxima, et c1 un coefficient d’ajustement.
Selon un mode de réalisation non limitatif, pour déterminer une liste de candidats potentiels, ladite unité de contrôle électronique est en outre configurée pour :
- identifier des candidats bruts à partir desdits grands maximas,
- identifier les candidats potentiels à partir des candidats bruts.
Selon un mode de réalisation non limitatif, un candidat potentiel est égal à la moyenne des candidats bruts similaires.
Selon un mode de réalisation non limitatif, l’estimation dudit rythme cardiaque se fait à partir de la liste courante des candidats potentiels et une liste précédente d’estimations du rythme cardiaque.
Selon un mode de réalisation non limitatif, un niveau de confiance est associé à ladite estimation du rythme cardiaque.
Selon un mode de réalisation non limitatif, ladite unité de contrôle électronique est en outre configurée pour :
- vérifier si le nombre d’estimations qui a été sauvegardé dans la liste précédente est supérieur à un nombre seuil,
- dans l’affirmative, vérifier que dans la liste précédente il existe une estimation du rythme cardiaque précédente à proximité d’une valeur médiane,
- dans l’affirmative, prendre cette estimation du rythme cardiaque précédente, comme étant l’estimation du rythme cardiaque,et lui appliquer un niveau de confiance élevé,
- dans la négative, estimer le rythme cardiaque comme étant la valeur médiane, et lui appliquer un niveau de confiance bas,
- si le nombre d’estimations qui a été sauvegardé dans la liste précédente est inférieur au nombre seuil, vérifier dans la liste courante s’il n’existe qu’un seul candidat potentiel,
- dans l’affirmative, estimer le rythme cardiaque comme étant ce candidat potentiel unique, et lui appliquer un niveau de confiance moyen,
- dans la négative, estimer le rythme cardiaque comme étant une valeur de référence, et lui appliquer un niveau de confiance bas.
Selon un mode de réalisation non limitatif, ladite caméra est une caméra proche infrarouge ou une caméra RGB.
Il est en outre proposé un procédé d’estimation du rythme cardiaque d’un occupant d’un véhicule, caractérisé en ce que ledit procédé d’estimation comprend :
- l’acquisition par une caméra d’images dudit occupant,
- l’identification par une unité de contrôle électronique d’une partie du corps dudit occupant à partir desdites images acquises,
- la sélection par ladite unité de contrôle électronique desdites zones d’intérêt sur ladite partie de corps identifiée,
- l’application par ladite unité de contrôle électronique d’une transformée de Fourier sur chaque zone d’intérêt sélectionnée de sorte à obtenir un spectre correspondant à chaque zone d’intérêt,
- le calcul par ladite unité de contrôle électronique de la moyenne de l’amplitude pour chaque fréquence des spectres des zones d’intérêt sélectionnées de sorte à obtenir un spectre global,
- à partir dudit spectre global, la détermination par ladite unité de contrôle électronique de grands maximas qui sont potentiellement la fréquence fondamentale et/ou les harmoniques correspondantes dudit rythme cardiaque de l’occupant,
- à partir desdits grands maximas, la détermination par ladite unité de contrôle électronique d’une liste de candidats potentiels du rythme cardiaque de l’occupant,
- à partir de ladite liste, l’estimation par ladite unité de contrôle électronique dudit rythme cardiaque dudit occupant.
Selon des modes de réalisation non limitatifs, le procédé d’estimation du rythme cardiaque d’un occupant d’un véhicule peut comporter en outre une ou plusieurs caractéristiques supplémentaires prises seules ou selon toutes les combinaisons techniquement possibles, parmi les suivantes.
Selon un mode de réalisation non limitatif, la détermination de la liste de candidats potentiels comprend :
- l’identification de candidats bruts à partir desdits grands maximas,
- l’identification desdits candidats potentiels à partir desdits candidats bruts.
Selon un mode de réalisation non limitatif, lesdites images sont acquises sur une fenêtre glissante inférieure ou égale à cinq secondes.
Selon un mode de réalisation non limitatif, chaque zone d’intérêt est représentée par un vecteur d’intensité temporel et ledit procédé d’estimation comprend en outre une étape de réalisation d’une normalisation dudit vecteur d’intensité temporel de chaque zone d’intérêt.
Selon un mode de réalisation non limitatif, chaque zone d’intérêt est représentée par un vecteur d’intensité temporel et ledit procédé d’estimation comprend en outre une étape de réalisation un différentiel sur le vecteur d’intensité temporel de chaque zone d’intérêt.
Selon un mode de réalisation non limitatif, chaque zone d’intérêt est représentée par un vecteur d’intensité temporel et ledit procédé d’estimation comprend en outre une étape de suppression des zones d’intérêt dont le vecteur d’intensité temporel comprend un écart-type supérieur à un seuil de fluctuation d’intensité.
Selon un mode de réalisation non limitatif, ledit procédé d’estimation comprend en outre une étape pour déterminer si le nombre de zones d’intérêt sélectionnées est inférieur à un seuil primaire.
Selon un mode de réalisation non limitatif, chaque zone d’intérêt est représentée par un vecteur d’intensité temporel et ledit procédé d’estimation comprend en outre une étape de réalisation d’une fonction fenêtre de Hamming sur le vecteur d’intensité temporel de chaque zone d’intérêt sélectionnée.
Selon un mode de réalisation non limitatif, chaque zone d’intérêt est représentée par un vecteur d’intensité temporel et ledit procédé d’estimation comprend en outre une étape d’application d’un filtre passe-haut sur le vecteur d’intensité temporel de chaque zone d’intérêt sélectionnée.
Selon un mode de réalisation non limitatif, chaque zone d’intérêt est représentée par un vecteur d’intensité temporel et ledit procédé d’estimation comprend en outre une étape d’ajout de zéros sur le vecteur d’intensité temporel de chaque zone d’intérêt sélectionnée de sorte à augmenter la résolution spectrale dudit spectre correspondant audit signal temporel.
Selon un mode de réalisation non limitatif, lesdits grands maximas sont déterminés à partir de maximas dudit spectre global.
Selon un mode de réalisation non limitatif, un maxima est un grand maxima si :
- (1-c1)*AMAX>=ALMIN, et
- (1-c1)*AMAX>=ARMIN, avec AMAX l’amplitude du maxima, ALMIN l’amplitude du plus proche minima à gauche dudit maxima, et ARMIN, le plus proche minima à droite dudit maxima, et c1 un coefficient d’ajustement.
Selon un mode de réalisation non limitatif, un candidat potentiel est égal à la moyenne des candidats bruts similaires.
Selon un mode de réalisation non limitatif, l’estimation dudit rythme cardiaque se fait à partir de la liste courante des candidats potentiels et une liste précédente d’estimations du rythme cardiaque.
Selon un mode de réalisation non limitatif, un niveau de confiance est associé à ladite estimation du rythme cardiaque.
Selon un mode de réalisation non limitatif, ledit procédé d’estimation comprend en outre les étapes de :
- vérifier si le nombre d’estimations qui a été sauvegardé dans la liste précédente est supérieur à un nombre seuil,
- dans l’affirmative, vérifier que dans la liste précédente il existe une estimation du rythme cardiaque précédente à proximité d’une valeur médiane,
- dans l’affirmative, prendre cette estimation du rythme cardiaque précédente, comme étant l’estimation du rythme cardiaque,et lui appliquer un niveau de confiance élevé,
- dans la négative, estimer le rythme cardiaque (HR) comme étant la valeur médiane, et lui appliquer un niveau de confiance bas,
- si le nombre d’estimations qui a été sauvegardé dans la liste précédente est inférieur au nombre seuil, vérifier dans la liste courante s’il n’existe qu’un seul candidat potentiel,
- dans l’affirmative, estimer le rythme cardiaque comme étant ce candidat potentiel unique, et lui appliquer un niveau de confiance moyen,
- dans la négative, estimer le rythme cardiaque comme étant une valeur de référence, et lui appliquer un niveau de confiance bas.
Selon un mode de réalisation non limitatif, ladite caméra est une caméra proche infrarouge ou une caméra RGB.
L’invention et ses différentes applications seront mieux comprises à la lecture de la description qui suit et à l’examen des figures qui l’accompagnent :
illustre schématiquement un dispositif d’estimation du rythme cardiaque d’un occupant d’un véhicule, ledit dispositif d’estimation comprenant une caméra et une unité de contrôle électronique, selon un mode de réalisation non limitatif de l’invention,
illustre schématiquement une image dudit occupant acquise par ladite caméra du dispositif d’estimation de la , ladite image représentant le visage, le cou et une partie des épaules dudit occupant, ladite image étant découpée en zones d’intérêt, selon un mode de réalisation non limitatif,
illustre une matrice d’intensité d’une pluralité de zones d’intérêt sur une fenêtre glissante extraite par le dispositif d’estimation de la , selon un mode de réalisation non limitatif,
illustre un premier spectre obtenu en moyennant les spectres des zones d’intérêt sélectionnées, ledit spectre étant à une fréquence fondamentale de 66bpm, selon un mode de réalisation non limitatif,
est un zoom sur une partie dudit premier spectre de la , selon un mode de réalisation non limitatif,
illustre le premier spectre de la avec quatre grands maximas identifiés, selon un mode de réalisation non limitatif,
illustre un deuxième spectre obtenu en moyennant les spectres des zones d’intérêt sélectionnées, ledit spectre étant à une fréquence fondamental de 47bpm et comportant deux grands maximas identifiés, selon un mode de réalisation non limitatif,
illustre le premier spectre de la avec des candidats potentiel identifiés pour la fréquence fondamentale et pour des harmoniques correspondantes, selon un mode de réalisation non limitatif,
illustre le deuxième spectre de la avec des candidats potentiel identifiés pour la fréquence fondamentale et pour des harmoniques correspondantes, selon un mode de réalisation non limitatif,
illustre un organigramme d’un procédé d’estimation du rythme cardiaque d’un occupant d’un véhicule, mis en œuvre par ledit dispositif d’estimation de la , selon un mode de réalisation non limitatif,
illustre un organigramme d’une étape d’estimation du rythme cardiaque dudit occupant du procédé d’estimation de la , ladite estimation étant basée sur une liste courante de candidats potentiels et sur une liste précédente d'estimations du rythme cardiaque, selon un mode de réalisation non limitatif.
Les éléments identiques, par structure ou par fonction, apparaissant sur différentes figures conservent, sauf précision contraire, les mêmes références.
L’invention concerne un dispositif d’estimation 1 du rythme cardiaque HR d’un occupant 2 d’un véhicule 3, autrement appelé dispositif d’estimation 1 dans la description. Il est décrit en référence aux figures 1 à 9. L’invention concerne également un procédé d’estimation 4 du rythme cardiaque HR d’un occupant 2 d’un véhicule 3, autrement appelé procédé d’estimation 4 dans la description. Il est décrit en référence aux figures 10 et 11.
Dans un exemple de réalisation non limitatif, l’occupant 2 est le conducteur du véhicule 3. Dans un mode de réalisation non limitatif, le véhicule 3 est un véhicule automobile. Par véhicule automobile, on entend tout type de véhicule motorisé. Ce mode de réalisation est pris comme exemple non limitatif dans la suite de la description. Dans la suite de la description, le véhicule 3 est ainsi autrement appelé véhicule automobile 3. Il comprend un habitacle 30.
Tel qu’illustré sur la , le dispositif d’estimation 1 comprend :
- une caméra 10, et
- une unité de contrôle électronique 11.
Dans un mode de réalisation non limitatif, la caméra 10 est disposée dans un dôme module 31 dans l’habitable 30 du véhicule automobile 3. Elle comprend un capteur 100 pour acquérir des images. Dans des modes de réalisation non limitatifs, la caméra 10 est une caméra proche infrarouge (NIR) ou RGB. La caméra proche infrarouge 10 fonctionne à une longueur d’onde d’environ 850 nanomètres. L’intérêt d’utiliser une caméra proche infrarouge par rapport à une caméra RGB est que dans la nuit, on ne peut pas éclairer le visage de l'occupant 2 d'un véhicule automobile 3 avec une lumière visible. Le proche infrarouge est invisible par l’œil. On peut donc mesurer le rythme cardiaque HR dans la nuit. Par ailleurs, avec la caméra RGB, dans un véhicule automobile 3 qui roule, le visage est éclairé par la lumière du soleil. L’intensité de cette lumière change lors d'un passage d'un arbre par exemple, ce qui ajoute beaucoup de fluctuation d'intensité indésirable, sachant que le rythme cardiaque HR est représenté par une fluctuation périodique d'intensité. Avec le proche infrarouge, le visage est éclairé par une lumière active émise par la caméra proche infrarouge 10, donc peu influencé par le passage d'un arbre.
La caméra 10 est configurée pour acquérir des images I1 dudit occupant 2 (fonction illustrée sur la f1(10, I1, 2)). Dans un mode de réalisation non limitatif, elle permet d’acquérir des images I1 de la tête (visage et cou), et du haut des épaules dudit occupant 2. Un exemple non limitatif d’une telle image I1 est illustré sur la . On notera qu’une image I1 est composée d’une pluralité de pixels pi. Dans un exemple non limitatif, la taille d’une image I1 est 2 millions de pixels pi. Sur la , pour des raisons de clarté, seul un petit nombre de pixels pi a été représenté. Dans un mode de réalisation non limitatif, un pixel pi comprend une intensité comprise entre 0 et 255. On notera que la caméra 10 acquiert des images I1 à une vitesse constante. Dans un mode de réalisation non limitatif, la caméra 10 acquiert des images I1 à une fréquence d’images de 30 images par seconde, autrement appelé dans le langage anglo-saxon « frame per second ». Dans un autre mode de réalisation non limitatif, la fréquence d’images r est de 15 images par seconde. Dans un mode de réalisation non limitatif, les images I1 sont acquises sur une fenêtre glissante W inférieure ou égale à cinq secondes.
Sur une fenêtre glissante W, ladite unité de contrôle électronique 11 est configurée pour :
- identifier une partie 20 du corps dudit occupant 2 à partir desdites images I1 acquises (fonction illustrée sur la f2(11, 20, I1)),
- sélectionner des zones d’intérêt ROI sur ladite partie 20 de corps identifiée (fonction illustrée sur la f3(11, 20, ROI)),
- appliquer une transformée de Fourier FFT sur chaque zone d’intérêt ROI sélectionnée pour obtenir un spectre Sf correspondant à chaque zone d’intérêt ROI (fonction illustrée sur la f4(11, FFT, ROI, Sf)),
- moyenner l’amplitude A pour chaque fréquence f des spectres Sf des zones d’intérêt ROI sélectionnées de sorte à obtenir un spectre global Sfg (fonction illustrée sur la f5(11, A, ROI, Sfg)),
- à partir dudit spectre global Sfg, déterminer des grands maximas BMAX qui sont potentiellement la fréquence fondamentale F0 et/ou les harmoniques correspondantes (Fi, i=1 …N) du rythme cardiaque HR de l’occupant 2 (fonction illustrée sur la f6(11, Sfg, BMAX),
- à partir desdits grands maximas BMAX, déterminer une liste L de candidats potentiels HF du rythme cardiaque HR de l’occupant 2 (fonction illustrée sur la f7(11, BMAX, L(HF)),
- à partir de ladite liste L, estimer le rythme cardiaque HR dudit occupant 2 (fonction illustrée sur la f8(11, L(HF), HR)).
Ces fonctions sont réitérées à chaque nouvelle fenêtre glissante W jusqu’au moment que le dispositif d'estimation 1 du rythme cardiaque HR s'arrête.
Ces fonctions sont décrites en détail ci-après.
Pour réaliser les deux fonctions f2 et f3, l’unité de contrôle électronique 11 découpe l’image I1 acquise en une pluralité de zones d’intérêt ROI (fonction illustrée f2’(11, I1, ROI)). Tel qu’illustré sur l’exemple non limitatif de la , l’image I1 est découpée en 196 zones d’intérêt ROI (14*14). Ce nombre 14 est suffisamment petit pour que l’on puisse enlever les zones d’intérêt ROI gênantes (correspondantes à l’emplacement des yeux et de la bouche par exemple), et suffisamment grand pour que l’intensité Im de chaque zone d’intérêt ROI permette de s’affranchir du bruit électronique de la caméra 10 et du phénomène de quantification bien connu de l’homme du métier, dû au capteur 100 de la caméra 10 (qui capte les images). Une zone d’intérêt ROI comprend une pluralité de pixels pi tel qu’illustré pour la zone d’intérêt ROI numéro 12 sur la . Dans un exemple non limitatif, le nombre de pixels par ROI est 2500. Comme un pixel pi présente une intensité comprise entre 0 et 255 dans l’exemple non limitatif pris, une zone d’intérêt ROI est représentée par une intensité Im qui est la moyenne des intensités des pixels pi de ladite zone d’intérêt ROI.
Pour les fonctions f2 et f3, l’unité de contrôle électronique 11 extrait une matrice M de p x m, avec p le nombre d’images I1 dans une fenêtre glissante W, et m le nombre de zones d’intérêt ROI. Dans un exemple de réalisation non limitatif, la taille s de la fenêtre glissante W est de cinq secondes. On a ainsi p = 30*5 soit 150 images I1 pour une fréquence d’images r de 30 images par seconde. Dans chaque fenêtre glissante W, on aura ainsi acquis 150 images I1, autrement appelées échantillons, pour chaque zone d’intérêt ROI. Un exemple non limitatif d’une matrice M est illustré sur la . La taille de la matrice M est donc de 150 (hauteur)*196 (largeur) dans l’exemple non limitatif pris. La largeur représente les j-èmes zones d’intérêt ROI (j= 1 à 196) et la hauteur les k-ièmes instants t (k=1 à 150). Une colonne de la matrice M représente un vecteur temporel d’intensité X en fonction du temps t pour une zone d’intérêt ROI donnée. Ainsi, une colonne représente un vecteur d’intensité temporel X qui est un signal temporel pour une zone d’intérêt ROI donnée. Dans la suite de la description, le vecteur temporel d’intensité X est autrement appelé vecteur d’intensité X.
On notera que la taille s de cinq secondes permet de récupérer suffisamment de pulsations cardiaques, autrement appelées battements ou fréquences cardiaques ou rythmes cardiaques, pour en déduire le rythme cardiaque HR de l’occupant 2. En effet, en moyenne le rythme cardiaque HR d’une personne est de 60 bpm (battements par minute), soit un battement par seconde. Si on prend une fenêtre glissante W de deux secondes, on aura récupéré entre un et deux battements sur ladite fenêtre glissante W, ce qui n’est pas suffisant pour en déduire précisément le rythme cardiaque HR. On notera que pour certains sportifs, le rythme cardiaque HR peut baisser jusqu’à 40-50 bpm.
Concernant la fonction f2, l’identification d’une partie 20 du corps de l’occupant 2 permet de rejeter les zones d’intérêt ROI qui font partie du fond de l’image I1 (autrement appelé dans le langage anglo-saxon « background »). On considère que le fond se trouve loin de la caméra 10 et qu’il sera ainsi plus foncé que la partie 20 du corps de l’occupant 2 considéré. Dans un mode de réalisation non limitatif, la partie 20 du corps de l’occupant considéré est la tête qui comprend son visage et son cou, et les épaules. Dans un mode de réalisation non limitatif, pour rejeter les zones d’intérêt ROI correspondantes au fond, et donc identifier une partie 20 du corps dudit occupant 2, l’unité de contrôle électronique 11 compare l’intensité Im du vecteur d’intensité X de chaque zone d’intérêt ROI de la matrice M avec un seuil d’intensité TH0, autrement appelé seuil primaire TH0 (fonction illustrée sur la f20(11, ROI, L1, TH0)). Si l’intensité Im est inférieure au seuil primaire TH0, la zone d’intérêt ROI est considérée comme faisant partie du fond. Ainsi, on l’enlève de la matrice M. On notera que le haut des épaules est considéré comme du fond dans l’exemple non limitatif pris car l’occupant 2 porte un vêtement de couleur foncée dans ce cas. Ainsi, on ne retient comme partie 20 du corps que la tête (cou et visage) de l’occupant 2 dans l’exemple non limitatif pris.
Dans un mode de réalisation non limitatif, l’unité de contrôle électronique 11 est en outre configurée pour réaliser une normalisation du vecteur d’intensité X de chaque zone d’intérêt ROI de la matrice M (fonction illustrée sur la f9(11, X, ROI)). Donc on normalise dans le temps par colonne de la matrice M dans l’exemple pris. Dans une variante de réalisation non limitative, on normalise pour avoir une moyenne nulle et un écart-type de 1. Sur 150 échantillons, on a ainsi des valeurs d’intensité Im similaires pour chaque zone d’intérêt ROI. Après la normalisation, chaque vecteur d’intensité X (colonne) a une variation similaire d’intensité, qui est d’un écart-type de 1.
Dans un mode de réalisation non limitatif, l’unité de contrôle électronique 11 est en outre configurée pour réaliser un différentiel Y, autrement appelé vecteur d’intensité différentiel Y, sur le vecteur d’intensité X de chaque zone d’intérêt ROI de la matrice M (fonction illustrée sur la f10(11, Y(X), ROI)). Ainsi, au lieu d’utiliser directement le vecteur d’intensité X, on utilise la différence entre des éléments adjacents dudit vecteur d’intensité X. Par exemple si le vecteur d’intensité X de la ième zone d’intérêt ROI est [Xi(t1), Xi(t2), Xi(3), …., Xi(t150)], alors le différentiel Yi est Yi=[Xi(t2)-Xi(t1), Xi(t3)-Xi(t2), …,Xi(t150)-Xi(t149)]. L’utilisation du vecteur d’intensité différentiel Y au lieu du vecteur d’intensité X permet d’améliorer la robustesse du signal temporel de chaque zone d’intérêt ROI par rapport au mouvement de la tête de l’occupant 2. On diminue l’effet du mouvement de la tête de l’occupant 2.
Pour la fonction f3, lors de la sélection des zones d’intérêt ROI de la partie 20 du corps identifiée, on ne retient qu’une partie des zones d’intérêt ROI et on supprime une partie des zones d’intérêt ROI. Ainsi, dans un mode de réalisation non limitatif, l’unité de contrôle électronique 11 est en outre configurée pour supprimer les zones d’intérêt ROI dont le vecteur d’intensité X comprend un écart-type E supérieur à un seuil de fluctuation d’intensité TH1, autrement appelé seuil secondaire TH1 (fonction illustrée sur la f30(11, E(X), TH1)). Dans un exemple non limitatif, le seuil de fluctuation d’intensité TH1 est égal à 0.003 si on a fait la normalisation décrite précédemment. L’écart-type E est calculé sur l’ensemble des échantillons p du vecteur d’intensité X, à savoir dans l’exemple non limitatif pris 150. Dans une variante de réalisation non limitative, c’est le vecteur d’intensité différentiel Y vu précédemment qui est pris en compte dans cette fonction. Cette fonction f30 permet de supprimer les parties 20 du corps qui présentent trop de mouvement. S’il existe trop de mouvement, le vecteur d’intensité X des zones d’intérêt ROI relatives aux parties 20 du corps correspondantes présente des valeurs d’intensité très éloignées les unes des autres. On vérifie ainsi qu’il n’existe pas trop de fluctuations de valeurs d’intensité dans le vecteur d’intensité X (ou le cas échéant Y). Notamment, cela peut être le cas pour les yeux ou la bouche. En effet, s’il existe trop de fluctuations de valeurs dans un vecteur d’intensité X d’une ROI donnée, cela peut fausser l’estimation du rythme cardiaque HR par la suite. Les zones d’intérêt ROI dont le vecteur d’intensité X comprend un écart-type E inférieur au seuil de fluctuation d’intensité TH1 sont conservées et utilisée pour les fonctions suivantes. Ainsi, cette fonction f30 permet efficacement d’abandonner les zones d’intérêt ROI relatives aux yeux dans l’exemple non limitatif pris du fait du clignement des yeux par exemple. Dans l’exemple non limitatif de la , les zones d’intérêt ROI numéros 74 à 80 correspondantes aux yeux ne sont ainsi par retenues pour estimer le rythme cardiaque HR.
On notera qu’il est possible que toute la tête de l’occupant 2 bouge trop. A cet effet, il ne sera pas possible d’estimer correctement le rythme cardiaque HR. Aussi, dans un mode de réalisation non limitatif, l’unité de contrôle électronique 11 est en outre configurée pour déterminer si le nombre N1 de zones d’intérêt ROI sélectionnées est inférieur à un seuil sélection TH2, autrement appelé seuil tertiaire (fonction illustrée sur la (f31(11, N1, TH2)). Dans un mode de réalisation non limitatif, le seuil sélection TH2 est égal à trois. Ainsi, si on a moins de trois zones d’intérêt ROI sélectionnées, cela signifie que toute la tête de l’occupant 2 bouge trop. Dans ce cas, ces zones d’intérêt ROI ne sont pas utilisées pour les fonctions suivantes. Pour la fenêtre glissante W courante, on utilisera dans ce cas une estimation du rythme cardiaque HR précédente prise sur les zones d’intérêt ROI de la fenêtre glissante W précédente et on lui associera un niveau de confiance LV moyen ou bas tel que décrit plus loin dans la description.
Avant l’application de la transformée de Fourier FFT (fonction f4), l’unité de contrôle électronique 11 et en outre configurée pour réaliser les fonctions suivantes qui vont permettre de déterminer précisément les harmoniques Fi. Sans ces fonctions, on risque de ne pas déceler les harmoniques sur le spectre global Sfg.
Dans un mode de réalisation non limitatif, l’unité de contrôle électronique 11 est en outre configurée pour réaliser une fonction fenêtre de Hamming, référencée H, sur le vecteur d’intensité X de chaque zone d’intérêt ROI sélectionnée avant l’application de la transformée de Fourier FFT (fonction illustrée sur la f13(11, H, ROI)). Cela permet de diminuer les fuites spectrales dans le domaine fréquentiel sur le spectre Sf obtenu après application de la transformée de Fourier FFT. La fonction fenêtre de Hamming étant connue de l’homme du métier, elle n’est pas décrite ici.
Dans un mode de réalisation non limitatif, l’unité de contrôle électronique 11 est en outre configurée pour appliquer un filtre passe-haut, référencé HPF, sur le vecteur d’intensité X de chaque zone d’intérêt ROI (fonction illustrée sur la (f14(11, Sf, HPF)). Dans un mode de réalisation non limitatif, la fréquence de coupure du filtre passe-haut HPF est égale à 40bpm. Cela permet de supprimer les valeurs en dessous de 40bpm. En effet, le rythme cardiaque HR ne peut être en dessous de 40bpm. La fonction filtre passe-haut étant connue de l’homme du métier, elle n’est pas décrite ici.
Dans un mode de réalisation non limitatif, l’unité de contrôle électronique 11 est en outre configurée pour ajouter des zéros aux vecteurs d’intensité X de chaque zone d’intérêt ROI, fonction autrement appelée dans le langage anglo-saxon « zero-padding » (fonction illustrée sur la f15(11, Sf, 0)). Cela permet d’augmenter la résolution spectrale Sr du spectre Sf relatif à une zone d’intérêt ROI dans le domaine fréquentiel. La résolution spectrale Sr dépend de la durée t du signal temporel X dans le domaine temporel. Si la durée t est égal à 5 secondes (fenêtre glissante W dans le domaine temporel), alors dans le domaine fréquentiel, la résolution spectrale Sr est égale à 1/T, soit 12bpm. Pour augmenter la résolution spectrale Sr, on ajoute de zéros après chaque vecteur d’intensité X de sorte à augmenter la durée t dudit vecteur d’intensité X. Ainsi, dans un exemple non limitatif, on ajoute 55 secondes de zéros pour augmenter la durée de 5 secondes à 60 secondes de la fenêtre glissante W. En pratique, cela revient à ajouter 1650 zéros (55sec*30images par seconde) à chaque colonne de la matrice M pour arriver à 60 secondes.
Ainsi, on passe de 12bpm à 1bpm pour la résolution spectrale Sr. On a ainsi augmenté la résolution spectrale Sr. L’intérêt d’augmenter la résolution spectrale Sr est d’obtenir une estimation précise du rythme cardiaque HR. En effet, si on a une résolution spectrale Sr trop faible, par exemple de 12bpm, on aura des valeurs sur le spectre Sf de 60bpm, 72bpm et 84bpm par exemple. Or, si on a un rythme cardiaque HR de 66bpm, on ne pourra avoir une estimation de 60bpm ou de 72bpm du rythme cardiaque HR en se basant sur le spectre Sf, ce qui n’est pas assez précis. La fonction « zero-padding » étant connue de l’homme du métier, elle n’est pas décrite ici. Ainsi, bien que la fenêtre glissante W reste à 5 secondes, artificiellement on l’a augmenté à 60 secondes.
Après ces fonctions, la fonction f4 qui est la transformée de Fourier FFT est appliquée.
On notera que la transformée de Fourier FFT permet de passer du domaine temporel au domaine fréquentiel et d’obtenir un spectre Sf à partir des différents vecteurs d’intensité X, à savoir des colonnes de la matrice M (ou le cas échéant à partir du vecteur d’intensité différentiel Y) des zones d’intérêt ROI sélectionnées sur une fenêtre glissante W (ici de 150 images) pour une fréquence d’images r donnée (ici de 30 images par seconde). Ainsi, on applique la transformée de Fourier FFT sur chaque vecteur d’intensité X des zones d’intérêt ROI sélectionnées. Ainsi, à partir d’un signal temporel qui est le vecteur d’intensité X de chaque zone d’intérêt ROI, on obtient un spectre Sf correspondant. On obtient ainsi plusieurs spectres Sf correspondant aux différentes zones d’intérêt ROI sélectionnées.
Un spectre Sf comprend une pluralité de fréquence (en Hertz). Pour chaque fréquence d’un spectre Sf, on a ainsi une valeur complexe, composée d’une amplitude A et d’une phase. Afin d’obtenir un spectre global Sfg, on réalise la fonction f5. Ainsi, pour chaque fréquence des spectres Sf, on moyenne les amplitudes A des spectres Sf de toutes les zones d’intérêts ROI sélectionnées (à l’exclusion du fond et des yeux dans l’exemple non limitatif pris). Un exemple non limitatif, d’un tel spectre global Sfg est illustré sur la . En abscisse, on trouve les fréquences f en battements par minute (bpm), et en ordonnée l’amplitude A. Chaque fréquence représente la moyenne des amplitudes A des spectres de toutes les zones d’intérêts ROI sélectionnées.
On notera qu’on ne prend pas en compte la phase car bien que les fréquences fondamentales F0 de chaque spectre Sf correspondant aux zones d’intérêt ROI de la tête et du fond sont en phase, les harmoniques Fi, i=1…N, avec N entier, ne le sont pas forcément. Aussi, si on fait une moyenne des valeurs complexes, on risque d’obtenir un spectre global Sfg atténué, voire qui s’annule en raison du déphasage entre lesdits spectres Sf. Par conséquent, on ne pourra pas bien identifier les maximas MAX décrits ci-dessous.
Concernant la fonction f6, dans un mode de réalisation non limitatif, l’unité de contrôle électronique 11 calcule les grands maximas BMAX à partir de maximas MAX dudit spectre global Sfg.
Ainsi, l’unité de contrôle électronique 11 est en outre configurée pour :
- déterminer des maximas MAX à partir dudit spectre global Sfg (fonction illustrée sur la f60(11, L, MAX, HF)),
- calculer les grands maximas BMAX à partir desdits maximas MAX (fonction illustrée sur la f61 (11, BMAX, MAX)).
Sur le spectre global Sfg illustré sur la , on peut observer qu’il existe un nombre important de maximas MAX. Pour des raisons de clarté tous les maximas MAX n’ont pas été référencés sur la figure. Ceci est dû aux artefacts de mouvement de la partie 20 du corps dudit occupant 2, de variations d’intensité lumineuse, de l’environnement (par exemple le passage sous des arbres qui entraîne une alternance d’ombre/pas d’ombre) qui demeurent et qui entraînent des distorsions dans le spectre global Sfg. On rappelle qu’on détermine les grands maxima BMAX afin de déterminer la fréquence fondamentale F0 et les harmoniques Fi, i=1…N, avec N entier du rythme cardiaque HR. Ainsi, une partie des grands maximas BMAX va correspondre à la fréquence fondamentale F0 et aux harmoniques Fi dudit rythme cardiaque HR. On notera que pour une fréquence temporelle de 30 images par seconde, on aura au maximum une fréquence maximum de 30 Hertz dans le spectre global Sfg, à savoir 30 battements par sec, soit 900 battements par min (bpm). Pour une fréquence temporelle de 15 images par seconde, on aura au maximum 450 bpm. Dans l’exemple non limitatif de la le spectre global Sfg s’étend ainsi jusqu’à une fréquence de 900bpm.
Dans un mode de réalisation non limitatif, un maxima MAX est un grand maxima BMAX si :
- (1-c1)*AMAX>=ALMIN, et
- (1-c1)*AMAX>=ARMIN, avec AMAX l’amplitude du maxima MAX, ALMIN l’amplitude du plus proche minima MIN à gauche dudit maxima MAX, et ARMIN, le plus proche minima MIN à droite dudit maxima MAX, et c1 un coefficient d’ajustement.
Les deux conditions doivent être réunies. Cela signifie que le maxima MAX est suffisamment grand par rapport aux deux points adjacents de part et d’autre. Si un maxima MAX n’a pas de minima à sa droite ou à sa gauche, il n’est pas considéré comme un grand maxima BMAX. Dans un mode de réalisation non limitatif, le coefficient d’ajustement c1 est égal à 0.3. Il peut être ajusté en fonction du nombre de grands maximas BMAX que l’on veut avoir. Cela permet de discriminer les maximas MAX qui sont prépondérants pour éliminer les autres.
Tel qu’illustré sur le zoom de la , on peut voir un maxima MAX avec une amplitude AMAX qui est entouré du plus proche minima à sa gauche MIN avec une amplitude ALMIN, et d’un plus proche minima MIN à sa droite avec une amplitude ALMIN. C’est donc un grand maxima BMAX.
La illustre tous les grands maximas BMAX calculés dans un exemple non limitatif à partir des maximas MAX de la . Ils sont entourés d’un cercle dans la figure. Le premier pic à 51bpm n’est pas considéré comme un grand maxima BMAX car il n’a pas de minima à sa gauche. Ainsi, dans l’exemple non limitatif de la , il y a quatre grands maximas BMAX. Dans l’exemple non limitatif de la , ces grands maximas BMAX sont 136bpm, 202bpm, 269 bpm et 404bpm. Ces grands maximas BMAX représentent potentiellement la fréquence fondamentale F0 et ses harmoniques Fi du signal fréquentiel global Sfg, à savoir du rythme cardiaque HR de l’occupant 2.
On notera que si on a spectre global Sfg idéal, à savoir sans bruit ni distorsion, on devrait observer sa fréquence fondamentale F0 et ses harmoniques Fi. Ainsi, si on a un spectre global réel avec une fréquence fondamentale réelle référencée hr_gt, les grands maximas devraient être F1=2* hr_gt, F2=3* hr_gt, F3=4* hr_gt etc.
Cependant, pour un spectre global Sfg observé, à savoir déduit de l’application de la FFT (fonction f4) et de la moyenne de l’amplitude A (fonction f5), par rapport à un spectre global réel, on peut avoir les problèmes suivants :
- a) la fréquence fondamentale F0 ou certaines harmoniques Fi ne sont pas détectées comme des grands maximas BMAX. Dans un exemple non limitatif, seules sont identifiées les harmoniques 2*F0 et 4*F0 ; F0 et 3*F0 n’étant pas identifiées,
- b) un ou plusieurs des grands maximas BMAX calculés ne sont pas des harmoniques Fi mais du bruit. Dans un exemple non limitatif, les grands maximas BMAX identifiés sont 2*F0, 2.3*F0 et 3*F0. Dans ce cas, 2.3*F0 représente du bruit,
- c) en raison du bruit, les grands maximas BMAX ne sont pas localisés exactement à un multiple de fréquence de la fréquence fondamentale F0. Dans un exemple non limitatif, les grands maximas identifiés sont 2.02*F0, 2.96*F0 et 3.95*F0.
Afin de pallier aux problèmes a), b) et c) mentionnés ci-dessus, dans un premier temps il faut trouver des candidats bruts HFB pour le rythme cardiaque HR à partir des grands maximas BMAX. Puis, dans un deuxième temps, il faut trouver les candidats potentiels HF pour le rythme cardiaque HR à partir desdites candidats bruts HFB trouvés. Ainsi, dans un mode de réalisation non limitatif, l’unité de contrôle électronique 11 est en outre configurée pour :
- identifier des candidats bruts HFB à partir desdits grands maximas BMAX (fonction illustrée sur la f70(11, HFB, BMAX)),
- identifier les candidats potentiels HF à partir des candidats bruts HFB (fonction illustrée sur la f71(11, HF, HFB)).
Les candidats bruts HFB sont identifiés à partir du vecteur de grands maximas BMAX = [BMAX(1), BMAX(2), …, BMAX(k), …, BMAX(M)], où M est le nombre de grands maximas BMAX identifiés. Dans l’exemple de la , BMAX = [136bpm, 202bpm, 269bpm, 404bpm], et M = 4. L’unité de contrôle électronique 11 détermine un vecteur de candidats possibles Rv = [Rv(1), Rv(2), …, Rv(i), …, Rv(N)], où N est le nombre de candidats possibles. Dans un exemple non limitatif, la plage de candidats possibles est comprise entre 40bpm et 150bpm. Cela signifie: Rv = [40bpm, 41bpm, 42bpm, …, 150bpm], et N = 111. Pour identifier les candidats bruts HFB, L’unité de contrôle électronique 11 commence par calculer un vecteur de nombres d’harmoniques Hv = [Hv(Rv(1)), Hv(Rv(2)), …, Hv(Rv(i)), …, Hv(Rv(N))]. Ce vecteur a la même longueur que le vecteur Rv. L’élément Hv(Rv(i)) représente le nombre d’harmoniques (nb_true_harmonics) pour le candidat possible Rv(i). Pour calculer Hv(Rv(i)), on suppose que le rythme cardiaque HR de l’occupant (autrement dit la fréquence fondamentale réelle) est Rv(i), et on vérifie si chaque grand maxima BMAX(k) est une harmonique de Rv(i). On dit que BMAX(k) est une harmonique de Rv(i), si la condition suivante est satisfaite: BMAX(k) / Rv(i) - arrondi( BMAX(k) - Rv(i) ) <= TH3. La fonction arrondi(X) arrondi X au nombre entier le plus proche. TH3 est un seuil de bruit autrement appelé seuil tertiaire TH3, qui permet de lever le problème c) mentionné précédemment. Dans un mode de réalisation non limitatif, TH3 = 0.1. Une fois obtenu le vecteur de nombres d’harmoniques Hv, on calcule max(Hv), qui est le nombre maximal de nombres d’harmoniques. Un candidat possible Rv(i) fait partie des candidats bruts HFB, si Hv(Rv(i)) = max(Hv). Autrement dit, les candidats bruts HFB sont des candidats possibles qui ont un nombre maximal d’harmoniques.
Dans l’exemple de la , pour calculer Hv(Rv(1)) autrement dit Hv(40bpm), on suppose que 40bpm est le rythme cardiaque HR de l’occupant, autrement dit la fréquence fondamentale réelle. BMAX(1) / Rv(1) - arrondi( BMAX(1) - Rv(1) ) = 136bpm / 40 bpm - arrondi( 136bpm / 40 bpm ) = 0.4, qui ne satisfait pas la condition. Par conséquent, BMAX(1) n’est pas une harmonique de Rv(1). Si l’on continue le calcul, on va trouver que BMAX(2) et BMAX(4) sont des harmoniques de Rv(1), mais BMAX(3) ne l’est pas. On obtient donc Hv(40bpm) = 2. Après avoir obtenu le vecteur Hv, on trouve que max(Hv) = 4 et HFB = [67bpm, 68bpm]. Ainsi, dans l’exemple de la , à partir des grands maximas BMAX qui sont 136bpm, 202bpm, 269 bpm et 404bpm, les candidats bruts HFB suivants ont été trouvés 67bpm et 68bpm.
On notera qu’en raison du bruit, on considère que la fréquence fondamentale F0 peut être mesurée entre [(1-TH3)*hr_gt, (1+TH3)*hr_gt], la première harmonique F1 à [(2-TH3)*hr_gt, (2+TH3)*hr_gt], la deuxième harmonique F2 à [(3-TH3)*hr_gt, (3+TH3)*hr_gt] etc., avec hr_gt la fréquence fondamentale réelle.
Ainsi, on obtient une liste de candidats bruts HFB. Les candidats bruts HFB sont des candidats bruts du rythme cardiaque HR de l'occupant 2, autrement dit sont des candidats bruts de la fréquence fondamentale F0.
La illustre un autre exemple non limitatif d’un spectre global Sfg de fréquence f entre 40bpm et 900bpm. Ce spectre global Sfg présente deux grands maximas 95bpm et 189bpm (entourés d’un cercle), alors que la fréquence fondamentale réelle hr_gt est de 47bpm. Les candidats bruts HFB suivants ont été trouvés : 47, 48, 91, 92, 93, 94, 95, 96, 97, 98 et 99. Les deux premiers candidats bruts HFB0 = 47 et HFB1=48 supposent que les deux grands maximas BMAX correspondants sont à 2*F0 et 4*F0 respectivement. Les autres candidats bruts HFB2 à HB10 91, 92, 93, 94, 95, 96, 97, 98 et 99 supposent que les deux grands maximas BMAX correspondants sont à F0 et 2*F0 respectivement.
Ainsi, on obtient une liste de candidats bruts HFB.
Dans un mode de réalisation non limitatif, pour identifier les candidats potentiels HF à partir des candidats bruts HFB, on détermine qu’un candidat potentiel HF est égal à la moyenne Mo des candidats bruts HFB similaires. Par similaire, on entend de valeurs proches les uns des autres. Ainsi, dans l’exemple non limitatif de la , les deux candidats bruts 67bpm et 68bpm ont des valeurs proches, on fait donc la moyenne et on obtient un seul candidat potentiel HF de 67.5bpm. Ainsi, dans l’exemple non limitatif de la , les deux candidats bruts 47bpm et 48bpm ont des valeurs proches, on fait donc la moyenne et on obtient un candidat potentiel HF de 47.5bpm. Les autres candidats bruts 91, 92, 93, 94, 95, 96, 97, 98 et 99 ont des valeurs proches, on fait donc la moyenne et on obtient un candidat potentiel HF de 95bpm. On obtient ainsi deux candidats potentiels HF1=47.5bpm et HF2=95bpm.
Par valeurs proches, on entend qu’on regroupe les candidats bruts HFB qui forme une série, à savoir qui ont des valeurs adjacentes entre elles. Ainsi, si on avait eu des candidats bruts 91, 92, 95, 96, 97, 98, 99, on aurait formé deux séries 91, 92 d’une part et 95, 96, 97, 98, 99 d’autre part, pour obtenir deux candidats potentiels HF.
Ainsi, on obtient une liste L de candidats potentiels HF, autrement appelée liste courante L.
Dans un mode de réalisation non limitatif, l’estimation du rythme cardiaque HR se fait à partir de la liste courante L de candidats potentiels HF et d’une liste précédente Lhr_prev d’estimations du rythme cardiaque HR, autrement appelée liste précédente Lhr_prev ou liste Lhr_prev. Cela permet de déterminer quel est le candidat potentiel HF qui peut être considéré comme étant l’estimation hr_estm du rythme cardiaque HR de l’occupant 2. En effet, si la fenêtre glissante W est de cinq secondes, par exemple il n’est pas possible de savoir si le rythme cardiaque HR est de 47.5bpm ou 95bpm dans l’exemple de la . On va donc se baser sur l’estimation HR sur les fenêtres W précédentes.
La liste précédente Lhr_prev est utilisée s’il y a un nombre suffisant d’estimations du rythme cardiaque précédentes hr_prev, autrement appelée estimation précédente hr_prev, dans cette liste précédente Lhr_prev. Dans ce cas, on vérifie également s’il existe un candidat potentiel HF dans la liste courante L proche d’une valeur médiane hr_prev_med ou non. Dans un mode de réalisation non limitatif, la valeur médiane hr_prev_med est la médiane des estimations du rythme cardiaque précédentes hr_prev dans la liste Lhr_prev, estimations précédentes hr_prev qui ne sont pas égales à zéro. Dans un mode de réalisation non limitatif, un candidat potentiel HF dans la liste courante L est proche de la valeur médiane hr_prev_med si elle appartient à la plage de valeurs [(1-max_hr_d)*hr_prev_med, (1+max_hr_d)*hr_prev_med], avec max_hr_d=0.15. max_hr_d est un seuil de tolérance de la fluctuation du rythme cardiaque HR dans le temps. Si l'on attribue une petite valeur à max_hr_d, on considère que durant 2 min (qui est la taille de buffer FIFO dans un exemple non limitatif), le rythme cardiaque HR de l'occupant change très peu.
S’il n’existe pas un nombre suffisant d’estimations précédentes hr_prev dans la liste précédente Lhr_prev, on ne peut faire confiance à aucune estimation précédentes hr_prev dans la liste précédente Lhr_prev. On n’utilise alors que la liste courante L. Si dans la liste courante L il n’existe qu’un seul candidat potentiel HF, alors on l’utilise comme estimation hr_estm du rythme cardiaque HR courant, sinon on prend le candidat potentiel HF de la liste courant L qui est le plus proche d’une valeur de référence hr_ref comme étant l’estimation hr_estm. Dans un exemple non limitatif, la valeur de référence hr_ref est égale à 80bpm. On notera qu’un niveau de confiance LV est associé à l’estimation hr_estm calculée. Pour chaque fenêtre glissante W, on donne une estimation de rythme cardiaque accompagnée d'un niveau de confiance LV. Cela permet de donner une idée sur le niveau de fiabilité de l’estimation.
Ainsi, l’unité de contrôle électronique 11 est ainsi en outre configurée pour :
- vérifier si le nombre NB d’estimations hr_prev qui a été sauvegardé dans la liste précédente Lhr_prev est supérieur à un nombre seuil NS (fonction illustrée sur la f80(11, hr_prev, NS, Lhr_prev)),
- dans l’affirmative, vérifier que dans la liste précédente Lhr_prev il existe une estimation du rythme cardiaque précédente hr_prev à proximité d’une valeur médiane hr_prev_med (fonction illustrée sur la f81(11, hr_prev, hr_prev_med)),
- dans l’affirmative, prendre cette estimation du rythme cardiaque précédente hr_prev, comme étant l’estimation hr_estm du rythme cardiaque HR (fonction illustrée sur la f82(11, HR, hr_estm, hr_prev)),et lui appliquer un niveau de confiance élevé LV1 (fonction illustrée sur la f83(11, hr_estm, LV1)),
- dans la négative, estimer le rythme cardiaque HR comme étant la valeur médiane hr_prev_med (fonction illustrée sur la f84(11, HR, hr_estm, hr_prev_med)), et lui appliquer un niveau de confiance bas LV3 (fonction illustrée sur la f85(11, hr_estm, LV3)). On a l’estimation hr_estm du rythme cardiaque HR qui est égale à la valeur médiane hr_prev_med,
- si le nombre NB d’estimations hr_prev qui a été sauvegardé dans la liste précédente Lhr_prev est inférieur au nombre seuil NS, vérifier dans la liste courante L s’il n’existe qu’un seul candidat potentiel HF (fonction illustrée sur la f86(11, HF(L))),
- dans l’affirmative, estimer le rythme cardiaque HR comme étant ce candidat potentiel HF unique (fonction illustrée sur la f87(11, HR, hr_estm, HF(L))), et lui appliquer un niveau de confiance moyen LV2 (fonction illustrée sur la f88(11, hr_estm, LV2)). On a l’estimation hr_estm du rythme cardiaque HR qui est égale à ce candidat potentiel HF unique,
- dans la négative, estimer le rythme cardiaque HR comme étant le candidat potentiel HF (de la liste courant L) le plus proche d’une valeur de référence hr_ref (fonction illustrée sur la f89(11, HR, hr_estm, HF(L), hr_ref)), et lui appliquer un niveau de confiance bas LV3 (fonction illustrée sur la f85(11, hr_estm, LV3)). On a l’estimation hr_estm du rythme cardiaque HR qui est égale à ce candidat potentiel HF le plus proche de la valeur de référence hr_ref.
Dans un mode de réalisation non limitatif, le dispositif d’estimation 1 utilise un buffer de type FIFO, autrement appelé buffer FIFO pour sauvegarder les différentes estimations du rythme cardiaque précédentes hr_prev et ainsi obtenir la liste précédente Lhr_prev.
On notera qu’on ne sauvegarde pas toutes les estimations hr_estm du rythme cardiaque HR calculées dans le buffer FIFO. Dans un mode de réalisation non limitatif, pour sauvegarder une estimation hr_estm du rythme cardiaque HR d’une fenêtre glissante W dans le buffer FIFO (estimation hr_estm qui deviendra une estimation du rythme cardiaque précédente hr_prev pour la fenêtre glissante W suivante), on regarde si le nombre nb_true_harmonics d’harmoniques Fi est supérieur à un seuil d’harmoniques TH4, autrement appelé seuil quinquénaire TH4. Si c’est le cas, on peut avoir confiance dans cette estimation hr_estm du rythme cardiaque, dans le cas contraire, on ne retiendra pas cette estimation hr_estm du rythme cardiaque. Dans un mode de réalisation non limitatif, le seuil d’harmoniques TH4 est égal à 3. Ainsi, si nb_true_harmonics > 3, on sauvegarde l’estimation hr_estm du rythme cardiaque dans le buffer FIFO qui devient une estimation du rythme cardiaque précédente hr_prev. Dans la négative, on met un zéro à la place. Ainsi la liste précédente Lhr_prev comprend des zéros et des valeurs d’estimations hr_estm du rythme cardiaque qui sont les estimations précédentes hr_prev.
Dans un mode de réalisation non limitatif, le buffer a une longueur de 120. Cela correspond au nombre de fenêtres glissantes W, et à 120secondes. La liste précédente Lhr_prev comprend donc 120 valeurs d’estimations du rythme cardiaques précédentes hr_prev, une estimation précédente hr_prev étant relative à une fenêtre glissante W qui précède la fenêtre glissante W courante. Celle longueur de 120 est un bon compromis pour avoir suffisamment d’estimations de rythme cardiaque précédentes hr_prev et ne pas avoir un nombre trop important d’estimations de rythme cardiaque précédentes hr_prev sauvegardé dans le buffer, nombre qui ne serait plus représentatif du rythme cardiaque HR courant de l’occupant 2 s’il est trop grand. En effet, si le buffer a une longueur correspondant à une heure, sur cette durée le rythme cardiaque HR de l’occupant 2 peut avoir évolué fortement.
Sur la qui correspond à la avec des lignes verticales supplémentaires, la ligne verticale la plus à gauche indique l’estimation hr_estm du rythme cardiaque HR, à savoir 67.5bpm, la fréquence fondamentale réelle hr_gt étant de 66bpm. Les autres lignes verticales sont les positions calculées des harmoniques Fi.
Sur la qui correspond à la avec des lignes verticales supplémentaires, la ligne verticale la plus à gauche indique l’estimation hr_estm du rythme cardiaque HR, à savoir 47.5bpm, la fréquence fondamentale réelle hr_gt étant de 47bpm. Les autres lignes verticales sont les positions calculées des harmoniques Fi. Le nombre NB d’estimations hr_prev qui a été sauvegardé dans la liste précédente Lhr_prev est supérieur à 3 dans l’exemple non limitatif pris et il existe une estimation du rythme cardiaque précédente hr_prev à proximité d’une valeur médiane hr_prev_med, cette dernière étant égale à 45bpm. La liste précédente Lhr_prev contient déjà des valeurs [47bpm, 46bpm, 0, 0, 44bpm, 44bpm, 45bpm ; 0, 0, …,0 ] dans un exemple non limitatif. On estime donc le rythme cardiaque HR comme étant celle la plus proche de la valeur médiane, à savoir 47.5bpm.
Ainsi, le dispositif d’estimation 1 permet de mettre en œuvre le procédé d’estimation 4 du rythme cardiaque HR d’un occupant 2 d’un véhicule 3. Le procédé d’estimation 4 est illustré sur les figures 10 et 11 dans un mode de réalisation non limitatif. Il comprend les étapes suivantes.
Dans une première étape E1) illustrée F1(10, I1, 2), la caméra 10 acquiert des images I1 dudit occupant 2.
Dans une deuxième étape E2) illustrée F2(11, I1, ROI), l’unité de contrôle électronique 11 identifie une partie 20 du corps dudit occupant 2 à partir desdites images I1 acquises.
Dans une troisième étape E3) illustrée F3(11, 20, ROI), l’unité de contrôle électronique 11 sélectionne des zones d’intérêt (ROI) sur ladite partie (20) de corps identifiée,
Dans une quatrième étape E4) illustrée F4(11, FFT, ROI, Sf)), l’unité de contrôle électronique 11 applique une transformée de Fourier FFT à chaque zone d’intérêt ROI sélectionnée de sorte à obtenir un spectre Sf correspondant à chaque zone d’intérêt ROI.
Dans une cinquième étape E5) illustrée F5(11, A, ROI, Sfg), l’unité de contrôle électronique 11 calcule la moyenne de l’amplitude A pour chaque fréquence f des spectres Sf des zones d’intérêt ROI sélectionnées de sorte à obtenir un spectre global Sfg.
Dans une sixième étape E6) illustrée F6(11, Sfg, BMAX)), à partir dudit spectre global Sfg, l’unité de contrôle électronique 11 détermine des grands maximas BMAX qui sont potentiellement la fréquence fondamentale F et/ou les harmoniques du rythme cardiaque HR de l’occupant 2.
Dans une septième étape E7) illustrée F7(11, BMAX, L(HF)), à partir desdits grands maximas BMAX, l’unité de contrôle électronique 11 détermine une liste L de candidats potentiels HF du rythme cardiaque HR de l’occupant 2.
Dans une huitième étape E8) illustrée F8((11, L(HF), HR)), à partir de ladite liste L, l’unité de contrôle électronique 11 estime ledit rythme cardiaque HR dudit occupant 2. On obtient ainsi une estimation hr_estm du rythme cardiaque HR.
Dans un mode de réalisation non limitatif, la détermination de la liste L de candidats potentiels HF comprend les étapes de :
- identifier des candidats bruts HFB à partir desdits grands maximas BMAX,
- identifier les candidats potentiels HF à partir des candidats bruts HFB.
Comme décrit précédemment, dans un mode de réalisation non limitatif, l’estimation du rythme cardiaque HR se fait à partir de la liste courante L de candidats potentiels HF et d’une liste Lhr_prev d’estimations du rythme cardiaque précédente hr_prev, autrement appelée liste Lhr_prev ou liste précédente Lhr_prev.
Ainsi, tel qu’illustré sur la , le procédé d’estimation 4 comprend en outre les sous-étapes de :
- vérifier si le nombre NB d’estimations hr_prev qui a été sauvegardé dans la liste précédente Lhr_prev est supérieur à un nombre seuil NS (sous-étape E80),
- dans l’affirmative (branche A), vérifier que dans la liste précédente Lhr_prev il existe une estimation du rythme cardiaque précédente hr_prev à proximité d’une valeur médiane hr_prev_med (sous-étape E81 illustrée sur la F81(11, hr_prev, hr_prev_med)),
- dans l’affirmative (branche C), prendre cette estimation du rythme cardiaque précédente hr_prev, comme étant l’estimation hr_estm du rythme cardiaque HR (sous-étape E82 illustrée sur la F82 (11, HR, hr_estm, hr_prev)), et lui appliquer un niveau de confiance élevé LV1 (sous-étape E83 illustrée sur la F83(11, hr_estm, LV1)),
- dans la négative (branche D), estimer le rythme cardiaque HR comme étant la valeur médiane hr_prev_med (sous-étape E84 illustrée sur la F84(11, HR, hr_estm, hr_prev_med)), et lui appliquer un niveau de confiance bas LV3 (sous-étape E85 illustrée sur la F85(11, hr_estm, LV3)),
- si le nombre NB d’estimations hr_prev qui a été sauvegardé dans la liste Lhr_prev est inférieur au nombre seuil NS (branche B), vérifier dans la liste courante L s’il n’existe qu’un seul candidat potentiel HF (sous-étape E86 illustrée sur la F86(11, HF(L))),
- dans l’affirmative (branche E), estimer le rythme cardiaque HR comme étant ce candidat potentiel HF unique (sous-étape E87 illustrée sur la F87 (11, HR, hr_estm, HF(L))), et lui appliquer un niveau de confiance moyen LV2 (sous-étape E88 illustrée sur la F88(11, hr_estm, LV2)),
- dans la négative (branche F), estimer le rythme cardiaque HR comme étant le candidat potentiel HF (de la liste courant L) le plus proche d’une valeur de référence hr_ref (sous-étape E89 illustrée sur la F89(11, HR, hr_estm, HF(L), hr_ref)), et lui appliquer un niveau de confiance bas LV3 (sous-étape E90 illustrée sur la F90(11, hr_estm, LV3)).
Bien entendu la description de l’invention n’est pas limitée aux modes de réalisation décrits ci-dessus et au domaine décrit ci-dessus. Ainsi, dans un autre mode de réalisation non limitatif, la partie 20 du corps identifiée de l’occupant 2 peut être différente de la tête. Dans une variante de réalisation non limitative, cela peut être la main ou le torse. Cela peut être également une combinaison de différentes parties du corps. Ainsi, dans un autre mode de réalisation non limitatif, outre la fréquence fondamentale F0 et les harmoniques Fi, on peut utiliser les sous-harmoniques. Ainsi, dans un autre mode de réalisation non limitatif, au lieu de l’amplitude A, on peut utiliser la densité spectrale de puissance Sf, à savoir le carré de l’amplitude A.
Ainsi, l’invention décrite présente notamment les avantages suivants :
- elle permet d’estimer le rythme cardiaque HR de l’occupant 2 d’un véhicule 3 sans contact physique contrairement à l’utilisation d’un oxymètre de pouls qui coûte très cher et qui est compliqué à utiliser lorsqu’une personne conduit un véhicule ou contrairement à l’utilisation de tout dispositif qui nécessite un contact physique avec le corps dudit occupant 2 pour récupérer un signal relatif au rythme cardiaque HR,
- elle permet d’estimer le rythme cardiaque HR dans le domaine fréquentiel en utilisant la fréquence fondamentale F0 et les harmoniques Fi au lieu d’utiliser des minimas dans le domaine temporel qui n’est pas une solution qui permet de supprimer les artefacts de mouvement,
- elle permet d’estimer précisément le rythme cardiaque HR de l’occupant 2 grâce à l’utilisation de la fréquence fondamentale F0 et des harmoniques Fi du spectre global Sfg,
- elle permet de supprimer le bruit notamment du au différents artefacts de mouvement grâce notamment à l’utilisation de la fréquence fondamentale F0 et des harmoniques Fi du spectre global Sfg,
- elle permet d’utiliser une fenêtre glissante W de plus courte durée que l’état de la technique qui utilise une fenêtre glissante W de dix secondes et se base sur la fréquence fondamentale uniquement pour l’estimation du rythme cardiaque HR.

Claims (19)

  1. Dispositif d’estimation (1) du rythme cardiaque (HR) d’un occupant (2) d’un véhicule (3), caractérisé en ce que ledit dispositif d’estimation (1) comprend :
    - une caméra (10) configurée pour acquérir des images (I1) dudit occupant (2),
    - une unité de contrôle électronique (11) configurée pour :
    - identifier une partie (20) du corps dudit occupant (2) à partir desdites images (I1) acquises,
    - sélectionner des zones d’intérêt (ROI) sur ladite partie de corps (20) identifiée,
    - appliquer une transformée de Fourier (FFT) sur chaque zone d’intérêt (ROI) sélectionnée de sorte à obtenir un spectre (Sf) correspondant à chaque zone d’intérêt (ROI),
    - moyenner l’amplitude (A) pour chaque fréquence (f) des spectres (Sf) des zones d’intérêt (ROI) sélectionnées de sorte à obtenir un spectre global (Sfg),
    - à partir dudit spectre global (Sfg), déterminer des grands maximas (BMAX) qui sont potentiellement la fréquence fondamentale (F0) et/ou les harmoniques correspondantes (Fi, i=1 …N) dudit rythme cardiaque (HR) de l’occupant (2),
    - à partir desdits grands maximas (BMAX), déterminer une liste (L) de candidats potentiels (HF) du rythme cardiaque (HR) de l’occupant (2),
    - à partir de ladite liste (L), estimer le rythme cardiaque (HR) dudit occupant (2).
  2. Dispositif d’estimation (1) selon la revendication 1, selon lequel lesdites images (I1) sont acquises sur une fenêtre glissante (W) inférieure ou égale à cinq secondes.
  3. Dispositif d’estimation (1) selon l’une quelconque des revendications précédentes, selon lequel chaque zone d’intérêt (ROI) est représentée par un vecteur d’intensité temporel (X) et ladite unité de contrôle électronique (11) est en outre configurée pour réaliser une normalisation dudit vecteur d’intensité temporel (X) de chaque zone d’intérêt (ROI).
  4. Dispositif d’estimation (1) selon l’une quelconque des revendications précédentes, selon lequel chaque zone d’intérêt (ROI) est représentée par un vecteur d’intensité temporel (X) et ladite unité de contrôle électronique (11) est en outre configurée pour réaliser un différentiel (Y) sur le vecteur d’intensité temporel (X) de chaque zone d’intérêt (ROI).
  5. Dispositif d’estimation (1) selon l’une quelconque des revendications précédentes, selon lequel chaque zone d’intérêt (ROI) est représentée par un vecteur d’intensité temporel (X) et ladite unité de contrôle électronique (11) est en outre configurée pour supprimer les zones d’intérêt (ROI) dont le vecteur d’intensité temporel (X) comprend un écart-type (E) supérieur à un seuil de fluctuation d’intensité (TH1).
  6. Dispositif d’estimation (1) selon l’une quelconque des revendications précédentes, selon lequel ladite unité de contrôle électronique (11) est en outre configurée pour déterminer si le nombre (N1) de zones d’intérêt (ROI) sélectionnées est inférieur à un seuil primaire (TH2).
  7. Dispositif d’estimation (1) selon l’une quelconque des revendications précédentes, selon lequel chaque zone d’intérêt (ROI) est représentée par un vecteur d’intensité temporel (X) et ladite unité de contrôle électronique (11) est en outre configurée pour réaliser une fonction fenêtre de Hamming sur le vecteur d’intensité temporel (X) de chaque zone d’intérêt (ROI) sélectionnée.
  8. Dispositif d’estimation (1) selon l’une quelconque des revendications précédentes, selon lequel chaque zone d’intérêt (ROI) est représentée par un vecteur d’intensité temporel (X) et ladite unité de contrôle électronique (11) est en outre configurée pour appliquer un filtre passe-haut sur le vecteur d’intensité temporel (X) de chaque zone d’intérêt (ROI) sélectionnée.
  9. Dispositif d’estimation (1) selon l’une quelconque des revendications précédentes, selon lequel chaque zone d’intérêt (ROI) est représentée par un vecteur d’intensité temporel (X) et ladite unité de contrôle électronique (11) est en outre configurée pour ajouter des zéros sur le vecteur d’intensité temporel (X) de chaque zone d’intérêt (ROI) sélectionnée de sorte à augmenter la résolution spectrale (Sr) dudit spectre (Sf) correspondant audit signal temporel (X).
  10. Dispositif d’estimation (1) selon l’une quelconque des revendications précédentes, selon lequel ladite unité de contrôle électronique (11) est en outre configurée pour déterminer lesdits grands maximas (BMAX) à partir de maximas (MAX) dudit spectre global (Sfg).
  11. Dispositif d’estimation (1) selon la revendication précédente, selon lequel un maxima (MAX) est un grand maxima (BMAX) si :
    - (1-c1)*AMAX>=ALMIN, et
    - (1-c1)*AMAX>=ARMIN, avec AMAXl’amplitude du maxima (MAX), ALMINl’amplitude du plus proche minima (MIN) à gauche dudit maxima (MAX), et ARMIN, le plus proche minima (MIN) à droite dudit maxima (MAX), et c1 un coefficient d’ajustement.
  12. Dispositif d’estimation (1) selon l’une quelconque des revendications précédentes, selon lequel pour déterminer une liste (L) de candidats potentiels (HF), ladite unité de contrôle électronique (11) est en outre configurée pour :
    - identifier des candidats bruts (HFB) à partir desdits grands maximas (BMAX),
    - identifier les candidats potentiels (HF) à partir des candidats bruts (HFB).
  13. Dispositif d’estimation (1) selon la revendication précédente, selon lequel un candidat potentiel (HF) est égal à la moyenne (Mo) des candidats bruts (HB) similaires.
  14. Dispositif d’estimation (1) selon l’une quelconque des revendications précédentes, selon lequel l’estimation dudit rythme cardiaque (HR) se fait à partir de la liste courante (L) des candidats potentiels (HF) et une liste précédente (Lhr_prev) d’estimations du rythme cardiaque (hr_prev).
  15. Dispositif d’estimation (1) selon la revendication précédente, selon lequel un niveau de confiance (LV) est associé à ladite estimation du rythme cardiaque (HR).
  16. Dispositif d’estimation (1) selon la revendication 14, selon lequel ladite unité de contrôle électronique (11) est en outre configurée pour :
    - vérifier si le nombre (NB) d’estimations (hr_prev) qui a été sauvegardé dans la liste précédente (Lhr_prev) est supérieur à un nombre seuil (NS),
    - dans l’affirmative, vérifier que dans la liste précédente (Lhr_prev) il existe une estimation du rythme cardiaque précédente (hr_prev) à proximité d’une valeur médiane (hr_prev_med),
    - dans l’affirmative, prendre cette estimation du rythme cardiaque précédente (hr_prev), comme étant l’estimation (hr_estm) du rythme cardiaque (HR),et lui appliquer un niveau de confiance élevé (LV1),
    - dans la négative, estimer le rythme cardiaque (HR) comme étant la valeur médiane (hr_prev_med), et lui appliquer un niveau de confiance bas (LV3),
    - si le nombre (NB) d’estimations (hr_prev) qui a été sauvegardé dans la liste précédente (Lhr_prev) est inférieur au nombre seuil (NS), vérifier dans la liste courante (L) s’il n’existe qu’un seul candidat potentiel (HF),
    - dans l’affirmative, estimer le rythme cardiaque (HR) comme étant ce candidat potentiel (HF) unique, et lui appliquer un niveau de confiance moyen (LV2),
    - dans la négative, estimer le rythme cardiaque (HR) comme étant une valeur de référence (hr_ref), et lui appliquer un niveau de confiance bas (LV3).
  17. Dispositif d’estimation (1) selon l’une quelconque des revendications précédentes, selon lequel ladite caméra (10) est une caméra proche infrarouge ou une caméra RGB.
  18. Procédé d’estimation (4) du rythme cardiaque (HR) d’un occupant (2) d’un véhicule (3), caractérisé en ce que ledit procédé d’estimation (4) comprend :
    - l’acquisition par une caméra (10) d’images (I1) dudit occupant (2),
    - l’identification par une unité de contrôle électronique (11) d’une partie (20) du corps dudit occupant (2) à partir desdites images (I1) acquises,
    - la sélection par ladite unité de contrôle électronique (11) desdites zones d’intérêt (ROI) sur ladite partie (20) de corps identifiée,
    - l’application par ladite unité de contrôle électronique (11) d’une transformée de Fourier (FFT) sur chaque zone d’intérêt (ROI) sélectionnée de sorte à obtenir un spectre (Sf) correspondant à chaque zone d’intérêt (ROI),
    - le calcul par ladite unité de contrôle électronique (11) de la moyenne de l’amplitude (A) pour chaque fréquence (f) des spectres (Sf) des zones d’intérêt (ROI) sélectionnées de sorte à obtenir un spectre global (Sfg),
    - à partir dudit spectre global (Sfg), la détermination par ladite unité de contrôle électronique (11) de grands maximas (BMAX) qui sont potentiellement la fréquence fondamentale (F0) et/ou les harmoniques correspondantes (Fi, i=1 …N) du rythme cardiaque (HR) de l’occupant (2),
    - à partir desdits grands maximas (BMAX), la détermination par ladite unité de contrôle électronique (11) d’une liste (L) de candidats potentiels (HF) dudit rythme cardiaque (HR) de l’occupant (2),
    - à partir de ladite liste (L), l’estimation par ladite unité de contrôle électronique (11) dudit rythme cardiaque (HR) dudit occupant (2).
  19. Procédé d’estimation (4) selon la revendication précédente, selon laquelle la détermination de la liste (L) de candidats potentiels (HF) comprend :
    - l’identification de candidats bruts (HFB) à partir desdits grands maximas (BMAX),
    - l’identification desdits candidats potentiels (HF) à partir desdits candidats bruts (HFB).
FR2010180A 2020-10-06 2020-10-06 Dispositif d’estimation du rythme cardiaque d’un occupant d’un véhicule Active FR3114736B1 (fr)

Priority Applications (1)

Application Number Priority Date Filing Date Title
FR2010180A FR3114736B1 (fr) 2020-10-06 2020-10-06 Dispositif d’estimation du rythme cardiaque d’un occupant d’un véhicule

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FR2010180A FR3114736B1 (fr) 2020-10-06 2020-10-06 Dispositif d’estimation du rythme cardiaque d’un occupant d’un véhicule
FR2010180 2020-10-06

Publications (2)

Publication Number Publication Date
FR3114736A1 true FR3114736A1 (fr) 2022-04-08
FR3114736B1 FR3114736B1 (fr) 2022-11-04

Family

ID=74045705

Family Applications (1)

Application Number Title Priority Date Filing Date
FR2010180A Active FR3114736B1 (fr) 2020-10-06 2020-10-06 Dispositif d’estimation du rythme cardiaque d’un occupant d’un véhicule

Country Status (1)

Country Link
FR (1) FR3114736B1 (fr)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150125051A1 (en) * 2012-05-01 2015-05-07 Koninklijke Philips N.V. Device and method for extracting information from remotely detected characteristic signals
US20150302158A1 (en) * 2014-04-21 2015-10-22 Microsoft Corporation Video-based pulse measurement
US20180307927A1 (en) * 2017-04-24 2018-10-25 Oxehealth Limited In-Vehicle Monitoring
US20190209052A1 (en) * 2016-06-30 2019-07-11 Koninklijke Philips N.V. Method and apparatus for face detection/recognition systems
WO2019161411A1 (fr) * 2018-02-17 2019-08-22 Sanmina Corporation Système et méthode d'obtention de données de santé à, l'aide d'un réseau neuronal
US20200163560A1 (en) * 2018-11-28 2020-05-28 National Yunlin University Of Science And Technology Heart rate detection method and device thereof
US20200214614A1 (en) * 2019-01-07 2020-07-09 Stmicroelectronics S.R.L. Image processing method and corresponding system
US20200289024A1 (en) * 2016-02-19 2020-09-17 Covidien Lp System and methods for video-based monitoring of vital signs

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150125051A1 (en) * 2012-05-01 2015-05-07 Koninklijke Philips N.V. Device and method for extracting information from remotely detected characteristic signals
US20150302158A1 (en) * 2014-04-21 2015-10-22 Microsoft Corporation Video-based pulse measurement
US20200289024A1 (en) * 2016-02-19 2020-09-17 Covidien Lp System and methods for video-based monitoring of vital signs
US20190209052A1 (en) * 2016-06-30 2019-07-11 Koninklijke Philips N.V. Method and apparatus for face detection/recognition systems
US20180307927A1 (en) * 2017-04-24 2018-10-25 Oxehealth Limited In-Vehicle Monitoring
WO2019161411A1 (fr) * 2018-02-17 2019-08-22 Sanmina Corporation Système et méthode d'obtention de données de santé à, l'aide d'un réseau neuronal
US20200163560A1 (en) * 2018-11-28 2020-05-28 National Yunlin University Of Science And Technology Heart rate detection method and device thereof
US20200214614A1 (en) * 2019-01-07 2020-07-09 Stmicroelectronics S.R.L. Image processing method and corresponding system

Also Published As

Publication number Publication date
FR3114736B1 (fr) 2022-11-04

Similar Documents

Publication Publication Date Title
EP3608834A1 (fr) Procede d&#39;analyse d&#39;une empreinte
FR2864311A1 (fr) Procede et systeme de visualisation pour vehicule
FR3038431A1 (fr) Bloc camera haute resolution pour drone, avec correction des instabilites de type oscillations ondulantes
FR3010941A1 (fr) Dispositif et procede d&#39;aide a la conduite
JP2013506525A (ja) フォトプレチスモグラフィーを実行するための方法及びシステム
EP3114831B1 (fr) Débruitage vidéo optimisé pour système multicapteur hétérogène
EP0871143A1 (fr) Système de traitement d&#39;une séquence d&#39;images bruitées, et appareil d&#39;examen médical incluant un tel système
WO2000024309A1 (fr) Detection de somnolence d&#39;un conducteur de vehicule
FR2996668A1 (fr) Procede pour accelerer des rendus monte carlo.
FR3114736A1 (fr) Dispositif d’estimation du rythme cardiaque d’un occupant d’un véhicule
EP2754088A1 (fr) Identification par reconnaissance d&#39;iris
EP2925210B1 (fr) Procédé et système de collecte d&#39;un paramètre de saccade de retour lors d&#39;un test visuel, et utilisation pour diagnostiquer un trouble oculomoteur
FR2938660A1 (fr) Procede et appareil de commande pour determiner les parametres photometriques de la projection d&#39;un signe
FR2706211A1 (fr) Procédé de traitement d&#39;images routières et de suivi d&#39;obstacles, et dispositif pour sa mise en Óoeuvre.
FR2884990A1 (fr) Desentrelacement d&#39;une sequence d&#39;images animees
FR3082038A1 (fr) Estimation dynamique du tangage instantane d&#39;une camera embarquee dans un vehicule automobile
FR3032919A1 (fr) Procede et dispositif de detection d&#39;un changement de comportement de conducteur d&#39;un vehicule automobile
FR2905586A1 (fr) &#34;procede de localisation des pupilles&#34;
EP3654847A1 (fr) Procédé de caractérisation d&#39;un os à l&#39;aide d&#39;ondes ultrasonores
FR3015090A1 (fr) Procede de traitement d&#39;images, notamment issues de systemes de visualisation de nuit et systeme associe
FR2889112A1 (fr) Systeme de determination de la pression de gonflage de pneumatiques montes sur des roues de vehicule automobile
FR2978910A1 (fr) Procede de detection d&#39;une anormalite oculomotrice chez un sujet par test de recherche visuelle, et un systeme d&#39;aide a une telle detection
EP3397984B1 (fr) Procédé et système de télémétrie par imageur
FR3102596A1 (fr) Méthode de détermination d’une caractéristique d’une cible par un véhicule , véhicule automobile et cible
WO2019166720A1 (fr) Détection dynamique de lumière parasite dans une image numérique

Legal Events

Date Code Title Description
PLFP Fee payment

Year of fee payment: 2

PLSC Publication of the preliminary search report

Effective date: 20220408

PLFP Fee payment

Year of fee payment: 3

PLFP Fee payment

Year of fee payment: 4