IT201900000133A1 - "Procedimento di elaborazione di immagini, sistema, veicolo e prodotto informatico corrispondenti" - Google Patents

"Procedimento di elaborazione di immagini, sistema, veicolo e prodotto informatico corrispondenti" Download PDF

Info

Publication number
IT201900000133A1
IT201900000133A1 IT102019000000133A IT201900000133A IT201900000133A1 IT 201900000133 A1 IT201900000133 A1 IT 201900000133A1 IT 102019000000133 A IT102019000000133 A IT 102019000000133A IT 201900000133 A IT201900000133 A IT 201900000133A IT 201900000133 A1 IT201900000133 A1 IT 201900000133A1
Authority
IT
Italy
Prior art keywords
ppg
signals
driver
processing
images
Prior art date
Application number
IT102019000000133A
Other languages
English (en)
Inventor
Francesco Rundo
Francesca Trenta
Sabrina Conoci
Sebastiano Battiato
Original Assignee
St Microelectronics Srl
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by St Microelectronics Srl filed Critical St Microelectronics Srl
Priority to IT102019000000133A priority Critical patent/IT201900000133A1/it
Priority to US16/729,879 priority patent/US11471084B2/en
Publication of IT201900000133A1 publication Critical patent/IT201900000133A1/it
Priority to US17/948,890 priority patent/US11793406B2/en

Links

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0077Devices for viewing the surface of the body, e.g. camera, magnifying lens
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/02Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/024Detecting, measuring or recording pulse rate or heart rate
    • A61B5/02405Determining heart rate variability
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/02Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/024Detecting, measuring or recording pulse rate or heart rate
    • A61B5/02416Detecting, measuring or recording pulse rate or heart rate using photoplethysmograph signals, e.g. generated by infrared radiation
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/02Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/024Detecting, measuring or recording pulse rate or heart rate
    • A61B5/0255Recording instruments specially adapted therefor
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/16Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/18Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state for vehicle drivers or machine operators
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/68Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6887Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient mounted on external non-worn devices, e.g. non-medical devices
    • A61B5/6893Cars
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/68Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6887Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient mounted on external non-worn devices, e.g. non-medical devices
    • A61B5/6898Portable consumer electronic devices, e.g. music players, telephones, tablet computers
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/72Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235Details of waveform analysis
    • A61B5/7264Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A61B5/7267Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/72Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7271Specific aspects of physiological measurement analysis
    • A61B5/7278Artificial waveform generation or derivation, e.g. synthesising signals from measured signals
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/74Details of notification to user or communication with user or patient ; user input means
    • A61B5/746Alarms related to a physiological condition, e.g. details of setting alarm thresholds or avoiding false alarms
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08Interaction between the driver and the control system
    • B60W50/14Means for informing the driver, warning the driver or prompting a driver intervention
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00Drive control systems specially adapted for autonomous road vehicles
    • B60W60/005Handover processes
    • B60W60/0051Handover processes from occupants to vehicle
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/044Recurrent networks, e.g. Hopfield networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/048Activation functions
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/59Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation
    • G06V40/165Detection; Localisation; Normalisation using facial parts and geometric relationships
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation
    • G06V40/166Detection; Localisation; Normalisation using acquisition arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation
    • G06V40/167Detection; Localisation; Normalisation using comparisons between temporally consecutive images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168Feature extraction; Face representation
    • G06V40/171Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2576/00Medical imaging apparatus involving image processing or analysis
    • A61B2576/02Medical imaging apparatus involving image processing or analysis specially adapted for a particular organ or body part
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08Interaction between the driver and the control system
    • B60W50/14Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/143Alarm means
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403Image sensing, e.g. optical camera
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00Input parameters relating to occupants
    • B60W2540/229Attention level, e.g. attentive to driving, reading or sleeping
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217Validation; Performance evaluation; Active pattern learning techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00Machine learning
    • G06N20/20Ensemble learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00Computing arrangements using knowledge-based models
    • G06N5/01Dynamic search techniques; Heuristics; Dynamic trees; Branch-and-bound
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/15Biometric patterns based on physiological signals, e.g. heartbeat, blood flow

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Theoretical Computer Science (AREA)
  • Animal Behavior & Ethology (AREA)
  • Medical Informatics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Pathology (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Surgery (AREA)
  • Cardiology (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • Physiology (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Mathematical Physics (AREA)
  • Multimedia (AREA)
  • Automation & Control Theory (AREA)
  • Evolutionary Computation (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Psychiatry (AREA)
  • Computing Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Hospice & Palliative Care (AREA)
  • Fuzzy Systems (AREA)
  • Social Psychology (AREA)
  • Educational Technology (AREA)

Description

DESCRIZIONE dell’invenzione industriale dal titolo:
“Procedimento di elaborazione di immagini, sistema, veicolo e prodotto informatico corrispondenti”
TESTO DELLA DESCRIZIONE
Campo tecnico
La descrizione è relativa alle tecniche per l’elaborazione di immagini. Per esempio, tali tecniche possono essere impiegate in un procedimento di elaborazione di immagini per ricostruire segnali elettro-fisiologici per rilevare la sonnolenza di un conducente.
Sfondo tecnologico
La sonnolenza di un conducente può causare gravi incidenti stradali che coinvolgono veicoli. La possibilità di rilevare uno stato di attenzione di un conducente, per esempio nel campo automotive, può facilitare la valutazione della sua idoneità a guidare un veicolo, facilitando la prevenzione di incidenti stradali.
Sistemi di visione artificiale (“computer vision”) possono essere integrati nei veicoli, per es., equipaggiati con sistemi avanzati di assistenza alla guida, in breve ADAS (“Advanced Driver Assistance System”), al fine di avvisare il conducente nel caso di rilevate deviazioni da una corsia stradale. Ciononostante, i procedimenti basati sulla rilevazione delle deviazioni da una corsia possono non riuscire ad avvertire il conducente a causa di condizioni subottimali di visibilità ambientale o della corsia (per es., nebbia, neve, ecc.).
Quindi, è stata realizzata una vasta attività per fornire ADAS con procedimenti che facilitano una rilevazione del livello di attenzione/sonnolenza di un conducente.
Per esempio, può essere possibile rilevare uno stato di attenzione, specificamente in base alla variabilità della frequenza cardiaca, in breve HRV (“Heart Rate Variability”).
La variabilità della frequenza cardiaca (HRV) è il fenomeno fisiologico della variazione nell’intervallo di tempo tra battiti del cuore. Così, la HRV è indicativa dello stato di attività del sistema nervoso autonomo, che è responsabile di effettuare le attività automatiche, inconsce e involontarie del corpo, come l’attività del battito cardiaco.
Un valore di HRV può essere ottenuto attraverso l’elaborazione di segnali elettrofisiologici misurati relativi ai battiti del cuore, per es. segnali di ECG e/o di PPG.
La porzione a) della Figura 1 è un esempio di uno schema di un segnale di ECG, mentre la porzione b) della Figura 1 è un esempio di uno schema di un segnale di PPG.
Usando l’ECG, o l’elettrocardiogramma, è tipicamente il picco R che contrassegna un battito cardiaco. Quindi, gli intervalli tra i battiti cardiaci sono chiamati intervalli R-R, che possono essere usati per calcolare l’HRV. Usando la fotopletismografia o PPG (“PhotoPlethysmoGraphy”), gli intervalli inter-battito, in breve IBI (“InterBeat Interval”), possono essere misurati per calcolare l’HRV al posto degli intervalli R-R.
Per esempio, se i battiti cardiaci in un segnale di ECG misurato hanno un periodo costante, l’HRV può avere un valore basso; per contro, l’HRV può avere un valore alto in un caso opposto.
Per esempio, se il segnale di ECG comprende un pattern irregolare di battiti cardiaci, ciò può indicare che il corpo è in una condizione di riposo mentre, se il segnale di ECG comprende un pattern regolare di battiti cardiaci, ciò può essere indicativo di uno stress cronico nel corpo.
I segnali di ECG possono soffrire di artefatti dovuti a un moto di micromovimento di una persona durante una misurazione dei segnali.
I segnali di PPG possono avere una tolleranza più elevata dei segnali di ECG a tale movimento. Inoltre, i segnali di PPG sono indicativi efficacemente delle variazioni del flusso sanguigno, facilitando una valutazione di un micromovimento cutaneo altrimenti impercettibile a occhio nudo. Allo stesso tempo, il fatto di integrare sistemi e dispositivi di misurazione di PPG nello spazio compatto di un veicolo, per es. un’automobile, può essere costoso.
È stata portata avanti una vasta attività e sono stati proposti vari approcci in letteratura per implementare sistemi di rilevazione dell’attenzione di un conducente. Una maggioranza dei lavori si concentrano sull’analisi di dati biometrici (in breve, bio-dati), come discusso in seguito.
Per esempio:
- Shin, Heung-Sub et al.: “Real time car driver's condition monitoring system.” 2010 IEEE Sensors (2010): pagine da 951 a 954, discute il progetto di un sensore di ECG (Elettrocardiogramma) con elettrodi in tessuto conduttivo e di un sensore di PPG (Fotopletismogramma) per ottenere segnali fisiologici per il monitoraggio della condizione di salute di un conducente di un’automobile. I segnali di ECG e di PPG sono trasmessi a una stazione base connessa al server PC attraverso una rete personale (“personal area network”) per un test pratico. Un sistema di monitoraggio intelligente della condizione di salute è progettato nel server per analizzare i segnali di PPG e di ECG per elaborare una analisi dei segnali di HRV ricavata dai segnali fisiologici nel dominio del tempo e della frequenza e per valutare lo stato di sonnolenza del conducente,
- Koh, Sukgyu et al.: “Driver drowsiness detection via PPG biosignals by using multimodal head support.” 2017 4th International Conference on Control, Decision and Information Technologies (CoDIT) (2017): pagine da 0383 a 0388, discute un procedimento per rilevare una guida sonnolenta che utilizza valori di bassa frequenza (LF, “Low Frequency”), di alta frequenza (HF, “High Frequency”) e di LF/HF di segnali di fotopletismografia (PPG) misurati sulle dita e sui lobi delle orecchie;
- V. P. Nambiar, et al.: "Evolvable Block-based Neural Networks for classification of driver drowsiness based on heart rate variability," 2012 IEEE International Conference on Circuits and Systems (ICCAS), Kuala Lumpur (Malesia), 2012, pagine da 156 a 161, discute un procedimento per rilevare la sonnolenza di un conducente classificando lo spettro di potenza dei dati di HRV di una persona usando reti neurali basate su blocchi (BbNN, “Block-based Neural Network”), che è fatto evolvere usando un algoritmo genetico (GA, “Genetic Algorithm”); la BbNN, grazie alla sua struttura basata su blocchi regolari, è indicata per avere velocità computazionali relativamente rapide, un consumo di risorse più basso e un’intensità di classificazione uguale in confronto ad altre reti neurali artificiali (ANN, “Artificial Neural Network”);
- Sari, Nila Novita e Yo-Ping Huang.: “A two-stage intelligent model to extract features from PPG for drowsiness detection.” 2016 International Conference on System Science and Engineering (ICSSE) (2016): pagine 1 e 2, discute un modello intelligente a due stadi che combina la trasformata a pacchetto wavelet (WPT, “Wavelet Packet Transform”) e una rete neurale fuzzy basata su collegamenti funzionali (FLFNN, “Functional-Link-based Fuzzy Neural Network”) per accedere a un livello di sonnolenza per sviluppare un dispositivo sensore che rileva lo stato di sonnolenza in uno stadio anticipato.
Varie soluzioni proposte in letteratura possono essere esposte a uno o più dei seguenti inconvenienti:
- una integrazione costosa di dispositivi sensori con progetto dedicato per la misurazione di bio-dati nei veicoli,
- una bassa tolleranza a condizioni di misurazione differenti da quelle ideali, per es. conducente non posizionato correttamente rispetto ai dispositivi sensori, micro-movimento,
- una integrazione costosa di tecnologie di reti neurali artificiali (ANN) complesse nei veicoli,
- buoni risultati solamente come risultato di un’analisi di grandi quantità di dati.
Scopo e sintesi
Nonostante la vasta attività nel settore, sono desiderabili soluzioni perfezionate che facilitano, per esempio, la rilevazione di uno stato sonnolento del conducente di un veicolo.
Secondo una o più forme di attuazione, tale scopo può essere raggiunto per mezzo di un procedimento avente le caratteristiche esposte nelle rivendicazioni che seguono.
Un procedimento per stimare uno stato di un conducente da segnali di PPG ricostruiti da punti di riferimento del viso in immagini registrate da una telecamera può essere un esempio di un tale procedimento.
Una o più forme di attuazione possono essere relative a un sistema e a un veicolo corrispondenti.
Una o più forme di attuazione possono essere relative al procedimento come un procedimento implementato da elaboratore.
Una o più forme di attuazione possono comprendere un prodotto informatico caricabile nella memoria di almeno un circuito di elaborazione (per es., un elaboratore o computer) e comprendente porzioni di codice software per eseguire le fasi del procedimento quando il prodotto è eseguito su almeno un circuito di elaborazione. Come usato qui, un riferimento a un tale prodotto informatico intende essere equivalente a un riferimento a un mezzo leggibile da elaboratore contenente istruzioni per controllare il sistema di elaborazione, al fine di coordinare l’implementazione del procedimento secondo una o più forme di attuazione. Un riferimento ad “almeno un elaboratore” intende evidenziare la possibilità che una o più forme di attuazione siano implementate in forma modulare e/o distribuita.
Una o più forme di attuazione possono comprendere una elaborazione di rete neurale artificiale con memoria a lungo e breve termine (LSTM, “Long Short-Term Memory”) per la predizione della PPG.
Una o più forme di attuazione possono impiegare una elaborazione di rete neurale convoluzionale (CNN, “Convolutional Neural Network”) parallela opzionale per il riconoscimento delle espressioni del viso in modo da rendere il sistema robusto a errori inattesi.
In una o più forme di attuazione, il sistema può effettuare una stima del valore dell’HRV del conducente di un veicolo e può usarla per indicare i livelli di attenzione/sonnolenza del conducente.
Una o più forme di attuazione possono offrire uno o più dei seguenti vantaggi:
- fornire un sistema di acquisizione di dati biometrici “senza sensore” (“sensor-less”), che facilita una valutazione dell’attività cardiaca e del battito del cuore con dispositivi non specializzati (“general purpose”), per es. come uno smartphone equipaggiato con una fotocamera,
- fornire risultati soddisfacenti mentre sono elaborati video e frame di immagini acquisiti con una fotocamera con un basso frame-rate,
- facilitare l’ottenimento di un segnale di PPG ricostruito da una immagine di un viso di una persona che guida un veicolo,
- aumentare la scalabilità, per es. fornendo un procedimento che può essere integrato anche su modelli di veicoli “vecchi”,
- impiegare reti neurali semplici per elaborare i dati di pixel da una o più regioni del viso, migliorando quindi l’accuratezza nel segnale di PPG ricostruito.
Le rivendicazioni sono parte integrante dell’insegnamento tecnico qui fornito con riferimento alle forme di attuazione.
Breve descrizione delle varie viste dei disegni
Una o più forme di attuazione saranno ora descritte, a puro titolo di esempio non limitativo, con riferimento alle Figure annesse, nelle quali:
- la Figura 1 è discussa in precedenza,
- la Figura 2 è un esempio di uno schema di un sistema secondo la presente descrizione,
- la Figura 3 è un esempio di uno schema di operazioni in un procedimento secondo la presente descrizione,
- la Figura 4, che comprende le porzioni a), b) e c), è un esempio di punti di riferimento (“landmark”) e di rispettivi segnali,
- le Figure 5 e 6 sono esempi di diagrammi temporali di segnali secondo la presente descrizione,
- la Figura 7 è un esempio di uno schema di uno stadio di elaborazione di rete neurale artificiale secondo la presente descrizione,
- la Figura 8 è un esempio di uno schema di operazioni in un procedimento secondo la presente descrizione.
Descrizione dettagliata di esempi di forme di attuazione
Nella descrizione che segue, sono illustrati uno o più dettagli specifici, allo scopo di fornire una comprensione approfondita di esempi di forme di attuazione di questa descrizione. Le forme di attuazione possono essere ottenute senza uno o più dei dettagli specifici o con altri procedimenti, componenti, materiali, ecc. In altri casi, operazioni, materiali o strutture note non sono illustrate o descritte in dettaglio in modo tale che certi aspetti delle forme di attuazione non saranno resi poco chiari.
Un riferimento a “una forma di attuazione” nel quadro della presente descrizione intende indicare che una particolare configurazione, struttura, o caratteristica descritta con riferimento alla forma di attuazione è compresa in almeno una forma di attuazione. Per cui, le frasi come “in una forma di attuazione” che possono essere presenti in uno o più punti della presente descrizione non fanno necessariamente riferimento proprio alla stessa forma di attuazione.
Inoltre, particolari conformazioni, strutture o caratteristiche possono essere combinate in un modo adeguato qualsiasi in una o più forme di attuazione.
I riferimenti usati qui sono forniti semplicemente per convenienza e quindi non definiscono l’ambito di protezione o l’ambito delle forme di attuazione.
In tutta la descrizione che segue, i numeri ordinali (per es., primo, secondo, terzo, …) saranno usati allo scopo di facilitare l’identificazione dei componenti. Per il resto, si apprezzerà che tali numeri ordinali sono previsti semplicemente a tale scopo e non dovranno essere interpretati, neanche indirettamente, in un senso limitativo delle forme di attuazione.
A titolo di riferimento generale, la Figura 2 è un esempio di un veicolo V comprendente un sistema 10 per rilevare un livello di attenzione di un conducente D, per es. tra uno stato vigile o sonnolento, comprendente:
- una fotocamera SP, per esempio una fotocamera di uno smartphone o una fotocamera con basso frame-rate, configurata per registrare un video; la fotocamera SP può essere configurata per registrare immagini di un viso di una persona D che guida il veicolo V, per es. la fotocamera può essere rivolta verso il viso del conducente D, così da registrare le espressioni facciali o altre caratteristiche del corpo del conducente D,
- una pipeline di elaborazione 100, accoppiata alla fotocamera SP e configurata per ricevere da essa un segnale video (registrato) e per elaborarlo, al fine di fornire un segnale indicatore A, per es. l’Indice di variabilità della frequenza cardiaca (HRV) da un segnale di PPG, l’HRV essendo indicativa di uno stato di attenzione del conducente D.
In una o più forme di attuazione, il sistema 10 può comprendere un sistema ADAS (Advanced Driver Assistance System), configurato per ricevere l’indicatore A e per usarlo nell’assistere le operazioni di guida dell’auto, per esempio fornendo un allarme al conducente D del veicolo V come risultato del fatto che l’indicatore A è al di sotto o al di sopra di una certa soglia e/o assumendo il controllo sul veicolo nel caso in cui sia rilevato uno stato di conducente sonnolento, migliorando potenzialmente la sicurezza della guida.
Una o più forme di attuazione affrontano così le questioni relative alla scoperta di una possibile sonnolenza del conducente D (prima e durante la guida) partendo da una stima della variabilità della frequenza cardiaca HRV effettuata in modo affidabile a bordo del veicolo V.
In una o più forme di attuazione, la fotocamera può essere una videocamera a 25 fps (frame per second).
Lo schema a blocchi della Figura 1 comprende una o più sonde di PPG PD. Per esempio, la piattaforma come rappresentata qui come esempio può comprendere un rilevatore fotomoltiplicatore in silicio (SiPM, “Silicon PhotoMultiplier) e LED accoppiati, per es. dei SiPM in silicio con un’area totale di 4,0x4,5 mm<2 >e 4871 microcelle quadrate con un passo (“pitch”) di 60 micron (1 micron = 10<-6 >m) insieme a dei LED OSRAM LT M673 in un package SMD che emettono a due lunghezze d’onda selezionate.
In una o più forme di attuazione, il sistema può comprendere uno stadio di acquisizione di un segnale di PPG Pt del conducente D dell’automobile per una calibrazione preliminare del sistema 100 e/o per un apprendimento continuo in tempo reale, come discusso in seguito, per es. il segnale di PPG Pt essendo campionato da sonde PD dell’auto poste sul volante (si veda, per esempio, la Figura 6).
In una o più forme di attuazione, la pipeline di elaborazione 100 può comprendere:
- uno stadio di pre-elaborazione di immagine 130, accoppiato alla fotocamera SP e configurato per elaborare dati ricevuti da essa al fine di fornire una serie temporale di variazione della luminanza/intensità di punti o di aree dei frame video nel video, come discusso in seguito,
- uno stadio di elaborazione di Rete Neurale Artificiale (in breve, ANN) 20, accoppiato allo stadio di pre-elaborazione 130 e configurato per ricevere la serie temporale da esso ed applicare un’elaborazione alla serie temporale al fine di fornire un segnale di PPG ricostruito PPG_rec,
- uno stadio di post-elaborazione 150, configurato per ricevere il segnale di PPG ricostruito PPG_rec ed elaborarlo così da ottenere l’indicatore A dello stato di attenzione del conducente D, per es. il valore di HRV dal segnale di PPG ricostruito PPG_rec, che può essere calcolato dall’intervallo tra i punti minimi del segnale di PPG (IBI);
- uno stadio di raccolta dei dati di addestramento 140T, accoppiato allo stadio di ANN 140, configurato per raccogliere/memorizzare e fornire dati di addestramento all’ANN, come discusso in seguito.
La Figura 3 è un esempio di possibili sotto-stadi che possono essere impiegati nell’applicare la pre-elaborazione di immagine 130.
In una o più forme di attuazione, la pre-elaborazione 130 può facilitare un tracciamento dei punti di riferimento del viso attraverso immagini del viso nel segnale video del conducente D e l’estrazione di una serie temporale della variazione dell’intensità dei pixel della rispettiva immagine, come discusso in seguito.
Per esempio, lo stadio di pre-elaborazione di immagine 130 può comprendere:
- un primo sotto-stadio 132, configurato per estrarre i frame video nel segnale video ricevuto dalla fotocamera SP e per rilevare un insieme di punti di riferimento del viso, per es. punti di riferimento fiduciali del viso intorno a componenti del viso e al contorno del viso che facilitano l’acquisizione delle deformazioni del viso rigide e non rigide dovute ai movimenti della testa e alle espressioni facciali, che si possono trovare per esempio intorno al naso, alla bocca e agli occhi,
- un secondo sotto-stadio 134, configurato per calcolare le intensità dei punti di riferimento, generando un insieme di serie temporali, per es. comprendente una serie temporale di dati di luminanza/intensità per un rispettivo punto di riferimento del viso, per esempio per ottenere una sequenza di valori di variazioni di intensità frame per frame, per es. una variazione relativa dell’intensità in un frame rispetto al frame precedente.
Si nota che, sebbene tali sotto-stadi 132, 134, 136, siano discussi in seguito come stadi separati, in una o più forme di attuazione i sotto-stadi 132, 134, 136 possono essere incorporati, per es. in un singolo stadio di preelaborazione 130 che esegue l’insieme di operazioni nei sotto-stadi 132, 134, 136.
La porzione a) della Figura 4 è un esempio di un insieme di punti di riferimento 40, 42 in un viso umano 400 che può essere rilevato nel primo sotto-stadio 132, per es. comprendente un primo punto di riferimento 40 e un secondo punto di riferimento 42.
In una o più forme di attuazione, può essere usata una elaborazione di rilevazione di punti di riferimento del viso per mappare le strutture facciali sul viso 400 nel primo sotto-stadio 132 nello stadio di pre-elaborazione di immagine 130. Per esempio, un’elaborazione di rilevazione di punti di riferimento del viso come quella descritta nel documento a nome di Kazemi, et al.: “One millisecond face alignment with an ensemble of regression trees”, 2014, IEEE Conference on Computer Vision and Pattern Recognition (2014), pagine da 1867 a 1874 può essere adatta per l’uso nel primo sotto-stadio 132 nello stadio di pre-elaborazione di immagine 130.
Tale documento discute il problema dell’allineamento del viso (“Face Alignment”) per una singola immagine e mostra come un insieme di alberi di regressione possa essere usato per stimare le posizioni dei punti di riferimento del viso direttamente da un sottoinsieme sparso di intensità dei pixel, ottenendo prestazioni superrealtime con predizione di alta qualità. Il documento presenta un framework generale basato sul potenziamento del gradiente (“gradient boosting”) per l’apprendimento di un insieme di alberi di regressione che ottimizza la somma della perdita di errore quadrato e tratta naturalmente dati etichettati parzialmente o mancanti, usando elementi precedenti (“priors”) appropriati per sfruttare la struttura dei dati dell’immagine, che è di aiuto con una selezione efficiente delle caratteristiche. Nel documento sono anche esaminate differenti strategie di regolarizzazione e la loro importanza per combattere il sovradattamento (“overfitting”), così come l’effetto della quantità dei dati di addestramento sull’accuratezza delle predizioni e l’effetto dell’aumento dei dati usando dati sintetizzati.
Per esempio, il primo sotto-stadio 132 può comprendere un’elaborazione di rete neurale addestrata con un insieme di addestramento di punti di riferimento del viso etichettati su un’immagine, in cui le immagini sono etichettate manualmente, che specificano coordinate (x, y) specifiche di regioni circostanti alle strutture del viso (per es., naso, bocca, occhi, …), o più specificamente la probabilità su una distanza tra coppie di pixel di ingresso. Nell’esempio considerato, dati questi dati di addestramento, un insieme di alberi di regressione è addestrato per stimare le posizioni dei punti di riferimento del viso dalle intensità dei pixel dell’immagine (cioè, non ha luogo alcuna “estrazione di caratteristiche”).
In una o più forme di attuazione, quindi, il primo sotto-stadio 132 nella pipeline di elaborazione 100 comprende un rilevatore di punti di riferimento del viso che può essere usato per rilevare in tempo reale i punti di riferimento del viso con predizione di alta qualità.
In una o più forme di attuazione, il secondo sottostadio può generare serie temporali di dati di evoluzione dell’intensità nel tempo per i punti di riferimento.
Per esempio, come rappresentato nelle porzioni b) e c) della Figura 4, una prima serie temporale I40 di intensità può essere associata al primo punto di riferimento 40 e una seconda serie temporale I42 di intensità può essere associata al secondo punto di riferimento 42 nell’insieme di punti di riferimento 400. Per esempio, la prima serie temporale I40 può comprendere valori sequenziali di intensità di pixel per uno stesso pixel associato/corrispondente alla posizione del rispettivo punto di riferimento.
La Figura 5 è un esempio di un segnale di variazione relativa ΔI, per es. ottenuto per il primo punto di riferimento 40.
In una o più forme di attuazione, il terzo sottostadio 136 nello stadio di pre-elaborazione 130 può comprendere di applicare una ulteriore elaborazione, per esempio una elaborazione di serie temporali al fine di ottenere una variazione relativa ΔI del valore di intensità tra frame successivi, per es. frame per frame, come rappresentato come esempio nella Figura 5.
In una o più forme di attuazione, lo stadio di preelaborazione 130 può essere accoppiato allo stadio di ANN 140, che fornisce le serie temporali I40, I42, ΔI di intensità dei punti di riferimento 40, 42, 400 del viso del conducente D estratte dal video registrato dalla fotocamera SP per lo stadio di ANN 140.
Come rappresentato come esempio nella Figura 2, lo stadio di raccolta dei dati di addestramento 140T può ricevere da un fotorilevatore un segnale dal quale un campione registrato di un segnale di PPG Pt, per es. il campione Pt che ha una durata di tempo finita e limitata, rilevato dal conducente D può essere elaborato attraverso una pipeline dedicata, in modi noti di per sé. La Figura 6 è un esempio di un tale segnale di PPG campione Pt.
In una o più forme di attuazione, nello stadio di raccolta dei dati di addestramento 140T può essere usata una pipeline come descritta nella Domanda di Brevetto Italiano n. 102017000081018 depositata il 18 luglio 2017. In una o più forme di attuazione, possono essere impiegati altri procedimenti per ottenere un segnale di PPG campione Pt registrato.
In una o più forme di attuazione, il segnale di PPG campione Pt può essere usato per una calibrazione preliminare del sistema e/o per un apprendimento continuo in tempo reale.
Un procedimento per addestrare lo stadio di ANN è discusso in seguito, specificamente con riferimento alla Figura 8.
In una o più forme di attuazione, si può trovare che una rete neurale artificiale (ANN) con una memoria a lungo e breve termine (in breve, LSTM) multistrato sia adatta per un uso nello stadio di ANN 140.
Come noto agli esperti nella tecnica (si veda, per esempio, en.wikipedia.org/wiki/Long_short-term_memory) una LSTM è una designazione corrente applicata alle unità in una rete neurale ricorrente (RNN, “Recurrent Neural Network”), in cui una unità di LSTM può essere composta da una cella più porte (“gate”) di ingresso (“input”), di uscita (“output”) e di “forget”, con la cella atta a ricordare valori su intervalli di tempo arbitrari, mentre le tre porte regolano il flusso di informazioni in ingresso e in uscita dalla cella.
La porzione a) della Figura 7 è un esempio di uno schema di forme di attuazione di un’architettura di una rete neurale che può essere usata nello stadio di ANN 140, comprendente per esempio una pluralità di unità multistrato o di “neuroni” della rete neurale con LSTM:
- una prima unità di LSTM 142, configurata per ricevere un primo ingresso Xt-1 e per fornire una prima uscita ht-1 e un primo stato della cella Ct-1,
- una seconda unità di LSTM 144, configurata per ricevere un secondo ingresso Xt più la prima uscita ht-1 della prima unità di LSTM e per fornire una seconda uscita ht e un secondo stato della cella Ct,
- una terza unità di LSTM 146, configurata per ricevere un terzo ingresso Xt+1 più la seconda uscita ht della seconda unità di LSTM e per fornire una terza uscita ht+1 e un terzo stato della cella Ct+1.
In una o più forme di attuazione, le unità di rete neurale 142, 144, 146 possono essere concatenate in modo tale che l’uscita (le uscite) di una unità vada (vadano) alla prossima. Un tale esempio di architettura può essere esteso a comprendere un numero qualsiasi di unità di LSTM, i tre stadi discussi essendo puramente esemplificativi e non essendo in alcun modo un numero limitativo.
Le porzioni da b) ad e) della Figura 7 sono esempi dell’architettura e degli stadi di elaborazione, noti anche come “porte” o “strati”, che sono impiegati in una singola unità di LSTM, per esempio nella seconda unità 144.
In seguito, per semplicità, i principi alla base di forme di attuazione sono discussi con riferimento alla seconda unità di LSTM, essendo inteso per il resto che una tale discussione può essere estesa, con le dovute modifiche, a una qualsiasi unità nello stadio di rete neurale artificiale 140.
Per esempio, nell’esempio del caso considerato, la seconda unità di LSTM 144 può comprendere una pluralità di porte 144a, 144b, 144c, per esempio:
- una prima porta 144a, nota anche come “porta di forget”, configurata per ricevere l’uscita dello stadio precedente ht-1 e un ingresso xt, fornendo una combinazione ft di tali segnali ricevuti e configurata per facilitare il fatto di “dimenticare” (per es., scartare) informazioni irrilevanti, come discusso in seguito;
- una seconda porta 144b, configurata per elaborare gli stessi segnali ricevuti nella prima porta 144a per ottenere un valore di polarizzazione (“bias”) Ct,
- una terza porta 144c, configurato per fornire un valore di uscita ht.
In una o più forme di attuazione, la prima porta 144a può comprendere un primo strato sigmoidale 1440, che può essere usato per facilitare allo stadio di ANN 140 nel “dimenticare” informazioni (per es., fornendo in uscita uno zero) o nel “ricordare” informazioni (per es., fornendo in uscita un valore aggiornato ft).
In una o più forme di attuazione, il primo strato sigmoidale 1440 può elaborare il secondo ingresso xt e la prima uscita ht-1, così da fornire la combinazione ft che può essere espressa come:
dove:
- Wf è un rispettivo insieme di pesi della prima porta 144a della seconda unità di LSTM 144,
- bf è un rispettivo insieme di valori di polarizzazione della prima porta 144a della seconda unità di LSTM 144.
In una o più forme di attuazione, la seconda porta 144b può comprendere un insieme di strati 1442, 1443 e di operazioni accoppiate in senso puntiforme 1444, 1445, 1446. Per esempio, nell’esempio considerato, l’insieme di strati 1442 comprende un secondo strato sigmoidale 1442 e uno strato di tangente iperbolica 1443, come rappresentato come esempio nella porzione c) della Figura 7.
Nell’esempio considerato, il secondo strato sigmoidale 1442 elabora la prima uscita ht-1 e il secondo ingresso xt per fornire una seconda combinazione it che può essere espressa come:
dove:
- Wi è un rispettivo primo sottoinsieme di pesi della seconda porta 144b della seconda unità di LSTM 144,
- bi è un rispettivo primo sottoinsieme di valori di polarizzazione della seconda porta 144b della seconda unità di LSTM 144.
Nell’esempio considerato, lo strato di tangente iperbolica 1442 elabora la prima uscita ht-1 e il secondo ingresso xt per fornire una terza combinazione che può <essere espressa come:>
dove:
- WC è un rispettivo secondo sottoinsieme di pesi della seconda porta 144b della seconda unità di LSTM 144, - bC è un rispettivo secondo sottoinsieme di valori di polarizzazione della seconda porta 144b della seconda unità di LSTM 144.
Come rappresentato come esempio nella porzione d) della Figura 7, l’insieme di operazioni in senso puntiforme può comprendere:
- operazioni di dimensionamento in scala (“scaling”) 1444, 1446,
- operazioni di addizione 1445.
Come risultato, per esempio, la seconda porta 144b può fornire un secondo valore di stato del canale Ct che può <essere espresso come:>
dove ft, Ct-1, it e sono simboli che indicano quantità corrispondenti discusse in precedenza.
Come rappresentato come esempio nella porzione e) della Figura 4, la terza porta 144c può includere un terzo strato sigmoidale 1447, una terza operazione di dimensionamento in scala 1448 e una operazione di tangente iperbolica 1449.
Nell’esempio considerato, per esempio, lo strato della terza porta 144c può selezionare uno stato della cella che facilita allo stadio di ANN 140 di apprendere da una dipendenza a lungo termine tra informazioni in ingresso.
Per esempio, lo strato sigmoidale può fornire una terza combinazione ot del secondo ingresso xt e della prima <uscita ht-1 che può essere espressa come:>
dove:
- WO è un rispettivo terzo sottoinsieme di pesi della terza porta 144c della seconda unità di LSTM 144,
- bO è un rispettivo terzo sottoinsieme di valori di polarizzazione della terza porta 144c della seconda unità di LSTM 144.
Come risultato dell’elaborazione ulteriore della combinazione nelle operazioni di dimensionamento in scala 1448 e di tangente iperbolica 1449, la terza porta 144c può fornire come uscita il terzo valore di uscita ht che può <essere espresso come:>
dove ot, Ct sono simboli che indicano quantità corrispondenti discusse in precedenza e tanh è la funzione di tangente iperbolica.
Come menzionato, il fatto di usare le unità di LSTM 142, 144, 146 nello stadio di ANN 140 può facilitare l’ottenimento di una o più forme di attuazione di un modello in cui il modello apprende quali informazioni memorizzare nella memoria di lungo termine e di quali liberarsene, quindi la fornitura di un modello che apprende i pattern in dati che possono essere separati nel tempo.
Come menzionato, la Figura 8 è un esempio di un procedimento 800 di “addestramento” dello stadio di ANN 140.
Lo scopo dell’addestramento 800 è di addestrare un sistema di intelligenza artificiale affinché questo possa apprendere la correlazione tra il segnale di PPG campione Pt e i segnali indicativi di rispettive variazioni di intensità I40, I42 dei punti di riferimento 40, 42 del viso di un conducente D di un veicolo. L’addestramento 800 di uno stadio di elaborazione 140 di una rete neurale artificiale indica operazioni che mirano a impostare valori per peso Wf, Wi, WC, WO e polarizzazione bf, bi, bc, bO in rispettive porte/strati 144a, 144b, 144c in rispettive unità 142, 144, 146 dello stadio di ANN 140.
In una o più forme di attuazione, l’addestramento della rete neurale è del tipo supervisionato. Può così essere fornito un target di apprendimento, per es. sotto forma del risultato che ci si aspetta che la rete preveda se un certo pattern di PPG è applicato come ingresso. L’insieme di uscita/target può così essere rappresentato da un pattern di PPG ricostruito PPG_rec corrispondente (vale a dire, corrispondente al pattern di PPG applicato all’ingresso).
Nell’esempio considerato, il procedimento di addestramento 800 può comprendere:
- fornire 802 un segnale di PPG campione Pt, per es. acquisito attraverso sensori fotorilevatori PD in un volante e/o memorizzato nello stadio di raccolta di addestramento 140T o un’altra circuiteria di rilevamento (“sensing”) di PPG per rilevare l’insieme di segnali di PPG campione (Pt) sopra una data durata di tempo indicativa dell’attività pulsatile del cuore che avviene con una frequenza variabile del cuore, la circuiteria di rilevamento di PPG PD configurata per essere disabilitata allo scadere di una data durata di tempo,
- impostare 804 come obiettivo per lo stadio di ANN 140 di fornire un segnale di uscita PPG_rec il più vicino possibile, per es. idealmente completamente adattato, al segnale di PPG campione Pt compreso nell’insieme di addestramento 140T,
- applicare 806 una elaborazione di rete neurale artificiale 140 alle serie temporali I40, I42 al fine di addestrare la rete neurale artificiale ad apprendere una correlazione tra le serie temporali e i pattern di PPG, per es. fornendo un segnale di PPG ricostruito PPG_rec che, durante la fase di addestramento, ha come target di avere uno stesso pattern del campione di PPG Pt di ingresso;
- valutare l’addestramento 808 con un parametro di valutazione, per es. confrontando la distanza tra punti minimi adiacenti nel segnale di PPG ricostruito PPG_rec e nel PPG campione Pt e/o misurare la correlazione tra spettri di FFT dei punti minimi del segnale di PPG campione Pt rispetto ai punti minimi del segnale di PPG ricostruito PPG_rec;
- iterare 810 le fasi della procedura di addestramento dall’applicazione dell’elaborazione di ANN 806 alla valutazione dell’addestramento 808, per esempio, per un numero fisso di volte, per es. tre epoche, o a condizione che il parametro di valutazione sia sotto o sopra una soglia desiderata, per es. nell’esempio considerato finché la distanza tra punti minimi adiacenti nel segnale di PPG ricostruito PPG_rec e nel PPG campione Pt è sopra un valore desiderato.
In una o più forme di attuazione, una volta che è stata effettuata la fase di addestramento 800, lo stadio di ANN 140 riceve come ingresso le serie temporali I40, I42 fornite dallo stadio di pre-elaborazione 130 e può essere atto a ricostruire un rispettivo segnale di PPG ricostruito PPG_rec sfruttando la correlazione tra i pattern di segnale appresi durante la fase di addestramento 800. Test dedicati hanno mostrato che un procedimento come discusso qui può raggiungere un’accuratezza del 93% nel rilevare lo stato del conducente, per esempio quando in uno stadio sonnolento o vigile.
In una o più forme di attuazione, segnali di PPG PPG_rec corrispondenti possono così essere ricostruiti nello stadio di elaborazione di rete neurale 140 per essere forniti a uno stadio di post-elaborazione 150, configurato per produrre un valore di stima di HRV, per es. dal picco dei punti minimi dei segnali di PPG ricostruiti, una stima del segnale di HRV atta a sua volta a produrre un segnale del livello di attenzione/sonnolenza A del conducente.
Un tale segnale può essere riflesso, per es., da un allarme A (per es., un allarme sonoro e/o visivo) ai conducenti e/o nel controllo del veicolo può subentrare un sistema avanzato di assistenza alla guida (ADAS).
Una o più forme di attuazione possono essere installate a bordo di un veicolo V per la guida da parte di un conducente D in cui le immagini registrate (e i segnali di PPG) sono indicative dell’attività pulsatile del cuore del conducente del veicolo e l’indicatore A stimato dalla variabilità della frequenza cardiaca, HRV, è indicativo, per es., del fatto che il conducente D è in uno stato sonnolento.
In una o più forme di attuazione, un atto di valutare 808 la “bontà” dell’apprendimento può anche essere effettuato in un secondo stadio di elaborazione di ANN parallelo, come rappresentato come esempio nella Figura 9.
In una o più forme di attuazione, l’algoritmo di apprendimento di LSTM permetterà allo stadio di ANN 140 di apprendere il modello che “mappa” i segnali di variazione di intensità in punti di riferimento (per un certo conducente) sul segnale di PPG, per es. per lo stesso conducente.
Si osserva che, almeno secondo certe circostanze, una tale rete può non ricostruire adeguatamente un modello matematico per la mappatura delle serie temporali di punti di riferimento sulla PPG.
Specificamente, si è trovato che lo stadio di ANN 140 può fornire una corrispondenza di sagoma che rende possibile ottenere un segnale di PPG ricostruito dai punti di riferimento dell’immagine che può essere sovrapposto nei termini del “pattern/sagoma” su un risultato desiderato senza presentare tuttavia un grado di affidabilità che può permettere di usarlo come una PPG “robusta” nel produrre la valutazione dell’HRV.
In altre parole, almeno secondo certe circostanze, il risultato ottenibile dallo stadio di ANN 140 può non presentare una precisione e una robustezza come desiderabili per un segnale di PPG PPG_rec che intende essere usato per calcolare un indice di HRV, per es. per una stima della sonnolenza.
Per tale motivo, in una o più forme di attuazione, un’altra rete neurale di un tipo differente può essere usata in parallelo allo stadio di ANN 140, per es. come un backup.
Un tale secondo stadio di elaborazione di ANN parallelo può ricevere il segnale video dalla fotocamera SP e può applicare alle immagini una Rete Neurale Convoluzionale (in breve, CNN), che facilita una classificazione delle immagini di caratteristiche del viso del conducente D e per rilevare se il conducente D è in uno stato vigile o sonnolento.
Test dedicati hanno mostrato che lo strato di CNN può identificare correttamente lo stato di attenzione del conducente, per es. con un livello di accuratezza tra l’80% e il 90%. Per esempio, una porzione di una viso di un conducente D può essere fornita allo stadio di CNN, che può etichettarla di conseguenza con lo stato noto della persona quando è stata presa l’immagine e/o con l’etichetta fornita come uscita dallo stadio di CNN.
In una o più forme di attuazione, addestrare lo stadio di ANN 400 può quindi comprendere:
- raccogliere immagini di porzioni degli occhi di immagini del viso di individui in due differenti stati di attenzione (per es., rispettivamente sonnolento/vigile), - fornire dette immagini al primo stadio di ANN e valutare l’indicatore di uscita fornito che concorda con lo stato noto (sonnolento/vigile),
- iterare l’addestramento finché è raggiunta un’accuratezza desiderata.
Un procedimento secondo forme di attuazione può comprendere:
- ricevere (per esempio, 130) un segnale video, comprendente una serie temporale di immagini di un viso di un essere umano, in cui le immagini nella serie temporale di immagini comprendono un insieme di punti di riferimento (per esempio, 40, 42) in detto viso (per esempio, 400);
- applicare a detto segnale video un’elaborazione di tracciamento (per esempio, 132) per rivelare variazioni nel corso del tempo di almeno un parametro dell’immagine dell’insieme di punti di riferimento in detto viso di un essere umano e generare (per esempio, 134, 136) un insieme di segnali di variazione (per esempio, I40, I42) indicativi di variazioni rivelate in rispettivi punti di riferimento nell’insieme di punti di riferimento, detti segnali di variazione essendo indicativi dell’attività pulsatile del cuore che avviene con una frequenza cardiaca variabile;
- applicare a detto insieme di segnali di variazione, un’elaborazione (per esempio, 140) comprendente un’elaborazione di rete neurale artificiale (per esempio, 142, 144, 146) per produrre un segnale di fotopletismografia, PPG, ricostruito (per esempio, PPG_rec); e
- stimare (per esempio, 150) una variabilità della frequenza cardiaca, HRV, di una frequenza cardiaca variabile di detto essere umano in funzione del segnale di PPG ricostruito.
In una o più forme di attuazione, un’elaborazione di rete neurale artificiale di detto insieme di segnali di variazione può comprendere un’elaborazione con memoria a lungo e breve termine, LSTM, (per esempio, 144a, 144b, 144c).
Una o più forme di attuazione possono comprendere di calcolare un indicatore del livello di attenzione del conducente (per esempio, A) dalla variabilità della frequenza cardiaca, HRV, stimata.
In una o più forme di attuazione, il procedimento può essere implementato a bordo di un veicolo (per esempio, V) guidato da un conducente (per esempio, D), in cui detto segnale video ricevuto comprende una serie temporale di immagini del viso di detto conducente, in cui detto segnale video è indicativo dell’attività pulsatile del cuore del conducente e l’indicatore del livello di attenzione del conducente è indicativo della sonnolenza del conducente.
Una o più forme di attuazione possono comprendere, in funzione dell’indicatore del livello di attenzione del conducente, almeno uno tra:
- emettere un allarme di sonnolenza al conducente del veicolo, e/o
- fare sì che un sistema di assistenza al conducente subentri nel controllo del veicolo.
In una o più forme di attuazione, generare l’insieme di segnali di PPG ricostruiti attraverso un’elaborazione di rete neurale artificiale di detto insieme di segnali può comprendere di addestrare (per esempio, 800) almeno una rete neurale artificiale su un insieme di addestramento di segnali (per esempio, 140T) prodotti durante un campionamento (per esempio, PD) di un insieme di segnali di PPG campione (per esempio, Pt), in cui detto addestramento comprende di ridurre una discordanza (“mismatch”) tra l’insieme di segnali ricostruiti e l’insieme di segnali di PPG campione, preferibilmente una discordanza tra punti minimi di rispettivi segnali.
In una o più forme di attuazione, applicare un’elaborazione a detto insieme di segnali di variazione comprende di ottenere una variazione relativa (per esempio, ΔI) dell’almeno un parametro dell’immagine tra immagini successive nel segnale video.
Un sistema secondo una o più forme di attuazione può comprendere:
- un dispositivo di videoregistrazione (per esempio, SP) per registrare un segnale video comprendente una serie temporale di immagini di un viso di un essere umano, in cui le immagini nella serie temporale di immagini comprendono un insieme di punti di riferimento in detto viso;
- una circuiteria di elaborazione (per esempio, 100) accoppiata al dispositivo di videoregistrazione per ricevere detto segnale video da esso, la circuiteria di elaborazione comprendendo circuiti di elaborazione di rete neurale artificiale (per esempio, 142, 144, 146) e configurata per stimare (per esempio, 150) la variabilità della frequenza cardiaca, HRV, di una frequenza cardiaca variabile in funzione dell’insieme ricostruito di segnali di PPG (per esempio, PPG_rec) con il procedimento secondo una o più forme di attuazione.
Una o più forme di attuazione possono comprendere una circuiteria di rilevamento di PPG (per esempio, PD) configurata per rilevare un insieme campione di segnali di PPG (per esempio, Pt) incluso in detto insieme di addestramento di segnali (per esempio, 140T), detto insieme campione di segnali di PPG rilevato sopra una data durata di tempo indicativa dell’attività pulsatile del cuore che avviene con una frequenza cardiaca variabile, la circuiteria di rilevamento di PPG configurata per essere disabilitata allo scadere di una data durata di tempo.
In una o più forme di attuazione, il dispositivo di videoregistrazione per registrare il segnale video può essere uno smartphone comprendente almeno una fotocamera, preferibilmente comprendente una fotocamera a basso framerate.
Un veicolo secondo una o più forme di attuazione può essere equipaggiato con un sistema secondo una o più forme di attuazione in combinazione con almeno un dispositivo di assistenza al conducente (per esempio, A), il dispositivo di assistenza al conducente configurato per funzionare in funzione di detta variabilità della frequenza cardiaca, HRV, stimata.
Una o più forme di attuazione possono comprendere un prodotto informatico caricabile nella memoria di almeno un circuito di elaborazione (per esempio, 100) e comprendente porzioni di codice software per eseguire le fasi del procedimento secondo una o più forme di attuazione quando il prodotto è eseguito su almeno un circuito di elaborazione.
Per il resto, si comprenderà che le varie opzioni di implementazione individuali rappresentate come esempio in tutte le figure che accompagnano questa descrizione non intendono necessariamente essere adottate nelle stesse combinazioni rappresentate come esempio nelle figure. Una o più forme di attuazione possono così adottare queste opzioni (per il resto non obbligatorie) individualmente e/o in combinazioni differenti rispetto alla combinazione rappresentata come esempio nelle figure annesse.
Fermi restando i principi di fondo, i dettagli e le forme di attuazione possono variare, anche in modo apprezzabile, rispetto a quanto è stato descritto, puramente a titolo di esempio, senza uscire dall’ambito di protezione. L’ambito di protezione è definito dalle rivendicazioni annesse.

Claims (12)

  1. RIVENDICAZIONI 1. Procedimento, comprendente: - ricevere (130) un segnale video, comprendente una serie temporale di immagini di un viso di un essere umano, in cui le immagini nella serie temporale di immagini comprendono un insieme di punti di riferimento (40, 42) in detto viso (400); - applicare a detto segnale video un’elaborazione di tracciamento (132) per rivelare variazioni nel corso del tempo di almeno un parametro dell’immagine nell’insieme di punti di riferimento (40, 42) in detto viso (400) di un essere umano e generare (134, 136) un insieme di segnali di variazione (I40, I42) indicativi di variazioni rivelate in rispettivi punti di riferimento (40, 42) nell’insieme di punti di riferimento (40, 42), detti segnali di variazione (I40, I42) essendo indicativi dell’attività pulsatile del cuore che avviene con una frequenza cardiaca variabile; - applicare a detto insieme di segnali di variazione (I40, I42), un’elaborazione (140) comprendente un’elaborazione di rete neurale artificiale (142, 144, 146) per produrre un segnale di fotopletismografia, PPG, ricostruito (PPG_rec); e - stimare (150) una variabilità della frequenza cardiaca, HRV, di una frequenza cardiaca variabile di detto essere umano in funzione del segnale di PPG ricostruito (PPG_rec).
  2. 2. Procedimento secondo la rivendicazione 1, in cui l’elaborazione di rete neurale artificiale (142, 144, 146) di detto insieme di segnali di variazione (I40, I42) comprende un’elaborazione con memoria a lungo e breve termine, LSTM, (144a, 144b, 144c).
  3. 3. Procedimento secondo la rivendicazione 1 o la rivendicazione 2, comprendente di calcolare un indicatore del livello di attenzione del conducente (A) dalla variabilità della frequenza cardiaca, HRV, stimata.
  4. 4. Procedimento secondo la rivendicazione 3, implementato a bordo di un veicolo (V) guidato da un conducente (D), in cui detto segnale video ricevuto (130) comprende una serie temporale di immagini del viso di detto conducente (D), in cui detto segnale video è indicativo dell’attività pulsatile del cuore del conducente (D) e l’indicatore del livello di attenzione del conducente (A) è indicativo della sonnolenza del conducente (D).
  5. 5. Procedimento secondo la rivendicazione 4, comprendente, in funzione dell’indicatore del livello di attenzione del conducente (A), almeno uno tra: - emettere un allarme di sonnolenza (A) al conducente del veicolo, e/o - fare sì che un sistema di assistenza al conducente subentri nel controllo del veicolo (V).
  6. 6. Procedimento secondo qualsiasi delle rivendicazioni da 1 a 5, in cui generare l’insieme di segnali di PPG ricostruiti (PPG_rec) attraverso un’elaborazione di rete neurale artificiale (142, 144, 146) di detto insieme di segnali (I40, I42) comprende di addestrare (800) almeno una rete neurale artificiale (142, 144, 146) su un insieme di segnali di addestramento (140T) prodotti durante il campionamento (PD) di un insieme campione di segnali di PPG (Pt), in cui detto addestrare (800) comprende di ridurre una discordanza tra l’insieme di segnali ricostruiti (PPG_rec) e l’insieme campione di segnali di PPG (Pt), preferibilmente una discordanza tra punti minimi di rispettivi segnali.
  7. 7. Procedimento secondo una qualsiasi delle rivendicazioni da 1 a 6, in cui applicare un’elaborazione (140) a detto insieme di segnali di variazione (I40, I42) comprende di ottenere una variazione relativa (ΔI) dell’almeno un parametro dell’immagine tra immagini successive nel segnale video.
  8. 8. Sistema, comprendente: - un dispositivo di videoregistrazione (SP) per registrare un segnale video comprendente una serie temporale di immagini di un viso di un essere umano, in cui le immagini nella serie temporale di immagini comprendono un insieme di punti di riferimento (40, 42) in detto viso (400); - una circuiteria di elaborazione (100) accoppiata al dispositivo di videoregistrazione (SP) per ricevere da esso detto segnale video, la circuiteria di elaborazione (100) comprendendo circuiti di elaborazione di rete neurale artificiale (142, 144, 146) e configurata per stimare (150) la variabilità della frequenza cardiaca, HRV, di una frequenza cardiaca variabile in funzione dell’insieme ricostruito di segnali di PPG (PPG_rec) con un procedimento secondo una qualsiasi delle rivendicazioni da 1 a 6.
  9. 9. Sistema secondo la rivendicazione 8, comprendente una circuiteria di rilevamento di PPG (PD) configurata per rilevare un insieme campione di segnali di PPG (Pt) inclusi in detto insieme di addestramento di segnali (140T), detto insieme campione di segnali di PPG (Pt) rilevato su una data durata di tempo indicativa dell’attività pulsatile del cuore che avviene con una frequenza cardiaca variabile, la circuiteria di rilevamento di PPG (PD) configurata per essere disabilitata allo scadere di una data durata di tempo.
  10. 10. Sistema secondo la rivendicazione 9, in cui il dispositivo di videoregistrazione (SP) per registrare il segnale video è uno smartphone comprendente almeno una fotocamera, comprendente preferibilmente una fotocamera a basso frame-rate.
  11. 11. Veicolo (V) equipaggiato con un sistema secondo una qualsiasi delle rivendicazioni da 8 a 10 in combinazione con almeno un dispositivo di assistenza al conducente (A), il dispositivo di assistenza al conducente (A) configurato per funzionare in funzione di detta variabilità della frequenza cardiaca, HRV, stimata.
  12. 12. Prodotto informatico caricabile nella memoria di almeno un circuito di elaborazione (100) e comprendente porzioni di codice software per eseguire le fasi del procedimento secondo una qualsiasi delle rivendicazioni da 1 a 7 quando il prodotto è eseguito su almeno un circuito di elaborazione.
IT102019000000133A 2019-01-07 2019-01-07 "Procedimento di elaborazione di immagini, sistema, veicolo e prodotto informatico corrispondenti" IT201900000133A1 (it)

Priority Applications (3)

Application Number Priority Date Filing Date Title
IT102019000000133A IT201900000133A1 (it) 2019-01-07 2019-01-07 "Procedimento di elaborazione di immagini, sistema, veicolo e prodotto informatico corrispondenti"
US16/729,879 US11471084B2 (en) 2019-01-07 2019-12-30 Image processing method and corresponding system
US17/948,890 US11793406B2 (en) 2019-01-07 2022-09-20 Image processing method and corresponding system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
IT102019000000133A IT201900000133A1 (it) 2019-01-07 2019-01-07 "Procedimento di elaborazione di immagini, sistema, veicolo e prodotto informatico corrispondenti"

Publications (1)

Publication Number Publication Date
IT201900000133A1 true IT201900000133A1 (it) 2020-07-07

Family

ID=65952009

Family Applications (1)

Application Number Title Priority Date Filing Date
IT102019000000133A IT201900000133A1 (it) 2019-01-07 2019-01-07 "Procedimento di elaborazione di immagini, sistema, veicolo e prodotto informatico corrispondenti"

Country Status (2)

Country Link
US (2) US11471084B2 (it)
IT (1) IT201900000133A1 (it)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113298774A (zh) * 2021-05-20 2021-08-24 复旦大学 一种基于对偶条件相容神经网络的图像分割方法、装置

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110012256A (zh) * 2018-10-08 2019-07-12 杭州中威电子股份有限公司 一种融合视频通信与体征分析的系统
US11299174B2 (en) * 2018-11-16 2022-04-12 Kyndryl, Inc. Dual-test operator assessment
IT201900000133A1 (it) * 2019-01-07 2020-07-07 St Microelectronics Srl "Procedimento di elaborazione di immagini, sistema, veicolo e prodotto informatico corrispondenti"
US11433906B2 (en) * 2019-07-11 2022-09-06 Magna Electronics Inc. Vehicular driver monitoring system with heart rate measurement
US11853863B2 (en) 2019-08-12 2023-12-26 Micron Technology, Inc. Predictive maintenance of automotive tires
US10993647B2 (en) * 2019-08-21 2021-05-04 Micron Technology, Inc. Drowsiness detection for vehicle control
US11250648B2 (en) 2019-12-18 2022-02-15 Micron Technology, Inc. Predictive maintenance of automotive transmission
CN111797794A (zh) * 2020-07-13 2020-10-20 中国人民公安大学 一种面部动态血流分布检测方法
TW202223834A (zh) * 2020-08-28 2022-06-16 加拿大商光譜優化股份有限公司 神經嵌入之攝影機影像視訊處理管道及神經網路訓練系統
FR3114736B1 (fr) * 2020-10-06 2022-11-04 Valeo Comfort & Driving Assistance Dispositif d’estimation du rythme cardiaque d’un occupant d’un véhicule
US20220117517A1 (en) * 2020-10-19 2022-04-21 Harman Becker Automotive Systems Gmbh System and method for determining heart beat features
CN112396033B (zh) * 2020-12-03 2023-02-28 天津大学 一种鸟类寤寐节律检测方法、装置、终端设备及存储介质
IT202100008915A1 (it) * 2021-04-09 2022-10-09 St Microelectronics Srl Procedimento di elaborazione di segnali indicativi di un livello di attenzione di un individuo umano, corrispondenti sistema, veicolo e prodotto informatico
CN113397516B (zh) * 2021-06-22 2022-03-25 山东科技大学 一种面向新生儿的视觉心率估计方法、装置及系统
CN116269285B (zh) * 2022-11-28 2024-05-28 电子科技大学 一种非接触式常态化心率变异性估计系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130345568A1 (en) * 2012-06-25 2013-12-26 Xerox Corporation Video-based estimation of heart rate variability
US20150099987A1 (en) * 2010-06-07 2015-04-09 Affectiva, Inc. Heart rate variability evaluation for mental state analysis
WO2015174963A1 (en) * 2014-05-13 2015-11-19 American Vehicular Sciences, LLC Driver health and fatigue monitoring system and method

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10213162B2 (en) * 2013-04-06 2019-02-26 Honda Motor Co., Ltd. System and method for capturing and decontaminating photoplethysmopgraphy (PPG) signals in a vehicle
KR101659027B1 (ko) * 2014-05-15 2016-09-23 엘지전자 주식회사 이동 단말기 및 차량 제어 장치
US10888280B2 (en) * 2016-09-24 2021-01-12 Sanmina Corporation System and method for obtaining health data using a neural network
US10467488B2 (en) * 2016-11-21 2019-11-05 TeleLingo Method to analyze attention margin and to prevent inattentive and unsafe driving
US20180185643A1 (en) * 2016-11-30 2018-07-05 Physiocue, Inc. Cardiac health monitoring systems and methods involving hypertension relief device(s) and/or features
GB201706449D0 (en) * 2017-04-24 2017-06-07 Oxehealth Ltd Improvements in or realting to in vehicle monitoring
US20190076098A1 (en) * 2017-09-08 2019-03-14 Arizona Board Of Regents On Behalf Of The Universty Of Arizona Artificial Neural Network Based Sleep Disordered Breathing Screening Tool
US10561357B2 (en) * 2017-09-29 2020-02-18 Steering Solutions Ip Holding Corporation Automotive driver health monitoring and response system
US20190391581A1 (en) * 2018-06-26 2019-12-26 Uber Technologies, Inc. Passenger Health Monitoring and Intervention for Autonomous Vehicles
US10796175B2 (en) * 2018-06-26 2020-10-06 Toyota Jidosha Kabushiki Kaisha Detection of a drowsy driver based on vehicle-to-everything communications
US10963745B2 (en) * 2018-11-21 2021-03-30 Intel Corporation Real time adaptive training face detection for ultra low power always on architecture
IT201900000133A1 (it) * 2019-01-07 2020-07-07 St Microelectronics Srl "Procedimento di elaborazione di immagini, sistema, veicolo e prodotto informatico corrispondenti"

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150099987A1 (en) * 2010-06-07 2015-04-09 Affectiva, Inc. Heart rate variability evaluation for mental state analysis
US20130345568A1 (en) * 2012-06-25 2013-12-26 Xerox Corporation Video-based estimation of heart rate variability
WO2015174963A1 (en) * 2014-05-13 2015-11-19 American Vehicular Sciences, LLC Driver health and fatigue monitoring system and method

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
KAZEMI ET AL.: "One millisecond face alignment with an ensemble of regression trees", IEEE CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION, 2014, pages 1867 - 1874, XP032649427, DOI: doi:10.1109/CVPR.2014.241
KOH; SUKGYU ET AL.: "Driver drowsiness detection via PPG biosignals by using multimodal head support", INTERNATIONAL CONFERENCE ON CONTROL, DECISION AND INFORMATION TECHNOLOGIES (CODIT, 2017, pages 0383 - 0388
MUSTAFA RADHA ET AL: "Estimating blood pressure trends and the nocturnal dip from photoplethysmograph", ARXIV.ORG, CORNELL UNIVERSITY LIBRARY, 201 OLIN LIBRARY CORNELL UNIVERSITY ITHACA, NY 14853, 23 May 2018 (2018-05-23), XP081432154 *
SARI, NILA NOVITA; YO-PING HUANG.: "A two-stage intelligent model to extract features from PPG for drowsiness detection", INTERNATIONAL CONFERENCE ON SYSTEM SCIENCE AND ENGINEERING (ICSSE, 2016, pages 1 - 2, XP032950496, DOI: doi:10.1109/ICSSE.2016.7551597
SHIN, HEUNG-SUB ET AL.: "Real time car driver's condition monitoring system", IEEE SENSORS, 2010, pages 951 - 954, XP031978247, DOI: doi:10.1109/ICSENS.2010.5690904
V. P. NAMBIAR ET AL.: "Evolvable Block-based Neural Networks for classification of driver drowsiness based on heart rate variability", IEEE INTERNATIONAL CONFERENCE ON CIRCUITS AND SYSTEMS (ICCAS, 2012, pages 156 - 161, XP032301131, DOI: doi:10.1109/ICCircuitsAndSystems.2012.6408316

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113298774A (zh) * 2021-05-20 2021-08-24 复旦大学 一种基于对偶条件相容神经网络的图像分割方法、装置

Also Published As

Publication number Publication date
US11471084B2 (en) 2022-10-18
US20200214614A1 (en) 2020-07-09
US11793406B2 (en) 2023-10-24
US20230009282A1 (en) 2023-01-12

Similar Documents

Publication Publication Date Title
IT201900000133A1 (it) &#34;Procedimento di elaborazione di immagini, sistema, veicolo e prodotto informatico corrispondenti&#34;
Zhang et al. Webcam-based, non-contact, real-time measurement for the physiological parameters of drivers
JP6521845B2 (ja) 心拍に連動する周期的変動の計測装置及び計測方法
Trenta et al. Advanced motion-tracking system with multi-layers deep learning framework for innovative car-driver drowsiness monitoring
Lee et al. QRS detection method based on fully convolutional networks for capacitive electrocardiogram
US9386931B2 (en) System and method for receiving an indication of proper body locations of sensors on a patient
IT201900005868A1 (it) Procedimento di elaborazione di un segnale elettrofisiologico, sistema, prodotto informatico e veicolo corrispondenti
US11954922B2 (en) Method of processing signals indicative of a level of attention of a human individual, corresponding system, vehicle and computer program product
Cheon et al. Sensor-based driver condition recognition using support vector machine for the detection of driver drowsiness
Jeon et al. Stress recognition using face images and facial landmarks
Rundo et al. Innovative saliency based deep driving scene understanding system for automatic safety assessment in next-generation cars
US20230263400A1 (en) System and method for filtering time-varying data for physiological signal prediction
Chee et al. Gait acceleration-based diabetes detection using hybrid deep learning
Slapnicar et al. Contact-free monitoring of physiological parameters in people with profound intellectual and multiple disabilities
Dobbins et al. Detecting negative emotions during real-life driving via dynamically labelled physiological data
Pham et al. An anomaly detection technique in wearable wireless monitoring systems for studies of gait freezing in Parkinson's disease
JP6911998B2 (ja) 生体情報推定装置、生体情報推定方法、及び生体情報推定プログラム
Rundo et al. Car-driver drowsiness monitoring by multi-layers deep learning framework and motion analysis
US20210232901A1 (en) Electrophysiological signal processing method, corresponding system, vehicle and computer program product
Luo et al. Multi-model fusion on real-time drowsiness detection for telemetric robotics tracking applications
Conti et al. Mobile networks for biometric data analysis
KR102493242B1 (ko) 인공지능 학습을 통해 광용적맥파로부터 대동맥판막협착증 및 기타 심혈관 질환 위험도를 판단하는 방법 및 시스템
Nakamura et al. Heart Rate Estimation during Exercise from Photoplethysmographic Signals Using Convolutional Neural Network
Promi et al. A Deep Learning Approach for Non-Invasive Hypertension Classification from PPG Signal
Joshi et al. Eye state and head position technique for driver drowsiness detection