DE102021201461A1

DE102021201461A1 - System for monitoring vital signs of an occupant of a vehicle

Info

Publication number: DE102021201461A1
Application number: DE102021201461.5A
Authority: DE
Inventors: Swapnil Shankar Bhujbal
Original assignee: Continental Automotive GmbH
Current assignee: Continental Automotive Technologies GmbH
Priority date: 2021-02-16
Filing date: 2021-02-16
Publication date: 2022-08-18
Also published as: CN116829043A; WO2022174871A1; KR20230109748A

Abstract

Es wird ein System zur Überwachung von Vitaldaten eines Insassen eines Fahrzeugs beschrieben, wobei das System eine Mehrzahl von Sensoren zur Erfassung der Vitaldaten sowie eine zentrale Steuerung zur Auswertung dieser Vitaldaten aufweist.Diese Steuerung weist ein neuronales Netzwerk oder maschinelle Lernalgorithmen zur Auswertung der Vitaldaten auf.Ein an die zentrale Steuerung angeschlossener Sensor wird erkannt, indem sein Sensorsignal ebenfalls durch ein neuronales Netzwerk oder maschinellen Lernalgorithmus hinsichtlich der Art des Sensors analysiert und daraus erkannt wird.A system for monitoring vital data of an occupant of a vehicle is described, the system having a plurality of sensors for recording the vital data and a central controller for evaluating this vital data. This controller has a neural network or machine learning algorithms for evaluating the vital data. A sensor connected to the central controller is recognized by its sensor signal also being analyzed by a neural network or machine learning algorithm with regard to the type of sensor and recognized therefrom.

Description

Die Erfindung betrifft ein System zur Überwachung von Vitaldaten eines Insassen eines Fahrzeugs.The invention relates to a system for monitoring vital data of an occupant of a vehicle.

Derartige Systeme sind beispielsweise aus der US2007004969A1 , WO 2015175435 A1 oder US2019038204A1 bekannt. Als Vitaldaten kommen dabei der Blutdruck, die Herzfrequenz oder auch die Augenbewegung, das Zwinkern oder auch die Körpertemperatur in Betracht, aber auch evtl. Feuchtigkeit auf der Hautoberfläche und dergleichen. Eine Vielzahl unterschiedlicher Sensortypen stehen dabei für die Erfassung dieser Vitaldaten einschließlich eben entsprechend daraus ableitbarer Gesundheits- oder eben auch Stress- oder Aufmerksamkeits-Zustandsdaten an sich bereit.Such systems are, for example, from US2007004969A1 , WO 2015175435 A1 or US2019038204A1 known. Blood pressure, heart rate or also eye movement, blinking or also body temperature come into consideration as vital data, but also any moisture on the skin surface and the like. A large number of different types of sensors are available for the acquisition of this vital data, including health or stress or alertness data per se that can be derived accordingly.

Die Überwachung von Vitaldaten eines Insassen eines Fahrzeugs, insbesondere aber des Fahrers gewinnt zunehmende Bedeutung für die Sicherheit im Straßenverkehr, da immer häufiger Verkehrsunfälle aufgrund gesundheitlicher Beeinträchtigungen des Fahrers festzustellen sind.The monitoring of vital data of an occupant of a vehicle, but in particular of the driver, is becoming increasingly important for road safety, since traffic accidents due to health impairments of the driver are becoming more frequent.

Andererseits führt die erhöhte Verkehrsdichte zu zunehmenden gesundheitlichen Belastungen des Fahrers und soll durch frühzeitige Erkennung eine Verschlechterung des Gesundheitszustands erkennbar gemacht und mitgeteilt werden, um Langzeitfolgen möglichst auszuschließen oder zu minimieren.On the other hand, the increased traffic density leads to increasing health problems for the driver and a deterioration in the state of health should be made recognizable and reported through early detection in order to rule out or minimize long-term consequences as far as possible.

Zudem können gesamte Vitaldaten neben der primären Verkehrssicherung auch langfristige gesundheitliche Veränderungen der Insassen messen und entsprechende Informationen ausgelesen und ausgewertet werden.In addition to primary road safety, all vital data can also measure long-term changes in the health of the occupants and corresponding information can be read out and evaluated.

Entsprechend werden in Fahrzeugen zunehmend eine Mehrzahl von Sensoren zur Erfassung der Vitaldaten sowie eine zentrale Steuerung zur Auswertung dieser Vitaldaten vorgesehen.Accordingly, a number of sensors for recording the vital data and a central controller for evaluating this vital data are increasingly being provided in vehicles.

Für die Auswertung solcher Vitaldaten stehen, wie eingangs erwähnt, bereits verschiedene Sensortypen mit unterschiedlichen Messprinzipien und daher teils auch abweichenden Signaleigenschaften zur Verfügung.As mentioned at the beginning, various types of sensors with different measuring principles and therefore partly deviating signal properties are already available for the evaluation of such vital data.

Für die Auswertung und Steuerung werden zunehmend neuronale Netzwerke oder maschinelle Lernalgorithmen zur Auswertung der Vitaldaten vorgesehen, um die Komplexität der relevanten Faktoren in diesen Vitaldaten einfacher analysieren und entsprechende Situationen daraus ableiten zu können.Neural networks or machine learning algorithms for evaluating the vital data are increasingly being provided for the evaluation and control in order to be able to analyze the complexity of the relevant factors in these vital data more easily and to be able to derive corresponding situations from them.

So ist beispielsweise aus der US 2019097362 A1 ein System zu entnehmen, bei welchem verschiedene Sensormodule an einer Steuereinheit anschließbar sind und deren Signale durch sogenannte Artifical Intelligence, also neuronale Netzwerke bzw. andere maschinelle Lernalgorithmen analysiert werden können, indem entsprechende Funktionen für die jeweils angeschlossenen Sensoren geladen werden. Die entsprechend geladenen neuronalen Netzwerke oder maschinelle Lernalgorithmen dienen der Analyse der spezifischen Vitaldaten bzgl. der gesuchten Parameter.For example, from the US2019097362A1 a system in which various sensor modules can be connected to a control unit and whose signals can be analyzed by so-called artificial intelligence, i.e. neural networks or other machine learning algorithms, by loading corresponding functions for the sensors connected in each case. The correspondingly loaded neural networks or machine learning algorithms are used to analyze the specific vital data with regard to the parameters sought.

Als Mittel zum Erkennen des Vorhandenseins von Sensoren und zur Adaption der Auswertung sind dient eine Sensorkennung, also ID, welche den Sensor identifiziert und über diese Sensor-ID der geeignete AI-Algorithmus geladen wird. Aufgabe der Erfindung ist es, dass Potential solcher Systeme weiter zu verbessern. Dies wird durch die Merkmale des Anspruchs 1 erreicht. Vorteilhafte Weiterbildungen sind den Unteransprüchen zu entnehmen.A sensor identifier, i.e. ID, is used to identify the presence of sensors and to adapt the evaluation, which identifies the sensor and uses this sensor ID to load the appropriate AI algorithm. The object of the invention is to further improve the potential of such systems. This is achieved by the features of claim 1. Advantageous developments can be found in the dependent claims.

Grundgedanke ist dabei, dass die für die Analyse der Vitaldaten ja bereits an sich vorhandenen neuronalen Netzwerke bzw. anderen maschinellen Lernalgorithmen grundsätzlich auch in der Lage sind, die Art der angeschlossenen Sensoren und deren Sensorsignaleigenschaften schon grundsätzlich selbst zu erkennen, so dass ein neu angeschlossener Sensor nicht etwa über eine Kennung erkannt werden muss, sondern entsprechend vorbereitete grobe Strukturen des neuronalen Netzwerks zunächst aus dem Sensorsignal nur den entsprechenden Sensortyp bzw. die Art des empfangenen Vitalsignals ableiten und erst daraufhin die an sich aber bekannte verfeinerte Analyse der Vitaldaten hinsichtlich der abzuleitenden Vitalparameter und Gesundheitsdaten erfolgt.The basic idea is that the neural networks or other machine learning algorithms already available for the analysis of the vital data are basically also able to recognize the type of connected sensors and their sensor signal properties themselves, so that a newly connected sensor does not have to be recognized via an identifier, but correspondingly prepared rough structures of the neural network first derive only the corresponding sensor type or the type of vital signal received from the sensor signal and only then the refined analysis of the vital data, which is known per se, with regard to the vital parameters to be derived and health data is done.

Dadurch wird es aber nicht nur möglich, Sensoren ohne entsprechende Kennung zu verwenden, sondern eben auch neuartige Sensoren, deren Kennung zum Zeitpunkt der Auslieferung des Fahrzeugs mit der Steuerung noch gar nicht spezifiziert waren.This not only makes it possible to use sensors without a corresponding identifier, but also to use new types of sensors whose identifier was not even specified at the time the vehicle was delivered with the controller.

So kann ein größerer Kreis von Bio-Vitalsensorsignalen leichter berücksichtigt werden.In this way, a larger group of bio-vital sensor signals can be taken into account more easily.

Über an sich bekannte Fusionstechniken, wie bspw. die diversen Kaimantypen können die verschiedenen Sensorsignale verknüpft werden. Dies erhöht die Flexibilität hinsichtlich der verwendeten Sensoren als auch deren Nutzung über die vorliegende Steuerung. Neuartige Sensoren mit neuen Funktionen können so erkannt und integriert werden.The various sensor signals can be linked using fusion techniques that are known per se, such as the various types of caiman. This increases the flexibility with regard to the sensors used and their use via the present controller. New types of sensors with new functions can thus be recognized and integrated.

Die vorgeschlagene Methode nutzt also bereits zur Erkennung des Sensortyps Klassifikationen des neuronalen Netzwerks und wendet diese auf die Sensorsignale selbst an. Jeder Typ von Vitaldaten-Sensoren, wie EEG, EKG usw. hat personen- und gesundheitsunabhängig zumindest grobe und dennoch spezifische Merkmale, welche zur Erkennung zunächst des Sensortyps genutzt werden. Maschinelle oder sogenannte Deep Learning Algorithmen können angewendet werden, um die Modelle zur Erkennung einer Vielzahl von Sensortypen zu trainieren, und zwar unabhängig von der Art der elektrischen Verbindung oder dem jeweiligen Insassen oder dessen Gesundheitszustand.The proposed method therefore already uses and applies classifications of the neural network to recognize the sensor type the sensor signals themselves. Each type of vital data sensors, such as EEG, EKG, etc., has at least rough and yet specific characteristics that are independent of people and health, which are used to initially identify the sensor type. Machine or so-called deep learning algorithms can be applied to train the models to detect a variety of sensor types, regardless of the type of electrical connection or the individual occupant or their state of health.

Störsignale werden vorzugsweise ausgefiltert, um die Erkennung zu verbessern. Das Modell oder Netzwerk wird also trainiert, um Typen von Vitaldatensignalen und damit deren Sensoren zu erkennen. So kann bspw. ein EKG Signal über unterschiedliche Sensortypen, bspw. resistiv oder kapazitiv, ermittelt werden. Jedoch sind die klassischen Parameter, der sogenannte QRS-Komplex dennoch grundsätzlich vorhanden und selbst bei unterschiedlichen Personen oder Gesundheits- oder Belastungszuständen zumindest dem Grunde nach vorhanden und aus dem Signalverlauf erkennbar. Dieses Muster kann bspw. erlernt werden und dazu dienen, Signalverläufe eines EKG von anderen Vitaldatensensoren, wie bspw. EEG usw. zu unterscheiden. Analog gilt dies bspw. auch für Blutdrucksignale oder Temperaturverläufe. Die Möglichkeiten und Techniken maschinellen Lernens bieten hierfür gute Möglichkeiten und sogenannte Long Short Term Memory Networks als besonders effiziente Lösung ermittelt worden. Intervallbasierte dynamische Entscheidungsbäume, sogenannte time warping decison trees, RNN, CNN können für die Analyse zeitlicher Verläufe verwendet werden.Interfering signals are preferably filtered out in order to improve detection. The model or network is thus trained to recognize types of vital data signals and thus their sensors. For example, an ECG signal can be determined using different sensor types, e.g. resistive or capacitive. However, the classic parameters, the so-called QRS complex, are still fundamentally present and are at least fundamentally present and recognizable from the signal curve even in different people or health or stress conditions. This pattern can be learned, for example, and can be used to distinguish between the signal curves of an EKG and other vital data sensors, such as EEG, etc. This also applies analogously, for example, to blood pressure signals or temperature profiles. The possibilities and techniques of machine learning offer good opportunities for this and so-called Long Short Term Memory Networks have been identified as a particularly efficient solution. Interval-based dynamic decision trees, so-called time warping decision trees, RNN, CNN can be used for the analysis of time courses.

Die Erkennung und Klassifizierung angeschlossener Sensoren erfolgt als anhand der Sensorsignale der Sensoren selbst. Dadurch ist es auch möglich, die angeschlossenen Sensoren zu wechseln, sogar neuartige Sensoren zu verwenden, bspw. wenn bestimmte Vorerkrankungen des Insassen bekannt sind und daher besondere Parameter erfasst werden sollen. Insbesondere können auch an sich nicht im Fahrzeug permanent vorhandene, sondern vom Insassen mitgeführte Sensoren, wie die modernen Pulsuhren oder andere mobile am Körper zu tragende Sensoren zur Erfassung von Vitaldaten mit in das System integriert werden, so lange diese sich im Fahrzeug befinden.The detection and classification of connected sensors is based on the sensor signals of the sensors themselves. This also makes it possible to change the connected sensors, even to use new types of sensors, e.g. if certain previous illnesses of the occupant are known and special parameters are therefore to be recorded. In particular, sensors not permanently present in the vehicle but carried by the occupants, such as modern heart rate monitors or other mobile sensors to be worn on the body for recording vital data, can also be integrated into the system as long as they are in the vehicle.

Diese Lösung eignet sich dabei nicht nur für den Fahrer eines klassischen Automobils, sondern auch für 2- oder 3-Räder, Lastkraftwagen oder andere Land-, Wasser- oder Luftfahrzeuge als auch für andere Insassen, Mitfahrer bis hin zur Überwachung der Gesundheit von Insassen von fahrerlosen Verkehrssystemen.This solution is not only suitable for the driver of a classic car, but also for 2- or 3-wheelers, trucks or other land, water or air vehicles as well as for other occupants, passengers up to monitoring the health of occupants of driverless traffic systems.

ZITATE ENTHALTEN IN DER BESCHREIBUNGQUOTES INCLUDED IN DESCRIPTION

Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list of the documents cited by the applicant was generated automatically and is included solely for the better information of the reader. The list is not part of the German patent or utility model application. The DPMA assumes no liability for any errors or omissions.

Zitierte PatentliteraturPatent Literature Cited

US2007004969A1[0002]
WO 2015175435 A1 [0002]
US2019038204A1 [0002]
US 2019097362 A1 [0009]

Claims

System for monitoring vital data of an occupant of a vehicle, the system having a plurality of sensors for recording the vital data and a central controller for evaluating this vital data, this controller having a neural network or machine learning algorithms for evaluating the vital data, with means for recognizing are provided depending on the presence of sensors and for adapting the evaluation, characterized in that a sensor connected to the central controller is recognized by its sensor signal also being recognized by a neural network or machine learning algorithm with regard to the type of sensor.

system after claim 1 , characterized in that occupant-independent, type-specific classifiers or reference signal curves are specified for the different types of sensors for recording the vital data of the neural network or machine learning algorithm and the type of the connected sensor is derived therefrom.

Motor vehicle with a system claim 1 or 2 .