DE102011112344A1

DE102011112344A1 - A method for detecting the state of a driver by detecting a plethysmographic size and apparatus for performing the method

Info

Publication number: DE102011112344A1
Application number: DE102011112344A
Authority: DE
Inventors: Thanh-Binh To
Original assignee: Volkswagen AG
Current assignee: Volkswagen AG
Priority date: 2011-09-03
Filing date: 2011-09-03
Publication date: 2013-03-07
Also published as: EP2750588A1; EP2750588B1; WO2013029738A1

Abstract

Die Erfindung betrifft ein Verfahren zur Zustandserkennung eines Fahrzeugführers (2) eines Kraftfahrzeug (1) durch Erzeugung eines den physiologischen Zustand des Fahrzeugführers (2) anzeigende plethysmographischen Größe, vorzugsweise die Herzschlagrate, mittels eines im Fahrzeug (1) angeordneten Sensors (3); erfindungsgemäß ist vorgesehen, dass der Sensor als monochromer Bildsensor (3) zur Bildaufnahme des Kopfes (2a) des Fahrzeugführers (2) ausgebildet ist, ein strukturierter Grünfilter (4, 4a) vorgesehen ist, der grüne und transparente Filterpixel (4b, 4c) aufweist, aus der Bildaufnahme des Kopfes (2a) der Gesichtsbereich des Fahrzeugführers (2) detektiert wird, von mehreren Einzelbildern des Kopfes (2a) des Fahrzeugführers (2) die Grün-Anteile des Gesichtsbereiches erfasst und jeweils über eine vorgegebene Zeitdauer als Bilddaten gespeichert werden, und aus den gespeicherten Bilddaten mittels eines mathematischen Algorithmus die plethysmographische Größe bestimmt wird.The invention relates to a method for detecting the state of a vehicle driver (2) of a motor vehicle (1) by generating a physiological state of the vehicle driver (2) plethysmographic size, preferably the heart rate, by means of a sensor (3) arranged in the vehicle (1); According to the invention, the sensor is designed as a monochrome image sensor (3) for imaging the head (2a) of the vehicle driver (2), a structured green filter (4, 4a) is provided which has green and transparent filter pixels (4b, 4c) in that the facial area of the vehicle driver (2) is detected from the image recording of the head (2a), the green portions of the facial area are detected by a plurality of individual images of the head (2a) of the vehicle driver (2) and stored as image data over a predetermined period of time, and from the stored image data by means of a mathematical algorithm, the plethysmographic size is determined.

Description

Verfahren zur Zustandserkennung eines Fahrzeugführers durch Erfassung einer plethysmographischen Größe sowie Vorrichtung zur Durchführung des Verfahrens Die Erfindung betrifft ein Verfahren zur Zustandserkennung eines Fahrzeugführers eines Kraftfahrzeugs durch Erzeugung eines den physiologischen Zustand des Fahrzeugführers anzeigende plethysmographischen Größe gemäß Oberbegriff des Patentanspruchs 1, des Patentanspruchs 3 und des Patentanspruchs 8 sowie eine Vorrichtung zur Durchführung des erfindungsgemäßen Verfahrens.The invention relates to a method for detecting the state of a vehicle driver of a motor vehicle by generating a physiological state of the driver indicating plethysmographic size according to the preamble of patent claim 1, claim 3 and the claim 8 and a device for carrying out the method according to the invention.

Optische plethysmographische Verfahren, sogenannte photo-plethysmogra-phische Verfahren sind als nicht-invasive Methoden zur Erfassung von physiologischen Parametern bzw. Vitalparametern, wie Pulsrate, Pulsratenvariabilität oder arteriellen Sauerstoffsättigung im Blut einer Person bekannt. Bei diesen Verfahren wird rotes oder infrarotes Licht in das Körpergewebe eingestrahlt und über die Messung der Lichtabsorption bzw. Lichtremission ein Volumenpulssignal erzeugt, das die während des Herzschlags veränderliche Blutmenge in dem Gefäßsystem des erfassten Körpergewebes anzeigt. Die für dieses Verfahren eingesetzten Geräte, sogenannte Pulsoximeter werden entweder an der Fingerspitze einer Person oder an deren Ohrläppchen eingesetzt.Optical plethysmographic methods, so-called photo-plethysmographic methods, are known as non-invasive methods for detecting physiological parameters or vital parameters, such as pulse rate, pulse rate variability or arterial oxygen saturation in a person's blood. In these methods, red or infrared light is radiated into the body tissue and the measurement of the light absorption or emission produces a volume pulse signal which indicates the variable amount of blood during the heartbeat in the vascular system of the detected body tissue. The devices used for this procedure, so-called pulse oximeters, are either inserted at the fingertip of a person or at their earlobes.

So ist aus der gattungsbildenden DE 10 2008 056 250 A1 ein Verfahren zum Erfassen zumindest eines Vitalparameters, insbesondere der Pulsinformation einer Person in einem Kraftfahrzeug beschrieben, bei dem mittels einer optoelektronischen Sensoranordnung der Vitalparameter mittels Lichtremission erfasst wird, wobei die optoelektronische Sensoranordnung zumindest eine erste Lichtquelle und ein lichtempfindliches Element aufweist und die erste Lichtquelle und das lichtempfindliche Element in einem Fingerbett eines Bedienelements, insbesondere eines Schaltknaufs oder des Lenkrads des Kraftfahrzeugs angeordnet sind. Das Fingerbett nimmt die Fingerkuppe der Person in einem Sensorbereich des Fingerbetts, in dem die erste Lichtquelle und das lichtempfindliche Element angeordnet sind, bündig auf.So is from the generic DE 10 2008 056 250 A1 a method for detecting at least one vital parameter, in particular the pulse information of a person described in a motor vehicle, in which the vital parameter is detected by means of light emission by means of an optoelectronic sensor arrangement, wherein the optoelectronic sensor arrangement comprises at least a first light source and a photosensitive element and the first light source and the photosensitive element are arranged in a finger bed of a control element, in particular a shift knob or the steering wheel of the motor vehicle. The fingerboard is flush with the person's fingertip in a sensor area of the fingerboard in which the first light source and the photosensitive element are located.

Dieses bekannte Verfahren kann im Rahmen eines Fahrerassistenzsystems eingesetzt werden, indem wenigstens ein Vitalparameter mit einem gegebenen Schwellwert verglichen wird, um eine Warnmeldung, ein Alarm oder einen Notruf auszugeben bzw. auszulösen, wenn der Wert des Vitalparameters diesen Schwellwert über- oder unterschreitet. Mit einem solchen Assistenzsystem können kardiologische Risikofaktoren, eine chronische Lungenerkrankung der Person überwacht oder Müdigkeit und/oder Stress der Person erkannt werden.This known method can be used within the framework of a driver assistance system by comparing at least one vital parameter with a given threshold value in order to output or trigger a warning message, an alarm or an emergency call if the value of the vital parameter exceeds or falls below this threshold value. With such an assistance system, cardiac risk factors, a chronic lung disease of the person can be monitored or fatigue and / or stress of the person can be detected.

Der Nachteil dieses bekannten Verfahren liegt darin, dass der Fahrerzustand nicht laufend überwacht bzw. detektiert werden kann, da dieser nur dann erfasst werden kann, wenn der Fahrer gerade ein mit dem Fingerbett ausgestattetes Bedienelement, wie bspw. den Schaltknauf des Fahrzeugs betätigt. Es kann nicht davon ausgegangen werden, dass ein Fahrzeugführer seine Hand ständig an einem solchen Bedienelement belässt. Selbst wenn dieses Bedienelement das Lenkrad darstellt, kann ein solches Fingerbett nur an wenigen Stellen des Lenkradkranzes angeordnet werden und daher nicht davon ausgegangen werden, dass die Hände des Fahrers ständig dort liegen, an denen die Fingerbetten sich befinden. Neben dem Nachteil einer aufwendigen konstruktiven Realisierung solcher Fingerbetten am Lenkradkranz, würde auch der optische Eindruck durch solche auf dem Lenkradkranz angeordneten Fingerbetten nachhaltig beeinträchtig.The disadvantage of this known method is that the driver state can not be constantly monitored or detected, since it can only be detected when the driver is operating a control element equipped with a fingertip, such as, for example, the shift knob of the vehicle. It can not be assumed that a driver leaves his hand constantly on such a control element. Even if this control represents the steering wheel, such a fingerboard can be arranged only in a few places of the steering wheel rim and therefore can not be assumed that the driver's hands are constantly there where the finger beds are located. In addition to the disadvantage of a complex constructive realization of such finger beds on the steering wheel rim, the visual impression would be permanently affected by such arranged on the steering wheel rim finger beds.

Ferner ist ein Verfahren zur Charakterisierung des Zustandes des Fahrers eines Kraftfahrzeuges aus der DE 101 26 224 A1 bekannt, bei dem ein Fahrer-Monitoring durchgeführt wird und als Schlüsselparameter physiologische Zustandsgrößen des Fahrers als Kenngrößen erfasst werden und anschließend ein Vergleich der erfassten Daten mit gespeicherten Daten und/oder eine direkte Auswertung der erfassten Daten durchgeführt wird, um in Abhängigkeit vom ermittelten Ergebnis auf Steuerungseinheiten des Kraftfahrzeugs einzuwirken, die geeignete Maßnahmen zur Einhaltung eines sicheren Zustands des Fahrers und/oder des Kraftfahrzeugs einleiten.Furthermore, a method for characterizing the state of the driver of a motor vehicle from the DE 101 26 224 A1 in which a driver monitoring is carried out and physiological state variables of the driver are recorded as parameters as key parameters and then a comparison of the acquired data with stored data and / or a direct evaluation of the acquired data is carried out in dependence on the determined result Act control units of the motor vehicle, which initiate appropriate measures to maintain a safe condition of the driver and / or the motor vehicle.

Als physiologische Zustandsgrößen des Fahrers werden bei diesem bekannten Verfahren Gehirnströme mittels eines Elektroenzephalogramms (EEG) erfasst, wobei das Elektroenzephalogramm mit zumindest zwei Elektroden im Kopfbereich des Fahrers aufgenommen und aus dem Übergang von beta- zu alpha-Wellen auf den Wachheitszustand des Fahrers geschlossen wird. Weiterhin werden als physiologische Zustandsgrößen der Herzzustand, z. Bsp. der Herzschlag- bzw. die Pulsfrequenz und/oder die Herzfrequenz, mittels eines Elektrokardiogramms (EKG) und der Blutdruck mittels Blutdruckmessung erfasst.In this known method, brainwaves are detected as physiological state variables of the driver by means of an electroencephalogram (EEG), wherein the electroencephalogram is recorded with at least two electrodes in the head region of the driver and closed from the transition from beta to alpha waves to the alertness state of the driver. Furthermore, as physiological state variables of the heart condition, z. For example, the heartbeat or the pulse rate and / or the heart rate, detected by means of an electrocardiogram (ECG) and the blood pressure by means of blood pressure measurement.

Zur Erfassung dieser Zustandsgrößen des Fahrers sind geeignete Sensoren vorgesehen, welche die Bewegungsfreiheit des überwachten Fahrers in der Fahrposition möglichst wenig oder gar nicht beeinträchtigen sollen. Zusätzlich wird auch ein optischer Sensor, wie eine Kamera vorgeschlagen, der auf das Gesicht des Fahrers ausgerichtet ist, so dass die Gesichtsbewegungen und insbesondere der Augenlidschluss bzw. die Frequenz, mit welcher die Augenlider des Fahrers geschlossen werden, als weitere Zustandsgrößen des Fahrers erfasst und ausgewertet werden können.To detect these state variables of the driver suitable sensors are provided which should affect the freedom of movement of the monitored driver in the driving position as little as possible or not at all. In addition, an optical sensor, such as a camera is proposed, which is aligned with the face of the driver, so that the facial movements and in particular the Augenlidschluss or the frequency with which the eyelids of the driver are closed, detected as a further state variables of the driver and can be evaluated.

Bei diesem bekannten Verfahren gemäß der DE 101 26 224 A1 wird die Herztätigkeit, also bspw. der Puls bzw. der Herzschlag des Fahrers mittels Sensoren erfasst, die einen Kontakt mit dem Körper des Fahrers erfordern, also Elektroden und daher den Fahrer in seiner Bewegungsfreiheit behindern. In this known method according to the DE 101 26 224 A1 the heart activity, so for example, the pulse or the heartbeat of the driver detected by sensors that require contact with the body of the driver, ie electrodes and therefore hinder the driver in his freedom of movement.

Weiterhin ist aus dem Artikel ”Non-contact, automated cardiac pulse measurements using video imaging and blind source separation”; Poh, M., McDuff, D. J., Picard, R. W., Optics Express, Vol. 18, Issue 10, pp. 10762–10774 (2010) ein Verfahren zur berührungslosen Herzpulsmessung beschrieben, bei dem das oben beschriebene Photoplethysmographie-Verfahren verwendet wird, jedoch ohne eine zusätzliche rote oder infrarote Lichtquelle einzusetzen. Von einer üblichen Videokamera wird der Kopf einer Person erfasst und aus den Bilddaten das Gesicht dieser Person extrahiert; das von dem Gesicht reflektierte Tageslicht in seine roten, grünen und blauen Anteile zu zerlegen, um aus den Daten dieser Farbkanäle mittels eines Blind-Quellentrennungsprozess unabhängige Signalquellen, nämlich die physiologischen Signale zu extrahieren, wobei die separierten Signalquellen die plethysmographischen Signale darstellen.Furthermore, from the Non-contact, automated cardiac pulse measurements using video imaging and blind source separation; Poh, M., McDuff, DJ, Picard, RW, Optics Express, Vol. 18, Issue 10, pp. 10762-10774 (2010) described a method for non-contact cardiac pulse measurement, wherein the photoplethysmography method described above is used, but without using an additional red or infrared light source. An ordinary video camera captures a person's head and extracts the person's face from the image data; to divide the daylight reflected from the face into its red, green and blue components to extract from the data of these color channels by means of a blind source separation process independent signal sources, namely the physiological signals, the separated signal sources representing the plethysmographic signals.

Schließlich ist aus dem Artikel „Remote plethysmographic imaging using ambient light”; Verkruysse, W., Svaasand, L. O., Nelson, J. S.; Optics Express, Vol. 16, Issue 26, pp. 21434–21445 (2008) bekannt, dass die Grün-Anteile der bei Umgebungslicht mittels einer Videokamera aufgenommenen Bilddaten eines Gesichtes die stärksten plethysmographischen Signale im Vergleich zu den Rot- und Blau-Anteilen des reflektierten Tageslichtes aufweisen.Finally, from the Article "Remote plethysmographic imaging using ambient light"; Verkruysse, W., Svaasand, LO, Nelson, JS; Optics Express, Vol. 16, Issue 26, pp. 21434-21445 (2008) It is known that the green components of the image data of a face recorded with ambient light by means of a video camera have the strongest plethysmographic signals in comparison to the red and blue components of the reflected daylight.

Diese beiden zuletzt beschriebenen Verfahren zur Erzeugung von plethysmographischen Signalen bei Umgebungslicht verwenden für dieses „Umgebungslicht-Photo-Plethysmographie”-Verfahren eine Farb-Videokamera, welche für den Einsatz in einem Kraftfahrzeug hohe Kosten verursacht. Zusätzlich ist die Bearbeitung und Auswertung der Rohbilddaten, also der hierfür erforderliche mathematische Algorithmus sehr aufwendig und erfordert deshalb eine hohe Rechenkapazität, wodurch hierfür ebenso hohe Kosten entstehen. Weiterhin nachteilig ist bei einer Verwendung einer Farbkamera deren geringeren Ortsauflösung gegenüber einer monochromen Kamera.These two last-described methods for generating plethysmographic signals in ambient light use a color video camera for this "ambient light photo-plethysmography" method, which causes high costs for use in a motor vehicle. In addition, the processing and evaluation of the raw image data, ie the mathematical algorithm required for this purpose is very complicated and therefore requires a high computing capacity, resulting in equally high costs. Another disadvantage of using a color camera whose lower spatial resolution compared to a monochrome camera.

Aufgabe der Erfindung ist es, ein Verfahren zur Zustandserkennung eines Fahrzeugführers durch Erfassung einer plethysmographischen Größe bereitzustellen, welches eine schnelle und einfache Zustandserkennung eines Fahrzeugführers eines Kraftfahrzeugs erlaubt, mit dem aber dennoch robuste Ergebnisse erzielbar sind und schließlich auch kostengünstig realisierbar ist.The object of the invention is to provide a method for detecting the state of a vehicle driver by detecting a plethysmographic size, which allows a quick and easy state detection of a driver of a motor vehicle, but with the robust results are still achievable and finally cost-effectively feasible.

Ferner ist es Aufgabe der Erfindung eine Vorrichtung zur Durchführung des erfindungsgemäßen Verfahrens anzugeben, welches kostengünstig realisiert werden kann.It is another object of the invention to provide a device for carrying out the method according to the invention, which can be realized inexpensively.

Die erstgenannte Aufgabe wird gelöst durch ein Verfahren mit den Merkmalen des Patentanspruchs 1, durch ein Verfahren mit den Merkmalen des Patentanspruchs 3 sowie durch ein Verfahren mit den Merkmalen des Patentanspruchs 8.The first object is achieved by a method having the features of patent claim 1, by a method having the features of patent claim 3 and by a method having the features of patent claim 8.

Ein solches Verfahren zur Zustandserkennung eines Fahrzeugführers eines Kraftfahrzeugs durch Erzeugung eines den physiologischen Zustand des Fahrzeugführers anzeigende plethysmographischen Größe, vorzugsweise die Herzschlagrate, mittels eines im Fahrzeug angeordneten Sensors, zeichnet sich gemäß der erstgenannten Lösung erfindungsgemäß dadurch aus, dass

– der Sensor als monochromer Bildsensor zur Bildaufnahme des Kopfes des Fahrzeugführers ausgebildet ist,
– ein strukturierter Grünfilter vorgesehen ist, der grüne und transparente Filterpixel aufweist,
– aus der Bildaufnahme des Kopfes der Gesichtsbereich des Fahrzeugführers detektiert wird,
– von mehreren Einzelbildern des Kopfes des Fahrzeugführers die Grün-Anteile des Gesichtsbereiches erfasst und jeweils über eine vorgegebene Zeitdauer als Bilddaten gespeichert werden, und
– aus den gespeicherten Bilddaten mittels eines mathematischen Algorithmus die plethysmographische Größe bestimmt wird.

Such a method for detecting the state of a vehicle driver of a motor vehicle by generating a plethysmographischen size indicating the physiological condition of the driver, preferably the heart rate, by means of a sensor disposed in the vehicle, according to the first-mentioned solution according to the invention characterized in that

- The sensor is designed as a monochrome image sensor for image recording of the head of the driver,
A structured green filter is provided which has green and transparent filter pixels,
- is detected from the image recording of the head of the face area of the driver,
- Captured from several frames of the head of the driver, the green portions of the face area and stored over a predetermined period of time as image data, and
- The plethysmographic size is determined from the stored image data by means of a mathematical algorithm.

Die zweitgenannte Lösung zeichnet sich dadurch aus, dass der Sensor als Bildsensor mit in Spalten und Reihen angeordneten lichtempfindlichen Elementen ausgebildet ist, wobei in einem Muster lichtempfindliche Elemente einen Grünfilter aufweisen,
aus der Bildaufnahme des Kopfes der Gesichtsbereich des Fahrzeugführers detektiert wird,

– von mehreren Einzelbildern des Kopfes des Fahrzeugführers die Grün-Anteile des Gesichtsbereiches erfasst und jeweils über eine vorgegebene Zeitdauer als Bilddaten gespeichert werden, und
– aus den gespeicherten Bilddaten mittels eines mathematischen Algorithmus die plethysmographische Größe bestimmt wird.

The second-mentioned solution is characterized in that the sensor is designed as an image sensor with light-sensitive elements arranged in columns and rows, wherein in a pattern photosensitive elements have a green filter,
from the image recording of the head of the facial area of the vehicle driver is detected

- Captured from several frames of the head of the driver, the green portions of the face area and stored over a predetermined period of time as image data, and
- The plethysmographic size is determined from the stored image data by means of a mathematical algorithm.

Die zweitgenannte Lösung unterscheidet sich von der erstgenannten lediglich dadurch, dass anstelle des separaten Farbfilters ein Bildsensor (Image-chip) vorgesehen ist, bei dem in dessen Herstellungsprozess der grüne Farbfilter auf das Halbleitermaterial aufgebracht wird.The second-mentioned solution differs from the former only in that instead of the separate color filter, an image sensor (image chip) is provided, in which the green color filter is applied to the semiconductor material in its manufacturing process.

Bei diesen beiden Lösungen des erfindungsgemäßen Verfahrens gibt es Bildpunkte, die von transparenten Filterpixeln bzw. Sensorpixeln ohne Filter geliefert werden und die Intensität des detektierten Lichts als Grauwert angeben, sowie Bildpunkte, die von grünen Filterpixeln bzw. grünen Sensorpixeln erzeugt werden und die die Intensität der Farbe Grün angeben. Dies hat zur Folge, dass die für monochrome Bildsensoren typische hohe Auflösung nahezu erhalten bleibt. In these two solutions of the method according to the invention, there are pixels that are supplied by transparent filter pixels or sensor pixels without filter and indicate the intensity of the detected light as a gray value, as well as pixels that are generated by green filter pixels or green sensor pixels and the intensity of the Specify the color green. As a result, the high resolution typical of monochrome image sensors is almost maintained.

Die drittgenannte Lösung zeichnet sich dadurch aus, dass der Sensor als monochromer Bildsensor mit einem Grünfilter oder als Bildsensor mit die Farbe Grün detektierenden lichtempfindlichen Elementen zur Bildaufnahme des Kopfes des Fahrzeugführers ausgebildet ist und nicht die Grün-Anteile des Gesichtsbereichs erfasst werden, sondern dass direkt von mehreren Einzelbildern des Kopfes des Fahrzeugführers die Sensorwerte des Bildsensors als Intensitätswerte der Farbe Grün des Gesichtsbereiches erfasst und jeweils über eine vorgegebene Zeitdauer als Bilddaten gespeichert werden und ebenso entsprechend der erstgenannten oder zweitgenannten Lösung aus den so gespeicherten Bilddaten mittels eines mathematischen Algorithmus die plethysmographische Größe bestimmt wird.The third solution is characterized in that the sensor is designed as a monochrome image sensor with a green filter or as an image sensor with the color green detecting photosensitive elements for image recording of the head of the driver and not the green parts of the face area are detected, but that directly from a plurality of individual images of the head of the vehicle driver, the sensor values of the image sensor as intensity values of the color green of the facial area are recorded and stored over a predetermined period of time as image data and also according to the former or second solution from the image data thus stored by means of a mathematical algorithm, the plethysmographic size is determined ,

Durch die Verwendung eines monochromen Bildsensors mit strukturiertem Grünfilter mit grünen und transparenten Filterpixeln bzw. eines Bildsensors mit grünen Sensorpixeln und Sensorpixeln ohne Filter werden gegenüber der Verwendung einer Farbkamera robuste und zuverlässige Messergebnisse erzielt, so dass dadurch ohne hohen Softwareaufwand eine hohe Erkennungssicherheit eines plethysmographischen Signals in den Bilddaten erreichbar ist. Durch die Verwendung eines monochromen Farbsignals der Farbe Grün zur Erzeugung eines plethysmographischen Signals ist dieses erfindungsgemäße Verfahren auch schneller als die aus dem Stand der Technik bekannten Verfahren.By using a monochrome image sensor with structured green filter with green and transparent filter pixels or an image sensor with green sensor pixels and sensor pixels without filter robust and reliable results are achieved compared to the use of a color camera, so that high detection reliability of a plethysmographic signal in the image data is accessible. By using a monochrome color signal of the color green to produce a plethysmographic signal, this method according to the invention is also faster than the methods known from the prior art.

Dadurch, dass bei der Bildaufnahme des Kopfes des Fahrzeugführers auch Bereiche ohne Farbfilterung detektiert werden, kann das Gesicht auch bei Dunkelheit so gut detektiert werden, dass eine zusätzliche Beleuchtung mit Infrarot-Licht verzichtbar ist.Due to the fact that areas without color filtering are also detected during image acquisition of the driver's head, the face can be detected so well even in the dark that additional illumination with infrared light can be dispensed with.

Schließlich ist die Verwendung eines solchen monochromen Bildsensors mit strukturiertem Grünfilter bzw. eines Bildsensors mit grünen Sensorpixeln und Sensorpixeln ohne Filter wesentlich kostengünstiger als der Einsatz eines Farb-Bildsensors.Finally, the use of such a monochrome image sensor with a structured green filter or an image sensor with green sensor pixels and sensor pixels without a filter is much less expensive than the use of a color image sensor.

Besonders vorteilhaft ist es gemäß einer Weiterbildung der erstgenannten und zweitgenannten Lösung der Erfindung, wenn der Grünfilter grüne Filterpixel bzw. wenn der Bildsensor grüne Sensorpixel in einer regelmäßigen Struktur, vorzugsweise wenigstens eine 2×2-Matrix von Filterpixeln bzw. Sensorpixeln umfasst, die abwechselnd grüne Filterpixel und transparente Filterpixel bzw. abwechselnd einen grünen Sensorpixel und einen Sensorpixel ohne Filter aufweist. Dadurch dass die Lage der grünen Filterpixel bzw. der grünen Sensorpixel bekannt ist, lässt sich die Extraktion der Grün-Anteile dieser grünen Filterpixel bzw. grünen Sensorpixel einfach durchführen.According to a development of the first-mentioned and second-mentioned solution of the invention, it is particularly advantageous if the green filter comprises green filter pixels or if the image sensor comprises green sensor pixels in a regular structure, preferably at least a 2 × 2 matrix of filter pixels or sensor pixels, which alternately turn green Filter pixels and transparent filter pixels or alternately has a green sensor pixel and a sensor pixel without filter. Since the position of the green filter pixels or of the green sensor pixels is known, the extraction of the green components of these green filter pixels or green sensor pixels can be carried out simply.

In einer Ausgestaltung der Erfindung gemäß der ersten und zweiten Lösung ist es besonders vorteilhaft, wenn zur Bestimmung des Grün-Anteils eines Einzelbildes des Kopfes des Fahrzeugführers das HSV-Farbsystem (Hue Saturation Value) verwendet wird. Durch die Verwendung dieses HSV-Systems zur Bilddaten- bzw. Signalverarbeitung anstelle des weit verbreiteten RGB-Farbsystems (Rot-Gelb-Blau) und die alleinige Auswertung des Grün-Anteils eines Einzelbildes wird die Erkennungsrate eines plethysmographischen Signals wesentlich erhöht. Da vorzugsweise als Bilddaten der Grün-Farbton eines Einzelbildes und dessen Sättigungswerte bei der Auswertung der Bilddaten des Gesichtsfeldes bestimmt werden, wird die Verarbeitungsgeschwindigkeit erhöht.In one embodiment of the invention according to the first and second solution, it is particularly advantageous if the HSV color system (Hue Saturation Value) is used to determine the green component of a single image of the head of the vehicle driver. By using this HSV system for image data or signal processing instead of the widespread RGB color system (red-yellow-blue) and the sole evaluation of the green component of a single image, the detection rate of a plethysmographic signal is significantly increased. Since the green hue of a frame and its saturation values are preferably determined as image data in the evaluation of the image data of the visual field, the processing speed is increased.

Weiterhin ist gemäß einer vorteilhaften Weiterbildung der Erfindung gemäß der erstgenannten und zweitgenannten Lösung vorgesehen, die Mittelwerte der Grün-Werte eines Einzelbildes über mehrere Einzelbilder zu speichern, wodurch auch unter unterschiedlichen oder schnell wechselnden Lichtbedingungen, wie dies im Betrieb eines Kraftfahrzeugs auftreten kann, das erfindungsgemäße Verfahren zuverlässige und robuste Ergebnisse liefert.Furthermore, according to an advantageous embodiment of the invention according to the first-mentioned and second-mentioned solution is to store the average values of the green values of a single image over several frames, which under different or rapidly changing light conditions, as may occur during operation of a motor vehicle, the inventive Method provides reliable and robust results.

Das erfindungsgemäße Verfahren gemäß der drittgenannten Lösung berücksichtigt lediglich die Helligkeitsunterschiede, wodurch eine vereinfachte Auswertung der Bilddaten durchgeführt werden kann, die aber dennoch zu ausreichenden Ergebnissen hinsichtlich der Erkennung von plethysmographischen Signalen führt.The inventive method according to the third-mentioned solution takes into account only the brightness differences, whereby a simplified evaluation of the image data can be performed, but still leads to sufficient results in terms of the detection of plethysmographic signals.

Besonders vorteilhaft ist es gemäß einer weiteren Ausgestaltung der Erfindung, wenn die gespeicherten Bilddaten mittels Fourier Transformation, insbesondere mittels einer schnellen Fourier Transformation (Fast Fourier Transformation, FFT) in den Frequenzbereich transformiert werden und aus dessen Energie-Spektrum (Spektrogramm) die plethysmographische Größe bestimmt wird. Mit einer solchen Fourier Transformation wird eine schnelle Bild- bzw. Signalauswertung erzielt.According to a further embodiment of the invention, it is particularly advantageous if the stored image data are transformed into the frequency domain by means of Fourier transformation, in particular by means of a Fast Fourier Transformation (FFT), and the plethysmographic parameter is determined from its energy spectrum (spectrogram) becomes. With such a Fourier transformation a fast image or signal evaluation is achieved.

Besonders kostengünstig ist es gemäß einer Weiterbildung der Erfindung, wenn zur Bildaufnahme des Kopfes des Fahrzeugführers eine monochrome Videokamera mit einem separaten Grün-Filter verwendet wird. Damit kann ein kostengünstiger CCD- oder ein CMOS-Bildsensor eingesetzt werden, wobei ein externes handelsübliches Grün-Filter ebenso nur geringe Kosten verursacht.According to a development of the invention, it is particularly cost-effective if a monochrome image is used to image the head of the vehicle driver Video camera with a separate green filter is used. Thus, a low-cost CCD or a CMOS image sensor can be used, with an external commercial green filter also causes only low cost.

Das erfindungsgemäße Verfahren eignet sich besonders dafür, aus dem plethysmographischen Signal die Herzschlagrate und/oder Atemfrequenz und/oder Herzfrequenzvariabilität und/oder die Sauerstoffsättigung des arteriellen Bluts abzuleiten.The inventive method is particularly suitable for deriving from the plethysmographic signal the heart rate and / or respiratory rate and / or heart rate variability and / or the oxygen saturation of the arterial blood.

Schließlich kann gemäß einer letzten Weiterbildung der Erfindung das erfindungsgemäße Verfahren in seiner Zuverlässigkeit und Robustheit weiter verbessert werden, wenn das strukturierte Grünfilter nur grüne Filterpixel bzw. der Bildsensor nur lichtempfindliche Elemente mit Grünfilter aufweist und der Kopf des Fahrzeugführers mit einer roten oder infraroten Lichtquelle, insbesondere einer infrarotnahen Lichtquelle beleuchtet wird, wobei hierfür insbesondere der Frequenzbereich zwischen 700 und 900 nm geeignet ist. Die Ursache liegt darin, dass die Absorption des das Gefäßsystem füllenden venösen und pulsierenden arteriellen Blutes in diesem Frequenzbereich besonders hoch ist und daher ein deutliches blutfüllungsabhängiges Signal erzeugt werden kann. Ferner ist zur Detektion des Gesichtsfeldes (ROI) bei Dunkelheit besser, zur Ausleuchtung des Kopfes nahes Infrarotlicht einzusetzen.Finally, according to a last development of the invention, the method according to the invention can be further improved in its reliability and robustness, if the structured green filter only green filter pixels or the image sensor only photosensitive elements with green filter and the head of the driver with a red or infrared light source, in particular an infrared-near light source is illuminated, in which case in particular the frequency range between 700 and 900 nm is suitable. The reason lies in the fact that the absorption of the venous and pulsatile arterial blood filling the vascular system in this frequency range is particularly high and therefore a clear blood-filling-dependent signal can be generated. Furthermore, to detect the field of view (ROI) in the dark it is better to use near infrared light to illuminate the head.

Die zweitgenannte Aufgabe wird gelöst durch eine Vorrichtung mit den Merkmalen des Patentanspruchs 12.The second-mentioned object is achieved by a device having the features of patent claim 12.

Hiernach ist eine Vorrichtung zur Zustandserkennung eines Fahrzeugführers eines Kraftfahrzeugs durch Erzeugung einer den physiologischen Zustand des Fahrzeugführers anzeigenden plethysmographischen Größe, insbesondere die Herzschlagrate, mittels eines im Fahrzeug angeordneten Sensors, insbesondere zur Durchführung des erfindungsgemäßen Verfahrens vorgesehen, welche erfindungsgemäß eine Videokamera mit einem monochromen Bildsensor als Sensor umfasst, dem Bildsensor ein Grünfilter zugeordnet ist und zur Auswertung der Roh-Bilddaten des Bildsensors eine Auswerteeinheit vorgesehen ist.Hereinafter, a device for detecting the state of a vehicle driver of a motor vehicle by generating a physiological state of the driver indicating plethysmographic size, in particular the heart rate, provided by a sensor disposed in the vehicle, in particular for carrying out the method according to the invention, which according to the invention a video camera with a monochrome image sensor as Sensor, the image sensor is associated with a green filter and an evaluation unit is provided for evaluating the raw image data of the image sensor.

Damit kann eine solche erfindungsgemäße Vorrichtung kostengünstig mit handelsüblichen Komponenten aufgebaut werden, da eine hardwaremäßige Anpassung nicht erforderlich ist.In order for such a device according to the invention can be constructed inexpensively with commercially available components, since a hardware adaptation is not required.

Dabei ist es besonders kostengünstig, wenn gemäß einer Weiterbildung der Erfindung die Kamera als monochrome Kamera mit einem externen Grünfilter ausgebildet wird, der entweder als externer Grünfilter vor der Optik der Kamera angeordnet ist, oder sich zwischen der Optik und dem monochromen Bildsensor befindet.It is particularly cost-effective, if according to an embodiment of the invention, the camera is formed as a monochrome camera with an external green filter, which is either arranged as an external green filter in front of the optics of the camera, or is located between the optics and the monochrome image sensor.

Die Erfindung wird nachfolgend anhand von Ausführungsbeispielen unter Bezugnahme auf die beigefügten Figuren ausführlich beschrieben. Es zeigen:The invention will now be described in detail by means of embodiments with reference to the accompanying figures. Show it:

1 eine schematische Darstellung einer Vorrichtung zur Zustandserkennung eines Fahrzeugführers als Blockdiagramm zur Durchführung des erfindungsgemäßen Verfahrens, 1 a schematic representation of a device for detecting the state of a driver as a block diagram for carrying out the method according to the invention,

2 eine schematische Darstellung eines monochromen Bildsensors mit Zeilen und Spalten, 2 a schematic representation of a monochrome image sensor with rows and columns,

3 eine schematische Darstellung eines Grünfilters mit grünen und transparenten Filterpixeln, und 3 a schematic representation of a green filter with green and transparent filter pixels, and

4 eine schematische Darstellung eines Bildsensors mit in Zeilen und Spalten angeordneten grünen Sensorpixeln und Sensorpixeln ohne Filter. 4 a schematic representation of an image sensor arranged in rows and columns green sensor pixels and sensor pixels without filter.

Die Vorrichtung gemäß 1 zur Zustandserkennung eines Fahrzeugführers 2 in einem Kraftfahrzeug 1 umfasst eine monochrome Videokamera 6 mit einem externen Grünfilter 4, eine Auswerteeinheit 8, bspw. als Mikroprozessor ausgebildet und einem dieser Auswerteinheit 8 nachgeschalteten Fahrerassistenzsystem 13. Die Auswerteeinheit 8 besteht aus mehreren Funktionseinheiten 9, 10, 11 und 12.The device according to 1 for the status recognition of a vehicle driver 2 in a motor vehicle 1 includes a monochrome video camera 6 with an external green filter 4 , an evaluation unit 8th , For example, designed as a microprocessor and one of these evaluation unit 8th Downstream driver assistance system 13 , The evaluation unit 8th consists of several functional units 9 . 10 . 11 and 12 ,

Die Videokamera 6 umfasst eine Optik bzw. ein Objektiv 5 und einen Image-Chip als Bildsensor 3, der als CCD- oder CMOS-Chip ausgebildet ist und gemäß 2 aus in Zeilen und Spalten angeordneten Sensorelementen 3a besteht, die als Intensitätspixeln Grauwerte liefern. Jedes dieser Intensitätspixel 3a liefert eine als „I” bezeichnete Intensitäts-Information.The video camera 6 includes an optic or a lens 5 and an image chip as an image sensor 3 which is formed as a CCD or CMOS chip and according to 2 from arranged in rows and columns sensor elements 3a exists, which provide gray levels as intensity pixels. Each of these intensity pixels 3a provides intensity information called "I".

Der Grünfilter 4 dieser Videokamera 6 ist als externer Filter vor der Optik bzw. dem Objektiv 5 der Videokamera 6 angeordnet, so dass als Videokamera 6 eine Standard-Monochrom-Kamera eingesetzt werden kann.The green filter 4 this video camera 6 is as an external filter in front of the optics or the lens 5 the video camera 6 arranged so as a video camera 6 a standard monochrome camera can be used.

Der Grünfilter 4 ist mit seinen Filterpixeln 4a in Zeilen und Spalten aufgebaut und derart strukturiert, dass ein transparenter Filterpixel 4b mit einem grünen Filterpixel 4c beginnend oben links fortlaufend abwechselt. Die transparenten Filterpixel 4b lassen das Licht ungefiltert auf den zugeordneten Sensorpixel 3a durch, während die grünen Filterpixel 4c nur die grüne Farbe auf den zugeordneten Sensorpixel 3a durchlassen.The green filter 4 is with its filter pixels 4a constructed in rows and columns and structured such that a transparent filter pixel 4b with a green filter pixel 4c starting at the top left alternating continuously. The transparent filter pixels 4b leave the light unfiltered on the assigned sensor pixel 3a through, while the green filter pixels 4c only the green color on the assigned sensor pixel 3a let through.

Ein solches Grünfilter 4 kann anstelle einer Anordnung vor der Optik bzw. dem Objektiv 5 der Videokamera 6 auch innerhalb der Kamera vor dem Image-Chip 3 vorgesehen werden. Such a green filter 4 can instead of an arrangement in front of the optics or the lens 5 the video camera 6 even inside the camera in front of the image chip 3 be provided.

Alternativ kann auch eine Videokamera 6 verwendet werden, die einen in 4 dargestellten Bildsensor 3 aufweist, dessen lichtempfindliche Sensorelemente ebenfalls in Zeilen und Spalten angeordnet sind. Dieser Bildsensor weist in einer regelmäßigen Struktur angeordnete Sensorelemente 3b mit einem grünen Filterelement auf, so dass sich Sensorelemente 3a ohne Filter mit Sensorelementen 3b mit einem grünen Filterelement beginnend oben links abwechseln. Die Sensorelemente 3a liefern daher einen dem Umgebungslicht entsprechenden Grau-Wert, also einen Intensitätswert, während die Sensorelemente 3b einen Intensitätswert der Farbe Grün liefern.Alternatively, a video camera 6 be used, which has a in 4 illustrated image sensor 3 whose photosensitive sensor elements are also arranged in rows and columns. This image sensor has arranged in a regular structure sensor elements 3b with a green filter element on, so that sensor elements 3a without filter with sensor elements 3b alternating with a green filter element starting at the top left. The sensor elements 3a therefore provide a gray value corresponding to the ambient light, ie an intensity value, while the sensor elements 3b provide an intensity value of the color green.

Die Videokamera 6 erzeugt von dem Kopf 2a des Fahrzeugführers 2 aus Einzelbildern (frames) bestehende Bilddaten, die als Roh-Bilddaten in der Funktionseinheit „Gesichtserkennung” 9 zwischengespeichert werden, um mit diesen Roh-Bilddaten mittels einer geeigneten Methode eine biometrische Gesichtserkennung durchzuführen und den Gesichtsbereich des Kopfes 2a des Fahrzeugführers 2 als ROI (Region-Of-Interest) der nachfolgenden Funktionseinheit „Extrahieren Grün-Anteil” 10 zuzuführen, mit der der Grün-Anteil aus dem ROI extrahiert wird.The video camera 6 generated by the head 2a of the driver 2 image data consisting of individual frames which are used as raw image data in the functional unit "face recognition" 9 be cached to perform with this raw image data by a suitable method, a biometric facial recognition and the facial area of the head 2a of the driver 2 as ROI (Region-Of-Interest) of the following functional unit "Extract Green Share" 10 to extract the green component from the ROI.

Zur Gesichtserkennung werden alle Pixel eines Einzelbildes (frame) verwendet, also solche die ungefilterte Intensitätswerte als auch Intensitätswerte der Farbe Grün liefern. Die ungefilterten Intensitätswerte liefern einen dem Umgebungslicht entsprechenden Grau-Wert.For face recognition, all pixels of a frame are used, ie those which provide unfiltered intensity values as well as intensity values of the color green. The unfiltered intensity values provide a gray value corresponding to the ambient light.

Der Grün-Anteil der ROI wird dagegen nur aus den Pixeln extrahiert, die einen Intensitätswert der Farbe Grün detektiert haben.The green portion of the ROI, on the other hand, is extracted only from the pixels that have detected an intensity value of the color green.

Zur Bestimmung des Grün-Anteils werden zunächst die Grünwerte aus jedem Einzelbild (frame) extrahiert und der Mittelwert dieser Grün-Werte bestimmt. Da die Struktur der die Farbe Grün anzeigender Sensorelemente des Image-Chips 3, also deren Ort bekannt ist, kann die Extraktion des Grün-Anteils softwaremäßig einfach durchgeführt werden.To determine the green component, the green values are first extracted from each frame and the average of these green values is determined. As the structure of the color green indicating sensor elements of the image chip 3 So, if their location is known, the extraction of the green component can be easily done by software.

Für diese Farbraumtransformation wird das HSV-Farbsystem verwendet, wobei nur der Farbton Grün (Hue-Anteil) und die Sättigung (Saturation-Anteil) berücksichtigt werden, also ohne die Helligkeit (Value-Anteil), deren Wert für alle Bildpixel des ROI, also des Gesichtsbereiches auf einen gleichen Wert, also bspw. auf einen Default-Wert gesetzt wird.For this color space transformation, the HSV color system is used, whereby only the hue green (Hue proportion) and the saturation (saturation proportion) are taken into account, ie without the brightness (value proportion), whose value for all image pixels of the ROI of the facial area is set to the same value, that is, for example, to a default value.

Durch die Verwendung dieses HSV-Farbsystems wird erreicht, dass trotz sich ständig ändernden Lichtbedingungen während des Fahrens eine hohe und zuverlässige Funktionssicherheit hinsichtlich der Erkennung eines plethysmographischen Signals sichergestellt wird. Da auch das Umgebungslicht ebenfalls detektiert wird, ist unter allen Lichtbedingungen eine sichere Detektion des Gesichts möglich.The use of this HSV color system ensures that, despite constantly changing lighting conditions during driving, a high and reliable reliability with regard to the detection of a plethysmographic signal is ensured. Since the ambient light is also detected, reliable detection of the face is possible under all lighting conditions.

Die für jedes Einzelbild (Frame) ermittelten Durchschnittswerte der zeitdiskreten H- und S-Werte im HSV-Farbraum werden für eine bestimmte Zeitdauer, bspw. 30 s in dem Zwischenspeicher 11, bspw. als Histogramm gespeichert.The average values of the time-discrete H and S values in the HSV color space determined for each individual frame are stored in the buffer for a specific period of time, for example 30 seconds 11 , for example, saved as a histogram.

Eine alternative Farbraumtransformation besteht darin, dass direkt die Sensorsignale der Sensorelemente des Bildsensors 3, die einen Intensitätswert der Farbe Grün liefern, als Bilddaten verwendet werden. Diese Bilddaten enthalten nur Graustufen und repräsentieren die Helligkeitsunterschiede des ROI, die zur Bildauswertung verwendet werden. Auch bei diesem alternativen Verfahren wird für jedes Einzelbild (Frame) ein Intensitäts-Mittelwert ermittelt und für eine bestimmte Zeitdauer, bspw. 30 s in dem Zwischenspeicher 11 gespeichert.An alternative color space transformation is that directly the sensor signals of the sensor elements of the image sensor 3 that provide an intensity value of the color green, are used as image data. These image data contain only grayscale and represent the brightness differences of the ROI used for image evaluation. Also in this alternative method, an intensity average is determined for each frame (frame) and for a certain period of time, for example. 30 s in the buffer 11 saved.

Eine weitere Ausführung der Videokamera 6 gemäß 1 besteht aus einem Filter 4, der ein vollständiges Grünfilter darstellt, dessen Filterpixel 4a alle aus einem grünen Filterpixel 4c bestehen. Damit stehen nur die Intensitätswerte der Farbe Grün als Bilddaten zur Auswertung zur Verfügung.Another version of the video camera 6 according to 1 consists of a filter 4 which represents a complete green filter whose filter pixels 4a all from a green filter pixel 4c consist. Thus, only the intensity values of the color green are available as image data for evaluation.

Solche Bilddaten werden auch mit einer Videokamera 6 erzeugt, bei der der Bildsensor 3 eine Struktur von Sensorelementen 3b aufweist, die alle mit einem Grünfilter ausgebildet sind.Such image data are also taken with a video camera 6 generated at which the image sensor 3 a structure of sensor elements 3b has, which are all formed with a green filter.

Damit mit solchen Bilddaten die Gesichtserkennung mittels der Funktionseinheit „Gesichtserkennung” 9 zuverlässig durchführbar ist, ist es vorteilhaft, die Vorrichtung nach 1 mit einer Nah-Infrarot-Lichtquelle 7 auszustatten, die den Kopf des Fahrzeugführers 2a mit Infrarotlicht beleuchtet.Thus, with such image data, the face recognition by means of the function unit "face recognition" 9 is reliable, it is advantageous to the device after 1 with a near infrared light source 7 equip the head of the driver 2a illuminated with infrared light.

Die derart erzeugten Bilddaten werden gemäß dem oben beschriebenen Verfahren ausgewertet und die für jedes Einzelbild (Frame) ermittelten Durchschnittswerte der zeitdiskreten H- und S-Werte im HSV-Farbraum bzw. der mittels der alternativen Farbtransformation ermittelten Intensitäts-Mittelwerke für jedes Einzelbild (frame) in dem Zwischenspeicher 11 für eine bestimmte Zeitdauer gespeichert.The image data thus generated are evaluated according to the method described above, and the average values of the time-discrete H and S values in the HSV color space or the intensity middle works determined by the alternative color transformation for each individual frame are determined for each individual frame. in the cache 11 stored for a certain period of time.

Mit der Funktionseinheit „FFT” 12 werden diese zeitdiskreten H- und S-Werte bzw. die zeitdiskreten Intensitäts-Mittelwerte mittels der Fast Fourier Transformation (FFT) in den Frequenz-Bereich transformiert. Mittels einer geeigneten mathematischen Methode wird im Energiespektrum (Spektrogramm) nach einem dem Frequenzbereich von 0,65 Hz bis 4 Hz entsprechenden Peak als plethysmographischen Signal gesucht, da dieser Frequenzbereich einem Herzschlag von 39 bis 240 Schlägen pro Minute entspricht. Anhand eines solchen Peaks in dem genannten Frequenzbereich wird die aktuelle Herzschlagrate für die bestimmte Zeitdauer, also bspw. 30 s berechnet. Anschließend wird für die darauffolgende Zeitdauer die Herzschlagrate bestimmt.With the functional unit "FFT" 12 These time-discrete H and S values or the time-discrete intensity average values are transformed into the frequency range by means of the Fast Fourier Transformation (FFT). By means of a suitable mathematical Method is sought in the energy spectrum (spectrogram) according to a peak corresponding to the frequency range from 0.65 Hz to 4 Hz as a plethysmographic signal, since this frequency range corresponds to a heart rate of 39 to 240 beats per minute. Based on such a peak in said frequency range, the current heart rate for the specific period of time, ie, for example, 30 s is calculated. Subsequently, the heart rate is determined for the subsequent period.

Mit einer solchen Folge von Herzschlagraten können weitere Auswertungen vorgenommen werden, um bspw. die Herzfrequenzvariabilität zu bestimmen. Auch können die erhaltenen Herzschlagraten mittels eines geeigneten Kalman-Filters fusioniert werden, um die Genauigkeit der Herzschlagrate oder der Herzfrequenzvariabilität zu erhöhen. Anstelle eines Kalman-Filters können auch probabalistische Methoden oder eine beliebige Fusionsmethode verwendet werden.With such a series of heartbeat rates, further evaluations can be made in order, for example, to determine the heart rate variability. Also, the heartbeat rates obtained may be fused using a suitable Kalman filter to increase the accuracy of heart rate or heart rate variability. Instead of a Kalman filter, probabalistic methods or any fusion method can be used.

Entsprechend dem beschriebenen Verfahren kann aus dem Spektrogramm auch die Atemfrequenz oder die Sauerstoffsättigung des arteriellen Bluts des Fahrzeugführers bestimmt werden.According to the described method, the respiratory rate or the oxygen saturation of the arterial blood of the vehicle driver can also be determined from the spectrogram.

Die oben erwähnte Nah-Infrarot-Lichtquelle 7 gemäß 1 kann auch generell zur verbesserten Erkennung eines plethysmographisches Signals eingesetzt werden. Da es bekannt ist, dass im Frequenzbereich zwischen 700 und 900 nm die Absorption des das Gefäßsystem füllenden venösen und pulsierenden arteriellen Blutes besonders hoch ist, führt die Beleuchtung des Kopfes 2a des Fahrzeugführers 2 mit Infrarotlicht zu einem deutlicheren blutfüllungsabhängigen Signal.The above-mentioned near-infrared light source 7 according to 1 can also be used generally for improved detection of a plethysmographic signal. Since it is known that in the frequency range between 700 and 900 nm, the absorption of the vascular system filling venous and pulsatile arterial blood is particularly high, the illumination of the head 2a of the driver 2 with infrared light for a clearer blood filling dependent signal.

Die ausgewerteten plethysmographischen Signale, also bspw. Herzschlagrate und/oder Atemfrequenz werden einem Fahrerassistenzsystem 13 zugeführt, so dass bspw. bei einem bestimmten Wert dieser plethysmographischen Signale ein Nothalt durchgeführt wird, d. h. dass das Fahrzeug automatisch bis zum Stillstand abgebremst wird. Gleichzeitig kann in einem solchen Notfall über eine Sendeeinrichtung im Fahrzeug ein entsprechender Notruf an eine Rettungsleitstelle abgesetzt werden, wobei zusätzlich auch Positionsdaten des Fahrzeugs, ermittelte Gesundheitsdaten (Herzschläge, Atmung etc.), sowie Gesichtsvideos etc. übermittelbar wären.The evaluated plethysmographic signals, ie, for example, heart rate and / or respiratory rate become a driver assistance system 13 supplied, so that, for example, at a certain value of these plethysmographic signals, an emergency stop is performed, ie that the vehicle is automatically decelerated to a standstill. At the same time a corresponding emergency call to a rescue center can be placed in such an emergency via a transmitting device in the vehicle, in addition, also position data of the vehicle, determined health data (heartbeats, breathing, etc.), as well as face videos, etc. would be transmitted.

BezugszeichenlisteLIST OF REFERENCE NUMBERS

11: Kraftfahrzeugmotor vehicle
22: Fahrzeugführerdriver
2a2a: Kopf des Fahrzeugführers 2 Head of the driver 2
33: Bildsensorimage sensor
44: Grünfiltergreen filter
55: Optik, Objektiv der VideokameraOptics, lens of the video camera
66: Videokameravideo camera
77: infrarote oder rote Lichtquelleinfrared or red light source
88th: Auswerteeinheitevaluation
99: Funktionseinheit „Gesichtserkennung”Function unit "face recognition"
1010: Funktionseinheit „Extrahieren Grün-Anteil”Function unit "Extract green share"
1111: Zwischenspeichercache
1212: Funktionseinheit „FFT”Function unit "FFT"
1313: FahrerassistenzsystemDriver assistance system

ZITATE ENTHALTEN IN DER BESCHREIBUNG QUOTES INCLUDE IN THE DESCRIPTION

Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list of the documents listed by the applicant has been generated automatically and is included solely for the better information of the reader. The list is not part of the German patent or utility model application. The DPMA assumes no liability for any errors or omissions.

Zitierte PatentliteraturCited patent literature

DE 102008056250 A1 [0003]
DE 10126224 A1 [0006, 0009]

Zitierte Nicht-PatentliteraturCited non-patent literature

Non-contact, automated cardiac pulse measurements using video imaging and blind source separation; Poh, M., McDuff, DJ, Picard, RW, Optics Express, Vol. 18, Issue 10, pp. 10762-10774 (2010) [0010]
Article "Remote plethysmographic imaging using ambient light"; Verkruysse, W., Svaasand, LO, Nelson, JS; Optics Express, Vol. 16, Issue 26, pp. 21434-21445 (2008) [0011]

Claims

Method for detecting the status of a vehicle driver ( 2 ) of a motor vehicle ( 1 ) by generating a physiological condition of the vehicle driver ( 2 ) indicating plethysmographic size, preferably the heart rate by means of an in-vehicle ( 1 ) arranged sensor ( 3 ), characterized in that - the sensor as a monochrome image sensor ( 3 ) for image recording of the head ( 2a ) of the driver ( 2 ), - a structured green filter ( 4 . 4a ), the green and transparent filter pixel ( 4b . 4c ), - from the image recording of the head ( 2a ) the facial area of the vehicle driver ( 2 ) is detected, - of several individual images of the head ( 2a ) of the driver ( 2 ) the green portions of the facial area are detected and stored as image data over a predetermined period of time, and - the plethysmographic size is determined from the stored image data by means of a mathematical algorithm.

Method according to claim 1, characterized in that the green filter ( 4 . 4a ) at least one 2 × 2 matrix of filter pixels ( 4b . 4c ) alternating green filter pixels ( 4c ) and transparent filter pixels ( 4b ) having.

Method for detecting the status of a vehicle driver ( 2 ) of a motor vehicle ( 1 ) for generating a physiological condition of the vehicle driver ( 2 ) indicating plethysmographic size, preferably the heart rate by means of an in-vehicle ( 1 ) arranged sensor ( 3 ), characterized in that - the sensor as an image sensor ( 3 ) with photosensitive sensor elements arranged in columns and rows ( 3a . 3b ) is formed, wherein in a pattern photosensitive element ( 3b ) have a green filter, from the image recording of the head ( 2a ) the facial area of the vehicle driver ( 2 ) is detected, - of several individual images of the head ( 2a ) of the driver ( 2 ) the green portions of the facial area are detected and stored as image data over a predetermined period of time, and - the plethysmographic size is determined from the stored image data by means of a mathematical algorithm.

Method according to claim 3, characterized in that the image sensor ( 3 ) at least one 2 × 2 matrix of photosensitive elements ( 3a . 3b ) alternately having a green filter and no filter.

Method according to one of the preceding claims, characterized in that for determining the green component of a single image of the head ( 2a ) of the driver ( 2 ) the HSV color system is used.

Method according to one of the preceding claims, characterized in that as image data of the green components of a single image of the green hue and its saturation values are determined.

Method according to one of the preceding claims, characterized in that the mean values of the green components of a single image are stored over several individual images.

Method for detecting the status of a vehicle driver ( 2 ) of a motor vehicle ( 1 ) by generating a physiological condition of the vehicle driver ( 2 ) indicating plethysmographic size, preferably the heart rate by means of an in-vehicle ( 1 ) arranged sensor ( 3 ), characterized in that - the sensor as a monochrome image sensor ( 3 ) with a green filter ( 4 ) or as an image sensor ( 3 ) with the color green detecting photosensitive elements ( 3b ) for image recording of the head ( 2a ) of the driver ( 2 ), - from the image recording of the head ( 2a ) the facial area of the vehicle driver ( 2 ) is detected, - of several individual images of the head ( 2a ) of the driver ( 2 ) the sensor values are recorded as intensity values of the color green of the facial area and stored in each case over a predetermined period of time as image data, and - the plethysmographic size is determined from the stored image data by means of a mathematical algorithm.

Method according to one of the preceding claims, characterized in that the stored image data are transformed into the frequency domain by means of Fourier transformation (FFT) and from the energy spectrum of which the plethysmographic variable is determined.

Method according to one of the preceding claims, characterized in that for image recording of the head ( 2a ) of the driver ( 2 ) a monochrome video camera ( 6 ) with a separate green filter ( 4 ) is used.

Method according to one of the preceding claims, characterized in that for illuminating the head ( 2a ) of the driver ( 2 ) a red or infrared light source ( 7 ) is provided when the structured green filter ( 4 ) only green filter pixels ( 4c ) or the image sensor ( 3 ) only photosensitive elements ( 3b ) with green filter.

Device for detecting the state of a driver ( 2 ) of a motor vehicle ( 1 ) by generating a physiological condition of the vehicle driver ( 2 ) indicating plethysmographic size, preferably the heart rate, by means of an in-vehicle ( 1 ) arranged sensor ( 3 ), in particular for carrying out the method according to one of the preceding claims, characterized in that - a video camera ( 6 ) with a monochrome image sensor ( 3 ) is provided as a sensor, wherein the image sensor ( 3 ) a green filter ( 4 ), and - for evaluating the raw image data of the image sensor ( 3 ) an evaluation unit ( 8th ) is provided.

Apparatus according to claim 12, characterized in that the camera as a monochrome camera ( 6 ) with a front of the optics ( 5 ) of the camera arranged external green filter ( 4 ) is trained.

Apparatus according to claim 12, characterized in that the camera as a monochrome camera ( 6 ) with one between the optics ( 5 ) of the camera and the image sensor ( 3 ) arranged green filter ( 4 ) is trained.