DE102020123927A1

DE102020123927A1 - Method for recognizing a driver of a motor vehicle and motor vehicle as being alive

Info

Publication number: DE102020123927A1
Application number: DE102020123927.0A
Authority: DE
Inventors: David Zander; Andre Störmer
Original assignee: Audi AG
Current assignee: Audi AG
Priority date: 2020-09-15
Filing date: 2020-09-15
Publication date: 2022-03-17

Abstract

Verfahren zur Lebenderkennung bezüglich eines Fahrers eines Kraftfahrzeugs (1) mittels eines Fahrerbeobachtungssystems (5), wobei das Fahrerbeobachtungssystem (5) umfasst:- eine auf die Position des Fahrers gerichtete Kamera (6) zur Aufnahme von Bilddaten einer die Position des Fahrers umfassenden Szene,- eine Beleuchtungseinrichtung (7) zur Ausleuchtung der Szene, insbesondere unter Nutzung von Infrarotlicht, und- eine Steuereinrichtung (8) zur Auswertung der Bilddaten zur Ermittlung einer eine potentielle Täuschung bezüglich der Anwesenheit eines Fahrers beschreibenden Lebendinformation,dadurch gekennzeichnet, dass eine Beleuchtungseinrichtung (7) mit zwei unabhängig ansteuerbaren Leuchtabschnitten (14, 15) verwendet wird, wobei ein erster der Leuchtabschnitte (14) derart näher an der optischen Achse (13) der Kamera (6) angeordnet ist, dass die Pupillen (17) von aufgenommenen Augen (16) bei Ausleuchtung mit dem ersten Leuchtabschnitt (14) in jeweiligen ersten Bilddaten hell erscheinen und bei Ausleuchtung mit dem zweiten Leuchtabschnitt (15) ohne Betrieb des ersten Leuchtabschnitts (14) in jeweiligen zweiten Bilddaten dunkel erscheinen, wobei die Steuereinrichtung (8) die Lebendinformation unter Überprüfung der jeweiligen Erscheinung der Pupillen (17) in den ersten und den zweiten Bilddaten ermittelt.Method for detecting the presence of a driver of a motor vehicle (1) by means of a driver monitoring system (5), the driver monitoring system (5) comprising:- a camera (6) directed at the driver's position for recording image data of a scene including the driver's position, - a lighting device (7) for illuminating the scene, in particular using infrared light, and- a control device (8) for evaluating the image data to determine live information describing a potential deception regarding the presence of a driver, characterized in that a lighting device (7 ) is used with two independently controllable lighting sections (14, 15), with a first of the lighting sections (14) being arranged closer to the optical axis (13) of the camera (6) in such a way that the pupils (17) of recorded eyes (16 ) appears bright in respective first image data when illuminated with the first luminous section (14). n and when illuminated with the second luminous section (15) without operation of the first luminous section (14) appear dark in the respective second image data, the control device (8) displaying the vital information by checking the respective appearance of the pupils (17) in the first and second Image data determined.

Description

Die Erfindung betrifft ein Verfahren zur Lebenderkennung bezüglich eines Fahrers eines Kraftfahrzeugs mittels eines Fahrerbeobachtungssystems, wobei das Fahrerbeobachtungssystem umfasst:

- eine auf die Position des Fahrers gerichtete Kamera zur Aufnahme von Bilddaten einer die Position des Fahrers, insbesondere wenigstens des Kopfes des Fahrers, umfassenden Szene,
- eine Beleuchtungseinrichtung zur Ausleuchtung der Szene, insbesondere unter Nutzung von Infrarotlicht, und
- eine Steuereinrichtung zur Auswertung der Bilddaten zur Ermittlung einer eine potentielle Täuschung bezüglich der Anwesenheit eines Fahrers beschreibenden Lebendinformation.

Daneben betrifft die Erfindung ein Kraftfahrzeug.The invention relates to a method for detecting the presence of a driver of a motor vehicle using a driver monitoring system, the driver monitoring system comprising:

- a camera aimed at the position of the driver for recording image data of a scene comprising the position of the driver, in particular at least the driver's head,
- a lighting device for illuminating the scene, in particular using infrared light, and
a control device for evaluating the image data to determine live information describing a potential deception regarding the presence of a driver.

In addition, the invention relates to a motor vehicle.

In modernen Kraftfahrzeugen wurde zur Absicherung des Betriebs durch einen Fahrer bzw. der Anwesenheit eines Fahrers, insbesondere auch dessen Aufmerksamkeit bezüglich der aktuellen Fahrsituation, vorgeschlagen, im Innenraum des jeweiligen Kraftfahrzeugs Kameras zu verbauen, die zur Fahrerbeobachtung dienen. Dies ist insbesondere dann wesentlich, wenn Fahrzeugsysteme des Kraftfahrzeugs dem Fahrer zumindest einen Teil der Fahraufgabe abnehmen und es zur Aufrechterhaltung der Sicherheit jedoch weiterhin notwendig ist, dass der Fahrer die aktuelle Fahrsituation/Verkehrssituation aufmerksam verfolgt, mit anderen Worten „im Loop“ ist und im Zweifel eingreifen kann. Fahrerbeobachtungssysteme, die üblicherweise eine auf die Position des Fahrers gerichtete Kamera und eine Steuereinrichtung zur Auswertung von von der Kamera aufgenommenen Bilddaten umfassen, können beispielsweise dazu eingerichtet sein, aus den Bilddaten die Anwesenheit eines Fahrers, dessen Blickrichtung und dergleichen herzuleiten.In modern motor vehicles, it has been proposed to install cameras in the interior of the respective motor vehicle, which serve to monitor the driver, to secure operation by a driver or the presence of a driver, in particular also his attention to the current driving situation. This is particularly important when the vehicle systems of the motor vehicle relieve the driver of at least part of the driving task and it is still necessary to maintain safety that the driver closely follows the current driving situation/traffic situation, in other words is "in the loop" and in the doubt can intervene. Driver monitoring systems, which usually include a camera aimed at the driver's position and a control device for evaluating image data recorded by the camera, can be set up, for example, to derive the presence of a driver, his viewing direction and the like from the image data.

Gerade bei zur wenigstens teilweise automatischen Führung des Kraftfahrzeugs ausgebildeten Fahrzeugsystemen, aber auch in anderen Fällen, kann eine Versuchung existieren, das Fahrerbeobachtungssystem zu täuschen und statt der die Fahrsituation beobachtenden Anwesenheit auf dem Fahrersitz anderen Tätigkeiten nachzugehen, beispielsweise mithin den echten Fahrer durch eine Puppe, ein Bild oder dergleichen zu ersetzen. Die Erkennung solcher Täuschungsversuche, die häufig als „Spoofing“ bezeichnet werden, ist ein wesentlicher Aspekt in Fahrerbeobachtungssystemen von Kraftfahrzeugen. Verfahren, in denen solche Täuschungsversuche erkannt werden sollen, werden als Verfahren zur Lebenderkennung (liveliness detection) bezeichnet; andere Begriffe sind „fake detection“ bzw. „spoofing detection“. Bei der Lebenderkennung geht es in anderen Worten mithin darum zu erkennen, ob ein echter, mithin lebender aufmerksamer Fahrer vor der Kamera sitzt oder ein Täuschungsversuch, beispielsweise mittels einer Puppe, einem Foto oder dergleichen, vorliegt.Particularly in the case of vehicle systems designed for at least partially automatic guidance of the motor vehicle, but also in other cases, there may be a temptation to deceive the driver observation system and to pursue other activities instead of being present on the driver's seat to observe the driving situation, for example consequently identifying the real driver with a doll, to replace an image or the like. The detection of such attempts at deception, which is often referred to as "spoofing", is an essential aspect in driver monitoring systems of motor vehicles. Methods in which such attempts at deception are to be recognized are referred to as methods for liveliness detection; other terms are “fake detection” or “spoofing detection”. In other words, recognizing that the driver is alive is about recognizing whether a real driver who is alive and alert is sitting in front of the camera or whether there has been an attempt to deceive, for example using a doll, a photo or the like.

Im Stand der Technik wurde zur Lebenderkennung in Kraftfahrzeugen beispielsweise bereits vorgeschlagen, die Bilddaten über die Zeit zu analysieren, um beispielsweise ein Ausbleiben von Blinzelvorgängen des Fahrers feststellen zu können. Zudem wurde vorgeschlagen, eine Klassifikation über einen Algorithmus der künstlichen Intelligenz, insbesondere ein neuronales Netz, vorzunehmen. Diese Ansätze sind jedoch sehr fehleranfällig, da sie nur eine indirekte Schlussfolgerung hinsichtlich der An- oder Abwesenheit von Merkmalen über die Zeit liefern. Es werden nicht alle Täuschungsversuche erkannt, auf der anderen Seite gibt es jedoch auch Fehlauslösungen. Ferner liefert eine Detektion über eine Analyse über Zeit nicht sofort ein Ergebnis, sondern ist als eher träge zu bezeichnen.In the prior art, it has already been proposed, for example, for life detection in motor vehicles to analyze the image data over time in order, for example, to be able to determine that the driver has not blinked. In addition, it was proposed to carry out a classification using an artificial intelligence algorithm, in particular a neural network. However, these approaches are very error-prone as they only provide an indirect conclusion regarding the presence or absence of features over time. Not all attempts at deception are recognized, but on the other hand there are also false alarms. Furthermore, a detection via an analysis over time does not provide a result immediately, but can be described as rather sluggish.

EP 3 192 008 B1 betrifft Systeme und Verfahren zur Lebendanalyse. Dort wird von der Problemstellung ausgegangen, dass eine Täuschung eines biometrischen Systems durch Bilder vorgenommen werden könnte, wobei sogenannte Spoof-Detektionssysteme, die durch die Detektion von Augenbewegung arbeiten, immer dann nicht effektiv sind, wenn ein Fake-Video verwendet wird, das auch die Augenbewegung umfasst. Mithin wird dort zur Verbesserung vorgeschlagen, auf einer Anzeigeeinrichtung ein zeitlich veränderliches erstes Signal zu rendern, welches eine Mehrzahl von Einzelsignalen, die in der Phase voneinander getrennt sind, umfasst. Während des Renderns werden eine Vielzahl von Bildern eines Ziels, das durch das gerenderte erste Signal ausgeleuchtet wird, aufgenommen und durch Anwendung eines zeitlichen Bandpassfilters zur Erzeugung eines zweiten Signals, Beobachtung einer zeitlichen Korrelation des ersten Signals und des zweiten Signals und Bestimmung eines entsprechenden Bewertungswerts ausgewertet. Anders gesagt wird eine zeitliche Korrelation über eine Zeitspanne betrachtet. EP 3 192 008 B1 relates to live analysis systems and methods. There the problem is assumed that a biometric system could be deceived by images, with so-called spoof detection systems, which work by detecting eye movements, are always ineffective when a fake video is used, which also includes eye movement. Consequently, it is proposed there for improvement to render a time-varying first signal on a display device, which comprises a plurality of individual signals which are separated from one another in phase. During rendering, a plurality of images of a target illuminated by the rendered first signal are captured and evaluated by applying a temporal bandpass filter to generate a second signal, observing a temporal correlation of the first signal and the second signal, and determining a corresponding score . In other words, a temporal correlation is considered over a period of time.

US 2014/0071293 A1 betrifft ein Verfahren und eine Vorrichtung zur Authentifizierung lebendiger menschlicher Gesichter unter Verwendung von Infrarotbildern. Konkret wird eine Sicherheitseinrichtung zur Identifikation einer Person vorgeschlagen, die zur Detektion von Täuschungsversuchen (Spoofing) zwei Bilder der Person aufnimmt. Das erste Bild ist ein übliches sichtbares Bild und das zweite Bild ist ein Infrarotbild. Beide Bilder werden analysiert, um zu bestimmen, ob sie eine echte, lebende Person enthalten oder nicht. Wird ein Täuschungsversuch durchgeführt, wird anhand des Infrarotbildes erkannt, dass nicht dieselben Charakteristiken wie bei einem Infrarotbild einer echten Person vorliegen. U.S. 2014/0071293 A1 relates to a method and apparatus for authenticating living human faces using infrared images. Specifically, a security device for identifying a person is proposed, which takes two pictures of the person to detect attempts at deception (spoofing). The first image is a common visible image and the second image is an infrared image. Both images are analyzed to determine whether or not they contain a real, live person. Will be an attempt at deception performed, it is recognized from the infrared image that it does not have the same characteristics as an infrared image of a real person.

Auch diese beiden Ansätze sind jedoch nachteilhaft, da sie zusätzliche Einrichtungen (Display, zusätzliche Kamera) benötigen und eine komplexe, insbesondere zeitliche, Auswertung benötigen.However, these two approaches are also disadvantageous, since they require additional devices (display, additional camera) and require a complex, in particular temporal, evaluation.

US 2005/0226472 A1 betrifft ein Erscheinungserkennungssystem für einen Fahrer, wobei das Gesicht des Fahrers mit einer Infrarot-LED ausgeleuchtet wird. Mittels eines Bildverarbeitungsschaltkreises kann ein Vorgang zur Authentifizierung von Individuen und ein Detektionsprozess zur Detektion geschlossener Augen durchgeführt werden. Während des Authentifizierungsprozesses kann die Beleuchtungsintensität bei der Bildaufnahme erhöht werden. U.S. 2005/0226472 A1 relates to a driver appearance detection system in which the driver's face is illuminated with an infrared LED. A process for authenticating individuals and a detection process for detecting closed eyes can be performed by means of an image processing circuit. During the authentication process, the illumination intensity can be increased when capturing images.

Der Erfindung liegt die Aufgabe zugrunde, eine robuste, einfach umsetzbare und verlässliche Möglichkeit zur Lebenderkennung im Hinblick auf Täuschungen bezüglich eines Fahrers eines Kraftfahrzeugs anzugeben.The invention is based on the object of specifying a robust, easily implementable and reliable option for detecting the presence of a vehicle with regard to deceptions regarding a driver of a motor vehicle.

Zur Lösung dieser Aufgabe ist bei einem Verfahren der eingangs genannten Art erfindungsgemäß vorgesehen, dass eine Beleuchtungseinrichtung mit zwei unabhängig ansteuerbaren Leuchtabschnitten verwendet wird, wobei ein erster der Leuchtabschnitte derart näher an der optischen Achse der Kamera angeordnet ist, dass die Pupillen von aufgenommenen Augen bei Ausleuchtung mit dem ersten Leuchtabschnitt in jeweiligen ersten Bilddaten hell erscheinen und bei Ausleuchtung mit dem zweiten Leuchtabschnitt ohne Betrieb des ersten Leuchtabschnitts in jeweiligen zweiten Bilddaten dunkel erscheinen, wobei die Steuereinrichtung die Lebendinformation unter Überprüfung der jeweiligen Erscheinung der Pupillen in den ersten und den zweiten Bilddaten ermittelt.To solve this problem, in a method of the type mentioned at the outset, the invention provides that a lighting device with two independently controllable lighting sections is used, with a first of the lighting sections being arranged closer to the optical axis of the camera in such a way that the pupils of recorded eyes when illuminated appear bright in respective first image data with the first luminous section and appear dark in respective second image data when illuminated with the second luminous section without operation of the first luminous section, the control device determining the vital information by checking the respective appearance of the pupils in the first and second image data.

Die Erfindung schlägt mithin vor, eine Beleuchtungseinrichtung mit zwei Leuchtabschnitten (Lichtquellen) zu verwenden, die eine begrenzte Ausdehnung aufweisen, unabhängig durch die Steuereinrichtung ansteuerbar sind und unterschiedlich bezüglich der optischen Achse der Kamera positioniert sind. Zur Aufnahme von ersten Bilddaten wird die Szene und insbesondere auch eine auf Echtheit zu überprüfende Person mit dem ersten Leuchtabschnitt, der möglichst nah an der optischen Achse der Kamera positioniert ist, ausgeleuchtet, bevorzugt mit infrarotem, insbesondere nahinfrarotem, Licht. Bei dem nahe an der optischen Achse befindlichen ersten Leuchtabschnitt gelangt ein kleiner Anteil des Lichts in das Auge und reflektiert von der Retina zurück zur Kamera, so dass die Pupille des Auges, vergleichbar mit dem rote-Augen-Effekt in der Fotografie, hell erscheint, weswegen der entstehende Effekt auch als „Bright Pupil Effect“ bezeichnet wird. Zweite Bilddaten werden aufgenommen, während der erste Leuchtabschnitt nicht betrieben wird, sondern lediglich der zweite Leuchtabschnitt, der von der optischen Achse so weit entfernt ist, dass derartige Rückreflexionen von der Retina zu der Kamera nicht auftreten, weswegen die Pupille dunkel erscheint, was üblicherweise in der Literatur als „Dark Pupil Effect“ beschrieben wird. Nachdem üblicherweise auch ein intensives virtuelles Bild der Lichtquelle von der Hornhaut (Cornea) zurückreflektiert wird, welches in beiden Arten von Bilddaten zu sehen ist und als „Glint“ bezeichnet wird, wurde für die Nutzung des „Bright Pupil Effect“ gemeinsam mit dem „Dark Pupil Effect“ und dem „Glint“ im Stand der Technik bislang nur vorgeschlagen, diese bezüglich einer Blickrichtungsdetektion auszunutzen, beispielsweise bei der Bedienung von Geräten mit dem Auge, vgl. hierzu beispielsweise US 4,950,069 A und bezüglich der Blickwinkelnachverfolgung in Kraftfahrzeugen zur Aufmerksamkeitsdetektion eines Fahrers den Artikel von Qiang Ji und Xiaojie Yang „Real-Time Eye, Gaze, and Face Pose Tracking for Monitoring Driver Vigilance“, in: Real-Time Imaging 8, Seiten 357 - 377, 2002. Die vorliegende Erfindung schlägt nun erstmalig in einem besonders einfach umsetzbaren Setup vor, die Tatsache, dass der „Bright Pupil Effect“ und der „Dark Pupil Effect“ nur bei echten Augen auftreten, auszunutzen, um eine deutlich verbesserte Lebenderkennung und somit eine deutlich bessere Detektion von Täuschungen zu erlauben, da beispielsweise Puppen diesen Effekt nicht zeigen.The invention therefore proposes using an illumination device with two luminous sections (light sources) which have a limited extent, can be controlled independently by the control device and are positioned differently with respect to the optical axis of the camera. To record first image data, the scene and in particular also a person to be checked for authenticity is illuminated with the first illuminated section, which is positioned as close as possible to the optical axis of the camera, preferably with infrared, in particular near-infrared, light. At the first luminous portion, which is close to the optical axis, a small portion of the light enters the eye and reflects back from the retina to the camera, making the eye's pupil appear bright, similar to the red-eye effect in photography, which is why the resulting effect is also known as the "Bright Pupil Effect". Second image data is recorded while the first luminous section is not operated, but only the second luminous section, which is far enough away from the optical axis that such back reflections from the retina to the camera do not occur, which is why the pupil appears dark, which is usually the case in described in the literature as the "Dark Pupil Effect". Since an intense virtual image of the light source is usually also reflected back from the cornea, which can be seen in both types of image data and is referred to as "glint", the use of the "Bright Pupil Effect" together with the "Dark Pupil Effect” and the “Glint” in the prior art has so far only been proposed to exploit these with regard to a viewing direction detection, for example when operating devices with the eye, cf. on this, for example US 4,950,069A and regarding viewing angle tracking in motor vehicles to detect a driver's attention, the article by Qiang Ji and Xiaojie Yang "Real-Time Eye, Gaze, and Face Pose Tracking for Monitoring Driver Vigilance", in: Real-Time Imaging 8, pages 357 - 377, 2002 The present invention now proposes for the first time, in a setup that is particularly easy to implement, to utilize the fact that the “Bright Pupil Effect” and the “Dark Pupil Effect” only occur in real eyes, in order to achieve significantly improved live detection and thus a significantly better To allow detection of deceptions, since puppets, for example, do not show this effect.

Mit anderen Worten wird eine konkrete geometrische Anordnung von zwei, insbesondere Infrarotlicht ausstrahlenden, Leuchtabschnitten und einer Kamera, insbesondere Infrarot-Kamera, gemeinsam mit einer intelligenten Ansteuerung genutzt, um zu bewerten, ob ein echter Mensch vor dem Fahrerbeobachtungssystem, insbesondere also der Kamera, sitzt. Dabei wird die physikalische Eigenschaft des menschlichen Auges ausgenutzt, das bei einer Lichtquelle nahe an der optischen Achse der Kamera die Pupille in den entsprechenden ersten Bilddaten hell erscheint, bei achsferner Anordnung der Lichtquelle die Pupille jedoch dunkel erscheint, wobei diese zwei verschiedenen Effekte intelligent miteinander kombiniert werden, um Täuschungsversuche zu detektieren. Dabei sei an dieser Stelle noch angemerkt, dass geeignete Positionen für die Leuchtabschnitte, um den „Bright Pupil Effect“ bzw. den „Dark Pupil Effect“ zu erreichen, problemlos empirisch bestimmt werden können, wobei für den ersten Leuchtabschnitt die nahestmögliche Platzierung an der optischen Achse bevorzugt wird, da dann der Effekt der hellen Pupille am stärksten ist.In other words, a concrete geometric arrangement of two light sections, in particular emitting infrared light, and a camera, in particular an infrared camera, is used together with an intelligent control in order to assess whether a real person is sitting in front of the driver monitoring system, i.e. in particular the camera . This exploits the physical property of the human eye, which means that when the light source is close to the optical axis of the camera, the pupil appears bright in the corresponding first image data, but when the light source is arranged off-axis, the pupil appears dark, with these two different effects being intelligently combined to detect attempted deception. It should also be noted at this point that suitable positions for the illuminated sections in order to achieve the "Bright Pupil Effect" or the "Dark Pupil Effect" can be determined empirically without any problems, with the closest possible placement to the optical one for the first illuminated section axis is preferred because then the bright pupil effect is strongest.

Die Erfindung erlaubt es, die Detektion eines Täuschungsversuchs durch Nutzung der entsprechenden Leuchtabschnitte aktiv durchzuführen. Denn die aktive Beleuchtung bei unterschiedlichen Winkelbeziehungen zum Fahrer liefert unterschiedliche Reflexionen in der Augenregion, die gezielt herbeigeführt werden können, so dass das Fahrerbeobachtungssystem nicht auf passive Beobachtungen angewiesen ist und Detektionszeiten deutlich reduziert werden können. Durch die Ausnutzung des beschriebenen Effekts kann auch die Fehlerkennung verringert werden. Gleichzeitig ist das erfindungsgemäße Verfahren generischer auf verschiedene Arten von Täuschungsversuchen anwendbar. So können beispielsweise nicht nur einfache Täuschungsversuche durch Fotos oder statische Puppen erkannt werden, sondern auch komplexere Täuschungen, wie beispielsweise abgespielte Videos oder Puppen mit beweglichen Augenlidern.The invention makes it possible to actively detect an attempt at deception by using the corresponding luminous sections. Because the active lighting at different angles to the driver provides different reflections in the eye region, which can be brought about in a targeted manner so that the driver observation system is not dependent on passive observations and detection times can be significantly reduced. By utilizing the effect described, the error detection can also be reduced. At the same time, the method according to the invention is more generically applicable to different types of deception attempts. For example, not only simple attempts at deception through photos or static puppets can be recognized, but also more complex deceptions, such as played videos or puppets with moving eyelids.

Wie bereits erwähnt, wird im Rahmen der vorliegenden Erfindung besonders bevorzugt Infrarotlicht, insbesondere Nahinfrarotlicht, herangezogen, so dass derartige Fahrerbeobachtungssysteme auch in der Dunkelheit problemlos funktionsfähig sind, ohne eine Störung des Fahrers hervorzurufen. Konkret kann beispielsweise vorgesehen sein, dass die Beleuchtungseinrichtung als Lichtquellen für die Leuchtabschnitte LEDs und/oder Oberflächenemitter (VCSEL-Technologie) nutzt.As already mentioned, infrared light, in particular near-infrared light, is particularly preferably used within the scope of the present invention, so that driver monitoring systems of this type can also function without problems in the dark without causing any disturbance to the driver. Specifically, it can be provided, for example, that the lighting device uses LEDs and/or surface emitters (VCSEL technology) as light sources for the luminous sections.

In besonders vorteilhafter Weiterbildung der vorliegenden Erfindung kann vorgesehen sein, dass die Steuereinrichtung die Kamera und die Beleuchtungseinrichtung zur insbesondere periodisch abwechselnden Aufnahme von ersten und zweiten Bilddaten ansteuert. Es kann mithin in regelmäßigen Abständen zwischen den beiden Beleuchtungsarten gewechselt werden, um zu überprüfen, ob die zu erwartende Pupillenantwort sichtbar wird. Somit kann eine kontinuierlich durchlaufende Täuschungsdetektion vorgenommen werden. Konkret können hierbei die Schaltfrequenz der Leuchtabschnitte und die Bildaufnahmefrequenz der Kamera synchronisiert sein, so dass beispielsweise jeweils eine bestimmte Anzahl von Bildern als erste Bilddaten und eine bestimmte Anzahl von Bildern als zweite Bilddaten aufgenommen werden, beispielsweise auch jeweils genau ein Bild. Zweckmäßig ist es ferner, wenn die Überprüfung einen Vergleich zeitlich benachbart aufgenommener erster und zweiter Bilddaten umfasst. Dabei beruht letztlich die Lebenderkennung der vorliegenden Erfindung ja auf der Tatsache, dass bezüglich der Pupillen ein Unterschied zwischen den ersten und den zweiten Bilddaten besteht, so dass zumindest eine einmalige Durchführung dieses Vergleichs zweckmäßig ist. Im weiteren Verlauf ist es im Rahmen der vorliegenden Erfindung selbstverständlich auch denkbar, die aufgrund eines solchen ersten Vergleichs detektierten Pupillen anderweitig nachzuverfolgen und jeweils nur zu überprüfen, ob sie in den aktuellen ersten bzw. zweiten Bilddaten hell bzw. dunkel erscheinen. Verschiedene konkrete Ansätze sind in diesem Zusammenhang denkbar. Es sei angemerkt, dass es insbesondere auch möglich ist, potentielle Pupillen eines lebenden Menschen anderweitig zu lokalisieren, beispielsweise unter Nutzung grundsätzlich bekannter Bildverarbeitungsalgorithmen, um dann bezüglich der ersten und der zweiten Bilddaten jeweils unabhängig überprüfen zu können, ob die Pupille hell oder dunkel dargestellt wird.In a particularly advantageous development of the present invention, it can be provided that the control device controls the camera and the illumination device for recording first and second image data, in particular periodically alternating. It is therefore possible to switch between the two types of illumination at regular intervals in order to check whether the pupil response to be expected is visible. In this way, a continuously running deception detection can be carried out. Specifically, the switching frequency of the light sections and the image recording frequency of the camera can be synchronized so that, for example, a specific number of images are recorded as first image data and a specific number of images are recorded as second image data, for example exactly one image in each case. It is also expedient if the check includes a comparison of first and second image data recorded temporally adjacent. In this case, the live detection of the present invention is ultimately based on the fact that there is a difference between the first and the second image data with regard to the pupils, so that it is expedient to carry out this comparison at least once. In the further course, it is of course also conceivable within the scope of the present invention to follow up the pupils detected on the basis of such a first comparison in some other way and only to check whether they appear light or dark in the current first or second image data. Various concrete approaches are conceivable in this context. It should be noted that it is also possible, in particular, to locate potential pupils of a living person in some other way, for example using fundamentally known image processing algorithms, in order to then be able to independently check whether the pupil is represented bright or dark with respect to the first and second image data .

Die Lebendinformation kann mit besonderem Vorteil an ein, in seinem Betrieb durch einen Fahrer zu überwachendes, Fahrzeugsystem zur wenigstens teilweise automatischen Führung des Kraftfahrzeugs übermittelt und durch dieses ausgewertet werden, insbesondere hinsichtlich wenigstens einer Maßnahme bei einer detektierten, durch die Lebendinformation beschriebenen Täuschung. Dabei sind verschiedene Maßnahmen im Rahmen der vorliegenden Erfindung denkbar, die selbstverständlich auch von der Art des Fahrzeugsystems abhängen können. Bei einem zur wenigstens teilweise automatischen Führung des Kraftfahrzeugs ausgebildeten Fahrzeugsystem kann beispielsweise vorgesehen sein, dass als Maßnahmen zunächst wenigstens eine Warnung, dann eine Fahrerübernahmeaufforderung und schließlich gegebenenfalls ein Verbringen des Kraftfahrzeugs in einen sicheren Zustand vorgesehen sind. Diese Maßnahmen können letztlich auch als ein Aktionsplan in bestimmter Reihenfolge aufeinanderfolgen. Ein Verbringen in einen sicheren Zustand kann dabei beispielsweise das Verbringen des Kraftfahrzeugs in einen Stillstand am Rand oder neben einer Fahrbahn umfassen. Grundsätzlich sind selbstverständlich auch andere Maßnahmen denkbar, die insbesondere auch mit Maßnahmen hinsichtlich der weiteren Fahrerbeobachtung kombiniert werden können, die im Rahmen der vorliegenden Erfindung selbstverständlich auch im Allgemeinen durch das Fahrerbeobachtungssystem bereitgestellt werden können, beispielsweise eine Aufmerksamkeitserkennung/Müdigkeitserkennung, Blickrichtungserkennung und dergleichen. Die vorliegende Erfindung bezieht sich jedoch auf die Lebenderkennung, um Täuschungen verlässlich detektieren zu können.The live information can be transmitted with particular advantage to a vehicle system to be monitored during operation by a driver for at least partially automatic guidance of the motor vehicle and evaluated by it, in particular with regard to at least one measure in the event of a detected deception described by the live information. Various measures are conceivable within the scope of the present invention, which of course can also depend on the type of vehicle system. In a vehicle system designed for at least partially automatic guidance of the motor vehicle, it can be provided, for example, that the measures initially include at least a warning, then a driver takeover request and finally, if necessary, bringing the motor vehicle into a safe state. These measures can ultimately follow one another in a specific order as an action plan. Bringing the vehicle into a safe state can include, for example, bringing the motor vehicle to a standstill at the edge of or next to a roadway. In principle, of course, other measures are also conceivable, which can in particular also be combined with measures with regard to further driver monitoring, which can of course also be provided in general by the driver monitoring system within the scope of the present invention, for example alertness detection/fatigue detection, line of sight detection and the like. However, the present invention relates to live detection in order to be able to reliably detect deceptions.

Zweckmäßigerweise kann die Lebendinformation als eine Täuschungswahrscheinlichkeit (bzw. eine solche umfassend) ermittelt werden, wobei insbesondere bei Überschreiten eines Schwellwerts durch die Täuschungswahrscheinlichkeit eine Täuschung detektiert wird. In diesem Zusammenhang kann beispielsweise konkret vorgesehen sein, dass bei abwechselnder Aufnahme erster und zweiter Bilddaten für jeden ersten und zweiten Bilddatensatz und/oder für jedes aufeinanderfolgend aufgenommene Paar erster und zweiter Bilddaten die Überprüfung vorgenommen wird, wobei jede fehlgeschlagene Überprüfung zur Erhöhung der Täuschungswahrscheinlichkeit führt. Immer also dann, wenn nicht die zu erwartende Antwort der Pupille zu sehen ist, wird die Wahrscheinlichkeit für einen Täuschungsversuch erhöht. Sind jedoch für wenigstens ein Paar von ersten und zweiten Bilddaten beide Pupillenantworten wie erwartet, ist davon auszugehen, dass es sich um eine reale Person handelt und die Täuschungswahrscheinlichkeit kann zurückgesetzt werden, beispielsweise erniedrigt werden oder sogar gänzlich zurück auf Null gesetzt werden. Je nachdem, wie viele Erhöhungen benötigt werden, um den Schwellwert zu erreichen, bzw. wie schnell wieder erniedrigt wird, kann die Robustheit gegenüber temporärer Fehldetektionen geeignet eingestellt werden.The live information can expediently be determined as a probability of deception (or including such a probability), a deception being detected in particular when the probability of deception exceeds a threshold value. In this context, it can be specifically provided, for example, that when first and second image data are recorded alternately, for each first and second image data set and/or for each successive ing recorded pairs of first and second image data, the check is carried out, each failed check leading to an increase in the probability of deception. Whenever the expected response of the pupil cannot be seen, the probability of an attempt at deception is increased. However, if both pupil responses are as expected for at least one pair of first and second image data, it can be assumed that a real person is involved and the probability of deception can be reset, for example reduced or even set back to zero entirely. Depending on how many increases are required to reach the threshold value, or how quickly it is reduced again, the robustness to temporary faulty detections can be suitably adjusted.

In Ausführungsbeispielen der vorliegenden Erfindung kann auch vorgesehen sein, dass in die Lebendinformation wenigstens ein weiteres Auswertungsergebnis der Bilddaten eingeht. Bei einem solchen weiteren Auswertungsergebnis kann es sich beispielsweise um das Auswertungsergebnis einer Blinzelerkennung, wie eingangs auch bereits beschrieben, bzw. einer sonstigen auf die Bewegung der Augen bezogenen Bewegungserkennung handeln.In exemplary embodiments of the present invention, it can also be provided that at least one further evaluation result of the image data is included in the live information. Such a further evaluation result can be, for example, the evaluation result of a blink detection, as already described above, or another motion detection related to the movement of the eyes.

In einer besonders bevorzugten Weiterbildung der vorliegenden Erfindung kann jedoch vorgesehen sein, dass das weitere Auswertungsergebnis durch den Vergleich unterschiedlicher Schattenwürfe, insbesondere in einem Gesichtsbereich, in den ersten und den zweiten Bilddaten ermittelt wird. Insbesondere dann, wenn, was bevorzugt ist, die Leuchtabschnitte die optische Achse nicht als konzentrische Kreise umgeben, führen die unterschiedlichen Winkelstellungen der Leuchtabschnitte zur optischen Achse auch zu unterschiedlichem Schattenwurf, welcher im Rahmen der vorliegenden Erfindung bevorzugt ebenso analysiert werden kann, um weitere Hinweise auf das Vorliegen einer echten Person ziehen zu können. Dabei kann in besonders vorteilhafter Ausgestaltung vorgesehen sein, dass der erste und der zweite Leuchtabschnitt der Kamera auf unterschiedlichen, insbesondere gegenüberliegenden, Seiten und in unterschiedlichen Abständen benachbart der Kamera angeordnet sind. Auf diese Weise kann ein noch höherer Abstand des ersten und des zweiten Leuchtabschnitts erreicht werden, insbesondere bei einer Anordnung auf gegenüberliegenden Seiten. In dieser Ausgestaltung wird mithin ausgenutzt, dass die aktive Beleuchtung bei unterschiedlichen Winkelbeziehungen zum Fahrer unterschiedliche Schattenwürfe der dreidimensionalen Gesichtsoberfläche hervorruft, welche im Rahmen einer Auswertung der Bilddaten ebenso detektiert werden kann und als weiterer Hinweis dahingehend interpretiert werden kann, ob tatsächlich ein echter Mensch in der Szene vorliegt.In a particularly preferred development of the present invention, however, provision can be made for the further evaluation result to be determined by comparing different shadows cast, in particular in a face area, in the first and second image data. In particular, if, which is preferred, the luminous sections do not surround the optical axis as concentric circles, the different angular positions of the luminous sections to the optical axis also lead to different shadows, which can preferably also be analyzed within the scope of the present invention to provide further information to be able to draw the existence of a real person. In a particularly advantageous embodiment, it can be provided that the first and the second lighting section of the camera are arranged on different, in particular opposite, sides and at different distances adjacent to the camera. In this way, an even greater distance between the first and the second luminous section can be achieved, in particular in the case of an arrangement on opposite sides. In this configuration, use is made of the fact that the active lighting causes different shadows to be cast on the three-dimensional facial surface at different angles to the driver, which can also be detected as part of an evaluation of the image data and can be interpreted as a further indication of whether a real person is actually in the scene is present.

Neben dem Verfahren betrifft die Erfindung auch ein Kraftfahrzeug, aufweisend ein Fahrerbeobachtungssystem, welches aufweist:

- eine auf die Position des Fahrers gerichtete Kamera zur Aufnahme von Bilddaten einer die Position des Fahrers umfassenden Szene,
- eine Beleuchtungseinrichtung zur Ausleuchtung der Szene, insbesondere unter Nutzung von Infrarotlicht, und
- eine Steuereinrichtung zur Auswertung der Bilddaten zur Ermittlung einer eine potentielle Täuschung bezüglich der Anwesenheit eines Fahrers beschreibenden Lebendinformation,

welches sich dadurch auszeichnet,
dass die Beleuchtungseinrichtung zwei unabhängig ansteuerbare Leuchtabschnitte aufweist, wobei ein erster der Leuchtabschnitte derart näher an der optischen Achse der Kamera angeordnet ist, dass die Pupillen von aufgenommenen Augen bei Ausleuchtung mit dem ersten Leuchtabschnitt in jeweiligen ersten Bilddaten hell erscheinen und bei Ausleuchtung mit dem zweiten Leuchtabschnitt ohne Betrieb des ersten Leuchtabschnitts in jeweiligen zweiten Bilddaten dunkel erscheinen, wobei die Steuereinrichtung zur Ermittlung der Lebendinformation unter Überprüfung der jeweiligen Erscheinung der Pupillen in den ersten und den zweiten Bilddaten ausgebildet ist. Mit anderen Worten ist die Steuereinrichtung zur Durchführung des erfindungsgemäßen Verfahrens ausgebildet. Sämtliche Ausführungen bezüglich des erfindungsgemäßen Verfahrens lassen sich analog auf das erfindungsgemäße Kraftfahrzeug übertragen und umgekehrt.In addition to the method, the invention also relates to a motor vehicle, having a driver monitoring system, which has:

- a camera aimed at the driver's position for recording image data of a scene containing the driver's position,
- a lighting device for illuminating the scene, in particular using infrared light, and
- a control device for evaluating the image data to determine live information describing a potential deception regarding the presence of a driver,

which is characterized by
that the lighting device has two independently controllable lighting sections, with a first of the lighting sections being arranged closer to the optical axis of the camera in such a way that the pupils of recorded eyes appear bright in the respective first image data when illuminated with the first lighting section and when illuminated with the second lighting section appear dark in respective second image data without operation of the first luminous section, the control device being designed to determine the vital information by checking the respective appearance of the pupils in the first and second image data. In other words, the control device is designed to carry out the method according to the invention. All statements relating to the method according to the invention can be transferred analogously to the motor vehicle according to the invention and vice versa.

Das Kraftfahrzeug kann sich insbesondere dadurch auszeichnen, dass die Kamera und die Beleuchtungseinrichtung in einer gemeinsamen Baueinheit integriert sind. Beispielsweise kann ein gemeinsames Gehäuse vorgesehen sein, welches eine Öffnung und/oder eine durchstrahlbare Fläche für das Objektiv/die Linse der in dem Gehäuse verbauten Kamera aufweist und bei dem die Leuchtabschnitte insbesondere in oder auf derselben Oberfläche, auf der auch die Kamera aufnimmt, vorgesehen sein können. Auf diese Weise kann eine kompakte, integrative Ausgestaltung realisiert werden. Eine durchstrahlbare Fläche bzw. ein Fenster für die (Infrarot-)Kamera in dem Gehäuse kann beispielsweise ein für optisches Licht undurchlässiges, aber für Infrarotlicht durchlässiges Element, beispielsweise eine Platte, umfassen.The motor vehicle can be characterized in particular by the fact that the camera and the lighting device are integrated in a common structural unit. For example, a common housing can be provided which has an opening and/or a surface through which radiation can pass for the objective/lens of the camera installed in the housing and in which the lighting sections are provided in particular in or on the same surface on which the camera is also recording could be. In this way, a compact, integrative configuration can be implemented. A surface through which radiation can pass or a window for the (infrared) camera in the housing can, for example, comprise an element that is impermeable to optical light but transparent to infrared light, for example a plate.

Weitere Vorteile und Einzelheiten der vorliegenden Erfindung ergeben sich aus den im Folgenden beschriebenen Ausführungsbeispielen sowie anhand der Zeichnung. Dabei zeigen:

1 eine Prinzipskizze eines erfindungsgemäßen Kraftfahrzeugs,
2 eine Frontansicht einer die Kamera und die Beleuchtungseinrichtung umfassenden Baueinheit,
3 eine Illustration des „Bright Pupil Effect“,
4 eine Illustration des „Dark Pupil Effect“, und
5 einen Ablaufplan eines Ausführungsbeispiels des erfindungsgemäßen Verfahrens.

Further advantages and details of the present invention result from the following the exemplary embodiments described and based on the drawing. show:

1 a schematic diagram of a motor vehicle according to the invention,
2 a front view of a unit comprising the camera and the lighting device,
3 an illustration of the Bright Pupil Effect,
4 an illustration of the Dark Pupil Effect, and
5 a flowchart of an embodiment of the method according to the invention.

1 zeigt eine Prinzipskizze eines erfindungsgemäßen Kraftfahrzeugs 1. Das Kraftfahrzeug 1 weist einen angedeuteten Innenraum 2 auf, in dem unter anderem auch ein Fahrersitz 3 für einen für die Führung des Kraftfahrzeugs 1 verantwortlichen Fahrer angeordnet ist. Vorliegend weist das Kraftfahrzeug 1 auch ein Fahrzeugsystem 4 auf, welches zur wenigstens teilweise, insbesondere vollständig, automatischen Führung des Kraftfahrzeugs 1 ausgebildet ist. Bei der Durchführung wenigstens einer Fahrzeugführungsfunktion des Fahrzeugsystems 4 ist jedoch sicherzustellen, dass ein Fahrer des Kraftfahrzeugs 1, der sich im Fahrersitz 3 befindet, weiterhin „im Loop“ ist, mithin die aktuelle Fahrsituation aufmerksam beobachtet und im Zweifel eingreifen kann. 1 1 shows a schematic diagram of a motor vehicle 1 according to the invention. The motor vehicle 1 has an indicated interior 2 in which, among other things, a driver's seat 3 for a driver responsible for driving the motor vehicle 1 is arranged. In the present case, the motor vehicle 1 also has a vehicle system 4 which is designed for at least partially, in particular completely, automatic guidance of the motor vehicle 1 . When performing at least one vehicle guidance function of the vehicle system 4, however, it must be ensured that a driver of the motor vehicle 1 who is in the driver's seat 3 is still "in the loop", thus carefully observing the current driving situation and, if in doubt, can intervene.

Um dies festzustellen, weist das Kraftfahrzeug 1 ferner ein Fahrerbeobachtungssystem 5 auf, welches vorliegend eine Infrarot-Kamera 6, eine Infrarot-Beleuchtungseinrichtung 7 und eine Steuereinrichtung 8 aufweist. Die Infrarot-Kamera 6 ist, wie durch den Erfassungsbereich 9 angedeutet, auf die Position des Fahrers, mithin eine den Fahrersitz 3 umfassende Szene, gerichtet, wobei vorliegend insbesondere die Position des Kopfes des Fahrers relevant ist. Die Beleuchtungseinrichtung 7 ist ferner dazu ausgebildet, eben diese Szene mit Licht im Nahinfrarot-Bereich auszuleuchten, um Störungen des Fahrers zu vermeiden. Lichtquellen der Beleuchtungseinrichtung 7 können als LEDs und/oder Oberflächenemitter ausgebildet sein.In order to determine this, the motor vehicle 1 also has a driver monitoring system 5 which in the present case has an infrared camera 6 , an infrared lighting device 7 and a control device 8 . As indicated by the detection area 9 , the infrared camera 6 is aimed at the position of the driver, thus a scene encompassing the driver's seat 3 , the position of the driver's head being particularly relevant in the present case. The lighting device 7 is also designed to illuminate precisely this scene with light in the near-infrared range in order to avoid disturbing the driver. Light sources of the lighting device 7 can be embodied as LEDs and/or surface emitters.

2 zeigt eine Ansicht der zum Fahrer hin gerichteten Seite einer Baueinheit 10 des Fahrerbeobachtungssystems 5, in welcher vorliegend die Kamera 6 und das Beleuchtungssystem 7 in einem gemeinsamen Gehäuse 11 verbaut sind. Die Kamera 6 kann über ein Objektiv bzw. eine Linse 12 Bilddaten aus dem Erfassungsbereich 9 erfassen und weist eine optische Achse 13 auf. 2 shows a view of the side of a structural unit 10 of the driver monitoring system 5 which is directed towards the driver and in which the camera 6 and the lighting system 7 are installed in a common housing 11 in the present case. The camera 6 can acquire image data from the acquisition area 9 via an objective or a lens 12 and has an optical axis 13 .

Die Beleuchtungseinrichtung 7 weist wiederum zwei getrennt ansteuerbare und beabstandet zueinander positionierte Leuchtabschnitte 14, 15 (Lichtquellen) auf, wobei der erste Leuchtabschnitt 14 möglichst nah an der optischen Achse 13 positioniert ist, der zweite Leuchtabschnitt 15 deutlich weiter entfernt von der optischen Achse 13. Um den Abstand der Leuchtabschnitte 14, 15 voneinander ferner weiter zu vergrößern, sind sie auf gegenüberliegenden Seiten der Kamera 6 bzw. der Linse 12 angeordnet.The lighting device 7 in turn has two separately controllable lighting sections 14, 15 (light sources) positioned at a distance from one another, the first lighting section 14 being positioned as close as possible to the optical axis 13, the second lighting section 15 being significantly further away from the optical axis 13 to further increase the distance between the luminous sections 14, 15 from one another, they are arranged on opposite sides of the camera 6 and the lens 12, respectively.

Aufgrund der möglichst achsnahen Anordnung des ersten Beleuchtungsabschnitts 14 ist in ersten Bilddaten, die bei die Szene ausleuchtendem ersten Leuchtabschnitt 14 aufgenommen wurden, der sogenannte „Bright Pupil Effect“ zu beobachten, bei dem ein Teil des Nahinfrarot-Lichtes des ersten Leuchtabschnitts 14 von der Retina zur Kamera 6 zurückreflektiert wird, wie dies schematisch in 3 gezeigt ist, die ein Auge 16 gemäß der ersten Bilddaten andeutet. Ersichtlich erscheint die Pupille 17 hell, wobei zusätzlich auch der sogenannte „Glint“ 18, der von einer Reflexion des ersten Leuchtabschnitts 14 an der Hornhaut herrührt, angedeutet ist.Due to the arrangement of the first lighting section 14 as close to the axis as possible, the so-called “Bright Pupil Effect” can be observed in the first image data recorded when the first lighting section 14 illuminates the scene, in which part of the near-infrared light of the first lighting section 14 escapes from the retina is reflected back to the camera 6, as is shown schematically in 3 is shown indicating an eye 16 according to the first image data. The pupil 17 appears bright, with the so-called “glint” 18, which is caused by a reflection of the first luminous section 14 on the cornea, also being indicated.

Ist jedoch der erste Leuchtabschnitt 14 nicht aktiv und wird nur der zweite Leuchtabschnitt 15 zur Ausleuchtung der Szene mit Nahinfrarot-Licht betrieben, können Reflexionen der Retina nicht zur Kamera 6 zurückgelangen, so dass, wie 4 zeigt, die Pupille 17 dunkel dargestellt wird („Dark Pupil Effect“). Erneut ist der weiterhin hell erscheinende „Glint“ 18 angedeutet.However, if the first lighting section 14 is not active and only the second lighting section 15 is operated to illuminate the scene with near-infrared light, reflections from the retina cannot return to the camera 6, so that how 4 shows that the pupil 17 is represented as dark (“dark pupil effect”). Again the still bright appearing "Glint" 18 is indicated.

Die Tatsache, dass der erste Beleuchtungsabschnitt 14 den „Bright Pupil Effect“ hervorruft, der zweite Leuchtabschnitt 15 jedoch den „Dark Pupil Effect“, wird von der Steuereinrichtung 8 zur Lebenderkennung, konkret zur Ermittlung einer eine mögliche Täuschung anzeigenden Lebendinformation, verwendet. Dabei wird dort in regelmäßigen Abständen nur der erste Leuchtabschnitt 14 bzw. nur der zweite Leuchtabschnitt 15 aktiviert, um erste und zweite Bilddaten in Synchronisation mit der Kamerafrequenz aufzunehmen, beispielsweise immer eine bestimmte Anzahl von Bildern innerhalb eines Zeitintervalls, in dem die entsprechende Art von Beleuchtung aktiv ist, die dann zusammen einen Bilddatensatz bilden können. Die Beleuchtung mit dem ersten Leuchtabschnitt 14 kann dabei als „Bright Pupil“-Beleuchtung, die Beleuchtung mit ausschließlich dem zweiten Leuchtabschnitt 15 als „Dark Pupil“-Beleuchtung bezeichnet werden.The fact that the first lighting section 14 produces the “Bright Pupil Effect”, but the second lighting section 15 produces the “Dark Pupil Effect” is used by the control device 8 for live detection, specifically for determining live information indicating possible deception. Only the first lighting section 14 or only the second lighting section 15 is activated there at regular intervals in order to record first and second image data in synchronization with the camera frequency, for example always a certain number of images within a time interval in which the corresponding type of lighting is active, which can then form an image data record together. The illumination with the first luminous section 14 can be referred to as “bright pupil” illumination, and the illumination with only the second luminous section 15 can be referred to as “dark pupil” illumination.

In einem ersten Schritt S1 werden zu Beginn des Verfahrens, mithin der Lebenderkennung, zunächst die Positionen von Pupillen in den ersten und den zweiten Bilddaten festgestellt, was beispielsweise im Rahmen einer Gesichtserkennung erfolgen kann, aber auch durch Vergleich von ersten und zweiten Bilddaten unter Nutzung der unterschiedlichen Erscheinung der Pupille; im weiteren Verlauf kann dann die Position der Pupille mit bekannten Verfahren getrackt werden. Es sind auch Ausführungen denkbar, in denen die Pupillen jedes Mal neu bzw. bei Eintritt bestimmter Bedingungen neu lokalisiert werden können.In a first step S1, at the beginning of the method, i.e. the detection of life, the positions of pupils in the first and second image data are first determined, which can be done, for example, as part of face detection, but also by comparing first and second image data using the under different appearance of the pupil; in the further course, the position of the pupil can then be tracked using known methods. Embodiments are also conceivable in which the pupils can be relocated each time or when certain conditions occur.

In einem Schritt S2 wird ausschließlich der erste Leuchtabschnitt 14 aktiviert, mithin die „Bright Pupil“-Beleuchtung genutzt, und es werden erste Bilddaten aufgenommen. Diese werden in einem Schritt S3 dahingehend ausgewertet, ob der „Bright Pupil Effect“ sichtbar ist, mithin die Pupille wie erwartet hell erscheint. Ist dies nicht der Fall, wird in einem Schritt S4 eine als bzw. als Teil der Lebendinformation verwendete Täuschungswahrscheinlichkeit um einen vorgegebenen Wert erhöht. Immer dann, wenn dies der Fall ist, wird in einem Schritt S5 überprüft, ob die Täuschungswahrscheinlichkeit einen vorgegebenen Schwellwert überschreitet. Ist dies der Fall, wird in einem Schritt S6 ein Täuschungsversuch festgestellt. Eine entsprechende Täuschungsinformation kann als weiterer Teil der Lebendinformation verwendet werden und beispielsweise an das Fahrzeugsystem 4 weitergegeben werden. Überschreitet die Täuschungswahrscheinlichkeit jedoch nicht den Grenzwert, wird mit der Bildaufnahme fortgefahren.In a step S2 only the first luminous section 14 is activated, thus the “Bright Pupil” illumination is used, and first image data are recorded. These are evaluated in a step S3 to determine whether the “Bright Pupil Effect” is visible, meaning that the pupil appears bright as expected. If this is not the case, a deception probability used as or as part of the living information is increased by a predetermined value in a step S4. Whenever this is the case, a step S5 checks whether the probability of deception exceeds a predetermined threshold value. If this is the case, an attempt to deceive is determined in a step S6. Corresponding deceptive information can be used as a further part of the live information and can be forwarded to the vehicle system 4, for example. However, if the probability of deception does not exceed the limit value, the image recording continues.

Nach dem der Periodizität zugrunde liegenden Zeitraum wird in einem Schritt S7 ausschließlich der Leuchtabschnitt 15 zur Ausleuchtung der Szene aktiviert, mithin die „Dark Pupil“-Beleuchtung. Es werden somit nun zweite Bilddaten aufgenommen. Diese werden in einem Schritt S8 dahingehend von der Steuereinrichtung 8 ausgewertet, ob der „Dark Pupil Effect“ feststellbar ist. Ist dies nicht der Fall, wird wiederum im Schritt S4 die Täuschungswahrscheinlichkeit erhöht und die Überschreitung des Schwellwerts im Schritt S5 überprüft.After the period of time on which the periodicity is based, in a step S7 only the lighting section 15 is activated to illuminate the scene, hence the “dark pupil” lighting. Second image data are thus now recorded. In a step S8, these are evaluated by the control device 8 to determine whether the “dark pupil effect” can be detected. If this is not the case, the probability of deception is again increased in step S4 and the exceeding of the threshold value is checked in step S5.

Wurde jedoch für eine Folge von ersten und zweiten Bilddaten jeweils festgestellt, dass die erwartete Pupillenerscheinung vorlag, wird in einem Schritt S9 die Täuschungswahrscheinlichkeit entweder unmittelbar auf Null zurückgesetzt, oder aber zumindest um einen weiteren vorgegebenen Wert erniedrigt.However, if it was determined for a sequence of first and second image data that the expected pupillary appearance was present, in a step S9 the probability of deception is either immediately reset to zero or at least reduced by a further predetermined value.

Wurde im Schritt S6 ein Täuschungsversuch festgestellt, kann dies seitens des Fahrzeugsystems 4 verschiedene Maßnahmen zur Folge haben, beispielsweise eine Ausgabe einer Warnung, die Ausgabe einer Fahrerübernahmeaufforderung, eine Deaktivierung der Funktion, die Überwachung durch den Fahrer benötigt, oder sogar ein Verbringen des Kraftfahrzeugs 1 in einen sicheren Zustand, insbesondere den Stillstand.If an attempt to deceive was determined in step S6, this can result in various measures on the part of the vehicle system 4, for example issuing a warning, issuing a driver takeover request, deactivating the function that requires monitoring by the driver, or even moving the motor vehicle 1 to a safe state, especially standstill.

Es sei angemerkt, dass in die Lebendinformation auch weitere Auswertungsergebnisse eingehen können, beispielsweise die einer Blinzelerkennung oder einer sonstigen Bewegungserkennung, wie sie aus dem Stand der Technik bekannt sind. Die in 2 gezeigte spezielle Anordnung des ersten und zweiten Leuchtabschnitts 14, 15 erlaubt jedoch auch eine weitere Auswertung, die sich auf den Schattenwurf bezieht, da beide Leuchtabschnitte 14, 15 in unterschiedlicher Winkelstellung zum Gesicht des Fahrers stehen. Beispielsweise können die Schattenwürfe bestimmter Gesichtsmerkmale in den ersten und den zweiten Bilddaten miteinander verglichen werden, wobei dann ein Vergleich mit einer Erwartungsinformation für ein reales, echtes Gesicht stattfinden kann. Eine solche Schattenwurfanalyse kann dann ebenso zu einer Erhöhung oder zu einer Erniedrigung der Täuschungswahrscheinlichkeit beitragen. It should be noted that further evaluation results can also be included in the live information, for example those of blink detection or other motion detection, as are known from the prior art. In the 2 However, the special arrangement shown of the first and second light-emitting sections 14, 15 also allows a further evaluation which relates to the shadow cast, since the two light-emitting sections 14, 15 are at different angular positions in relation to the driver's face. For example, the shadows cast by specific facial features in the first and second image data can be compared with one another, in which case a comparison with information expected for a real, real face can then take place. Such a shadow impact analysis can then also contribute to an increase or decrease in the probability of deception.

Das Fahrerbeobachtungssystem 5 kann selbstverständlich mittels seiner Komponenten auch weitere Aufgaben, wie im Stand der Technik bekannt, erfüllen, beispielsweise Blickrichtungsbestimmung, Müdigkeitsbestimmung, Aufmerksamkeitsbestimmung und dergleichen, was insbesondere zusätzlich immer dann erfolgen kann, wenn kein Täuschungsversuch festgestellt wurde.The driver monitoring system 5 can of course also use its components to perform other tasks, as is known in the prior art, for example determining the viewing direction, determining tiredness, determining alertness and the like, which can also always take place when no attempt at deception has been detected.

Schließlich sei angemerkt, dass statt einer Überprüfung jeweils in den ersten und in den zweiten Bilddaten, ob der jeweils erwartete Effekt vorliegt, es selbstverständlich auch denkbar ist, für jedes Paar von ersten und zweiten Bilddaten, die zeitlich nacheinander aufgenommen wurden, durch Vergleich zu überprüfen, ob die erwartete natürliche Erscheinung eines menschlichen Auges in den Bilddaten gegeben ist.Finally, it should be noted that instead of checking the first and second image data to determine whether the expected effect is present, it is of course also conceivable to check by comparison for each pair of first and second image data that were recorded one after the other whether the expected natural appearance of a human eye is given in the image data.

ZITATE ENTHALTEN IN DER BESCHREIBUNGQUOTES INCLUDED IN DESCRIPTION

Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list of documents cited by the applicant was generated automatically and is included solely for the better information of the reader. The list is not part of the German patent or utility model application. The DPMA assumes no liability for any errors or omissions.

Zitierte PatentliteraturPatent Literature Cited

EP 3192008 B1 [0005]
US 2014/0071293 A1 [0006]
US 2005/0226472 A1 [0008]
US4950069A [0011]

Claims

Method for detecting the presence of a driver of a motor vehicle (1) by means of a driver monitoring system (5), the driver monitoring system (5) comprising: - a camera (6) aimed at the position of the driver, in particular at least the driver's head, for recording image data a scene including the position of the driver, - an illumination device (7) for illuminating the scene, in particular using infrared light, and - a control device (8) for evaluating the image data to determine live information describing a potential deception regarding the presence of a driver, characterized in that a lighting device (7) with two independently controllable lighting sections (14, 15) is used, a first of the lighting sections (14) being arranged closer to the optical axis (13) of the camera (6) in such a way that the pupils (17) of recorded eyes (16) when illuminated with the first luminous section itt (14) appear bright in the respective first image data and appear dark in the respective second image data when illuminated with the second luminous section (15) without operation of the first luminous section (14), the control device (8) reading the vital information by checking the respective appearance of the pupils (17) determined in the first and the second image data.

procedure after claim 1 , characterized in that the control device (8) controls the camera (6) and the lighting device (7) for recording, in particular periodically alternating, first and second image data.

procedure after claim 2 , characterized in that the switching frequency of the luminous sections (14, 15) and the image recording frequency of the camera (6) are synchronized and/or the check comprises a comparison of first and second image data recorded at chronologically adjacent intervals.

Method according to one of the preceding claims, characterized in that the live information is transmitted to a vehicle system (4) to be monitored during operation by a driver for at least partially automatic guidance of the motor vehicle (1) and is evaluated by this, in particular with regard to at least one measure a detected deception described by the live information.

Method according to one of the preceding claims, characterized in that the living information is determined as a probability of deception, a deception being detected in particular when the probability of deception exceeds a threshold value.

procedure after claim 5 , characterized in that when first and second image data are recorded alternately, the check is carried out for each first and second image data set and/or for each consecutively recorded pair of first and second image data, with each failed check leading to an increase in the probability of deception.

Method according to one of the preceding claims, characterized in that at least one further evaluation result of the image data is included in the live information.

procedure after claim 7 , characterized in that the further evaluation result is determined by comparing different shadows cast, in particular in a facial area, in the first and the second image data.

Method according to one of the preceding claims, characterized in that the lighting device (7) uses LEDs and/or surface emitters as light sources.

Motor vehicle (1), having a driver monitoring system (5), which has: - a camera (6) aimed at the position of the driver for recording image data of a scene including the position of the driver, - a lighting device (7) for illuminating the scene, in particular using infrared light, and - a control device (8) for evaluating the image data to determine live information describing a potential deception regarding the presence of a driver, characterized in that the lighting device (7) has two independently controllable lighting sections (14, 15). , wherein a first of the luminous sections (14) is arranged closer to the optical axis (13) of the camera (6) that the pupils (17) of recorded eyes (16) when illuminated with the first luminous section (14) in respective first Image data appear bright and when illuminated with the second luminous section (15) without operating the first luminous section ts (14) appear dark in the respective second image data, the control device (8) being designed to determine the vital information by checking the respective appearance of the pupils (17) in the first and the second image data.

Motor vehicle (1) after claim 10 , characterized in that the camera (6) and the lighting device (7) are integrated in a common structural unit (10).