DE102016201329A1

DE102016201329A1 - Method and device for locating a head of a driver in a vehicle and head localization system

Info

Publication number: DE102016201329A1
Application number: DE102016201329.7A
Authority: DE
Inventors: Rainer Stiefelhagen; Anke Schwarz; Zhuang Lin
Original assignee: Robert Bosch GmbH; Karlsruher Institut fuer Technologie KIT
Current assignee: Robert Bosch GmbH; Karlsruher Institut fuer Technologie KIT
Priority date: 2016-01-29
Filing date: 2016-01-29
Publication date: 2017-08-03
Also published as: WO2017129306A1

Abstract

Die Erfindung betrifft ein Verfahren zum Lokalisieren eines Kopfes (108) eines Fahrers (110) in einem Fahrzeug (100). Hierbei wird zunächst ein 3-D-Bildsignal (112) eingelesen, das ein von zumindest einem Sensor (104) des Fahrzeugs (100) erfasstes dreidimensionales Bild des Kopfes (108) repräsentiert. Anschließend wird das 3-D-Bildsignal (112) unter Verwendung eines Regressionsverfahrens ausgewertet, um einen Lokalisierungswert (114) zum Lokalisieren des Kopfes (108) zu erzeugen.The invention relates to a method for locating a head (108) of a driver (110) in a vehicle (100). In this case, first of all a 3-D image signal (112) is read which represents a three-dimensional image of the head (108) detected by at least one sensor (104) of the vehicle (100). Subsequently, the 3-D image signal (112) is evaluated using a regression method to produce a localization value (114) for locating the head (108).

Description

Stand der TechnikState of the art

Die Erfindung geht aus von einer Vorrichtung oder einem Verfahren nach Gattung der unabhängigen Ansprüche. Gegenstand der vorliegenden Erfindung ist auch ein Computerprogramm.The invention is based on a device or a method according to the preamble of the independent claims. The subject of the present invention is also a computer program.

Anhand der Kopforientierung eines Fahrers kann beispielsweise eine Spurwechselabsicht, eine Aufmerksamkeit oder eine Müdigkeit des Fahrers ermittelt werden. Eine entsprechende Kopfposenschätzung kann beispielsweise in einem 2-D-Bild-basierten Verfahren oder mittels Tiefendaten zur echtzeitfähigen Kopfposenschätzung realisiert werden.On the basis of the head orientation of a driver, for example, a lane change intention, an attention or a tiredness of the driver can be determined. A corresponding Kopfposenschätzung can be realized for example in a 2-D image-based method or using depth data for real-time capable Kopfposenschätzung.

Offenbarung der ErfindungDisclosure of the invention

Vor diesem Hintergrund werden mit dem hier vorgestellten Ansatz ein Verfahren zum Lokalisieren eines Kopfes eines Fahrers in einem Fahrzeug, weiterhin eine Vorrichtung, die dieses Verfahren verwendet, ein Kopflokalisierungssystem sowie schließlich ein entsprechendes Computerprogramm gemäß den Hauptansprüchen vorgestellt. Durch die in den abhängigen Ansprüchen aufgeführten Maßnahmen sind vorteilhafte Weiterbildungen und Verbesserungen der im unabhängigen Anspruch angegebenen Vorrichtung möglich.Against this background, the method presented here introduces a method for locating a head of a driver in a vehicle, furthermore a device which uses this method, a head localization system and finally a corresponding computer program according to the main claims. The measures listed in the dependent claims advantageous refinements and improvements of the independent claim device are possible.

Es wird ein Verfahren zum Lokalisieren eines Kopfes eines Fahrers in einem Fahrzeug vorgestellt, wobei das Verfahren folgende Schritte umfasst: Einlesen eines 3-D-Bildsignals, das ein von zumindest einem Sensor des Fahrzeugs erfasstes dreidimensionales Bild des Kopfes repräsentiert; und Auswerten des 3-D-Bildsignals unter Verwendung eines Regressionsverfahrens, um einen Lokalisierungswert zum Lokalisieren des Kopfes zu erzeugen.A method is provided for locating a head of a driver in a vehicle, the method comprising the steps of: reading a 3-D image signal representing a three-dimensional image of the head detected by at least one sensor of the vehicle; and evaluating the 3-D image signal using a regression method to produce a localization value for locating the head.

Bei dem Sensor kann es sich insbesondere um einen Photomischdetektor, kurz PMD-Sensor, handeln. Der Sensor kann beispielsweise Teil einer Time-of-Flight-Kamera, kurz TOF-Kamera, sein. Hierbei kann der Sensor ausgebildet sein, um eine den Kopf umfassende Szene mittels eines Lichtpulses auszuleuchten und für jeden Bildpunkt eine Laufzeit des Lichts vom Sensor zum Kopf und zurück zu messen, wobei die Laufzeit direkt proportional zur Entfernung des Bildpunktes vom Sensor ist. Der Sensor kann somit für jeden Bildpunkt eine bestimmte Entfernung zum Kopf erfassen. Hierbei kann der Kopf mit einer einzigen Tiefenaufnahme vollständig durch den Sensor erfasst werden. Unter einem Regressionsverfahren kann ein statistisches Analyseverfahren zum Durchführen einer Regressionsanalyse verstanden werden, durch die Beziehungen zwischen einer abhängigen und einer oder mehreren unabhängigen Variablen modelliert werden können. Beispielsweise kann ein durch das Regressionsverfahren ermittelter funktionaler Zusammenhang verwendet werden, um ein Vorhersagemodell zum Vorhersagen einer Kopfpose des Kopfes zu erstellen. Hierbei kann das Regressionsverfahren etwa auf einer linearen Regression basieren, bei der ein Modell durch eine Linearkombination verschiedener Variablen spezifiziert werden kann. Der Lokalisierungswert kann beispielsweise einen Ort, d. h. eine Position, oder eine Lage, d. h. eine Orientierung, des Kopfes repräsentieren. Hierbei kann der Lokalisierungswert etwa Raumkoordinaten oder Neigungswinkel des Kopfes in einer x-, y- oder z-Richtung umfassen.The sensor may in particular be a photonic mixer detector, PMD sensor for short. The sensor can for example be part of a time-of-flight camera, TOF camera for short. In this case, the sensor can be designed to illuminate a scene comprising the head by means of a light pulse and to measure for each pixel a transit time of the light from the sensor to the head and back, the transit time being directly proportional to the distance of the pixel from the sensor. The sensor can thus detect a specific distance to the head for each pixel. In this case, the head can be completely detected by the sensor with a single depth image. A regression method can be understood as a statistical analysis method for performing a regression analysis by which relationships between a dependent and one or more independent variables can be modeled. For example, a functional relationship determined by the regression method may be used to construct a predictive model for predicting a head pose of the head. For example, the regression method may be based on a linear regression in which a model can be specified by a linear combination of different variables. For example, the location value may be a location, i. H. a position, or a position, d. H. to represent an orientation of the head. Here, the localization value may include, for example, space coordinates or inclination angles of the head in an x, y, or z direction.

Der hier beschriebene Ansatz beruht auf der Erkenntnis, dass Tiefendaten aus einer durch einen 3-D-Sensor erstellten Aufnahme eines Kopfes eines Fahrers mittels eines regressionsbasierten Verfahrens derart ausgewertet werden können, dass eine Pose des Kopfes, insbesondere etwa eine Orientierung des Kopfes, schnell und robust ermittelt werden kann. Beispielsweise können die Tiefendaten von einer TOF-Kamera mit eigener Lichtquelle erzeugt werden. Der Vorteil einer solchen Auswertung besteht somit darin, dass sie besonders robust gegenüber variierenden Lichtverhältnissen ist, d. h. größtenteils unabhängig von Lichtverhältnissen in der Umgebung des Kopfes durchgeführt werden kann.The approach described here is based on the finding that depth data from a recording of a driver's head produced by a 3-D sensor can be evaluated by means of a regression-based method in such a way that a pose of the head, in particular an orientation of the head, is fast and accurate robust can be determined. For example, the depth data can be generated by a TOF camera with its own light source. The advantage of such an evaluation is therefore that it is particularly robust against varying light conditions, d. H. largely independent of light conditions in the vicinity of the head can be performed.

Durch den hier vorgestellten Ansatz können Fehler bei der Bestimmung der Kopfpose deutlich reduziert werden. Gleichzeitig kann dadurch die Effizienz einer auf Tiefendaten basierenden Kopfposenabschätzung deutlich gesteigert werden.The approach presented here can significantly reduce errors in the determination of the head pose. At the same time, the efficiency of a depth-based head pose estimation can be significantly increased.

Gemäß einer Ausführungsform kann im Schritt des Auswertens das 3-D-Bildsignal ausgewertet werden, um einen Ort und, zusätzlich oder alternativ, eine Lage des Kopfes als den Lokalisierungswert zu erzeugen. Unter einem Ort kann eine Position des Kopfes im Fahrzeuginnenraum verstanden werden. Unter einer Lage des Kopfes kann eine Orientierung des Kopfes im Fahrzeuginnenraum verstanden werden, d. h., der Kopf kann seinen Ort durch Verschiebung und seine Lage durch Verdrehung ändern. Somit kann der Lokalisierungswert beispielsweise kubische oder planare Koordinaten zur drei- bzw. zweidimensionalen Ortsangabe oder bestimmte Winkel relativ zu entsprechenden Orientierungsachsen zur Bestimmung der Lage repräsentieren. Durch diese Ausführungsform kann der Kopf mit hoher Genauigkeit und Zuverlässigkeit lokalisiert werden.According to one embodiment, in the step of evaluating, the 3-D image signal may be evaluated to provide a location and, additionally or alternatively, a location of the head as the location value. A location can be understood as meaning a position of the head in the vehicle interior. Under a position of the head can be understood an orientation of the head in the vehicle interior, d. h., the head can change its position by displacement and its position by twisting. Thus, the localization value may represent, for example, cubic or planar coordinates for three- or two-dimensional location information or certain angles relative to corresponding orientation axes for determining the location. By this embodiment, the head can be located with high accuracy and reliability.

Gemäß einer weiteren Ausführungsform kann im Schritt des Auswertens das 3-D-Bildsignal ausgewertet werden, um einen Rollwinkel des Kopfes als den Lokalisierungswert zu erzeugen. Zusätzlich oder alternativ kann im Schritt des Auswertens ein Nick- oder Gierwinkel des Kopfes als der Lokalisierungswert erzeugt werden. Unter einem Rollwinkel kann ein Winkel verstanden werden, der eine Drehung des Kopfes um eine Längsachse des Kopfes repräsentiert. Unter einem Nickelwinkel kann ein Winkel verstanden werden, der eine Drehung des Kopfes um eine Querachse des Kopfes repräsentiert. Unter einem Gierwinkel kann ein Winkel verstanden werden, der eine Drehung des Kopfes um eine Vertikalachse des Kopfes repräsentiert. Durch diese Ausführungsform kann die Lage des Kopfes mit hoher Genauigkeit und Zuverlässigkeit bestimmt werden.According to another embodiment, in the step of evaluating, the 3-D image signal may be evaluated to generate a roll angle of the head as the localization value. Additionally or alternatively, in the step of evaluating, a pitch or yaw angle of the head may be generated as the location value. Under a Roll angle may be understood as an angle representing rotation of the head about a longitudinal axis of the head. A nickel angle may be understood to mean an angle representing rotation of the head about a transverse axis of the head. A yaw angle may be understood to mean an angle representing rotation of the head about a vertical axis of the head. By this embodiment, the position of the head can be determined with high accuracy and reliability.

Des Weiteren kann das Verfahren einen Schritt des Ermittelns umfassen, in dem je nach Ausführungsform eine Blickrichtung, eine Müdigkeit oder eine Aufmerksamkeit des Fahrers unter Verwendung des Lokalisierungswertes ermittelt werden kann. Beispielsweise kann die Blickrichtung, die Müdigkeit oder die Aufmerksamkeit als Eingangswert für ein Steuergerät zum Steuern des Fahrzeugs dienen. Durch diese Ausführungsform kann die Blickrichtung, die Müdigkeit oder die Aufmerksamkeit des Fahrers in Abhängigkeit von der Kopfpose bestimmt werden.Furthermore, the method may comprise a step of determining in which, depending on the embodiment, a driver's sight, fatigue or attention may be determined using the localization value. For example, the viewing direction, fatigue or attention may serve as an input to a controller for controlling the vehicle. By this embodiment, the sight, fatigue or attention of the driver can be determined depending on the head pose.

Zudem kann in einem optionalen Schritt des Bereitstellens ein Steuersignal zum Steuern des Fahrzeugs in Abhängigkeit von der Blickrichtung, der Müdigkeit oder der Aufmerksamkeit bereitgestellt werden. Beispielsweise kann das Steuersignal verwendet werden, um eine Fahrerassistenzfunktion des Fahrzeugs zu steuern. Dadurch kann das Fahrzeug in Abhängigkeit von der Blickrichtung, der Müdigkeit oder der Aufmerksamkeit gesteuert werden, womit der Fahrkomfort und die Verkehrssicherheit erhöht werden können.In addition, in an optional provisioning step, a control signal for controlling the vehicle may be provided depending on the viewing direction, tiredness or attention. For example, the control signal may be used to control a driver assistance function of the vehicle. Thereby, the vehicle can be controlled depending on the viewing direction, fatigue or attention, whereby the ride comfort and the traffic safety can be increased.

Gemäß einer weiteren Ausführungsform kann im Schritt des Auswertens das 3-D-Bildsignal unter Verwendung zumindest eines Regressionsbaumes und, zusätzlich oder alternativ, zumindest eines Regressionswaldes ausgewertet werden. Unter einem Regressionsbaum kann ein geordneter, gerichteter Baum verstanden werden, der zur Darstellung hierarchisch aufeinanderfolgender Regressionsregeln dient. Unter einem Regressionswald kann eine Menge miteinander verknüpfter Regressionsbäume verstanden werden. Durch diese Ausführungsform kann das 3-D-Bildsignal besonders effizient und präzise ausgewertet werden.According to a further embodiment, in the step of evaluating the 3-D image signal can be evaluated using at least one regression tree and, additionally or alternatively, at least one regression forest. A regression tree can be understood as an ordered, directed tree which serves to display hierarchically successive regression rules. A regression forest can be understood as a set of interrelated regression trees. By this embodiment, the 3-D image signal can be evaluated particularly efficiently and precisely.

Es ist zudem vorteilhaft, wenn im Schritt des Einlesens ein 2-D-Bildsignal eingelesen wird, das ein von dem Sensor und, zusätzlich oder alternativ, zumindest einem weiteren Sensor erfasstes zweidimensionales Bild des Kopfes repräsentiert. Entsprechend kann im Schritt des Auswertens ferner das 2-D-Bildsignal ausgewertet werden, um den Lokalisierungswert zu erzeugen. Dadurch kann die Genauigkeit beim Lokalisieren des Kopfes erhöht werden.It is also advantageous if, in the reading-in step, a 2-D image signal is read in which represents a two-dimensional image of the head detected by the sensor and, additionally or alternatively, at least one further sensor. Accordingly, in the step of evaluating, the 2-D image signal may be further evaluated to generate the localization value. This can increase the accuracy of locating the head.

Es ist ferner von Vorteil, wenn im Schritt des Einlesens ein früherer Lokalisierungswert zum Lokalisieren des Kopfes eingelesen wird. Der frühere Lokalisierungswert kann einen älteren Wert als der Lokalisierungswert repräsentieren. Hierbei kann im Schritt des Auswertens unter Verwendung des früheren Lokalisierungswertes zumindest ein lokales binäres Merkmal aus dem 3-D-Bildsignal extrahiert werden. Unter Verwendung des lokalen binären Merkmals und zumindest einer globalen linearen Regressionsvorschrift kann hierauf ein, eine Abweichung zwischen dem früheren Lokalisierungswert und dem Lokalisierungswert repräsentierender Abweichungswert ermittelt werden. Schließlich kann der Lokalisierungswert als Funktion des früheren Lokalisierungswertes und des Abweichungswertes erzeugt werden. Unter einem lokalen binären Merkmal kann ein binäres Merkmal verstanden werden, das aus Tiefendaten, die einen lokalen Bereich des Kopfes repräsentieren, extrahiert werden kann, beispielsweise unter Verwendung eines Regressionsbaumes oder -waldes. Unter einer globalen linearen Regressionsvorschrift kann eine Vorschrift zum Ausführen einer linearen Regression verstanden werden, die sich auf einen Gesamtbereich des Kopfes bezieht. Die Regressionsvorschrift kann je nach Ausführungsform Regressionsbäume oder -wälder umfassen. Durch diese Ausführungsform wird eine präzise Lokalisierung des Kopfes in Echtzeit ermöglicht.It is also advantageous if, in the step of reading in, a previous localization value for locating the head is read in. The earlier localization value may represent an older value than the localization value. In this case, in the step of evaluating using the earlier localization value, at least one local binary feature can be extracted from the 3-D image signal. Using the local binary feature and at least one global linear regression rule, a deviation value representing a deviation between the previous localization value and the localization value can then be determined. Finally, the localization value may be generated as a function of the previous localization value and the deviation value. By a local binary feature may be understood a binary feature that can be extracted from depth data representing a local area of the head, for example using a regression tree or forest. A global linear regression law may be understood as a rule for performing a linear regression that relates to an entire region of the head. Depending on the embodiment, the regression rule may include regression trees or forests. This embodiment enables precise localization of the head in real time.

Gemäß einer weiteren Ausführungsform kann im Schritt des Auswertens das 3-D-Bildsignal unter Verwendung von Quaternionen zum Darstellen einer Drehung des Kopfes um zumindest eine Drehachse ausgewertet werden. Dadurch kann der Rechenaufwand beim Auswerten reduziert werden.According to a further embodiment, in the step of evaluating the 3-D image signal can be evaluated using quaternions for representing a rotation of the head about at least one axis of rotation. As a result, the computational effort during evaluation can be reduced.

Dieses Verfahren kann beispielsweise in Software oder Hardware oder in einer Mischform aus Software und Hardware, beispielsweise in einem Steuergerät, implementiert sein.This method can be implemented, for example, in software or hardware or in a mixed form of software and hardware, for example in a control unit.

Der hier vorgestellte Ansatz schafft ferner eine Vorrichtung, die ausgebildet ist, um die Schritte einer Variante eines hier vorgestellten Verfahrens in entsprechenden Einrichtungen durchzuführen, anzusteuern bzw. umzusetzen. Auch durch diese Ausführungsvariante der Erfindung in Form einer Vorrichtung kann die der Erfindung zugrunde liegende Aufgabe schnell und effizient gelöst werden.The approach presented here also creates a device that is designed to perform the steps of a variant of a method presented here in appropriate facilities to drive or implement. Also by this embodiment of the invention in the form of a device, the object underlying the invention can be solved quickly and efficiently.

Hierzu kann die Vorrichtung zumindest eine Recheneinheit zum Verarbeiten von Signalen oder Daten, zumindest eine Speichereinheit zum Speichern von Signalen oder Daten, zumindest eine Schnittstelle zu einem Sensor oder einem Aktor zum Einlesen von Sensorsignalen von dem Sensor oder zum Ausgeben von Daten- oder Steuersignalen an den Aktor und/oder zumindest eine Kommunikationsschnittstelle zum Einlesen oder Ausgeben von Daten aufweisen, die in ein Kommunikationsprotokoll eingebettet sind. Die Recheneinheit kann beispielsweise ein Signalprozessor, ein Mikrocontroller oder dergleichen sein, wobei die Speichereinheit ein Flash-Speicher, ein EPROM oder eine magnetische Speichereinheit sein kann. Die Kommunikationsschnittstelle kann ausgebildet sein, um Daten drahtlos und/oder leitungsgebunden einzulesen oder auszugeben, wobei eine Kommunikationsschnittstelle, die leitungsgebundene Daten einlesen oder ausgeben kann, diese Daten beispielsweise elektrisch oder optisch aus einer entsprechenden Datenübertragungsleitung einlesen oder in eine entsprechende Datenübertragungsleitung ausgeben kann.For this purpose, the device may comprise at least one computing unit for processing signals or data, at least one memory unit for storing signals or data, at least one interface to a sensor or an actuator for reading sensor signals from the sensor or for outputting data or control signals to the sensor Actuator and / or at least one communication interface for reading in or outputting data which are embedded in a communication protocol. The arithmetic unit may be, for example, a signal processor, a microcontroller or the like, wherein the memory unit may be a flash memory, an EPROM or a magnetic memory unit. The communication interface can be designed to read or output data wirelessly and / or by line, wherein a communication interface that can read or output line-bound data, for example, electrically or optically read this data from a corresponding data transmission line or output to a corresponding data transmission line.

Unter einer Vorrichtung kann vorliegend ein elektrisches Gerät verstanden werden, das Sensorsignale verarbeitet und in Abhängigkeit davon Steuer- und/oder Datensignale ausgibt. Die Vorrichtung kann eine Schnittstelle aufweisen, die hard- und/oder softwaremäßig ausgebildet sein kann. Bei einer hardwaremäßigen Ausbildung können die Schnittstellen beispielsweise Teil eines sogenannten System-ASICs sein, der verschiedenste Funktionen der Vorrichtung beinhaltet. Es ist jedoch auch möglich, dass die Schnittstellen eigene, integrierte Schaltkreise sind oder zumindest teilweise aus diskreten Bauelementen bestehen. Bei einer softwaremäßigen Ausbildung können die Schnittstellen Softwaremodule sein, die beispielsweise auf einem Mikrocontroller neben anderen Softwaremodulen vorhanden sind.In the present case, a device can be understood as meaning an electrical device which processes sensor signals and outputs control and / or data signals in dependence thereon. The device may have an interface, which may be formed in hardware and / or software. In the case of a hardware-based embodiment, the interfaces can be part of a so-called system ASIC, for example, which contains a wide variety of functions of the device. However, it is also possible that the interfaces are their own integrated circuits or at least partially consist of discrete components. In a software training, the interfaces may be software modules that are present, for example, on a microcontroller in addition to other software modules.

In einer vorteilhaften Ausgestaltung erfolgt durch die Vorrichtung eine Steuerung des Fahrzeugs. Hierzu kann die Vorrichtung beispielsweise auf Sensorsignale wie Lenkwinkel-, Beschleunigungs- oder Umfeldsensorsignale zugreifen. Die Ansteuerung erfolgt über Aktoren wie Lenk- oder Bremsaktoren oder ein Motorsteuergerät.In an advantageous embodiment, the device is used to control the vehicle. For this purpose, the device can access, for example, sensor signals such as steering angle, acceleration or environmental sensor signals. It is controlled via actuators such as steering or brake actuators or an engine control unit.

Der hier vorgestellte Ansatz schafft zudem ein Kopflokalisierungssystem mit folgenden Merkmalen:
einer Vorrichtung gemäß einer vorstehenden Ausführungsform; und
zumindest einem Sensor zum Erzeugen des 3-D-Bildsignals.The approach presented here also creates a head localization system with the following features:
a device according to a preceding embodiment; and
at least one sensor for generating the 3-D image signal.

Von Vorteil ist auch ein Computerprogrammprodukt oder Computerprogramm mit Programmcode, der auf einem maschinenlesbaren Träger oder Speichermedium wie einem Halbleiterspeicher, einem Festplattenspeicher oder einem optischen Speicher gespeichert sein kann und zur Durchführung, Umsetzung und/oder Ansteuerung der Schritte des Verfahrens nach einer der vorstehend beschriebenen Ausführungsformen verwendet wird, insbesondere wenn das Programmprodukt oder Programm auf einem Computer oder einer Vorrichtung ausgeführt wird.Also of advantage is a computer program product or computer program with program code which can be stored on a machine-readable carrier or storage medium such as a semiconductor memory, a hard disk memory or an optical memory and for carrying out, implementing and / or controlling the steps of the method according to one of the embodiments described above is used, especially when the program product or program is executed on a computer or a device.

Ausführungsbeispiele der Erfindung sind in den Zeichnungen dargestellt und in der nachfolgenden Beschreibung näher erläutert. Es zeigt:Embodiments of the invention are illustrated in the drawings and explained in more detail in the following description. It shows:

1 eine schematische Darstellung eines Fahrzeugs mit einem Kopflokalisierungssystem gemäß einem Ausführungsbeispiel; 1 a schematic representation of a vehicle with a head localization system according to an embodiment;

2 eine schematische Darstellung einer Vorrichtung gemäß einem Ausführungsbeispiel; 2 a schematic representation of a device according to an embodiment;

3 ein Ablaufdiagramm eines Verfahrens gemäß einem Ausführungsbeispiel; 3 a flowchart of a method according to an embodiment;

4 eine schematische Darstellung eines Ablaufs einer Kopfposenabschätzung unter Verwendung einer Vorrichtung gemäß einem Ausführungsbeispiel; 4 a schematic representation of a sequence of a Kopfposenabschätzung using a device according to an embodiment;

5 eine schematische Darstellung eines Ablaufs einer Kopfposenabschätzung unter Verwendung einer Vorrichtung gemäß einem Ausführungsbeispiel; und 5 a schematic representation of a sequence of a Kopfposenabschätzung using a device according to an embodiment; and

6 ein Ablaufdiagramm eines Verfahrens gemäß einem Ausführungsbeispiel. 6 a flowchart of a method according to an embodiment.

In der nachfolgenden Beschreibung günstiger Ausführungsbeispiele der vorliegenden Erfindung werden für die in den verschiedenen Figuren dargestellten und ähnlich wirkenden Elemente gleiche oder ähnliche Bezugszeichen verwendet, wobei auf eine wiederholte Beschreibung dieser Elemente verzichtet wird.In the following description of favorable embodiments of the present invention, the same or similar reference numerals are used for the elements shown in the various figures and similar acting, wherein a repeated description of these elements is omitted.

1 zeigt eine schematische Darstellung eines Fahrzeugs 100 mit einem Kopflokalisierungssystem 102 gemäß einem Ausführungsbeispiel. Das Kopflokalisierungssystem 102 umfasst einen Sensor 104, etwa eine TOF-Kamera, und eine Vorrichtung 106, die mit dem Sensor 104 verbunden ist. Der Sensor 104 ist ausgebildet, um ein dreidimensionales Bild eines Kopfes 108 eines Fahrers 110 des Fahrzeugs 100 zu erfassen und ein das dreidimensionale Bild repräsentierendes 3-D-Bildsignal 112 an die Vorrichtung 106 zu senden. Die Vorrichtung 106 ist ausgebildet, um das 3-D-Bildsignal 112 unter Verwendung eines Regressionsverfahrens auszuwerten, um den Kopf 108 im Fahrzeuginnenraum zu lokalisieren. Hierbei erzeugt die Vorrichtung 106 einen Lokalisierungswert 114, der beispielsweise eine Kopfposition oder -orientierung repräsentiert. 1 shows a schematic representation of a vehicle 100 with a head localization system 102 according to an embodiment. The head localization system 102 includes a sensor 104 , such as a TOF camera, and a device 106 that with the sensor 104 connected is. The sensor 104 is designed to be a three-dimensional image of a head 108 a driver 110 of the vehicle 100 and a 3-D image signal representing the three-dimensional image 112 to the device 106 to send. The device 106 is designed to receive the 3-D image signal 112 using a regression method to evaluate the head 108 to locate in the vehicle interior. In this case, the device generates 106 a localization value 114 for example, representing a head position or orientation.

Die Vorrichtung 106 ermöglicht es, die Kopforientierung auch im Fall starker Verdeckungen möglichst robust und in Echtzeit zu ermitteln.The device 106 makes it possible to determine the head orientation as robustly as possible and in real time, even in the case of strong occlusions.

Derzeitige Systeme zur Müdigkeitsschätzung basieren unter anderem auf nicht visuellen Parametern. Die Systeme warnen aufgrund eines basierend auf einem Lenkwinkel oder unter Verwendung von Spurhaltesensoren ermittelten Fahrverhaltens. Diese Parameter können in der Signalkette deutlich weiter entfernt sein als direkt messbare physiologische Veränderungen. Des Weiteren kann das Lenkverhalten nicht immer eindeutig mit der Müdigkeit verknüpft werden. Beispielsweise kann beim Fahren mit Anhänger ein ähnliches Lenkwinkelsignal erzeugt werden wie beim Fahren mit erhöhter Müdigkeit.Current fatigue estimation systems are based, inter alia, on non-visual parameters. The systems warn due to a based on a steering angle or using tracking sensors determined driving behavior. These parameters may be significantly further in the signal chain than directly measurable physiological changes. Furthermore, the steering behavior can not always be clearly linked to fatigue. For example, when driving with trailer a similar steering angle signal can be generated as when driving with increased fatigue.

Mithilfe der Vorrichtung 106 kann die Kopfposition und -orientierung in einem regressionsbasierten Verfahren schrittweise ermittelt werden. Der Vorteil besteht darin, dass hierbei Regressionsbäume auf Tiefendaten angewendet werden können und durch eine globale lineare Transformation direkt eine Abweichung von der Kopfposition und -orientierung ausgegeben werden kann. Somit wird eine direkte Bestimmung der Kopfposition und -orientierung ermöglicht.Using the device 106 the head position and orientation can be determined step-by-step in a regression-based procedure. The advantage is that this regression trees can be applied to depth data and a deviation from the head position and orientation can be output directly by a global linear transformation. Thus, a direct determination of the head position and orientation is made possible.

2 zeigt eine schematische Darstellung einer Vorrichtung 106 gemäß einem Ausführungsbeispiel. Bei der Vorrichtung 106 handelt es sich beispielsweise um eine vorangehend anhand von 1 beschriebene Vorrichtung. Die Vorrichtung 106 umfasst eine Einleseeinheit 210 zum Einlesen des 3-D-Bildsignals 112. Die Einleseeinheit 210 ist mit einer Auswerteeinheit 220 verbunden, die ausgebildet ist, um das 3-D-Bildsignal 112 von der Einleseeinheit 210 zu empfangen und unter Verwendung des Regressionsverfahrens auszuwerten. Als Ergebnis der Auswertung gibt die Auswerteeinheit 220 den Lokalisierungswert 114 aus. 2 shows a schematic representation of a device 106 according to an embodiment. In the device 106 For example, it is a preceding one based on 1 described device. The device 106 includes a read-in unit 210 for reading the 3-D image signal 112 , The reading unit 210 is with an evaluation unit 220 which is adapted to the 3-D image signal 112 from the reading unit 210 to receive and evaluate using the regression method. As a result of the evaluation gives the evaluation unit 220 the localization value 114 out.

Gemäß diesem Ausführungsbeispiel gibt die Auswerteeinheit 220 den Lokalisierungswert 114 an eine optionale Ermittlungseinheit 230 aus, die ausgebildet ist, um unter Verwendung des Lokalisierungswertes 114 eine Blickrichtung, eine Müdigkeit oder eine Aufmerksamkeit des Fahrers zu ermitteln und ein die Blickrichtung, Müdigkeit oder Aufmerksamkeit repräsentierendes Ausgangssignal 235 zu erzeugen. Beispielsweise erzeugt die Auswerteeinheit 220 einen Wert als den Lokalisierungswert 114, der einen Ort oder eine Lage des Kopfes im Fahrzeuginnenraum repräsentiert, wobei die Lage beispielsweise durch einen einen Roll-, Nick- oder Gierwinkel des Kopfes repräsentierenden Winkelwert definiert ist. Entsprechend ermittelt die Ermittlungseinheit 230 die Blickrichtung, Müdigkeit oder Aufmerksamkeit in Abhängigkeit vom Ort oder von der Lage des Kopfes.According to this embodiment, the evaluation unit 220 the localization value 114 to an optional discovery unit 230 which is designed to be using the localization value 114 to determine a line of sight, fatigue or attention of the driver, and an output signal representing the direction of vision, fatigue or attention 235 to create. For example, the evaluation unit generates 220 a value as the localization value 114 representing a location or location of the head in the vehicle interior, the attitude being defined, for example, by an angular value representing a roll, pitch or yaw angle of the head. The determination unit determines accordingly 230 the direction of vision, fatigue or attention depending on the location or the position of the head.

Optional umfasst die Vorrichtung 106 eine Bereitstellungseinheit 240, die ausgebildet ist, um das Ausgangssignal 235 von der Ermittlungseinheit 230 zu empfangen und unter Verwendung des Ausgangssignals 235 ein Steuersignal 245 zum Steuern des Fahrzeugs bereitzustellen, beispielsweise an eine Schnittstelle zu einem entsprechenden Steuergerät des Fahrzeugs. Das Steuersignal 245 dient somit zum Steuern des Fahrzeugs in Abhängigkeit von der Blickrichtung, Müdigkeit oder Aufmerksamkeit des Fahrers.Optionally, the device comprises 106 a deployment unit 240 which is designed to receive the output signal 235 from the investigation unit 230 to receive and using the output signal 235 a control signal 245 to provide for controlling the vehicle, for example to an interface to a corresponding control unit of the vehicle. The control signal 245 thus serves to control the vehicle depending on the line of sight, fatigue or attention of the driver.

Gemäß einem weiteren Ausführungsbeispiel ist die Einleseeinheit 210 ausgebildet, um zusätzlich zum 3-D-Bildsignal 112 ein optionales 2-D-Bildsignal 250 einzulesen und an die Auswerteeinheit 220 weiterzuleiten. Je nach Ausführungsbeispiel kann das 2-D-Bildsignal 250 entweder von dem das 3-D-Bildsignal 112 erzeugenden Sensor oder von einem anderen Sensor des Fahrzeugs erzeugt worden sein. In entsprechender Weise kann die Auswerteeinheit 220 ausgebildet sein, um ferner das 2-D-Bildsignal 250 zum Erzeugen des Lokalisierungswertes 114 zu verwenden. Beispielsweise kann hierbei das 3-D-Bildsignal 112 unter Verwendung des 2-D-Bildsignals 250 ausgewertet werden.According to a further embodiment, the read-in unit 210 trained to in addition to the 3-D image signal 112 an optional 2-D image signal 250 and to the evaluation unit 220 forward. Depending on the embodiment, the 2-D image signal 250 either from the 3-D image signal 112 generating sensor or by another sensor of the vehicle. In a corresponding manner, the evaluation unit 220 be formed to further the 2-D image signal 250 for generating the localization value 114 to use. For example, in this case, the 3-D image signal 112 using the 2-D image signal 250 be evaluated.

3 zeigt ein Ablaufdiagramm eines Verfahrens 300 gemäß einem Ausführungsbeispiel. Das Verfahren 300 zur effizienten Kopforientierungsschätzung von Tiefendaten kann beispielsweise im Zusammenhang mit einer vorangehend anhand der 1 und 2 beschriebenen Vorrichtung ausgeführt oder angesteuert werden. Hierbei wird der Fahrer von einem Tiefensensor kontinuierlich erfasst. Der Sensor nimmt sowohl 2-D-Daten als auch Tiefendaten auf. Aus den erhaltenen Daten werden Kopfposition und -orientierung bestimmt. Anschließend werden daraus die Blickrichtung, ein Schläfrigkeitslevel, die Aufmerksamkeit oder bestimmte Sicherheitseinstellungen ermittelt. 3 shows a flowchart of a method 300 according to an embodiment. The procedure 300 for efficient head orientation estimation of depth data can be used, for example, in connection with a preceding with reference to 1 and 2 be executed or controlled device described. Here, the driver is continuously detected by a depth sensor. The sensor captures both 2-D data and depth data. From the obtained data head position and orientation are determined. It then determines the line of sight, a level of drowsiness, attention or certain security settings.

In 3 ist der Fahrer durch einen Block 302, ein Input durch einen Block 304, der Sensor durch einen Block 306, die Kopfposition und -orientierung durch einen Block 308, eine Recheneinheit zum Verarbeiten der Sensordaten durch einen Block 310, ein Output durch einen Block 312, die Blickrichtung durch einen Block 314, das Schläfrigkeitslevel durch einen Block 316, die Aufmerksamkeit durch einen Block 318 und eine Sicherheitseinstellung, etwa eine Einstellung für einen Airbag, durch einen Block 320 repräsentiert.In 3 is the driver through a block 302 , an input through a block 304 , the sensor by a block 306. , the head position and orientation by a block 308 a computing unit for processing the sensor data by a block 310 , an output through a block 312 , the line of sight through a block 314 , the drowsiness level by a block 316 getting attention through a block 318 and a safety setting, such as an airbag setting, by a block 320 represents.

4 zeigt eine schematische Darstellung eines Ablaufs 400 einer Kopfposenabschätzung unter Verwendung einer Vorrichtung gemäß einem Ausführungsbeispiel. Die Kopfposenabschätzung kann beispielsweise unter Verwendung einer Vorrichtung, wie sie vorangehend anhand der 1 bis 3 beschrieben ist, durchgeführt werden. Gezeigt ist ein Schritt-für-Schritt-Ansatz für eine Kopfposenabschätzung aus Tiefenbildern. Hierbei wird in jedem Schritt t eine Aktualisierung ΔΘ^t einer Kopforientierung und -position berechnet, nachfolgend auch Abweichungswert genannt. Die Kopforientierung und -position Θ^t eines Schrittes t ist mit einem Pfeil gekennzeichnet. 4 shows a schematic representation of a process 400 a head pose estimation using a device according to an embodiment. For example, the head pose estimation may be performed using a device such as that described above 1 to 3 is described. Shown is a step-by-step approach to a head pose estimation from depth images. In this case, an update ΔΘ ^{t of} a head orientation and position is calculated in each step t, hereinafter also referred to as a deviation value. The head orientation and position Θ ^{t of} a step t is indicated by an arrow.

Die Kopfposenabschätzung erfolgt auf der Basis einer Schritt-für-Schritt-Regressionstechnik. Dadurch kann die Kopforientierung und -position mit sehr hoher Effizienz geschätzt werden. Hierbei wird in jedem Schritt eine Aktualisierung der Kopforientierung und -position berechnet. Gemäß einem Ausführungsbeispiel wird hierzu eine Extraktion lokaler binärer Merkmale basierend auf Tiefendaten durchgeführt. Eine derartige Merkmalsextraktion wird unter Verwendung lokaler Bereiche durchgeführt, die relativ zur Kopforientierung und -position projiziert wurden. Durch Nutzung der Quaternionendarstellung kann die Kopforientierung direkt über eine globale lineare Regression ermittelt werden. The head pose estimation is based on a step-by-step regression technique. This allows the head orientation and position to be estimated with very high efficiency. In each step, an update of the head orientation and position is calculated. According to an exemplary embodiment, an extraction of local binary features based on depth data is performed for this purpose. Such feature extraction is performed using local regions that have been projected relative to the head orientation and position. By using the quaternion representation, the head orientation can be determined directly via a global linear regression.

5 zeigt eine schematische Darstellung eines Ablaufs 500 einer Kopfposenabschätzung unter Verwendung einer Vorrichtung gemäß einem Ausführungsbeispiel. Bei dem in 5 gezeigten Ablauf 500 handelt es sich um eine Übersicht über Teilschritte eines vorangehend anhand von 4 beschriebenen Schrittes t. Als Eingangsdaten dient ein früherer Lokalisierungswert, der eine frühere Kopfpose Θ^t-1 repräsentiert. Zudem ist eine Ground-Truth-Kopforientierung Θ ^ (engl. ground-truth head pose) gezeigt. Ein Abweichungswert ΔΘ^t wird in einem Schritt 510 ermittelt, der sich wiederum in zwei Teilschritte 520, 530 unterteilt. Im ersten Teilschritt 520 werden lokale binäre Merkmale Φ^t berechnet. Die lokalen binären Merkmale sind in 5 schematisch durch eingekreiste Punkte gekennzeichnet. Im zweiten Teilschritt 530 wird ein globales lineares Mapping W^t durchgeführt. Die Aktualisierung der Kopfpose Θ^t wird in einem Schritt 540 unter Verwendung des Abweichungswertes ΔΘ^t ermittelt. 5 shows a schematic representation of a process 500 a head pose estimation using a device according to an embodiment. At the in 5 shown procedure 500 it is an overview of sub-steps of a preceding by means of 4 described step t. The input data is an earlier localization value representing an earlier head pose Θ ^t-1 . In addition, a ground-truth head orientation Θ ^ (engl. Ground-truth head pose) is shown. A deviation value ΔΘ ^t is in one step 510 which in turn is divided into two sub-steps 520 . 530 divided. In the first step 520 are calculated local binary features Φ ^t . The local binary features are in 5 schematically indicated by circled points. In the second step 530 a global linear mapping W ^{t is} performed. The updating of the head pose Θ ^t is done in one step 540 determined using the deviation value ΔΘ ^t .

Nachfolgend wird der in 5 gezeigte Ablauf 500 nochmals im Detail erläutert.Subsequently, the in 5 shown procedure 500 explained again in detail.

Ziel des hier vorgestellten Ansatzes ist es gemäß einem Ausführungsbeispiel, einen Ort und eine Drehung des Kopfes auf der Basis eines einzelnen Tiefenscans zu ermitteln. Hierzu wird ein Schritt-für-Schritt-Ansatz gewählt, bei dem jeder Schritt eine Aktualisierung hin zur korrekten Kopforientierung und -position liefert. Wie in 5 gezeigt, wird in jedem Schritt t nach der Ermittlung eines lokalen binären Merkmals Φ^t eine globale lineare Regression W^t angewendet. Zuerst wird ein Training beschrieben, durch das Regressionswälder zur Ermittlung der lokalen linearen Merkmale Φ^t gelernt werden. Zusätzlich wird die globale lineare Projektion W^t trainiert. Hierauf wird die Testphase beschrieben, in dem der hier vorgestellte Ansatz auf einen unbekannten Tiefenscan angewendet wird.The aim of the approach presented here, according to one embodiment, is to determine a location and a rotation of the head on the basis of a single depth scan. For this purpose, a step-by-step approach is chosen in which each step provides an update to the correct head orientation and position. As in 5 is shown, in each step t after the determination of a local binary feature Φ ^t a global linear regression W ^{t is} applied. First, a training will be described by which regression forests are learned to determine the local linear features Φ ^t . In addition, the global linear projection W ^{t is} trained. The test phase is described in which the approach presented here is applied to an unknown depth scan.

Als Erstes wird ein überwachter Trainingsschritt mit gelabelten Trainingsdaten durchgeführt. Jedes Trainingsmuster i besteht aus einer Tiefenkarte D_i und gelabelten Ground-Truth-Daten Θ ^_i = {I ^_i, θ ^_i} der Kopfposition I ^_i = {x ^, y ^, z ^} sowie der in Quaternionen dargestellten Kopforientierung Θ ^_i = {q ^₁, q ^₂, q ^₃, q ^₄}. Der Vorteil der Nutzung von Quaternionen besteht darin, dass durch diese eine Drehung eines vierdimensionalen Vektors in kompakter Weise dargestellt werden kann. Im Vergleich zu Eulerwinkeln können Drehungen auf effizientere Weise berechnet werden. Dadurch kann die Effizienz bei der schrittweisen Ermittlung der Kopforientierung gesteigert werden.First, a supervised training step with labeled training data is performed. Each training pattern i consists of a depth map D _i and labeled ground truth data Θ ^ _i = {I ^ _i , θ ^ _i } of the head position I ^ _i = {x ^, y ^, z ^} and that shown in quaternions Head orientation Θ ^ _i = {q ^ ₁ , q ^ ₂ , q ^ ₃ , q ^ ₄ }. The advantage of using quaternions is that they allow a rotation of a four-dimensional vector to be represented in a compact manner. In comparison to Euler angles, rotations can be calculated in a more efficient way. This can increase the efficiency in the stepwise determination of the head orientation.

Der Gesichtsbereich wird unter Verwendung eines handelsüblichen Gesichtsdetektors in der Vorverarbeitungsphase erfasst. Während des Trainingsprozesses wird für jeden Schritt t ein Regressionswald zur Ermittlung der lokalen binären Merkmale Φ^t und der globalen linearen Projektion W^t gelernt.The facial area is detected using a commercially available face detector in the preprocessing phase. During the training process, a regression forest for determining the local binary features Φ ^t and the global linear projection W ^{t is} learned for each step t.

Die lokalen binären Merkmale Φ^t werden aus Regressionswäldern berechnet. Um die Regressionswälder zu lernen, werden die Tiefendaten D_i anstatt zweidimensionaler Farbinformationen verwendet. Das Training erfordert zweidimensionale Ground-Truth-Positionen S ^_i und zweidimensionale Positionen des vorherigen Schrittes S t-1 / t. Für jeden Frame i werden die Ground-Truth-Positionen S ^_i ∊ R^k×2 generiert, indem K lokale Bereiche eines dreidimensionalen Mittelwertgesichts relativ zur Ground-Truth-Kopforientierung und -position projiziert werden. Die Projektion dieser lokalen Bereiche mithilfe der ermittelten Kopforientierung aus dem früheren Schritt t-1 ergibt die zweidimensionalen Positionen des vorherigen Schrittes S t-1 / i ∊ R^k×2. The local binary features Φ ^t are calculated from regression forests. In order to learn the regression forests, the depth data D _{i is used} instead of the two-dimensional color information. The training requires two-dimensional ground truth positions S ^ _i and two-dimensional positions of the previous step S t-1 / t. For each frame i, the ground truth positions S ^ _i ∈ R ^{k × 2 are} generated by projecting K local regions of a three-dimensional mean face relative to the ground truth head orientation and position. The projection of these local areas using the determined head orientation from the earlier step t-1 gives the two-dimensional positions of the previous step S t-1 / i ∈ R ^{k × 2} .

Für jeden lokalen Bereich k wird unabhängig voneinander ein binärer Wald trainiert. Die gelernten Wälder werden auf die k lokalen Bereiche des früheren Schrittes S i-1 / i angewendet, um den binären Merkmalsvektor Φ t / i zu erhalten. Der binäre Merkmalsvektor ist 1, wenn das Muster einen Astknoten erreicht. Andernfalls ist der binäre Merkmalsvektor 0.For each local area k, a binary forest is trained independently of each other. The learned forests become the k local areas of the earlier step S i-1 / i applied to the binary feature vector Φ t / i to obtain. The binary feature vector is 1 when the pattern reaches a leaf node. Otherwise, the binary feature vector is 0.

Es wird ferner eine globale lineare Regression W^t gelernt, durch die eine Abweichung ΔΘ t / i von einer aktuellen Kopfposition und -orientierung ermittelt werden kann. In der Trainingsphase wird ein geeignetes Mapping W^t unter Verwendung des zuvor ermittelten Binärvektors Φ t / i und der Residuen ΔΘ t / i,S gegenüber der Ground-Truth-Kopfpose gelernt. Die optimale globale lineare Regression W^t erhält man durch Minimieren der folgenden Zielfunktion:

It also learns a global linear regression W ^t , by which a deviation

ΔΘ t / i

can be determined from a current head position and orientation. In the training phase, a suitable mapping W ^{t is} made using the previously determined binary vector

Φ t / i

and the residuals

ΔΘ t / i, S

learned from the Ground Truth head pose. The optimal global linear regression W ^t is obtained by minimizing the following objective function:

Die Ground-Truth-Residuen werden wie folgt ermittelt:

wobei R ^_i die aus den Quaternionen θ ^_i berechnete Drehungsmatrix repräsentiert und

R t-1 / i

aus

θ t-1 / i

berechnet wird.The ground truth residuals are determined as follows:

where R ^ _i represents the rotation matrix calculated from the quaternions θ ^ _i and

R t-1 / i

out

θ t-1 / i

is calculated.

Nach jedem Schritt t wird die Kopforientierung und -position eines jeden Frame i folgendermaßen aktualisiert mit

mit

After each step t, the head orientation and position of each frame i is updated as follows

With

ΔR t / i ist die aus den Quaternionen Δθ t / i berechnete Drehungsmatrix. R t / i ist die aus den Quaternionen θ t-1 / i berechnete Drehungsmatrix. ΔR t / i is the one from the quaternions Δθ t / i calculated rotation matrix. R t / i is the one from the quaternions θ t-1 / i calculated rotation matrix.

In der Testphase sollen die Kopfposition und die Kopforientierung Θ_i = {I_i, θ_i} aus einem unbekannten Entfernungsbild D_i ermittelt werden. In jedem Schritt wird ein Residuum der Kopfposition und -orientierung ΔΘ t / i gegenüber der aktuellen Kopforientierung ermittelt. Für jeden Schritt t wird ein lokaler Teilschritt 520 und ein globaler Teilschritt 530 durchgeführt. Im lokalen Teilschritt 520 werden die lokalen binären Merkmale Φ t / i mithilfe des trainierten Regressionswaldes ermittelt. Nachfolgend auf diesen Teilschritt werden die binären Merkmale durch die gelernte globale lineare Regression W^t mit dem die Abweichung der Kopfposition und -orientierung repräsentierenden Abweichungswert Θ t / i = {Δl t / i, Δθ t / i} verknüpft, wie in Gleichung (4) beschrieben. Nach jedem Schritt wird die Kopfpose mit Θ^t = f(Θ^t-1, ΔΘ^t) aktualisiert, wie in Gleichung (3) beschrieben.In the test phase, the head position and the head orientation Θ _i = {I _i , θ _i } are to be determined from an unknown distance image D _i . In each step, a residual of the head position and orientation becomes ΔΘ t / i compared to the current head orientation. For each step t becomes a local substep 520 and a global step 530 carried out. In the local sub-step 520 become the local binary features Φ t / i determined using the trained regression forest. Subsequent to this substep, the binary features become the learned global linear regression W ^t with the deviation value representing the deviation of the head position and orientation Θ t / i = {Δl t / i, Δθ t / i} linked as described in equation (4). After each step, the head pose with Θ ^t is updated = f (Θ ^t-1, ^t ΔΘ) as described in equation (3).

6 zeigt ein Ablaufdiagramm eines Verfahrens 600 gemäß einem Ausführungsbeispiel. Das Verfahren kann beispielsweise im Zusammenhang mit einer vorangehend anhand der 1 bis 4 beschriebenen Vorrichtung durchgeführt oder angesteuert werden. Die anhand der 4 und 5 beschriebenen Schritte können Teilschritte des Verfahrens 600 sein. Das Verfahren 600 umfasst einen Schritt 610, in dem das 3-D-Bildsignal eingelesen wird. In einem weiteren Schritt 620 wird das 3-D-Bildsignal unter Verwendung eines Regressionsverfahrens ausgewertet, um den Lokalisierungswert zu erzeugen. 6 shows a flowchart of a method 600 according to an embodiment. The method can be used, for example, in connection with a previously described with reference to 1 to 4 be performed or controlled device described. The basis of the 4 and 5 The steps described can be sub-steps of the procedure 600 be. The procedure 600 includes a step 610 in which the 3-D image signal is read. In a further step 620 For example, the 3-D image signal is evaluated using a regression method to produce the localization value.

Gemäß einem Ausführungsbeispiel wird das 3-D-Bildsignal im Schritt 620 unter Verwendung zumindest eines Regressionsbaumes oder eines Regressionswaldes ausgewertet, etwa auf eine Weise, wie sie vorangehend anhand von 5 beschrieben ist.According to one embodiment, the 3-D image signal in step 620 evaluated using at least one regression tree or a regression forest, such as in a manner as described above with reference to 5 is described.

Die Schritte 610, 620 können fortlaufend ausgeführt werden.The steps 610 . 620 can be executed continuously.

Umfasst ein Ausführungsbeispiel eine „und/oder”-Verknüpfung zwischen einem ersten Merkmal und einem zweiten Merkmal, so ist dies so zu lesen, dass das Ausführungsbeispiel gemäß einer Ausführungsform sowohl das erste Merkmal als auch das zweite Merkmal und gemäß einer weiteren Ausführungsform entweder nur das erste Merkmal oder nur das zweite Merkmal aufweist.If an exemplary embodiment comprises a "and / or" link between a first feature and a second feature, then this is to be read so that the embodiment according to one embodiment, both the first feature and the second feature and according to another embodiment either only first feature or only the second feature.

Claims

Procedure ( 600 ) for locating a head ( 108 ) of a driver ( 110 ) in a vehicle ( 100 ), the process ( 600 ) includes the following steps: reading in ( 610 ) of a 3-D image signal ( 112 ), which is one of at least one sensor ( 104 ) of the vehicle ( 100 ) captured three-dimensional image of the head ( 108 represents; and evaluation ( 620 ) of the 3-D image signal ( 112 ) using a regression method to obtain a localization value ( 114 ) for locating the head ( 108 ) to create.

Procedure ( 600 ) according to claim 1, wherein in the step of evaluating ( 620 ) the 3-D image signal ( 112 ) is evaluated to a location and / or location of the head ( 108 ) as the localization value ( 114 ) to create.

Procedure ( 600 ) according to one of the preceding claims, wherein in the step of evaluating ( 620 ) the 3-D image signal ( 112 ) is evaluated to a roll and / or pitch and / or yaw angle of the head ( 108 ) as the localization value ( 114 ) to create.

Procedure ( 600 ) according to one of the preceding claims, comprising a step of determining a viewing direction and / or a tiredness and / or a driver's attention ( 110 ) using the localization value ( 114 ).

Procedure ( 600 ) according to claim 4, comprising a step of providing a control signal ( 245 ) for controlling the vehicle ( 100 ) depending on the direction of vision and / or fatigue and / or attention.

Procedure ( 600 ) according to one of the preceding claims, wherein in the step of evaluating ( 620 ) the 3-D image signal ( 112 ) is evaluated using at least one regression tree and / or at least one regression forest.

Procedure ( 600 ) according to one of the preceding claims, wherein in the reading-in step ( 610 ) a 2-D image signal ( 250 ) read in from the sensor ( 104 ) and / or at least one further sensor detected two-dimensional image of the head ( 108 ), wherein in the step of evaluating ( 620 ) the 2-D image signal ( 250 ) is evaluated to the localization value ( 114 ) to create.

Procedure ( 600 ) according to one of the preceding claims, wherein in the reading-in step ( 610 ) an earlier localization value Θ ^t-1 for locating the head ( 108 ), where the earlier localization value Θ ^{t-1 is} older than the localization value ( 114 ), wherein in the step of evaluating ( 620 ) using the previous localization value Θ ^t-1 at least one local binary feature Φ ^t from the 3-D image signal ( 112 ), using the local binary feature Φ ^t and at least one global linear regression law W ^t , a deviation between the previous localization value Φ ^t-1 and the localization value ( 114 ) deviation value ΔΘ ^{t is} determined and the localization value ( 114 ) is generated as a function of the earlier localization value Θ ^t-1 and the deviation value ΔΘ ^t .

Procedure ( 600 ) according to one of the preceding claims, wherein in the step of evaluating ( 620 ) the 3-D image signal ( 112 ) using quaternions to represent a rotation of the head ( 108 ) is evaluated by at least one axis of rotation.

Contraption ( 106 ) with units ( 210 . 220 . 230 . 240 ), which are adapted to the process ( 600 ) according to any one of the preceding claims and / or to control.

Head localization system ( 102 ) having the following features: a device ( 106 ) according to claim 10; and at least one sensor ( 104 ) for generating the 3-D image signal ( 112 ).

Computer program that is adapted to the procedure ( 600 ) according to any one of claims 1 to 9 and / or to control.

A machine readable storage medium storing the computer program of claim 12.