DE102022110076A1

DE102022110076A1 - Automatic training data set generation for an algorithm for recognizing and determining the pose of data glasses

Info

Publication number: DE102022110076A1
Application number: DE102022110076.6A
Authority: DE
Inventors: Tobias Bauernfeind; Korbinian Hoermann
Original assignee: Bayerische Motoren Werke AG
Current assignee: Bayerische Motoren Werke AG
Priority date: 2022-04-26
Filing date: 2022-04-26
Publication date: 2023-10-26

Abstract

Die Erfindung betrifft ein Verfahren zur automatisierten Trainings-Datensatzgenerierung für einen Datenbrillentracking-Algorithmus, insbesondere im Innenraum eines Fahrzeugs, umfassend die Schritte:- Bereitstellen eines datenbasierten Datenbrillenerkennungs- und Posenermittlungs-Modells, das trainierbar ist, um anhand eines Eingangsdatenarrays aus Bildaufnahmen eines von der Datenbrille unabhängigen Kamerasystems die Datenbrille zu erkennen und deren Pose in einem kameragebundenen Koordinatensystem zu ermitteln und als ein Ausgangsdatenarray auszugeben;- automatisiertes Bewegen der Datenbrille gemäß einem vorbestimmten Bewegungs-Pfad, bei dem sie eine Vielzahl von vorbestimmten verschiedenen Posen im genannten Koordinatensystem einnimmt;- automatisiertes Aufnehmen der genannten Vielzahl der Brillenposen durch das Kamerasystem beim Abfahren des Pfads mit der Datenbrille und Erzeugen daraus eines Trainings-Datensatzes für das Datenbrillenerkennungs- und Posenermittlungs-Modell.The invention relates to a method for automated training data set generation for a data glasses tracking algorithm, in particular in the interior of a vehicle, comprising the steps: - Providing a data-based data glasses recognition and pose determination model that can be trained to use an input data array from image recordings of one of the Data glasses-independent camera system to recognize the data glasses and to determine their pose in a camera-bound coordinate system and output it as an output data array; - automated movement of the data glasses according to a predetermined movement path in which they assume a large number of predetermined different poses in the said coordinate system; - automated Recording the above-mentioned variety of glasses poses by the camera system when traveling along the path with the data glasses and generating a training data set for the data glasses recognition and pose determination model.

Description

Die Erfindung betrifft ein Verfahren zur Erkennung und Posenermittlung von Datenbrillen, die von einem Benutzer insbesondere im Innenraum eines Fahrzeugs getragen werden können, auf Basis eines lernenden Algorithmus. Beim lernenden Algorithmus handelt es sich um ein datenbasiertes Datenbrillenerkennungs- und Posenermittlungs-Modell, das dazu trainierbar ist, anhand eines Eingangsdatenarrays, das aus Bildaufnahmen einer oder mehrerer von der Datenbrille unabhängigen Kameras erzeugt wird, die Datenbrille zu erkennen und deren Pose (d. h. Position und Orientierung) in einem kamerafesten Koordinatensystem zu ermitteln und als ein Ausgangsdatenarray auszugeben. Die ermittelte Datenbrillenpose kann beispielsweise zum kontaktanalogen Darstellen von Informationsobjekten im Blickfeld des Benutzers genutzt werden. Das Verfahren kann insbesondere in einem Kraftfahrzeug oder in einem andersartigen Land-, Luft- oder Wasserfahrzeug, aber auch in einem Gebäude oder unter freiem Himmel zum Einsatz kommen.The invention relates to a method for recognizing and determining the pose of data glasses that can be worn by a user, particularly in the interior of a vehicle, based on a learning algorithm. The learning algorithm is a data-based smart glasses recognition and pose determination model that can be trained to recognize the smart glasses and their pose (i.e. position and Orientation) in a camera-fixed coordinate system and output as an output data array. The determined data glasses pose can be used, for example, to display information objects in the user's field of vision in a contact-like manner. The method can be used in particular in a motor vehicle or in another type of land, aircraft or watercraft, but also in a building or in the open air.

Datenbrillen sind am Kopf eines Benutzers nach Art einer Sehhilfe tragbare Anzeigevorrichtungen, die auch unter der allgemeineren Bezeichnung Head-Mounted-Displays (HMD) bekannt sind. Typischerweise werden durch eine Datenbrille nützliche Anzeigeinhalte einer vom Benutzer beobachteten realen Umgebung hinzugefügt. Dabei bleibt die reale Umgebung für den Benutzer durch zumindest teildurchlässige Anzeigeelemente in Form von Scheiben, die wie herkömmliche Brillengläser vor seinen Augen angeordnet sind, weiterhin sichtbar (Augmented Reality, AR). In einem Kraftfahrzeug kann auf diese Weise beispielsweise eine Einparkhilfe realisiert werden, die dem Fahrer durch die Karosserie verdeckte Hindernisse wie Bordsteine etc. kontaktanalog (d. h. an realen Umgebungsobjekten orientiert) darstellt.Data glasses are display devices that can be worn on a user's head in the manner of a visual aid and are also known by the more general name head-mounted displays (HMD). Typically, smart glasses add useful display content to a real-world environment observed by the user. The real environment remains visible to the user through at least partially transparent display elements in the form of panes that are arranged in front of the user's eyes like conventional glasses (augmented reality, AR). In a motor vehicle, for example, a parking aid can be implemented in this way, which shows the driver obstacles hidden by the body, such as curbs, etc., in a contact-like manner (i.e. based on real surrounding objects).

Für die Integration von Datenbrillen in Augmented-Reality-Erlebnisse ist es beispielsweise in einem Fahrzeug insbesondere zum kontaktanalogen Darstellen von Anzeigeinhalten erforderlich, die genaue Orientierung und Position der Datenbrille in einem fahrzeugfesten Koordinatensystem zu kennen. Zum Brillentracking auf Basis von geeigneten Kamerabildern ist es unter anderem bekannt, Methoden der künstlichen Intelligenz in Form eines lernenden Algorithmus eingangs genannter Art einzusetzen.For the integration of data glasses into augmented reality experiences, for example in a vehicle, particularly for the contact-analog representation of display content, it is necessary to know the exact orientation and position of the data glasses in a coordinate system fixed to the vehicle. For glasses tracking based on suitable camera images, it is known, among other things, to use artificial intelligence methods in the form of a learning algorithm of the type mentioned at the beginning.

Zur Erstellung eines geeigneten Trainings-Datensatzes für solch einen Algorithmus zum Brillentracking auf Basis von Kamerabildern sind im Stand der Technik zwei Verfahren bekannt:

1) Manuelle Trainings-Datensatzerstellung: Möglichst viele und unterschiedliche Personen werden für diese Art der Datensatzerstellung benötigt. Die Personen setzen sich in den Erfassungsbereich der Kamera. Die Bilddaten werden aufgenommen, gemeinsam mit der Ground-Truth eines entsprechenden Messsystems. Nachteil dieses Verfahrens ist vor allem, dass es sehr aufwendig, teuer und zeitintensiv ist. Zudem kann der auf diese Weise erzeugte Trainings-Datensatz aufgrund individueller Größen- und Bewegungseinschränkungen realer Probanden nicht sämtliche Posen der Datenbrille widerspiegeln, die bei einem realen Einsatz vorkommen können.
2) Synthetische Trainings-Datensatzerstellung: Die Trainings-Daten werden in einer geeigneten Game-Engine geniert und durch eine virtuelle Kamera erzeugt. Nachteil dieses Verfahrens besteht darin, dass synthetische Daten sich immer von der Realität unterscheiden und deshalb nur bedingt für einen lernenden Algorithmus zum Einsatz in der Realität geeignet sind.

To create a suitable training data set for such an algorithm for glasses tracking based on camera images, two methods are known in the prior art:

1) Manual training data set creation: As many and different people as possible are needed for this type of data set creation. The people sit within the camera's detection range. The image data is recorded, together with the ground truth of a corresponding measurement system. The main disadvantage of this process is that it is very complex, expensive and time-consuming. In addition, due to the individual size and movement limitations of real test subjects, the training data set generated in this way cannot reflect all the poses of the data glasses that can occur in real use.
2) Synthetic training data set creation: The training data is generated in a suitable game engine and generated by a virtual camera. The disadvantage of this method is that synthetic data always differs from reality and is therefore only suitable to a limited extent for a learning algorithm to be used in reality.

Es ist Aufgabe der vorliegenden Erfindung, ein Verfahren zur Erzeugung eines Trainings-Datensatzes für einen lernenden Algorithmus zur Erkennung und Posenermittlung einer Datenbrille anzugeben, mit dem die geschilderten Probleme des Stands der Technik überwunden werden können. Die Datenbrille und der Algorithmus sollen dabei insbesondere für den Einsatz im Innenraum eines Fahrzeugs, im Allgemeinen aber auch in einem beliebigen Raum oder sogar unter freiem Himmel ausgelegt sein.It is the object of the present invention to provide a method for generating a training data set for a learning algorithm for recognizing and determining the pose of data glasses, with which the described problems of the prior art can be overcome. The data glasses and the algorithm should be designed in particular for use in the interior of a vehicle, but generally also in any room or even in the open air.

Diese Aufgabe wird durch ein Verfahren gemäß Anspruch 1, eine entsprechend eingerichtete Steuereinheit sowie ein entsprechendes Computerprogramm gemäß den nebengeordneten Ansprüchen gelöst. Weitere Ausgestaltungen sind in den abhängigen Ansprüchen angegeben. Alle in den Ansprüchen und der nachfolgen Beschreibung für das Verfahren genannten weiterführenden Merkmale und Wirkungen gelten auch in Bezug auf die Steuereinheit und das Computerprogramm, wie auch umgekehrt.This task is achieved by a method according to claim 1, a correspondingly equipped control unit and a corresponding computer program according to the independent claims. Further refinements are specified in the dependent claims. All additional features and effects mentioned in the claims and the following description for the method also apply with regard to the control unit and the computer program, and vice versa.

Gemäß einem ersten Aspekt ist ein Verfahren zur automatisierten Erzeugung eines Trainings-Datensatzes für einen lernenden Algorithmus zur Erkennung und Posen-Ermittlung einer Datenbrille (hierin nachfolgend auch kurz „Brille“ genannt), insbesondere im Innenraum eines Fahrzeugs, vorgesehen. Beim Fahrzeug kann es sich insbesondere um ein Kraftfahrzeug, aber auch um ein beliebiges anderes Land-, Luft- oder Wasserfahrzeug handeln.According to a first aspect, a method is provided for the automated generation of a training data set for a learning algorithm for recognizing and determining the pose of data glasses (hereinafter also referred to as “glasses” for short), in particular in the interior of a vehicle. The vehicle can in particular be a motor vehicle, but also any other land, air or water vehicle.

Der Einsatzbereich der Datenbrille ist vorliegend jedoch nicht auf einen Fahrzeuginnenraum beschränkt. Vielmehr kann die Datenbrille und das hierin vorgestellte Verfahren, das zu deren Erkennung und Posenermittlung dient, auch für den Einsatz in jeder anderen Umgebung - wie etwa in einem Gebäude oder sogar unter freiem Himmel - ausgelegt sein, sofern dort ein ortsfestes Kamerasystem mit einem fest damit verbundenen Koordinatensystem vorgesehen sind, bezüglich dessen die Datenbrillenpose zu ermitteln ist. Als Pose einer Datenbrille wird hierin deren Position in dem genannten kameragebundenen Koordinatensystem (beispielsweise in Form eines Ortsvektors) sowie räumliche Orientierung, d. h. Ausrichtung der Datenbrille an dieser Position (beispielsweise in Form einer oder mehrerer Winkelkoordinaten) verstanden.However, the area of application of the data glasses is not limited to a vehicle interior. Rather, the data glasses and the method presented here, which is used to detect and determine their pose, can also be used for one Set can be designed in any other environment - such as in a building or even in the open air - provided there is a stationary camera system with a coordinate system permanently connected to it, with respect to which the data glasses pose is to be determined. The pose of data glasses is understood here as their position in the camera-bound coordinate system mentioned (for example in the form of a location vector) as well as spatial orientation, ie alignment of the data glasses at this position (for example in the form of one or more angular coordinates).

Das Verfahren umfasst folgende Schritte:

- Bereitstellen eines datenbasierten Datenbrillenerkennungs- und Posenermittlungs-Modells, das dazu trainierbar ist, anhand eines Eingangsdatenarrays, welches aus Bildaufnahmen eines von der Datenbrille unabhängig angeordneten Kamerasystems erzeugt wird, die Datenbrille zu erkennen und deren Pose im kameragebundenen Koordinatensystem zu ermitteln und als ein Ausgangsdatenarray auszugeben. Das Eingangsdatenarray kann beispielsweise in Form einer zwei- oder dreidimensionalen Matrix sein, die von einer oder mehreren Kameras erfasste Helligkeitswerte eines diskreten Pixelarrays enthält, das einen vorbestimmten Erfassungsbereich des Kamerasystems darstellt. Das Ausgangsdatenarray kann beispielsweise in Form eines Vektors sein, der die Position und/oder die Orientierung der Datenbrille in diesem Erfassungsbereich angibt. Beispielsweise kann dieser Vektor je drei Raumkoordinaten für die Position und für die Orientierung, also insgesamt sechs Koordinaten für die Datenbrillenpose angeben.
- Bereitstellen eines vorbestimmten Bewegungs-Pfad, bei dem die Datenbrille eine Vielzahl von vorbestimmten verschiedenen Posen im genannten Koordinatensystem einnimmt, und automatisiertes Abfahren dieses Pfads mit der Datenbrille. Dieser Schritt kann insbesondere durch einen Roboter, beispielsweise einen zu dieser Aufgabe programmierbaren bzw. programmierten Industrieroboter, ausgeführt werden. Hierzu ist der Roboter ausgebildet und eingerichtet, die Datenbrille anstelle eines Benutzers zu tragen und den genannten Bewegungs-Pfad, bei dem die vom Roboter getragene Datenbrille die genannte Vielzahl von vorbestimmten verschiedenen Posen im genannten Koordinatensystem einnimmt, selbsttätig abzufahren.
- Beim Abfahren des genannten Pfads mit der Datenbrille wird die genannte Vielzahl der vorbestimmten Datenbrillenposen durch das Kamerasystem in automatisierter Weise aufgenommen. Aus diesen Bildaufnahmen wird für das Datenbrillenerkennungs- und Posenermittlungs-Modell (teilweise oder im Idealfall vollständig automatisch) ein Trainings-Datensatz erzeugt, der eine entsprechende Vielzahl von Eingangsdatenarrays oben angegebener Art mit zugehörigen Ausgangsdatenarrays, die aus dem Bewegungs-Pfad vorbekannt sind, umfasst.

The procedure includes the following steps:

- Providing a data-based data glasses recognition and pose determination model that can be trained to recognize the data glasses based on an input data array, which is generated from image recordings of a camera system arranged independently of the data glasses, and to determine their pose in the camera-bound coordinate system and output it as an output data array . The input data array can, for example, be in the form of a two- or three-dimensional matrix that contains brightness values of a discrete pixel array recorded by one or more cameras that represents a predetermined detection area of the camera system. The output data array can, for example, be in the form of a vector that indicates the position and/or orientation of the data glasses in this detection area. For example, this vector can specify three spatial coordinates for the position and for the orientation, i.e. a total of six coordinates for the data glasses pose.
- Providing a predetermined movement path in which the data glasses assume a large number of predetermined different poses in the coordinate system mentioned, and automatically following this path with the data glasses. This step can in particular be carried out by a robot, for example an industrial robot that can be programmed or programmed for this task. For this purpose, the robot is designed and set up to wear the data glasses instead of a user and to automatically travel along the mentioned movement path, in which the data glasses worn by the robot assume the mentioned number of predetermined different poses in the mentioned coordinate system.
- When traveling along the path mentioned with the data glasses, the said large number of predetermined data glasses poses are recorded in an automated manner by the camera system. From these image recordings, a training data set is generated (partially or ideally completely automatically) for the data glasses recognition and pose determination model, which includes a corresponding number of input data arrays of the type specified above with associated output data arrays that are previously known from the movement path.

Eine Idee des vorliegenden Verfahrens besteht darin, mittels einer automatisierten Datenbrillenposen-Erstellung, beispielsweise unter Verwendung eines Industrieroboters, Probleme des eingangs erwähnten Stands der Technik zu lösen. Insbesondere können mit diesem Verfahren folgende Herausforderungen zuverlässig bewältigt werden:

Eine erste Herausforderung, um durch das Training des Modells einen stabilen Algorithmus für die Posenermittlung bzw. -Schätzung der Brille zu erhalten, ist die Erstellung eines Trainings-Datensatzes, in welchem alle grundsätzlich möglichen Brillenposen abgedeckt und dabei auch ausgeglichen vertreten sind. So dürfen beispielsweise auch Extremposen wie ein Schulterblick, welcher unter realen Bedingungen seltener auftritt als andere Posen, nicht unterrepräsentiert sein.

One idea of the present method is to solve problems of the prior art mentioned at the beginning by means of automated data glasses pose creation, for example using an industrial robot. In particular, this process can reliably overcome the following challenges:

A first challenge in order to obtain a stable algorithm for determining or estimating the poses of the glasses by training the model is to create a training data set in which all fundamentally possible glasses poses are covered and represented in a balanced manner. For example, extreme poses such as a glance over the shoulder, which occurs less frequently than other poses under real conditions, must not be underrepresented.

Eine weitere Herausforderung besteht darin, dass der Algorithmus so robust wie möglich sein soll gegenüber:

a) Den Trägern und Trägerinnen der Brille: Er soll sich nicht zu stark auf Gesichtsmerkmale der tragenden Personen (wie beispielsweise bei realen Probanden im Stand der Technik) im Datensatz fokussieren. Dies würde sonst dazu führen, dass die Posenermittlung der Brille auf ähnlichen Gesichtsdaten gut funktioniert, in der Realität bei unbekannten Gesichtszügen jedoch schlechter performt. Dies wird bisher im Stand der Technik nur gelöst, indem Bilddaten möglichst vieler unterschiedlicher Personen erhoben werden. Das bedeutet allerdings einen entsprechen hohen zeitlichen und finanziellen Aufwand.
b) Dem Bildhintergrund (im Falle eines Fahrzeuginnenraums kann der vom Kamerasystem erfasste Hintergrund sowohl das Interior des Fahrzeugs als auch einen Teil seiner Außenwelt umfassen). Auch hier gilt es, mit dem Trainings-Datensatz eine möglichst große Varianz abzudecken, um den Bedingungen der realen Welt so nahe wie möglich zu kommen. Hierzu können mintunter auch unterschiedliche Lichtbedingungen und Szenerien zählen.

Another challenge is that the algorithm should be as robust as possible against:

a) The wearers of the glasses: He should not focus too much on facial features of the people wearing them (such as real test subjects in the prior art) in the data set. This would otherwise result in the pose determination of the glasses working well on similar facial data, but in reality performing worse on unknown facial features. To date, this has only been solved in the prior art by collecting image data from as many different people as possible. However, this means a correspondingly high expenditure of time and money.
b) The background of the image (in the case of a vehicle interior, the background captured by the camera system can include both the interior of the vehicle and part of its outside world). Here too, it is important to cover as much variance as possible with the training data set in order to get as close as possible to the conditions of the real world. This can also include different lighting conditions and scenery.

Eine weitere Herausforderung besteht darin, dass jedes neu zu integrierende Brillenmodell grundsätzlich einen linearen Anstieg des zu erbringenden Aufwandes beim Training des Algorithmus bedeutet.Another challenge is that each new glasses model that needs to be integrated essentially means a linear increase in the effort required to train the algorithm.

All diese Probleme und Herausforderungen können mit dem vorliegenden Verfahren zuverlässig überwunden werden, indem die Erzeugung des Trainings-Datensatzes weitgehend bis vollständig automatisiert, insbesondere unter Verwendung eines programmierbaren Roboters anstelle lebender Probanden, durchgeführt wird. Zudem können dadurch im Vergleich zur Trainingsdatensatz-Erzeugung an lebenden Probanden Kosten und Zeit erheblich eingespart werden.All of these problems and challenges can be reliably overcome with the present method by largely to completely automating the generation of the training data set, in particular using a programmable robot instead of living test subjects. In addition, costs and time can be saved significantly compared to generating training data sets on living subjects.

Einige konkrete Ausführungsbeispiele hierfür werden nachfolgend angegeben. Diese Beispiele sollen die Erfindung nur veranschaulichen, der beanspruchte Gegenstand ist nicht darauf beschränkt.Some concrete exemplary embodiments of this are given below. These examples are intended to illustrate the invention only and the claimed subject matter is not limited thereto.

Insbesondere kann das vorliegende Verfahren auch das Speichern des jeweils erzeugten Trainings-Datensatzes auf einem geeigneten Speichermedium sowie ein automatisiertes Trainieren des Datenbrillenerkennungs- und Posenermittlungs-Modells mit diesem Trainings-Datensatz umfassen. Die Schritte vom Aufnehmen der genannten Vielzahl der vorbestimmten Brillenposen bis zum Trainieren des Modells können mehrmals wiederholt werden, um die Aufnahmebedingungen beim automatisierten Abfahren des genannten Pfads mit der Datenbrille von Durchlauf zu Durchlauf zu variieren und dadurch eine möglichst umfassende Vielfalt an Trainingsdatensätzen zu erhalten. Das auf diese Weise trainierte Datenbrillenerkennungs- und Posenermittlungs-Modell kann für einen anschließenden Einsatz in der Realität zur Erkennung und Posen-Ermittlung einer Datenbrille, die von einem Benutzer insbesondere im Innenraum eines Fahrzeugs getragen wird, nahezu ideal vorbereitet sein.In particular, the present method can also include storing the training data set generated in each case on a suitable storage medium and automatically training the data glasses recognition and pose determination model with this training data set. The steps from recording the aforementioned multitude of predetermined glasses poses to training the model can be repeated several times in order to vary the recording conditions from run to run when automatically following the named path with the data glasses and thereby obtain the most comprehensive variety of training data sets possible. The data glasses recognition and pose determination model trained in this way can be almost ideally prepared for subsequent use in reality for the recognition and pose determination of data glasses that are worn by a user, particularly in the interior of a vehicle.

Gemäß einer Ausführungsform sind die verschiedenen Datenbrillenposen bei dem genannten Bewegungs-Pfad im Rahmen des technisch Realisierbaren gleichmäßig im Hinblick auf jeweilige Positionen und/oder im Hinblick auf zugehörige räumliche Orientierungen der Datenbrille in einem vorbestimmten Raumbereich des genannten Koordinatensystems verteilt. Sinnvollerweise kann der genannte Raumbereich so gewählt sein, dass er vollständig vom Kamerasystem erfasst wird, damit alle Bewegungen der Datenbrille beim Abfahren des Pfads zur Erzeugung des Trainings-Datensatzes beitragen können. Eine gleichmäßige Verteilung der Brillenposen im Trainings-Datensatz ermöglicht ein ausbalanciertes Training, damit der Algorithmus beim späteren Einsatz in der Realität auch vergleichsweise seltene Brillenposen zuverlässig erkennen und ermitteln kann.According to one embodiment, the various data glasses poses in the said movement path are, within the scope of what is technically feasible, evenly distributed with regard to respective positions and/or with regard to associated spatial orientations of the data glasses in a predetermined spatial region of the said coordinate system. It makes sense that the spatial area mentioned can be chosen so that it is completely captured by the camera system so that all movements of the data glasses when traveling along the path can contribute to the generation of the training data set. An even distribution of the glasses poses in the training data set enables balanced training so that the algorithm can reliably detect and determine even comparatively rare glasses poses when later used in reality.

Insbesondere können bei dieser Ausführungsform sowohl die Position als auch die Orientierung der Datenbrille jeweils drei räumliche Freiheitsgrade besitzen, beispielsweise drei unabhängige Raumkoordinaten für den Ortsvektor der Position und drei unabhängige Winkel für die Orientierung der Brille. In diesem Fall ergibt der genannte Pfad eine gleichmäßige Verteilung von 6-Degrees-of-Freedom-Posen der Datenbrille in dem genannten Raumbereich. Insbesondere sind darin Posen, die von Menschen relativ selten eingenommen werden würden, wie etwa ein Schulterblick oder ein Blick nach oben, genauso oft vertreten wie diejenigen Posen, die für Menschen typischer sind - wie beispielsweise auf einem Fahrzeugsitz gerade sitzend und nach vorne blickend.In particular, in this embodiment, both the position and the orientation of the data glasses can each have three spatial degrees of freedom, for example three independent spatial coordinates for the location vector of the position and three independent angles for the orientation of the glasses. In this case, the path mentioned results in a uniform distribution of 6 degrees of freedom poses of the data glasses in the spatial area mentioned. In particular, poses that would be taken relatively rarely by humans, such as looking over the shoulder or looking up, are represented just as often as those poses that are more typical for humans - such as sitting upright on a vehicle seat and looking forward.

Gemäß einer Ausführungsform wird - beispielsweise bei einem ersten Durchlauf des gesamten Pfads - das automatisierte Aufnehmen der genannten Vielzahl der Datenbrillenposen durch mindestens eine Farbbildkamera (beispielsweise eine RGB-Kamera) des Kamerasystems in einem möglichst einfarbigen Setup ausgeführt. Hierzu wird beispielsweise der zur genannten Brillenbewegung eingesetzte Roboter bis auf die Datenbrille vollständig in einer vorbestimmten Farbe (beispielsweise grün) eingekleidet bzw. damit abgedeckt und befindet sich beim Abfahren des gesamten Pfads aus der Sicht der genannten Farbbildkamera(s) vollständig vor einem möglichst gleichfarbigen Screen, der als Hintergrund dient. Im Fall einer grünen Farbe handelt es sich um einen sogenannten „Greenscreen-Setup“, der aus anderen technischen Gebieten wie Fernsehproduktion etc. zur Isolierung eines Menschen oder seines Gesichts vor einem austauschbaren Hintergrund bekannt ist. Alternativ kann vorliegend auch ein Bluescreen-Setup oder beispielsweise eine beliebige andere Farbe gewählt werden, die sich von den auf der Außenseite der Datenbrille verwendeten Farben bei der Erkennung durch die Farbbildkamera(s) deutlich unterscheidet.According to one embodiment - for example during a first pass through the entire path - the automated recording of the said plurality of data glasses poses is carried out by at least one color image camera (for example an RGB camera) of the camera system in a setup that is as monochromatic as possible. For this purpose, for example, the robot used for the aforementioned glasses movement is completely dressed or covered with a predetermined color (for example green), except for the data glasses, and is located completely in front of a screen of the same color as possible when traveling along the entire path from the perspective of the color image camera(s) mentioned , which serves as a background. In the case of a green color, it is a so-called “green screen setup”, which is known from other technical areas such as television production etc. for isolating a person or their face against an interchangeable background. Alternatively, a blue screen setup or, for example, any other color can be selected that differs significantly from the colors used on the outside of the data glasses when recognized by the color image camera(s).

Bei dieser Ausführungsform kann der aus diesen Bildaufnahmen erzeugte Trainings-Datensatz anschließend für ein gesichts- und hintergrundunabhängiges Training des Datenbrillenerkennungs- und Posenermittlungs-Modells verwendet werden. Hierzu kann aus den obigen Bildaufnahmen beispielswiese durch eine nachfolgende Bildbearbeitung, die als „Chroma Keying“ bekannt ist und eine Freistellung/Segmentierung der Datenbrille nach Art einer „Maske“ aus dem aufgenommenen Gesamtbild bewirkt, und gegebenenfalls durch geeignete weitere „Image Augmentation“ ein Trainings-Datensatz erstellt werden, welcher das Trainieren eines Algorithmus ermöglicht, der seine Schätzung der Brillenpose lediglich auf die Bilddaten der Brille selbst stützt, und sich von allen restlichen Informationen aus dem Bild nicht beirren lässt.In this embodiment, the training data set generated from these image recordings can then be used for face- and background-independent training of the data glasses recognition and pose determination model. For this purpose, the above image recordings can be used, for example, through subsequent image processing, which is known as “chroma keying” and which causes the data glasses to be isolated/segmented in the manner of a “mask” from the overall image recorded, and, if necessary, through suitable further “image augmentation”. -Data set can be created, which makes it possible to train an algorithm that bases its estimate of the glasses pose only on the image data of the glasses themselves and is not deterred by any remaining information from the image.

Gemäß einer Ausführungsform wird - beispielsweise bei einem auf den obigen ersten Durchlauf folgenden weiteren Durchlauf oder aber während eines und desselben Durchlaufs - das Aufnehmen der genannten Vielzahl der Datenbrillenposen für mehrere verschiedene, insbesondere zufällig ausgewählte, Hintergründe durchgeführt. Der Pfad kann dabei mit der Datenbrille beispielsweise nur einmal abgefahren werden, und die Bildaufnahmen der einzelnen Posen können dabei vor variierenden Hintergründen gemacht werden, wobei jede Pose vor mehreren verschiedenen Hintergründen und/oder verschiedene Posen vor verschiedenen Hintergründen aufgenommen werden können. Die verschiedenen Hintergründe können dabei ähnlich einem Screen statisch sein oder aber sich ähnlich einer realen Situation im fahrenden Fahrzeug mit mehreren Insassen dynamisch verändern. Dabei kann der Hintergrund insbesondere auch softwareseitig ausgetauscht werden, indem die gemäß der obigen Ausführungsform durch das „Chroma Keying“ erziehlte Segmentierung der Datenbrille in Form einer binären Maske (vgl. 3c) für Bildaufnahmen vor austauschbaren Hintergründen verwendet wird. Die Bildaufnahmen können hier insbesondere durch mindestens eine Infrarot-Kamera ausgeführt werden, denn solche Kameras sind zum einen gleichermaßen bei Dunkelheit wie bei Tageslicht einsetzbar und zum anderen typischerweise ohnehin an Bord eines Fahrzeugs vorhanden. Die softwaretechnisch eingeblendeten Hintergründe können insbesondere im Vorfeld unabhängig vom Roboter erzeugt worden sein, um möglichst viele reale Hintergrund-Möglichkeiten abzudecken. Die Trainings-Datensätze, die bei dieser Ausführungsform erzeugt werden, können anschließend für ein Training des Datenbrillenerkennungs- und Posenermittlungs-Modells auf Erkennung und Posenermittlung der Datenbrille vor den verschiedenen Hintergründen verwendet werden. Der auf diesen Bildern trainierte Algorithmus lernt dadurch, die Brille vor beliebigen Hintergründen zu detektieren, und ihre Pose im Raum zu ermitteln oder zu schätzen, ohne auf zusätzliche Informationen aus der Umgebung angewiesen zu sein.According to one embodiment, for example during a further run following the above first run or during one and the same run - the recording of the aforementioned variety of data glasses poses is carried out for several different, in particular randomly selected, backgrounds. The path can, for example, only be traveled once with the data glasses, and the images of the individual poses can be taken against varying backgrounds, with each pose being able to be recorded against several different backgrounds and/or different poses against different backgrounds. The different backgrounds can be static, similar to a screen, or can change dynamically, similar to a real situation in a moving vehicle with several occupants. In particular, the background can also be exchanged on the software side by segmenting the data glasses in the form of a binary mask (cf. 3c ) is used for taking pictures against interchangeable backgrounds. The image recordings can be carried out here in particular by at least one infrared camera, because such cameras can be used in the dark as well as in daylight and are typically present on board a vehicle anyway. The backgrounds displayed using software can, in particular, have been generated in advance independently of the robot in order to cover as many real background possibilities as possible. The training data sets that are generated in this embodiment can then be used to train the data glasses recognition and pose determination model for recognition and pose determination of the data glasses against the various backgrounds. The algorithm trained on these images learns to detect the glasses against any background and to determine or estimate their pose in space without having to rely on additional information from the environment.

Insbesondere kann durch eine Kombination der obigen zwei Ausführungsformen eine sukzessive Wiederholung der genannten Abfolge der Aufnahme-, Erzeugungs- und Trainingsschritte zunächst mit einem einfarbigen Hintergrund und entsprechender Roboterabdeckung und anschließend mit einer Vielzahl verschiedener Hintergründe (insbesondere durch Infrarotaufnahmen) durchgeführt werden. Der auf diesen Bildern trainierte Algorithmus lernt dadurch, die Brille vor beliebigen Hintergründen zu detektieren und ihre Pose im Raum zu ermitteln oder zu schätzen, ohne auf zusätzliche Informationen aus der Umgebung oder Gesichter angewiesen zu sein. Somit ist der Algorithmus auch robust gegenüber einer Spezialisierung auf im Trainings-Datensatz enthaltene bzw. nicht enthaltene Gesichter oder gegenüber einem sich verändernden Auto-Interior.In particular, by combining the above two embodiments, a successive repetition of the above-mentioned sequence of recording, generation and training steps can be carried out, first with a single-color background and corresponding robot cover and then with a variety of different backgrounds (in particular through infrared recordings). The algorithm trained on these images learns to detect the glasses against any background and to determine or estimate their pose in space without having to rely on additional information from the environment or faces. The algorithm is therefore also robust against specialization on faces that are or are not included in the training data set or against a changing car interior.

Zum Integrieren neuer oder weiterer Brillenmodelle in den Algorithmus kann die gesamte Schrittabfolge vom Aufnehmen der genannten Vielzahl der Datenbrillenposen bis zum Training mit dem daraus erzeugten Trainings-Datensatz für das jeweils weitere Datenbrillenmodell wiederholt werden. Beispielsweise kann der ausführende Roboter den gesamten Pfad unter ähnlichen oder identischen Bedingungen mehrmals mit einer jeweils anderen Datenbrille gemäß einem zugehörigen Datenbrillenmodell abfahren.To integrate new or additional glasses models into the algorithm, the entire sequence of steps from recording the above-mentioned number of data glasses poses to training with the resulting training data set can be repeated for the respective additional data glasses model. For example, the executing robot can travel the entire path several times under similar or identical conditions using different data glasses according to an associated data glasses model.

Das wie hierin beschrieben trainierte datenbasierte Datenbrillenerkennungs- und Posenermittlungs-Modell (kurz auch als lernender Algorithmus bezeichnet) kann anschließend in der Realität zur Erkennung und Ermittlung der Pose einer Datenbrille, die von einem Benutzer insbesondere im Innenraum eines Fahrzeugs getragen wird, basierend auf Bildaufnahmen eines von der Datenbrille unabhängig angeordneten Kamerasystems verwendet werden.The data-based data glasses recognition and pose determination model trained as described herein (also referred to as a learning algorithm for short) can then be used in reality to recognize and determine the pose of a data glasses, which is worn by a user, in particular in the interior of a vehicle, based on image recordings of a A camera system arranged independently of the data glasses can be used.

Das Kamerasystem kann bei den Aufnahmen zur Erzeugung der Trainings-Datensätze und/oder beim späteren Einsatz des trainierten Modells in der Realität insbesondere mindestens eine Infrarotkamera umfassen. Infrarot-Kameras sind zum einen gleichermaßen bei Dunkelheit wie bei Tageslicht oder guter Beleuchtung einsetzbar. Zudem sind geeignete Infrarot-Kameras typischerweise ohnehin an Bord eines Fahrzeugs vorhanden.The camera system can in particular include at least one infrared camera during the recordings to generate the training data sets and/or during the later use of the trained model in reality. On the one hand, infrared cameras can be used in the dark as well as in daylight or in good lighting. In addition, suitable infrared cameras are typically present on board a vehicle anyway.

Des Weiteren kann das genannte Kamerasystem zwei oder mehr Kameras umfassen, die zueinander versetzt an jeweils verschiedenen ortsfesten Positionen im genannten Koordinatensystem angeordnet sind. Diese Anordnung kann insbesondere so ausgelegt sein, dass in den Bildaufnahmen der Gesamtheit dieser Kameras und den daraus erzeugten Eingangsdatenarrays sämtliche paarweise verschiedenen 6-Degrees-of-Freedom-Posen der Datenbrille in dem oben genannten Raumbereich voneinander unterschiedlich dargestellt sind und daher alle präzise ermittelbar sind.Furthermore, the camera system mentioned can comprise two or more cameras, which are arranged offset from one another at different fixed positions in the coordinate system mentioned. This arrangement can in particular be designed in such a way that in the image recordings of the entirety of these cameras and the input data arrays generated from them, all pairwise different 6 degrees of freedom poses of the data glasses in the above-mentioned spatial area are shown differently from one another and can therefore all be determined precisely .

Gemäß einem weiteren Aspekt ist eine Steuereinheit vorgesehen, die einen Prozessor umfasst, der dazu eingerichtet ist, einige oder sämtliche Schritte des hierin dargelegten Verfahrens automatisch auszuführen.According to a further aspect, a control unit is provided that includes a processor configured to automatically execute some or all of the steps of the method set forth herein.

Gemäß einem weiteren Aspekt ist eine Vorrichtung vorgesehen, die zur automatisierten Erzeugung eines Trainings-Datensatzes für einen lernenden Algorithmus zur Erkennung und Posenermittlung einer Datenbrille, insbesondere im Innenraum eines Fahrzeugs, ausgebildet und eingerichtet ist. Hierzu umfasst die Vorrichtung einen hierin genannten Roboter, der also ausgebildet und eingerichtet ist zum Tragen der Datenbrille und zum automatisierten Abfahren des hierin beschriebenen vorbestimmten Bewegungs-Pfads, bei dem die vom Roboter getragene Datenbrille die hierin genannte Vielzahl von vorbestimmten verschiedenen Posen in dem hierin genannten Koordinatensystem einnimmt. Ferner umfasst die Vorrichtung auch eine Steuereinheit der hierin dargelegten Art, d. h. die einen Prozessor umfasst, der dazu eingerichtet ist, einige oder sämtliche Schritte des hierin dargelegten Verfahrens automatisch auszuführen. Insbesondere kann die Vorrichtung auch eine oder mehrere Kameras des hierin beschriebenen Kamerasystems umfassen, wobei, wie bereits erwähnt, insbesondere beim Schritt des Erkennens und Ermittelns der Datenbrillenpose durch den wie hierin beschrieben trainierten Algorithmus auch Infrarotkameras genutzt werden können, die ohnehin im Fahrzeug verbaut sind.According to a further aspect, a device is provided which is designed and set up for the automated generation of a training data set for a learning algorithm for recognizing and determining the pose of data glasses, in particular in the interior of a vehicle. For this purpose, the device includes a robot mentioned here, which is therefore designed and set up for wearing the data glasses and for automatically traveling along the predetermined movement path described herein, in which the data glasses worn by the robot assume the plurality of predetermined different poses mentioned herein in the coordinate system mentioned herein. Furthermore, the device also includes a control unit of the type set forth herein, ie, comprising a processor configured to automatically execute some or all of the steps of the method set forth herein. In particular, the device can also include one or more cameras of the camera system described here, whereby, as already mentioned, infrared cameras that are already installed in the vehicle can also be used, particularly in the step of recognizing and determining the data glasses pose by the algorithm trained as described herein.

Gemäß einem weiteren Aspekt ist ein Computerprogramm vorgesehen, das Befehle umfasst, die bei der Ausführung des Computerprogramms in einer Steuereinheit oder einem Computer diese/diesen veranlassen, einige oder sämtliche Schritte des hierin dargelegten Verfahrens auszuführen. Des Weiteren ist als ein weiterer Aspekt ein maschinenlesbares Speichermedium vorgesehen, auf welchem dieses Computerprogramm gespeichert ist.According to a further aspect, a computer program is provided which includes instructions which, when the computer program is executed in a control unit or a computer, cause it to carry out some or all of the steps of the method set out herein. Furthermore, as a further aspect, a machine-readable storage medium is provided on which this computer program is stored.

Die obigen Aspekte der Erfindung und deren Ausführungsformen und spezifische Ausgestaltungen werden nachfolgend anhand der in den beigefügten Zeichnungen dargestellten Beispiele näher erläutert. Die Zeichnungen sind aus Gründen anschaulicher Darstellung rein schematisch gehalten. Sie sind daher nicht als maßstabsgetreu zu verstehen. Es zeigen:

1 eine schematische perspektivische Darstellung einer Datenbrille, die beim erfindungsgemäßen Verfahren zum Einsatz kommen kann;
2 einen Roboter, der für ein Verfahren gemäß einem Ausführungsbeispiel der Erfindung eingesetzt wird; und
3 ein schematisches Blockdiagramm eines beispielhaften Ablaufs eines Verfahrens der hierin dargelegten Art zur automatisierten Erzeugung eines Trainings-Datensatzes für einen lernenden Algorithmus zur Erkennung und Posenermittlung einer Datenbrille.

The above aspects of the invention and their embodiments and specific configurations are explained in more detail below using the examples shown in the accompanying drawings. The drawings are purely schematic for reasons of clarity. They are therefore not to be understood as true to scale. Show it:

1 a schematic perspective view of data glasses that can be used in the method according to the invention;
2 a robot used for a method according to an embodiment of the invention; and
3 a schematic block diagram of an exemplary sequence of a method of the type set out herein for the automated generation of a training data set for a learning algorithm for recognizing and determining the pose of data glasses.

1 zeigt schematisch eine Datenbrille 1, die bei einem Verfahren gemäß der vorliegenden Erfindung zum Einsatz kommen kann. Es handelt sich in diesem Beispiel um ein Head-Mounted-Display (HMD) in Form einer Brille oder Sehhilfe mit einer Anzeigeeinrichtung 2, die zwei Anzeigeelemente 2a und 2b jeweils für ein Auge eines Benutzers (nicht gezeigt) aufweist. Bei den Anzeigeelementen 2a und 2b kann es sich beispielsweise um durchsichtige Scheiben oder Gläser mit integrierten Waveguides zum Darstellen von Informationsobjekten im Blickfeld des Benutzers handeln, wobei auch jede andere für Datenbrillen geeignete Technologie vorliegend zum Einsatz kommen kann. 1 schematically shows data glasses 1, which can be used in a method according to the present invention. This example is a head-mounted display (HMD) in the form of glasses or visual aids with a display device 2, which has two display elements 2a and 2b, each for one eye of a user (not shown). The display elements 2a and 2b can, for example, be transparent panes or glasses with integrated waveguides for displaying information objects in the user's field of vision, although any other technology suitable for data glasses can also be used here.

Die Datenbrille 1 ist in diesem Beispiel dazu ausgebildet, wie eine herkömmliche Sehhilfe auf der Nase des Benutzers getragen zu werden, indem sie mit einem zwischen den beiden Anzeigeelementen 2a und 2b angeordneten Verbindungsstück 3 auf der Nase des Benutzers aufliegt und mit zwei seitlichen Bügeln 4a und 4b an den Ohren des Benutzers fixiert wird. Die Datenbrille 1 weist in diesem Beispiel eine brilleneigene Steuereinheit 5 auf, die unter anderem zum Ansteuern der Anzeigeeinrichtung 2 ausgebildet sein kann. Rein beispielhaft ist die brilleneigene Steuereinheit 5 in 1 in dem Verbindungsstück 3 angeordnet, wobei diese und gegebenenfalls weitere Bauelemente, wie beispielsweise Energiespeicher etc., alternativ oder zusätzlich auch in den Bügeln 4a und 4b integriert sein können.In this example, the data glasses 1 are designed to be worn on the user's nose like a conventional visual aid by resting on the user's nose with a connecting piece 3 arranged between the two display elements 2a and 2b and with two side brackets 4a and 4b is fixed to the user's ears. In this example, the data glasses 1 have their own control unit 5, which can be designed, among other things, to control the display device 2. The glasses' own control unit 5 in. is purely an example 1 arranged in the connecting piece 3, whereby these and possibly other components, such as energy storage devices etc., can alternatively or additionally also be integrated in the brackets 4a and 4b.

Die Datenbrille 1 (das heißt deren Anzeigeeinrichtung 2 und Steuereinheit 5) ist zum kontaktanalogen Darstellen von Inhaltsobjekten ausgebildet und eignet sich daher für Augmented-Reality-Anwendungen, wie z. B. visuelle Parkhilfe und vieles mehr, in einem Fahrzeug. Hierfür ist es nötig, die genaue Orientierung und Position (hierin als Pose bezeichnet) der Datenbrille 1 in einem geeigneten brillenunabhängigen Koordinatensystem K (beispielsweise dem üblichen fahrzeugfesten Koordinatensystem) zu kennen.The data glasses 1 (that is, their display device 2 and control unit 5) are designed to display content objects in a contact-analog manner and are therefore suitable for augmented reality applications, such as. B. visual parking aid and much more, in a vehicle. For this it is necessary to know the exact orientation and position (herein referred to as pose) of the data glasses 1 in a suitable coordinate system K that is independent of the glasses (for example the usual vehicle-fixed coordinate system).

Zu diesem Zweck ist in der brilleneigenen Steuereinheit 5 und/oder in einer brillenexternen Steuereinheit 6 (beispielsweise einer fahrzeugfesten Steuereinheit), mit der die brilleneigene Steuereinheit 5 beispielsweise drahtlos kommunizieren kann, ein datenbasiertes Datenbrillenerkennungs- und Posenermittlungs-Modell implementiert, das hierin auch als lernender Algorithmus bezeichnet wird. Das datenbasierte Datenbrillenerkennungs- und Posenermittlungs-Modell ist trainierbar, um anhand eines Eingangsdatenarrays, das aus Bildaufnahmen eines von der Datenbrille 1 unabhängig angeordneten Kamerasystems 7 erzeugt wird, die Datenbrille 1 zu erkennen und deren Pose in dem mit dem Kamerasystem 7 fest verbundenen (d. h. kameragebundenen) Koordinatensystem K zu ermitteln und als ein Ausgangsdatenarray auszugeben.For this purpose, a data-based data glasses recognition and pose determination model is implemented in the glasses' own control unit 5 and/or in a glasses-external control unit 6 (for example a vehicle-mounted control unit), with which the glasses' own control unit 5 can communicate wirelessly, for example, which is also referred to herein as a learning model Algorithm is called. The data-based data glasses recognition and pose determination model can be trained to recognize the data glasses 1 based on an input data array, which is generated from image recordings of a camera system 7 arranged independently of the data glasses 1, and to determine their pose in the data glasses 1 that are firmly connected to the camera system 7 (i.e. camera-bound ) Coordinate system K to be determined and output as an output data array.

Wie weiter oben ausführlich beschrieben, können mit dem hierin dargelegten Verfahren etliche Herausforderungen, die an einen Trainings-Datensatz für diesen lernenden Algorithmus zu stellen sind, mittels einer automatisierten Posen-Erstellung unter Verwendung eines programmierbaren Industrieroboters 8 gelöst werden, der in 2 rein beispielhaft dargestellt ist. Der Roboter 8 ist dazu ausgebildet und eingerichtet, die Datenbrille 1 nach Art eines Benutzers zu tragen und einen vorbestimmten Bewegungs-Pfad (nicht dargestellt), bei dem die vom Roboter 8 getragene Datenbrille 1 eine Vielzahl von vorbestimmten verschiedenen Posen im genannten Koordinatensystem K einnimmt, selbsttätig abzufahren.As described in detail above, the method set forth herein can address many of the challenges presented to a training data set for this learning algorithm by means of automated pose creation using a programmable indust rierobots 8 can be solved, which is in 2 is shown purely as an example. The robot 8 is designed and set up to wear the data glasses 1 in the manner of a user and a predetermined movement path (not shown), in which the data glasses 1 worn by the robot 8 assumes a variety of predetermined different poses in the coordinate system K mentioned, to depart automatically.

3 zeigt in einem schematischen Blockdiagramm einen beispielhaften Ablauf eines Verfahrens der hierin dargelegten Art zur automatisierten Erzeugung eines Trainings-Datensatzes für einen lernenden Algorithmus zur Erkennung und Posenermittlung einer Datenbrille, bei der es sich beispielsweise um die in 1 gezeigte Datenbrille 1 handeln kann. Dabei zeigt 3a einen Ausschnitt eines einfarbigen Setups gemäß der weiter oben beschriebenen Ausführungsform, in diesem Beispiel eines Greenscreen-Setups, bei dem der Roboter 8 vor dem Anlegen der Datenbrille 1 vollständig in einen einfarbigen (in diesem Beispiel grünen) Vollkörperüberzug 9 eingekleidet und zum Abfahren des genannten Pfads vor einem gleichfarbigen (in diesem Beispiel also grünen) Screen 10 im Erfassungsbereich von rein beispielhaft zwei Farbbildkameras 7a und 7b des Kamerasystems 7 positioniert wurde. Mit Hilfe dieses Green-Screen-Setups, sowie in diesem Beispiel nachfolgender Bildbearbeitung und weiterer „Image Augmentation“, wird so ein Datensatz erstellt, welcher das Trainieren eines Algorithmus ermöglicht, der seine Schätzung der Brillen-Pose lediglich auf die Bilddaten der Datenbrille 1 selbst stützt, und sich von den restlichen Informationen aus dem Bild nicht beirren lässt. 3 shows in a schematic block diagram an exemplary sequence of a method of the type set out here for the automated generation of a training data set for a learning algorithm for recognizing and determining the pose of data glasses, which are, for example, the ones in 1 Data glasses 1 shown can act. This shows 3a a section of a single-color setup according to the embodiment described above, in this example of a green screen setup, in which the robot 8 is completely dressed in a single-color (green in this example) full-body cover 9 before putting on the data glasses 1 and is used to travel along the path mentioned was positioned in front of a screen 10 of the same color (green in this example) in the detection range of two color image cameras 7a and 7b of the camera system 7, purely as an example. With the help of this green screen setup, as well as, in this example, subsequent image processing and further “image augmentation”, a data set is created which enables the training of an algorithm that bases its estimate of the glasses pose solely on the image data of the data glasses 1 itself supported, and don't let yourself be misled by the rest of the information in the picture.

Um dies zu erreichen, wird im vorliegenden Beispiel also ein Industrieroboter 8 verwendet, der automatisiert einprogrammierte Pfade abfahren und dabei sämtliche Orientierungen der Datenbrille 1 an allen Positionen (sogenannte „6-Degrees-of-Freedom-Brillenpose“) abdecken kann. Die Brille 1 wird auf dem Roboter 8 platziert, welcher zuvor grün eingekleidet und vor dem Green-Screen 10 der 3a stationiert wird. In den mittels dieses Setups durch die Farbbildkameras 7a und 7b bei einem Schritt S11 aufgenommenen RGB-Bilddaten wird nach einem optionalen Bildbearbeitungsschritt der 3b (beispielsweise umfassend eine Schattenverringerung und ein Pre-Selecting des relevanten Bildausschnitts etc.) in einem nächsten Schritt S21 durch „Chroma Keying“, wie in 3c gezeigt, eine binäre Maske erstellt, mit welcher die Brille 1 aus dem Bild ausgeschnitten und ein entsprechendes Eingangsdatenarray für den Trainings-Datensatz erzeugt wird. Auf diesem Datensatz wird der lernende Algorithmus anschließend bei einem Schritt S31 trainiert, sodass er anschließend selbst in der Lage ist, die Brille 1 in Bildern zu erkennen und zu extrahieren. Insbesondere ist das Modell dadurch auf eine Segmentierung der Brille trainiert.In order to achieve this, an industrial robot 8 is used in the present example, which can automatically follow programmed paths and cover all orientations of the data glasses 1 in all positions (so-called “6 degrees of freedom glasses pose”). The glasses 1 are placed on the robot 8, which was previously dressed in green and in front of the green screen 10 3a is stationed. In the RGB image data recorded using this setup by the color image cameras 7a and 7b in a step S11, after an optional image processing step 3b (for example comprising a shadow reduction and a pre-selecting of the relevant image section, etc.) in a next step S21 by “chroma keying”, as in 3c shown, a binary mask is created with which the glasses 1 are cut out of the image and a corresponding input data array is generated for the training data set. The learning algorithm is then trained on this data set in a step S31, so that it is then able to recognize and extract the glasses 1 in images. In particular, the model is trained to segment the glasses.

Wie in 3d gezeigt, werden in diesem Beispiel im Anschluss oder auch parallel mit Hilfe des Roboters 8 und rein beispielhaft einer (oder mehrerer) Infrarot-Kamera(s) 7c des Kamerasystems 7 in einem optionalen Schritt S12 erneut Bildaufnahmen (diesmal mit zufälligen Bildhintergründen) gemacht. Aus diesen Bildaufnahmen, die in 3d rein beispielhaft als Graustufen- oder Schwarz-Weiß-Aufnahmen der Infrarot-Kamera(s) 7c angedeutet sind, wird nun in einem weiteren Schritt S22 (beispielsweise mit Hilfe des zuvor trainierten Algorithmus) die Brille 1 extrahiert und dadurch ein weiterer Trainings-Datensatz generiert. Wie weiter oben für die entsprechende Ausführungsform beschrieben, können hierbei möglichst viele verschiedene Hintergründe beispielsweise unabhängig vom Roboter erzeugt worden sein (wie rein beispielhaft in 3e für einen Fahrzeug-Innenraum gezeigt) und während der Infrarot-Bildaufnahmen softwareseitig beliebig zur Laufzeit ausgetauscht werden, indem die Segmentierung der Datenbrille gemäß 3c genutzt wird. Dieser Trainings-Datensatz wird nun in einem Schritt S32 zum Aufbau-Training des zuvor (siehe Schritt S31) vor-trainierten Algorithmus verwendet. Der auf diesen Bildern trainierte Algorithmus zur Brillen-Posen-Ermittlung lernt dadurch, die Brille 1 vor beliebigen Hintergründen zu detektieren/erkennen, und ihre Pose im Raum zu ermitteln bzw. zu schätzen, ohne auf zusätzliche Informationen aus der Umgebung oder Gesichter angewiesen zu sein. Somit ist der Algorithmus auch robust gegenüber einer Spezialisierung auf sich im Trainingsdatensatz enthaltene Gesichter oder einem sich verändernden Auto-Interior. Zusätzlich muss lediglich die Brille 1 ausgetauscht und der Vorgang erneut gestartet werden, um neue Brillenmodelle in das gut balancierte Daten-Set zu integrieren.As in 3d shown, in this example images are taken again in an optional step S12 (this time with random image backgrounds) subsequently or in parallel with the help of the robot 8 and purely by way of example one (or more) infrared camera(s) 7c of the camera system 7. From these images taken in 3d purely by way of example as grayscale or black-and-white images of the infrared camera(s) 7c, the glasses 1 are now extracted in a further step S22 (for example with the help of the previously trained algorithm), thereby generating a further training data set . As described above for the corresponding embodiment, as many different backgrounds as possible can have been generated independently of the robot, for example (as purely by way of example in 3e shown for a vehicle interior) and can be exchanged at runtime by the software during the infrared image recordings by segmenting the data glasses according to 3c is being used. This training data set is now used in a step S32 to build up the training of the previously pre-trained algorithm (see step S31). The algorithm for glasses pose determination trained on these images thereby learns to detect/recognize the glasses 1 against any background and to determine or estimate their pose in space without having to rely on additional information from the environment or faces . This means that the algorithm is also robust against specialization on faces contained in the training data set or a changing car interior. In addition, only the glasses 1 have to be replaced and the process started again in order to integrate new glasses models into the well-balanced data set.

Insbesondere kann die brillenexterne Steuereinheit 6 der 1 zur automatisierten Durchführung dieses Verfahrens ausgebildet und eingerichtet sein. Hierzu kann die Steuereinheit 6, wie in 1 angedeutet, drahtlos und/oder drahtgebunden mit dem Kamerasystem 7 kommunizieren.In particular, the control unit 6 external to the glasses can 1 be trained and set up to carry out this process automatically. For this purpose, the control unit 6, as in 1 indicated, communicate wirelessly and/or wired with the camera system 7.

Auf weiterführende Details, Weiterbildungen und Wirkungen dieses Verfahrens wird zur Vermeidung einer Wiederholung auf die ausführliche Beschreibung hierin weiter oben sowie in den Ansprüchen verwiesen.To avoid repetition, reference is made to the detailed description above and in the claims for further details, further developments and effects of this method.

BezugszeichenlisteReference symbol list

11: DatenbrilleSmart glasses
22: AnzeigeeinrichtungDisplay device
2a, 2b2a, 2b: jeweils für ein Auge des Benutzers vorgesehene AnzeigeelementeDisplay elements each intended for one eye of the user
33: Verbindungsstückconnector
4a, 4b4a, 4b: seitliche Bügelside straps
55: brilleneigene Steuereinheitglasses' own control unit
66: brillenexterne SteuereinheitControl unit external to the glasses
77: brillenunabhängiges Kamerasystemglasses-independent camera system
7a, 7b7a, 7b: Farbbildkamerascolor cameras
7c7c: Infrarot-KameraInfrared camera
88th: Roboterrobot
99: einfarbiger Vollkörperüberzug, insbesondere grünsolid color full body cover, especially green
1010: gleichfarbiger Screen, insbesondere Green-ScreenScreen of the same color, especially green screen
1414: Bildhintergrund/Hintergrund im FahrzeuginnenraumImage background/background in the vehicle interior
KK: kameragebundenes Koordinatensystemcamera-bound coordinate system

Claims

Method for the automated generation of a training data set for a learning algorithm for recognizing and determining the pose of data glasses (1), in particular in the interior of a vehicle, comprising the steps: - Providing a data-based data glasses recognition and pose determination model that can be trained to recognize the data glasses (1) and their pose based on an input data array that is generated from image recordings of a camera system (7) arranged independently of the data glasses (1). to determine a camera-bound coordinate system (K) and output it as an output data array; - automated movement of the data glasses (1) according to a predetermined movement path, in which it assumes a plurality of predetermined different poses in the said coordinate system (K); - automated recording (S11, S12) of said plurality of data glasses poses by the camera system (7) when traveling along said path with the data glasses (1); and - automated generation (S21, S22) from this of a training data set for the data glasses recognition and pose determination model, which comprises a corresponding number of input data arrays with associated output data arrays predetermined according to the path.

Procedure according to Claim 1 , further comprising the steps: - saving the generated training data set; and/or - automated training (S31, S32) of the data glasses recognition and pose determination model with this training data set; and/or - using the data glasses recognition and pose determination model trained in this way to recognize and determine the pose of data glasses (1), in particular in the interior of a vehicle.

Procedure according to Claim 1 or 2 , wherein - the different data glasses poses in the said path are essentially evenly distributed with regard to respective positions and/or with regard to associated spatial orientations of the data glasses (1) in a predetermined spatial region of the said coordinate system (K); and - the said spatial area can preferably be completely captured by the camera system (7).

Procedure according to Claim 3 , whereby - both the position and the orientation of the data glasses (1) in the poses mentioned each have three spatial degrees of freedom, so that the path mentioned has a substantially uniform distribution of predetermined 6 degrees of freedom poses of the data glasses (1) in the mentioned spatial area.

Method according to one of the preceding claims, wherein - the automated recording (S11) of the said plurality of data glasses poses is carried out by at least one color image camera (7a, 7b) of the camera system (7) in a substantially monochrome setup by a robot (8) moving the data glasses (1) according to the path mentioned ) is completely covered in a predetermined color except for the data glasses (1) and is completely in front of a screen (10) of essentially the same color when traveling along the entire path from the perspective of the at least one color image camera (7a, 7b); and - the resulting (S21) training data set is used for face- and background-independent training (S31) of the data glasses recognition and pose determination model.

Method according to one of the preceding claims, wherein - the recording (S12) of said plurality of data glasses poses is carried out in front of several different, in particular randomly selected, static or dynamically changing backgrounds (14); and - the (S22) training data set generated therefrom for training (S32) of the data glasses recognition and pose determination model for recognition and pose Determination of the data glasses (1) is used against different backgrounds.

Method according to one of the preceding claims, wherein - the entire sequence of steps from recording (S11, S12) of the above-mentioned number of data glasses poses to training (S31, S32) with the resulting training data set is repeated for several different data glasses models by repeating the entire path several times with a different data glasses (1 ) is driven according to an associated data glasses model.

Procedure according to one of the Claims 5 until 7 , further comprising: - using the data-based data glasses recognition and pose determination model trained in this way to recognize and determine the pose of a data glasses (1) based on image recordings of a camera system (7) arranged independently of the data glasses (1), in particular in the interior of a vehicle .

Method according to one of the preceding claims, in particular in connection with Claim 3 or 4 , wherein the camera system (7) - comprises at least one infrared camera (7c); and/or - two or more cameras (7a, 7b, 7c), which are arranged offset from one another at different fixed positions in the said coordinate system (K), preferably in such a way that in the image recordings of the entirety of these cameras and the input data arrays generated therefrom all pairwise different 6 degrees of freedom poses of the data glasses (1) are shown differently from each other in the mentioned spatial area.

Control unit (6), comprising a processor which is set up to carry out some or all of the steps of the method according to one of Claims 1 until 8th to carry out.

Device for the automated generation of a training data set for a learning algorithm for recognizing and determining the pose of data glasses (1), in particular in the interior of a vehicle, comprising: - a robot (8) which is designed and set up to wear the data glasses (1) and for automatically following a predetermined movement path, in which the data glasses (1) worn by the robot (8) assume a variety of predetermined different poses in a coordinate system (K) that is independent of this robot movement; and - a control unit (6). Claim 10 .

Computer program, comprising commands which, when the computer program is executed in a control unit (6) or a computer, cause it to carry out some or all of the steps of the method according to one of the Claims 1 until 8th to carry out.

Machine-readable storage medium on which a computer program can be written Claim 12 is stored.