DE102019217752B4

DE102019217752B4 - Method, computer program with instructions and device for gathering information about a person

Info

Publication number: DE102019217752B4
Application number: DE102019217752.2A
Authority: DE
Inventors: Johannes Tümler; Ulrich Rautenberg
Original assignee: Volkswagen AG
Current assignee: Volkswagen AG
Priority date: 2019-11-18
Filing date: 2019-11-18
Publication date: 2022-09-29
Anticipated expiration: 2039-11-19
Also published as: DE102019217752A1

Abstract

Verfahren zum Erfassen von Informationen zu einer Person (1), mit den Schritten:- Erfassen (10) einer Abstrahlung (3) eines Augmented-Reality-Gerätes (2), das von der Person (1) verwendet wird, wobei die Abstrahlung (3) ein für eine räumliche Orientierung des Augmented-Reality-Gerätes (2) in die Umwelt projiziertes Muster oder Scanlinien umfasst;- Auswerten (11) der erfassten Abstrahlung des Augmented-Reality-Gerätes (2); und- Bestimmen (12) einer Position des Augmented-Reality-Gerätes (2) relativ zu einer Erfassungsvorrichtung (4).Method for acquiring information about a person (1), with the steps:- acquiring (10) a radiation (3) of an augmented reality device (2) that is used by the person (1), the radiation ( 3) includes a pattern or scan lines projected into the environment for a spatial orientation of the augmented reality device (2);- evaluating (11) the detected radiation of the augmented reality device (2); and - determining (12) a position of the augmented reality device (2) relative to a detection device (4).

Description

Die vorliegende Erfindung betrifft ein Verfahren, ein Computerprogramm mit Instruktionen und eine Vorrichtung zum Erfassen von Informationen zu einer Person. Die Erfindung betrifft weiterhin ein Fortbewegungsmittel, eine Infrastruktureinrichtung und ein Augmented-Reality-Gerät, in dem ein erfindungsgemäßes Verfahren oder eine erfindungsgemäße Vorrichtung eingesetzt wird.The present invention relates to a method, a computer program with instructions and a device for collecting information about a person. The invention further relates to a means of transportation, an infrastructure facility and an augmented reality device, in which a method according to the invention or a device according to the invention is used.

Bereits seit Jahren lässt sich eine zunehmende Verbreitung digitaler Technologien in der Gesellschaft feststellen. Es steht zu erwarten, dass diese Digitalisierung der Gesellschaft im Alltag deutlich zunehmen wird. Virtual- und Augmented-Reality-Technologien und -Anwendungen stellen eine besondere Ausprägung der Digitalisierung dar. Bei Augmented Reality (AR), auf Deutsch „erweiterte Realität“, handelt es sich um die Anreicherung der realen Welt durch virtuelle Elemente, die im dreidimensionalen Raum ortskorrekt registriert sind und eine Echtzeitinteraktion erlauben. Da sich in der Fachwelt im deutschsprachigen Raum der Ausdruck „Augmented Reality“ gegenüber dem Ausdruck „erweiterte Realität“ durchgesetzt hat, wird im Folgenden ersterer benutzt. Synonym wird auch der Ausdruck „Mixed Reality“ verwendet. Für die Darstellung von AR-Anzeigen können beispielsweise Augmented-Reality-Brillen genutzt werden. Eine Augmented-Reality-Brille wird wie eine normale Brille getragen, weist aber eine oder mehrere Projektionseinheiten oder Anzeigen auf, mit deren Hilfe dem Träger der Brille Informationen vor die Augen oder direkt auf die Netzhaut projiziert werden können. Die Brille ist dabei so gestaltet, dass der Träger auch die Umgebung wahrnehmen kann. Neue Technologien für Augmented-Reality-Brillen, beispielsweise Lichtfeldtechnologie, Fortschritte in der verwendeten Batterietechnik sowie der Einstieg großer Unternehmen in diese lassen eine steigende Akzeptanz dieser Geräte erwarten.An increasing spread of digital technologies in society has been noticeable for years. It can be expected that this digitization of society will increase significantly in everyday life. Virtual and augmented reality technologies and applications represent a special form of digitization. Augmented reality (AR) is the enrichment of the real world with virtual elements that are displayed in three-dimensional space are correctly registered and allow real-time interaction. Since the expression "augmented reality" has prevailed over the expression "extended reality" in the professional world in German-speaking countries, the former is used in the following. The term "mixed reality" is also used synonymously. For example, augmented reality glasses can be used to display AR displays. Augmented reality glasses are worn like normal glasses, but have one or more projection units or displays that can be used to project information in front of the eyes or directly onto the retina of the wearer of the glasses. The glasses are designed in such a way that the wearer can also perceive the surroundings. New technologies for augmented reality glasses, such as light field technology, advances in the battery technology used and the entry of large companies into them mean that increasing acceptance of these devices can be expected.

Alternativ können AR-Anzeigen auch mittels Augmented-Reality-Smartphones oder Augmented-Reality-Tablets generiert werden. Dabei werden virtuelle Elemente auf dem Display des jeweiligen Gerätes zusammen mit der von einer Kamera des jeweiligen Gerätes aufgenommenen Umgebung angezeigt. Auch eine Projektion von Inhalten in die reale Umgebung ist möglich.Alternatively, AR displays can also be generated using augmented reality smartphones or augmented reality tablets. In this case, virtual elements are shown on the display of the respective device together with the surroundings recorded by a camera of the respective device. Content can also be projected into the real environment.

Insgesamt ist absehbar, dass Augmented-Reality-Brillen, Augmented-Reality-Smartphones und andere Augmented-Reality-Geräte bei Endkunden zunehmend stärker im Einsatz sein werden.Overall, it is foreseeable that augmented reality glasses, augmented reality smartphones and other augmented reality devices will be increasingly used by end customers.

DE 10 2014 225 222 A1 beschreibt ein Verfahren zum Bestimmen der Position einer Datenbrille relativ zum Kopf des Trägers. Bei dem Verfahren wird die Position eines physischen Merkmals des Kopfes des Trägers der Datenbrille relativ zu einem Fahrzeug erfasst. Zudem wird die Position der Datenbrille relativ zum Fahrzeug erfasst. Basierend auf der erfassten Position des physischen Merkmals und der Position der Datenbrille wird die Position der Datenbrille relativ zum Kopf des Trägers, insbesondere den Augen des Trägers, bestimmt. DE 10 2014 225 222 A1 describes a method for determining the position of data glasses relative to the wearer's head. In the method, the position of a physical feature of the head of the wearer of the data glasses is detected relative to a vehicle. In addition, the position of the data glasses relative to the vehicle is recorded. Based on the detected position of the physical feature and the position of the smart glasses, the position of the smart glasses relative to the wearer's head, in particular the wearer's eyes, is determined.

DE 10 2014 009 608 A1 beschreibt eine Lösung zum Bereitstellen einer leistungsstarken Bildverarbeitung für eine AR-Brille. Hierzu ist eine Lokalisierungseinrichtung dazu ausgelegt, eine Relativposition der AR-Brille bezüglich eines Sensorbezugspunkts zu ermitteln, und eine Transformationseinrichtung dazu ausgelegt, aus einer Relativposition eines Gegenstands und der Relativposition der AR-Brille eine Relativposition der AR-Brille bezüglich des Gegenstands zu ermitteln und an eine Steuereinrichtung als Soll-Relativposition zu übergeben. Hierdurch kann eine zur Gegenstandserkennung ausgelegte Erkennungseinrichtung eines Kraftfahrzeugs genutzt werden. DE 10 2014 009 608 A1 describes a solution for providing powerful image processing for AR glasses. For this purpose, a localization device is designed to determine a relative position of the AR glasses with respect to a sensor reference point, and a transformation device is designed to determine a relative position of the AR glasses with respect to the object from a relative position of an object and the relative position of the AR glasses and to to transfer a control device as a target relative position. As a result, a detection device of a motor vehicle designed for object detection can be used.

DE 10 2017 211 528 A1 beschreibt eine Datenbrille mit einem Umgebungssensor und einer Auswerteeinheit. Der Umgebungssensor ist eingerichtet, eine zweite Datenbrille eines zweiten Anwenders zu erfassen. Die Auswerteeinheit ist eingerichtet, die zweite Datenbrille des zweiten Anwenders aus Signalen des Umgebungssensors hinsichtlich Ausrichtung und/oder Position zu lokalisieren. DE 10 2017 211 528 A1 describes data glasses with an environment sensor and an evaluation unit. The environment sensor is set up to detect second data glasses of a second user. The evaluation unit is set up to localize the second data glasses of the second user from signals from the environment sensor with regard to orientation and/or position.

Aktuell genutzte Augmented-Reality-Brillen nutzen zur räumlichen Orientierung eine Kombination von Methoden der Computer-Vision und Inertialsensorik.Currently used augmented reality glasses use a combination of computer vision and inertial sensor methods for spatial orientation.

Beispielsweise beschreibt DE 10 2014 217 963 A1 eine Datenbrille mit einer Anzeige, einer Infrarotlicht-Kamera, die dazu eingerichtet ist, in den Kamera-Aufnahmen im Wesentlichen Infrarotlicht abzubilden, sowie elektronischen Verarbeitungsmitteln. Die Datenbrille ist dazu eingerichtet, die Umgebung der Datenbrille mithilfe der Infrarotlicht-Kamera aufzunehmen, zumindest ein vordefiniertes Muster in den Aufnahmen zu erkennen, die Pose der Datenbrille in Abhängigkeit des erkannten vordefinierten Musters zu bestimmen, und einen Hinweis auf der Anzeige in Abhängigkeit der bestimmten Pose der Datenbrille anzuzeigen.For example describes DE 10 2014 217 963 A1 data glasses with a display, an infrared light camera that is set up to essentially image infrared light in the camera recordings, and electronic processing means. The smart glasses are set up to record the surroundings of the smart glasses using the infrared light camera, to recognize at least one predefined pattern in the recordings, to determine the pose of the smart glasses depending on the predefined pattern recognized, and to indicate on the display depending on the specific display the pose of the smart glasses.

Bei den auf Computer-Vision basierenden Ansätzen werden neben der Auswertung von Kamerabildern auch aktive Technologien verwendet, bei denen beispielsweise strukturiertes Licht in die Umgebung projiziert wird. Der Trend geht dahin, dass solche Verfahren in allen hochwertigen zukünftigen Augmented-Reality-Brillen genutzt werden.In addition to evaluating camera images, the approaches based on computer vision also use active technologies in which, for example, structured light is projected into the environment. The trend is that such methods will be used in all high-quality future augmented reality glasses.

In diesem Zusammenhang beschreibt DE 10 2013 209 448 A1 einen Laserlichtmusterprojektor mit einer Laserlichtquelle zur Erzeugung von Laserlicht, mit einer Optikeinrichtung und mit einer Zerstreuungseinrichtung, wobei die Optikeinrichtung im Strahlengang des Laserlichts zwischen der Laserlichtquelle und der Zerstreuungseinrichtung angeordnet und ausgebildet ist, das Laserlicht auf die Zerstreuungseinrichtung als ein Zwischenlichtmuster mit mehreren hellen oder mit mehreren dunklen Bereichen zu führen, und wobei die Zerstreuungseinrichtung ausgebildet ist, das Laserlicht als ein Messlichtmuster mit unregelmäßigen Strukturen in einen Messbereich zu führen.In this context describes DE 10 2013 209 448 A1 a laser light pattern projector with a laser light source for generating laser light, with an optics device and with a scattering device, wherein the optics device is arranged in the beam path of the laser light between the laser light source and the scattering device and is designed to direct the laser light onto the scattering device as an intermediate light pattern with several bright ones or with several to lead dark areas, and wherein the scattering device is designed to lead the laser light as a measurement light pattern with irregular structures in a measurement area.

Augmented-Reality-Brillen können genutzt werden, um die Sicherheit von Fußgängern im Straßenverkehr zu erhöhen, indem der Träger der Augmented-Reality-Brille beispielsweise vor einer drohenden Kollision mit einem Fahrzeug gewarnt wird. In diesem Zusammenhang beschreibt DE 10 2013 212 916 A1 ein Verfahren zur Ausgabe einer Warnung auf einer Datenbrille mit einer Anzeige. Die Datenbrille wird von einem Verkehrsteilnehmer getragen, der zudem eine Mobilvorrichtung mitführt, die zur Positionsbestimmung und drahtlosen Datenkommunikation eingerichtet ist. Bei dem Verfahren wird die Position der Mobilvorrichtung festgestellt. Zudem wird eine drohende Kollision des die Mobilvorrichtung mitführenden Verkehrsteilnehmers mit einem anderen Verkehrsteilnehmer durch die Mobilvorrichtung erkannt. Des Weiteren wird die Richtung erkannt, aus der die Kollision droht. Unter Berücksichtigung der Richtung, aus der die Kollision droht, wird schließlich ein Warnhinweis auf der Datenbrille angezeigt.Augmented reality glasses can be used to increase the safety of pedestrians in road traffic, for example by warning the wearer of the augmented reality glasses of an impending collision with a vehicle. In this context describes DE 10 2013 212 916 A1 a method of issuing a warning on smart glasses with a display. The data glasses are worn by a road user who also carries a mobile device that is set up for position determination and wireless data communication. In the method, the position of the mobile device is determined. In addition, an imminent collision of the road user carrying the mobile device with another road user is recognized by the mobile device. The direction from which the collision is imminent is also recognized. Finally, a warning is displayed on the data glasses, taking into account the direction from which the collision is imminent.

Auch für den Betrieb eines Fortbewegungsmittels ist es zweckmäßig, wenn drohende Kollisionen mit einem Fußgänger frühzeitig erkannt werden und somit vermieden werden können. In diesem Zusammenhang beschreibt DE 10 2014 215 057 A1 ein Verfahren zur Bestimmung einer Wahrscheinlichkeit für eine Kollision eines Fortbewegungsmittels mit einem Fußgänger. Bei dem Verfahren wird ein Fußgänger mit einem in einem Fortbewegungsmittel angeordneten Sensor erfasst. Zudem wird eine Position des Fußgängers relativ zu einer Trajektorie des Fortbewegungsmittels auf Basis von Daten des Sensors ermittelt. Zusätzlich wird eine Kopforientierung des Fußgängers relativ zu einer Position des Fortbewegungsmittels über der Zeit auf Basis von Daten des Sensors ermittelt. It is also expedient for the operation of a means of locomotion if imminent collisions with a pedestrian are recognized early and can thus be avoided. In this context describes DE 10 2014 215 057 A1 a method for determining a probability of a collision of a means of transportation with a pedestrian. In the method, a pedestrian is detected with a sensor arranged in a means of transportation. In addition, a position of the pedestrian relative to a trajectory of the means of transportation is determined on the basis of data from the sensor. In addition, a head orientation of the pedestrian relative to a position of the means of transportation over time is determined on the basis of data from the sensor.

Die Position sowie die Kopforientierung des Fußgängers werden bei einer Ermittlung der Wahrscheinlichkeit für die Kollision zwischen dem Fortbewegungsmittel und dem Fußgänger berücksichtigt.The position and the head orientation of the pedestrian are taken into account when determining the probability of a collision between the means of transportation and the pedestrian.

Automatisch fahrende Fahrzeuge benötigen im besonderen Maße Informationen über ihre Umwelt. Fußgänger müssen insbesondere durch aktive Maßnahmen ausgehend vom Fahrzeug detektiert und erkannt werden. Dazu können z.B. Radarsensoren, Lidarsensoren oder auch eine kamerabasierte Bildauswertung genutzt werden. Ist eine Sensorik jedoch zu langsam oder in die falsche Richtung ausgerichtet, können Personen gegebenenfalls übersehen oder nicht als solche identifiziert werden.Automated vehicles require a great deal of information about their environment. In particular, pedestrians must be detected and recognized by active measures based on the vehicle. Radar sensors, lidar sensors or even a camera-based image evaluation can be used for this purpose. However, if a sensor system is too slow or aligned in the wrong direction, people may be overlooked or not identified as such.

Es ist eine Aufgabe der Erfindung, verbesserte Lösungen für das Erfassen von Informationen zu einer Person bereitzustellen.It is an object of the invention to provide improved solutions for gathering information about an individual.

Diese Aufgabe wird durch Verfahren mit den Merkmalen des Anspruchs 1, durch ein Computerprogramm mit Instruktionen gemäß Anspruch 9, durch eine Vorrichtung mit den Merkmalen des Anspruchs 9, durch ein Fortbewegungsmittel gemäß Anspruch 10, durch eine Infrastruktureinrichtung gemäß Anspruch 11 sowie durch ein Augmented-Reality-Gerät gemäß Anspruch 12 gelöst. Bevorzugte Ausgestaltungen der Erfindung sind Gegenstand der abhängigen Ansprüche.This object is achieved by a method having the features of claim 1, by a computer program with instructions according to claim 9, by a device having the features of claim 9, by a means of transportation according to claim 10, by an infrastructure device according to claim 11 and by augmented reality -Device according to claim 12 solved. Preferred developments of the invention are the subject matter of the dependent claims.

Gemäß einem ersten Aspekt der Erfindung umfasst ein Verfahren zum Erfassen von Informationen zu einer Person die Schritte:

- Erfassen einer Abstrahlung eines Augmented-Reality-Gerätes, das von der Person verwendet wird, wobei die Abstrahlung ein für eine räumliche Orientierung des Augmented-Reality-Gerätes in die Umwelt projiziertes Muster oder Scanlinien umfasst;
- Auswerten der erfassten Abstrahlung des Augmented-Reality-Gerätes; und
- Bestimmen einer Position des Augmented-Reality-Gerätes relativ zu einer Erfassungsvorrichtung.

According to a first aspect of the invention, a method for collecting information about a person comprises the steps:

- detecting an emission of an augmented reality device used by the person, the emission comprising a pattern or scan lines projected into the environment for a spatial orientation of the augmented reality device;
- Evaluating the detected radiation of the augmented reality device; and
- Determining a position of the augmented reality device relative to a detection device.

Gemäß einem weiteren Aspekt der Erfindung umfasst ein Computerprogramm Instruktionen, die bei Ausführung durch einen Computer den Computer zur Ausführung der folgenden Schritte zum Erfassen von Informationen zu einer Person veranlassen:

According to another aspect of the invention, a computer program includes instructions that, when executed by a computer, cause the computer to perform the following steps to collect information about an individual:

Der Begriff Computer ist dabei breit zu verstehen. Insbesondere umfasst er auch Steuergeräte, Mikrocontroller und andere prozessorbasierte Datenverarbeitungsvorrichtungen.The term computer is to be understood broadly. In particular, it also includes control units, microcontrollers and other processor-based data processing devices.

Das Computerprogramm kann beispielsweise für einen elektronischen Abruf bereitgestellt werden oder auf einem computerlesbaren Speichermedium gespeichert sein.The computer program can be provided for electronic retrieval, for example, or it can be stored on a computer-readable storage medium.

Gemäß einem weiteren Aspekt der Erfindung weist eine Vorrichtung zum Erfassen von Informationen zu einer Person auf:

- einen Eingang zum Empfangen von Daten zu einer mittels eines Sensors erfassten Abstrahlung eines Augmented-Reality-Gerätes, das von der Person verwendet wird, wobei die Abstrahlung ein für eine räumliche Orientierung des Augmented-Reality-Gerätes in die Umwelt projiziertes Muster oder Scanlinien umfasst; und
- eine Auswerteeinheit zum Auswerten der erfassten Abstrahlung des Augmented-Reality-Gerätes und zum Bestimmen einer Position des Augmented-Reality-Gerätes relativ zu einer Erfassungsvorrichtung.

According to a further aspect of the invention, a device for acquiring information about a person has:

an input for receiving data on a sensor-detected emission of an augmented reality device used by the person, the emission comprising a pattern or scan lines projected into the environment for spatial orientation of the augmented reality device ; and
- An evaluation unit for evaluating the detected emission of the augmented reality device and for determining a position of the augmented reality device relative to a detection device.

Die erfindungsgemäße Lösung basiert auf der Idee, die zum Zwecke der räumlichen Orientierung von einem Augmented-Reality-Gerät generierte Abstrahlung zu erfassen und auszuwerten. Durch Kenntnis der Parameter, mit denen die aktiven Sensoren des Augmented-Reality-Gerätes Licht oder andere elektromagnetische Signale in die Umgebung strahlen, können Rückschlüsse auf die Position des Augmented-Reality-Gerätes und somit auf die Position des Nutzers des Augmented-Reality-Gerätes gezogen werden. Die Erfassung und Auswertung der Abstrahlung erlaubt es insbesondere, Informationen zu Personen zu erhalten, die noch nicht unmittelbar durch einen Sensor detektiert werden können, z.B., weil sie sich außerhalb eines Erfassungsbereichs des Sensors befinden. Bei üblichen Verfahren für die räumliche Orientierung von Augmented-Reality-Geräten wird mit einem Projektor ein Muster in die Umwelt projiziert oder die Umwelt wird zeilenweise durch einen Laser-Scanner abgetastet. Diese Muster oder Scanlinien können leicht erfasst und ausgewertet werden. Beispielsweise kann bei Kenntnis der Scan-Zeit, z.B. der Anzahl gescannter Zeilen pro Sekunde, und einer kontinuierlichen Beobachtung des Signals ermittelt werden, wo sich der Laser-Scanner und damit das Augmented-Reality-Gerät räumlich relativ zum Beobachter befindet.The solution according to the invention is based on the idea of detecting and evaluating the radiation generated by an augmented reality device for the purpose of spatial orientation. Knowledge of the parameters with which the active sensors of the augmented reality device emit light or other electromagnetic signals into the environment allows conclusions to be drawn about the position of the augmented reality device and thus about the position of the user of the augmented reality device to be pulled. The detection and evaluation of the radiation makes it possible, in particular, to obtain information about people who cannot yet be detected directly by a sensor, e.g. because they are outside the detection range of the sensor. In conventional methods for the spatial orientation of augmented reality devices, a pattern is projected into the environment using a projector, or the environment is scanned line by line by a laser scanner. These patterns or scan lines can be easily detected and evaluated. For example, if the scan time is known, e.g. the number of scanned lines per second, and a continuous observation of the signal, it can be determined where the laser scanner and thus the augmented reality device is spatially located relative to the observer.

Gemäß einem Aspekt der Erfindung wird eine Pose des Augmented-Reality-Gerätes relativ zu der Erfassungsvorrichtung bestimmt. Die Auswertung der Abstrahlung des Augmented-Reality-Gerätes ermöglicht nicht nur eine Bestimmung der Position des Augmented-Reality-Gerätes, sondern auch eine Bestimmung der Orientierung bzw. Lage des Augmented-Reality-Gerätes im Raum. Dies ermöglicht z.B. Rückschlüsse auf die Kopforientierung eines Fußgängers, und damit auch auf eine wahrscheinliche Bewegungsrichtung und einen Sichtbereich des Fußgängers.According to one aspect of the invention, a pose of the augmented reality device is determined relative to the detection device. The evaluation of the emission of the augmented reality device not only enables the position of the augmented reality device to be determined, but also a determination of the orientation or location of the augmented reality device in space. This enables conclusions to be drawn, for example, about the orientation of a pedestrian’s head and thus also about a probable direction of movement and a pedestrian’s field of vision.

Gemäß einem Aspekt der Erfindung wird aus einer zeitlichen Änderung der Position des Augmented-Reality-Gerätes eine Bewegung der Person relativ zu der Erfassungsvorrichtung bestimmt. Auf diese Weise kann beispielsweise eine Bewegungsrichtung eines Fußgängers zuverlässig bestimmt werden.According to one aspect of the invention, a movement of the person relative to the detection device is determined from a change in the position of the augmented reality device over time. In this way, for example, a direction of movement of a pedestrian can be reliably determined.

Gemäß einem Aspekt der Erfindung wird aus den Informationen zu der Person eine Interaktionswahrscheinlichkeit oder eine Kollisionswahrscheinlichkeit ermittelt. Insbesondere aus der Bewegung bzw. der Bewegungsrichtung kann eine zukünftige Trajektorie der Person bestimmt werden. Diese kann dann z.B. genutzt werden, um die Wahrscheinlichkeit für eine Kollision mit einem Fahrzeug zu bestimmen. Ebenso kann die Wahrscheinlichkeit eines gezielten Zugehens einer Person auf ein Fahrzeug bestimmt werden, z.B. die Annäherung der Person an ein Taxi. Des Weiteren ist es möglich, die Wahrscheinlichkeit einer Interaktion zwischen Fahrzeugen oder anderen Objekten und Personen zu bestimmen. z.B. anhand der Auswertung des Sichtbereichs der Person. Die so gewonnenen Informationen können einer dafür vorgesehenen Infrastruktur zur Weiterverarbeitung bereitgestellt werden.According to one aspect of the invention, an interaction probability or a collision probability is determined from the information about the person. A future trajectory of the person can be determined in particular from the movement or the direction of movement. This can then be used, for example, to determine the probability of a collision with a vehicle. The probability of a person purposefully approaching a vehicle can also be determined, e.g. the person approaching a taxi. Furthermore, it is possible to determine the probability of an interaction between vehicles or other objects and people. e.g. based on the evaluation of the person's field of vision. The information obtained in this way can be made available to a dedicated infrastructure for further processing.

Gemäß einem Aspekt der Erfindung wird die Abstrahlung des Augmented-Reality-Gerätes mit einer Kamera der Erfassungsvorrichtung erfasst. Da für die räumliche Orientierung von Augmented-Reality-Geräten üblicherweise Licht abgestrahlt wird, z.B. Infrarotlicht, bietet sich die Verwendung von Kameras für das Erfassen der Abstrahlung an. Diese sind zudem in vielen Geräten ohnehin vorhanden, sodass lediglich eine geeignete Bildauswertung umgesetzt werden muss.According to one aspect of the invention, the emission of the augmented reality device is detected with a camera of the detection device. Since light, e.g. infrared light, is usually emitted for the spatial orientation of augmented reality devices, the use of cameras to record the emission is a good idea. These are also already available in many devices, so that only a suitable image evaluation has to be implemented.

Gemäß einem Aspekt der Erfindung wird die erfasste Abstrahlung des Augmented-Reality-Gerätes mittels photogrammetrischer Maßnahmen ausgewertet. Photogrammetrie ist ein etablierter Ansatz, um aus Bildaufnahmen die räumliche Lage eines Objektes zu bestimmen. Es steht daher eine Vielzahl geeigneter Algorithmen für die Bildauswertung zur Verfügung. According to one aspect of the invention, the detected emission of the augmented reality device is evaluated using photogrammetric measures. Photogrammetry is an established approach to determine the spatial position of an object from image recordings. A large number of suitable algorithms for image evaluation are therefore available.

Besonders vorteilhaft wird ein erfindungsgemäßes Verfahren oder eine erfindungsgemäße Vorrichtung in einem Fortbewegungsmittel, einer Infrastruktureinrichtung oder einem Augmented-Reality-Gerät eingesetzt. Bei dem Fortbewegungsmittel kann es sich insbesondere um ein Kraftfahrzeug handeln, z.B. um einen Personenkraftwagen, ein Nutzfahrzeug oder einen Bus. Bei der Infrastruktureinrichtung kann es sich beispielsweise um eine Bushaltestelle, eine Einrichtung zur Anzeige von Werbung oder Informationen, ein Stadtmöbelstück oder einen sonstigen Infrastrukturgegenstand im öffentlichen Raum handeln. Beispiele für Augmented-Reality-Geräte sind Augmented-Reality-Brillen, Augmented-Reality-Smartphones oder Augmented-Reality-Tablets.A method according to the invention or a device according to the invention is used particularly advantageously in a means of transportation, an infrastructure facility or an augmented reality device. The means of transportation can in particular be a motor vehicle act, for example, a passenger car, a commercial vehicle or a bus. The infrastructure facility can be, for example, a bus stop, a facility for displaying advertising or information, a piece of street furniture or another infrastructure object in public space. Examples of augmented reality devices are augmented reality glasses, augmented reality smartphones or augmented reality tablets.

Weitere Merkmale der vorliegenden Erfindung werden aus der nachfolgenden Beschreibung und den angehängten Ansprüchen in Verbindung mit den Figuren ersichtlich.

1 zeugt schematisch ein Verfahren zum Erfassen von Informationen zu einer Person;
2 zeigt schematisch eine erste Ausführungsform einer Vorrichtung zum Erfassen von Informationen zu einer Person;
3 zeigt schematisch eine zweite Ausführungsform einer Vorrichtung zum Erfassen von Informationen zu einer Person;
4 zeigt eine Verkehrssituation mit einem Fortbewegungsmittel und einem Fußgänger;
5 zeigt schematisch eine Augmented-Reality-Brille;
6 stellt schematisch ein Kraftfahrzeug dar, in dem eine erfindungsgemäße Lösung realisiert ist; und
7 stellt schematisch eine Infrastruktureinrichtung dar, in der eine erfindungsgemäße Lösung realisiert ist.

Further features of the present invention will become apparent from the following description and the appended claims in conjunction with the figures.

1 schematically shows a method for gathering information about a person;
2 shows schematically a first embodiment of a device for acquiring information about a person;
3 shows schematically a second embodiment of a device for capturing information about a person;
4 shows a traffic situation with a means of transport and a pedestrian;
5 schematically shows augmented reality glasses;
6 shows schematically a motor vehicle in which a solution according to the invention is implemented; and
7 schematically represents an infrastructure device in which a solution according to the invention is implemented.

Zum besseren Verständnis der Prinzipien der vorliegenden Erfindung werden nachfolgend Ausführungsformen der Erfindung anhand der Figuren detaillierter erläutert. Es versteht sich, dass sich die Erfindung nicht auf diese Ausführungsformen beschränkt und dass die beschriebenen Merkmale auch kombiniert oder modifiziert werden können, ohne den Schutzbereich der Erfindung zu verlassen, wie er in den angehängten Ansprüchen definiert ist.For a better understanding of the principles of the present invention, embodiments of the invention are explained in more detail below with reference to the figures. It goes without saying that the invention is not limited to these embodiments and that the features described can also be combined or modified without departing from the scope of protection of the invention as defined in the appended claims.

1 zeigt schematisch ein Verfahren zum Erfassen von Informationen zu einer Person. In einem ersten Schritt wird eine Abstrahlung eines Augmented-Reality-Gerätes, das von der Person verwendet wird, erfasst 10. Dazu kann beispielsweise eine Kamera einer Erfassungsvorrichtung verwendet werden. Die Abstrahlung des Augmented-Reality-Gerätes kann z.B. ein Muster oder Scanlinien umfassen. Die erfasste Abstrahlung des Augmented-Reality-Gerätes wird ausgewertet 11 und es wird eine Position des Augmented-Reality-Gerätes relativ zu der Erfassungsvorrichtung bestimmt 12. Zudem kann auch eine Pose des Augmented-Reality-Gerätes bestimmt werden, d.h. zusätzlich zur Position auch die Orientierung des Augmented-Reality-Gerätes. Die Auswertung kann z.B. mittels photogrammetrischer Maßnahmen erfolgen. Aus einer zeitlichen Änderung der Position des Augmented-Reality-Gerätes kann zudem eine Bewegung der Person relativ zu der Erfassungsvorrichtung bestimmt werden 13. Zusätzlich kann aus den erfassten Informationen zu der Person eine Interaktionswahrscheinlichkeit oder eine Kollisionswahrscheinlichkeit ermittelt werden 14. 1 FIG. 1 schematically shows a method for acquiring information about a person. In a first step, an emission of an augmented reality device used by the person is detected 10. A camera of a detection device can be used for this purpose, for example. The emission of the augmented reality device can include a pattern or scan lines, for example. The detected emission of the augmented reality device is evaluated 11 and a position of the augmented reality device relative to the detection device is determined 12. In addition, a pose of the augmented reality device can also be determined, ie in addition to the position Orientation of the augmented reality device. The evaluation can be carried out, for example, by means of photogrammetric measures. A movement of the person relative to the detection device can also be determined from a change in the position of the augmented reality device over time 13. In addition, an interaction probability or a collision probability can be determined from the recorded information about the person 14.

2 zeigt eine vereinfachte schematische Darstellung einer ersten Ausführungsform einer Vorrichtung 20 zum Erfassen von Informationen zu einer Person. Die Vorrichtung 20 hat einen Eingang 21, über den Daten eines Sensors 22 zum Erfassen einer Abstrahlung eines Augmented-Reality-Gerätes, das von der Person verwendet wird, empfangen werden können. Bei dem Sensor 22 kann es sich beispielsweise um eine Kamera einer Erfassungsvorrichtung handeln. Die Abstrahlung des Augmented-Reality-Gerätes kann z.B. ein Muster oder Scanlinien umfassen. Eine Auswerteeinheit 23 wertet die erfasste Abstrahlung des Augmented-Reality-Gerätes aus und bestimmt eine Position des Augmented-Reality-Gerätes relativ zu der Erfassungsvorrichtung. Zudem kann die Auswerteeinheit 23 eingerichtet sein, auch eine Pose des Augmented-Reality-Gerätes bestimmen, d.h. zusätzlich zur Position auch die Orientierung des Augmented-Reality-Gerätes. Die Auswertung kann z.B. mittels photogrammetrischer Maßnahmen erfolgen. Die erhaltenen Informationen können schließlich über einen Ausgang 26 der Vorrichtung für eine weitere Nutzung ausgegeben werden. 2 shows a simplified schematic representation of a first embodiment of a device 20 for recording information about a person. The device 20 has an input 21 via which data from a sensor 22 for detecting an emission of an augmented reality device used by the person can be received. The sensor 22 can be, for example, a camera of a detection device. The emission of the augmented reality device can include a pattern or scan lines, for example. An evaluation unit 23 evaluates the detected emission of the augmented reality device and determines a position of the augmented reality device relative to the detection device. In addition, the evaluation unit 23 can also be set up to determine a pose of the augmented reality device, ie the orientation of the augmented reality device in addition to the position. The evaluation can be carried out, for example, by means of photogrammetric measures. The information obtained can finally be output via an output 26 of the device for further use.

In 2 ist der Sensor 22 außerhalb der Vorrichtung 20 angeordnet. Er kann alternativ aber auch Bestandteil der Vorrichtung 20 sein. Zudem können auch Bestandteile der Vorrichtung 20 in den Sensor 22 integriert werden.In 2 the sensor 22 is arranged outside the device 20 . Alternatively, however, it can also be a component of the device 20 . In addition, components of the device 20 can also be integrated into the sensor 22 .

Der Sensor 22 und die Auswerteeinheit 23 können von einer Kontrolleinheit 24 gesteuert werden. Über eine Benutzerschnittstelle 27 können gegebenenfalls Einstellungen des Sensors 22, der Auswerteeinheit 23 oder der Kontrolleinheit 24 geändert werden. Die in der Vorrichtung 20 anfallenden Daten können bei Bedarf in einem Speicher 25 abgelegt werden, beispielsweise für eine spätere Auswertung oder für eine Nutzung durch die Komponenten der Vorrichtung 20. Die Auswerteeinheit 23 sowie die Kontrolleinheit 24 können als dedizierte Hardware realisiert sein, beispielsweise als integrierte Schaltungen. Natürlich können sie aber auch teilweise oder vollständig kombiniert oder als Software implementiert werden, die auf einem geeigneten Prozessor läuft, beispielsweise auf einer GPU oder einer CPU. Der Eingang 21 und der Ausgang 26 können als getrennte Schnittstellen oder als eine kombinierte bidirektionale Schnittstelle implementiert sein.The sensor 22 and the evaluation unit 23 can be controlled by a control unit 24 . If necessary, settings of the sensor 22, the evaluation unit 23 or the control unit 24 can be changed via a user interface 27. The data occurring in the device 20 can be stored in a memory 25 if required, for example for later evaluation or for use by the components of the device 20. The evaluation unit 23 and the control unit 24 can be implemented as dedicated hardware, for example as integrated circuits. Of course, they can also be partially or fully combined or implemented as software running on a suitable processor, such as a GPU or a CPU. The entrance 21 and the exit 26 can be implemented as separate interfaces or as a combined bi-directional interface.

3 zeigt eine vereinfachte schematische Darstellung einer zweiten Ausführungsform einer Vorrichtung 30 zum Erfassen von Informationen zu einer Person. Die Vorrichtung 30 weist einen Prozessor 32 und einen Speicher 31 auf. Beispielsweise handelt es sich bei der Vorrichtung 30 um einen Computer oder ein Steuergerät. Im Speicher 31 sind Instruktionen abgelegt, die die Vorrichtung 30 bei Ausführung durch den Prozessor 32 veranlassen, die Schritte gemäß einem der beschriebenen Verfahren auszuführen. Die im Speicher 31 abgelegten Instruktionen verkörpern somit ein durch den Prozessor 32 ausführbares Programm, welches das erfindungsgemäße Verfahren realisiert. Die Vorrichtung 30 hat einen Eingang 33 zum Empfangen von Informationen, insbesondere von Daten eines Sensors zum Erfassen einer Abstrahlung eines Augmented-Reality-Gerätes. Vom Prozessor 32 generierte Daten werden über einen Ausgang 34 bereitgestellt. Darüber hinaus können sie im Speicher 31 abgelegt werden. Der Eingang 33 und der Ausgang 34 können zu einer bidirektionalen Schnittstelle zusammengefasst sein. 3 shows a simplified schematic representation of a second embodiment of a device 30 for capturing information about a person. The device 30 has a processor 32 and a memory 31 . For example, the device 30 is a computer or a control device. Instructions are stored in the memory 31 which, when executed by the processor 32, cause the device 30 to carry out the steps according to one of the methods described. The instructions stored in the memory 31 thus embody a program which can be executed by the processor 32 and implements the method according to the invention. The device 30 has an input 33 for receiving information, in particular data from a sensor for detecting an emission of an augmented reality device. Data generated by the processor 32 is provided via an output 34 . In addition, they can be stored in memory 31. The input 33 and the output 34 can be combined to form a bidirectional interface.

Der Prozessor 32 kann eine oder mehrere Prozessoreinheiten umfassen, beispielsweise Mikroprozessoren, digitale Signalprozessoren oder Kombinationen daraus.Processor 32 may include one or more processing units, such as microprocessors, digital signal processors, or combinations thereof.

Die Speicher 25, 31 der beschriebenen Ausführungsformen können sowohl volatile als auch nichtvolatile Speicherbereiche aufweisen und unterschiedlichste Speichergeräte und Speichermedien umfassen, beispielsweise Festplatten, optische Speichermedien oder Halbleiterspeicher.The memories 25, 31 of the described embodiments can have both volatile and non-volatile memory areas and can include a wide variety of memory devices and storage media, for example hard disks, optical storage media or semiconductor memories.

Nachfolgend sollen bevorzugte Ausführungsformen der Erfindung anhand von 4 bis 7 beschrieben werden.Below are preferred embodiments of the invention based on 4 until 7 to be discribed.

4 zeigt eine Verkehrssituation mit einem Kraftfahrzeug 50 und einer Person 1 in einer Draufsicht. Bei der Person 1 handelt es sich in diesem Beispiel um einen Fußgänger. Der Fußgänger nutzt ein Augmented-Reality-Gerät 2, in diesem Fall eine Augmented-Reality-Brille. Für die räumliche Orientierung verwendet die Augmented-Reality-Brille einen aktiven Sensor, im dargestellten Beispiel einen Laser-Scanner. Die Abstrahlung 3 des aktiven Sensors ist daher ein Laserstrahl, der durch eine gestrichelte Linie angedeutet ist. Das Kraftfahrzeug 50 weist eine Erfassungsvorrichtung 4 auf, die einen Erfassungsbereich 5 hat. Der Fußgänger befindet sich in der dargestellten Situation außerhalb des Erfassungsbereichs 5, da er von einem Gebäude 6 verdeckt wird, allerdings liegt die Abstrahlung 3 des aktiven Sensors zumindest teilweise innerhalb des Erfassungsbereichs 5. Die Abstrahlung 3 kann daher durch die Erfassungsvorrichtung 4 erfasst und somit ausgewertet werden. Insbesondere kann eine Bewegungsrichtung des Fußgängers bestimmt und eine Kollisionswahrscheinlichkeit mit dem Kraftfahrzeug 50 ermittelt werden. 4 shows a traffic situation with a motor vehicle 50 and a person 1 in a plan view. In this example, person 1 is a pedestrian. The pedestrian uses an augmented reality device 2, in this case augmented reality glasses. For spatial orientation, the augmented reality glasses use an active sensor, in the example shown a laser scanner. The emission 3 of the active sensor is therefore a laser beam, which is indicated by a dashed line. The motor vehicle 50 has a detection device 4 which has a detection area 5 . In the situation shown, the pedestrian is outside of the detection area 5 because it is covered by a building 6, but the radiation 3 of the active sensor is at least partially within the detection area 5. The radiation 3 can therefore be detected by the detection device 4 and thus evaluated will. In particular, a direction of movement of the pedestrian can be determined and a probability of collision with the motor vehicle 50 can be ascertained.

5 zeigt schematisch eine Augmented-Reality-Brille als Beispiel für ein Augmented-Reality-Gerät 2. Die Augmented-Reality-Brille hat eine Kamera 40 zum Erfassen von Umgebungsdaten einer Umgebung der Augmented-Reality-Brille. Mittels einer Posenbestimmungsvorrichtung 41 kann eine Pose der Augmented-Reality-Brille bestimmt werden, beispielsweise unter Verwendung von aktiven Sensoren, die die Licht oder andere elektromagnetische Signale in die Umgebung abstrahlen. Eine Grafikeinheit 42 generiert eine Anzeige für die Augmented-Reality-Brille entsprechend der ermittelten Pose. Dazu können die Posenbestimmungsvorrichtung 41 und die Grafikeinheit 42 miteinander Daten austauschen. Die von der Grafikeinheit 42 generierte Anzeige wird durch eine Projektionseinheit 43 eingeblendet. Im Beispiel in 5 wird ein monokulares Display genutzt, d.h. nur vor einem Auge des Nutzers ist ein Display angeordnet. Die vorliegend beschriebene Lösung kann selbstverständlich auch für eine Augmented-Reality-Brille mit einem binokularen Display, bei dem pro Auge ein Display genutzt wird, oder mit einem binokularen Display, bei dem für beide Augen ein gemeinsames Display genutzt wird, genutzt werden. 5 shows a schematic of augmented reality glasses as an example of an augmented reality device 2. The augmented reality glasses have a camera 40 for capturing environmental data of an area surrounding the augmented reality glasses. A pose of the augmented reality glasses can be determined by means of a pose determination device 41, for example using active sensors that emit the light or other electromagnetic signals into the environment. A graphics unit 42 generates a display for the augmented reality glasses according to the determined pose. For this purpose, the pose determination device 41 and the graphics unit 42 can exchange data with one another. The display generated by graphics unit 42 is overlaid by a projection unit 43 . In the example at 5 a monocular display is used, ie a display is only arranged in front of one eye of the user. The solution described here can of course also be used for augmented reality glasses with a binocular display, in which one display is used per eye, or with a binocular display, in which a common display is used for both eyes.

Mit der Kamera 40 kann auch die Abstrahlung eines anderen Augmented-Reality-Gerätes erfasst werden. Aus dieser kann die Augmented-Reality-Brille dann auf die Anwesenheit, die Position oder die Bewegung einer weiteren Person schließen. Zudem kann eine Interaktionswahrscheinlichkeit bestimmt werden. Der Nutzer der Augmented-Reality-Brille kann dann beispielsweise darüber informiert werden, dass sich eine Person nähert und gegebenenfalls Kontakt aufnehmen möchte.The camera 40 can also be used to capture the radiation from another augmented reality device. From this, the augmented reality glasses can then determine the presence, position or movement of another person. In addition, an interaction probability can be determined. The user of the augmented reality glasses can then be informed, for example, that a person is approaching and might want to make contact.

6 stellt schematisch ein Fortbewegungsmittel 50 dar, in dem eine erfindungsgemäße Lösung zum Erfassen von Informationen zu einer Person verwendet wird. In diesem Beispiel handelt es sich beim Fortbewegungsmittel 50 um ein Kraftfahrzeug. Das Kraftfahrzeug weist eine Erfassungsvorrichtung 4 mit einer Kamera 40 auf, mit der eine Abstrahlung eines Augmented-Reality-Gerätes erfasst werden kann. Die Daten der Erfassungsvorrichtung 4 werden durch eine erfindungsgemäße Vorrichtung 20 zum Erfassen von Informationen zu einer Person verarbeitet. Neben der Erfassungsvorrichtung 4 kann das Kraftfahrzeug auch weitere Umgebungssensorik 51 aufweisen, z.B. einen Radarsensor, einen Lidarsensor oder Ultraschallsensoren. Weitere Komponenten des Kraftfahrzeugs sind eine Datenübertragungseinheit 52 sowie eine Reihe von Assistenzsystemen 53, von denen eines exemplarisch dargestellt ist. Mittels der Datenübertragungseinheit 52 kann beispielsweise eine Verbindung zu Dienstanbietern aufgebaut werden. Zur Speicherung von Daten ist ein Speicher 54 vorhanden. Der Datenaustausch zwischen den verschiedenen Komponenten des Kraftfahrzeugs erfolgt über ein Netzwerk 55. 6 FIG. 12 shows schematically a means of transportation 50 in which a solution according to the invention for collecting information about a person is used. In this example, the means of transportation 50 is a motor vehicle. The motor vehicle has a detection device 4 with a camera 40, with which an emission of an augmented reality device can be detected. The data from the recording device 4 are processed by a device 20 according to the invention for recording information about a person. In addition to the detection device 4, the motor vehicle can also have other environmental sensors 51, for example a radar sensor, a lidar sensor or ultrasonic sensors. Further components of the motor vehicle are a data transmission unit unit 52 and a number of assistance systems 53, one of which is shown as an example. For example, a connection to service providers can be set up by means of the data transmission unit 52 . A memory 54 is provided for storing data. The exchange of data between the various components of the motor vehicle takes place via a network 55.

Die von der Vorrichtung 20 erfassten Informationen über eine Person können genutzt werden, um eine Kollisionswahrscheinlichkeit zu bestimmen und im Falle einer drohenden Kollision geeignete Maßnahmen zu veranlassen, z.B. die Ausgabe einer Warnung an einen Fahrer des Kraftfahrzeugs oder an die erfasste Person, ein automatisiertes Brems- oder Ausweichmanöver, etc. Daneben können die Informationen aber auch genutzt werden, um eine Wahrscheinlichkeit der Interaktion der Person mit dem Kraftfahrzeug zu bestimmen. Beispielsweise kann es sich bei dem Kraftfahrzeug um ein Taxi handeln. Erscheint nun eine Interaktion der Person mit dem Taxi wahrscheinlich, z.B., weil sich die Person in Richtung des Taxis bewegt oder sich das Taxi zumindest im Sichtbereich der Person befindet, können vorbereitende Maßnahmen für die Interaktion getroffen werden. Mögliche vorbereitende Maßnahmen sind z.B. eine automatisierte Ansprache der Person, das Öffnen einer Tür oder eines Fensters, das Anzeigen nützlicher Informationen auf einer externen Anzeige, etc.The information about a person recorded by the device 20 can be used to determine the probability of a collision and, in the event of an impending collision, to initiate suitable measures, e.g. issuing a warning to a driver of the motor vehicle or to the person recorded, an automated braking or evasive maneuvers, etc. In addition, the information can also be used to determine a probability of the person interacting with the motor vehicle. For example, the motor vehicle can be a taxi. If an interaction between the person and the taxi now seems likely, e.g. because the person is moving in the direction of the taxi or the taxi is at least in the person's field of vision, preparatory measures for the interaction can be taken. Possible preparatory measures are, for example, automatically addressing the person, opening a door or window, showing useful information on an external display, etc.

7 stellt schematisch eine Infrastruktureinrichtung 60 dar, in dem eine erfindungsgemäße Lösung zum Erfassen von Informationen zu einer Person verwendet wird. In diesem Beispiel handelt es sich bei der Infrastruktureinrichtung 60 um eine Werbetafel. Die Werbetafel weist eine Erfassungsvorrichtung 4 mit einer Kamera 40 auf, mit der eine Abstrahlung eines Augmented-Reality-Gerätes erfasst werden kann. Die Daten der Erfassungsvorrichtung 4 werden durch eine erfindungsgemäße Vorrichtung 20 zum Erfassen von Informationen zu einer Person verarbeitet. 7 FIG. 12 shows schematically an infrastructure device 60 in which a solution according to the invention for capturing information about a person is used. In this example, the infrastructure device 60 is an advertising panel. The billboard has a detection device 4 with a camera 40, with which radiation from an augmented reality device can be detected. The data from the recording device 4 are processed by a device 20 according to the invention for recording information about a person.

Die von der Vorrichtung 20 erfassten Informationen über eine Person können genutzt werden, um eine Wahrscheinlichkeit der Interaktion der Person mit der Werbetafel zu bestimmen. Erscheint nun eine Interaktion der Person mit der Werbetafel wahrscheinlich, z.B., weil sich die Person in Richtung der Werbetafel bewegt oder sich die Werbetafel zumindest im Sichtbereich der Person befindet, können vorbereitende Maßnahmen für die Interaktion getroffen werden. Beispielsweise wird eine Helligkeit der Werbetafel erhöht, es wird eine Animation oder ein Werbefilm gestartet oder es erfolgt eine Ansprache der Person, etc.Information about an individual collected by device 20 may be used to determine a likelihood of the individual interacting with the billboard. If an interaction between the person and the billboard appears likely, e.g. because the person is moving in the direction of the billboard or the billboard is at least in the person's field of vision, preparatory measures for the interaction can be taken. For example, the brightness of the billboard is increased, an animation or a commercial is started or the person is spoken to, etc.

BezugszeichenlisteReference List

11: Personperson
22: Augmented-Reality-GerätAugmented Reality Device
33: Abstrahlungradiation
44: Erfassungsvorrichtungdetection device
55: Erfassungsbereichdetection range
66: Gebäudebuilding
1010: Erfassen einer Abstrahlung eines Augmented-Reality-GerätesCapturing an emission of an augmented reality device
1111: Auswerten der erfassten AbstrahlungEvaluation of the detected radiation
1212: Bestimmen einer relativen Position des Augmented-Reality-Gerätesdetermining a relative position of the augmented reality device
1313: Bestimmen einer Bewegung eines Nutzers des Augmented-Reality-GerätesDetermining a movement of a user of the augmented reality device
1414: Ermitteln einer Interaktionswahrscheinlichkeit oder einer KollisionswahrscheinlichkeitDetermining an interaction probability or a collision probability
2020: Vorrichtungcontraption
2121: EingangEntry
2222: Sensorsensor
2323: Auswerteeinheitevaluation unit
2424: Kontrolleinheitcontrol unit
2525: SpeicherStorage
2626: AusgangExit
2727: Benutzerschnittstelleuser interface
3030: Vorrichtungcontraption
3131: SpeicherStorage
3232: Prozessorprocessor
3333: EingangEntry
3434: AusgangExit
4040: Kameracamera
4141: Posenbestimmungsvorrichtungpose determination device
4242: Grafikeinheitgraphics unit
4343: Projektionseinheitprojection unit
5050: Fortbewegungsmittelmeans of transportation
5151: Umgebungssensorikenvironmental sensors
5252: Datenübertragungseinheitdata transfer unit
5353: Assistenzsystemassistance system
5454: SpeicherStorage
5555: Netzwerknetwork
6060: Infrastruktureinrichtunginfrastructure facility

Claims

A method of gathering information about an individual (1), comprising the steps of: - Detecting (10) a radiation (3) of an augmented reality device (2) used by the person (1), the radiation (3) being used for a spatial orientation of the augmented reality device (2) includes pattern or scan lines projected into the environment; - Evaluation (11) of the detected radiation of the augmented reality device (2); and - Determining (12) a position of the augmented reality device (2) relative to a detection device (4).

procedure according to claim 1 , wherein a pose of the augmented reality device (2) relative to the detection device (4) is determined.

procedure according to claim 1 or 2 , A movement of the person (1) relative to the detection device (4) being determined (13) from a change in the position of the augmented reality device (2) over time.

Method according to one of Claims 1 until 3 , wherein from the information about the person (1) an interaction probability or a collision probability is determined (14).

Method according to one of the preceding claims, wherein the emission (3) of the augmented reality device (2) is detected (10) with a camera (40) of the detection device (4).

procedure according to claim 5 , wherein the detected radiation (3) of the augmented reality device (2) is evaluated using photogrammetric measures (11).

Method according to one of the preceding claims, wherein the detection device (4) is arranged in a means of transportation (50), an infrastructure device (60) or an augmented reality device (2).

A computer program comprising instructions which, when executed by a computer, enable the computer to carry out the steps of a method according to any one of Claims 1 until 7 cause information about a person (1) to be collected.

Device (20) for collecting information about a person (1), with: - An input (21), which is set up to receive data on a sensor (22) detected (10) emission (3) of an augmented reality device (2) used by the person (1). , wherein the emission (3) comprises a pattern or scan lines projected into the environment for a spatial orientation of the augmented reality device (2); and - an evaluation unit (23) which is set up to evaluate (11) the detected emission of the augmented reality device (2) and to determine (12 ).

Means of locomotion (50), characterized in that the means of locomotion (50) according to a device (20). claim 9 has or is set up, a method according to one of Claims 1 until 7 to collect information about a person (1).

Infrastructure device (60), characterized in that the infrastructure device (60) according to a device (20). claim 9 has or is set up, a method according to one of Claims 1 until 7 to collect information about a person (1).

Augmented reality device (2), characterized in that the augmented reality device (2) according to a device (20). claim 9 has or is set up, a method according to one of Claims 1 until 7 to collect information about a person (1).