DE102021101985A1

DE102021101985A1 - Method and device for providing reference points in the vicinity of a vehicle from the vehicle to a mobile terminal

Info

Publication number: DE102021101985A1
Application number: DE102021101985.0A
Authority: DE
Inventors: Reinhard JURK
Original assignee: Bayerische Motoren Werke AG
Current assignee: Bayerische Motoren Werke AG
Priority date: 2021-01-28
Filing date: 2021-01-28
Publication date: 2022-07-28
Also published as: WO2022161776A1; CN116583713A

Abstract

Offenbart wird ein Verfahren zum Bereitstellen von Referenzpunkten von einem Fahrzeug an ein mobiles Endgerät, insbesondere eine Datenbrille; wobei das Fahrzeug eine Kamera zur Aufnahme von Bereichen des Umfeldes des Fahrzeugs, elektronische Rechenmittel und Kommunikationsmittel umfasst; wobei das mobile Endgerät Kommunikationsmittel, elektronische Rechenmittel und eine Kamera umfasst; wobei das Verfahren folgende Schritte umfasst: Aufnehmen der Umgebung des Fahrzeugs mithilfe der Kamera des Fahrzeugs; Erkennen von Referenzpunkten in den Aufnahmen; Übertragen von einigen oder allen Referenzpunkten vom Fahrzeug an das mobile Endgerät.A method for providing reference points from a vehicle to a mobile terminal device, in particular data glasses, is disclosed; wherein the vehicle comprises a camera for recording areas of the surroundings of the vehicle, electronic computing means and communication means; wherein the mobile terminal comprises communication means, electronic computing means and a camera; the method comprising the steps of: recording the vehicle's surroundings using the vehicle's camera; Recognizing reference points in the recordings; Transmission of some or all reference points from the vehicle to the mobile device.

Description

Die Erfindung betrifft ein Verfahren zum Bereitstellen von Referenzpunkten in der Umgebung eines Fahrzeugs von dem Fahrzeug an ein mobiles Endgerät sowie entsprechend eingerichtete Fahrzeuge und mobile Endgeräte.The invention relates to a method for providing reference points in the area surrounding a vehicle from the vehicle to a mobile terminal device, as well as vehicles and mobile terminal devices that are set up accordingly.

Heutzutage sind Datenbrillen im Forschungsstadium bekannt geworden, die mit durchsichtigen Anzeigen dem Träger die Wahrnehmung des Umfeldes ermöglichen und gleichzeitig die Einblendung von Informationen bieten. Diese Informationen können derart eingeblendet werden, dass sie dem Träger der Datenbrille an gewünschten Orten im Umfeld erscheinen, was häufig augmented reality genannt wird. Eine augmented reality Darstellung ist auch möglich mit Datenbrillen, die nicht-durchsichtige Anzeigen umfassen. In diesem Fall wird auf der Anzeige auch das Umfeld abgebildet und die darzustellende Information zusätzlich eingespielt.Nowadays data glasses have become known in the research stage, which allow the wearer to perceive the environment with transparent displays and at the same time offer the display of information. This information can be displayed in such a way that it appears to the wearer of the data glasses at desired locations in the environment, which is often called augmented reality. An augmented reality display is also possible with data glasses that include non-transparent displays. In this case, the environment is also shown on the display and the information to be displayed is also fed in.

Zur ortskorrekten Platzierung der Information zur Erreichung der augmented reality werden im Umfeld der Datenbrille Marker, sogenannte Referenzpunkte, erkannt. Dies geschieht mithilfe einer Kamera und zugehöriger Bildverarbeitung, die von der Datenbrille mit umfasst sind. Typische Algorithmen zur Erkennung von Referenzpunkten durch die Datenbrille sind dabei vergleichsweise rechenintensiv bezogen auf die Verarbeitungskapazitäten der Datenbrille, weshalb Algorithmen hierfür entsprechend angepasst werden müssen.Markers, so-called reference points, are recognized in the area surrounding the data glasses so that the information can be placed correctly in order to achieve augmented reality. This is done using a camera and associated image processing, which are included in the data glasses. Typical algorithms for detecting reference points using the data glasses are comparatively computationally intensive in relation to the processing capacities of the data glasses, which is why algorithms have to be adapted accordingly.

Es bestehen Überlegungen Datenbrillen auch in Fahrzeugen einzusetzen, um beispielsweise dem Fahrer des Fahrzeugs mithilfe von augmented reality Informationen zum Umfeld des Fahrzeugs dar zu bieten. Hierbei besteht die Situation, dass das Umfeld des Fahrzeugs für die Kamera der Datenbrille nicht vollständig sichtbar ist, sondern durch die Karosserie des Fahrzeugs (umfassend hierin auch Teile wie die Innenspiegel, Außenspiegel, Scheibenwischer, etc.) teilweise verdeckt wird. Diese Verdeckung führt dazu, dass die Datenbrille im Umfeld befindliche und verdeckte Referenzpunkte nicht mit der Kamera aufnehmen und erkennen kann. Dies bedeutet, dass der von den Algorithmen der Datenbrille für die verdeckten Referenzpunkte aufgewandte Rechenkapazität, Rechenzeit und dafür aufgewandte in Batterien gespeicherte Energie unnötig verwendet wird.There are also considerations to use data glasses in vehicles, for example to provide the driver of the vehicle with information about the environment of the vehicle using augmented reality. The situation here is that the surroundings of the vehicle are not completely visible to the camera of the data glasses, but are partially covered by the body of the vehicle (including parts such as the interior mirrors, exterior mirrors, windshield wipers, etc.). This covering means that the data glasses cannot record and recognize covered reference points in the environment with the camera. This means that the computing capacity, computing time and energy stored in batteries expended by the algorithms of the data glasses for the covered reference points are used unnecessarily.

Dem Fachmann stellt sich somit die Aufgabe, die Rechenkapazitäten, Rechenzeiten und den Energieverbrauch von Datenbrillen bei der Erkennung von Referenzpunkten und bei der Verwendung in Fahrzeugen zu optimieren.The task of the person skilled in the art is therefore to optimize the computing capacities, computing times and the energy consumption of data glasses when recognizing reference points and when using them in vehicles.

Die Aufgabe wird durch die Verfahren und Vorrichtungen gemäß den unabhängigen Ansprüchen gelöst. Vorteilhafte Ausführungsformen sind in den abhängigen Ansprüchen definiert.The object is achieved by the methods and devices according to the independent claims. Advantageous embodiments are defined in the dependent claims.

Gemäß einem ersten Aspekt der Erfindung umfasst ein Verfahren zum Bereitstellen von Referenzpunkten in der Umgebung eines Fahrzeugs von dem Fahrzeug an ein mobiles Endgerät, insbesondere eine Datenbrille; wobei das Fahrzeug eine Kamera zur Aufnahme von Bereichen des Umfeldes des Fahrzeugs, elektronische Rechenmittel und Kommunikationsmittel umfasst; wobei das mobile Endgerät Kommunikationsmittel, elektronische Rechenmittel und eine Kamera umfasst; wobei das Verfahren folgende Schritte umfasst: Aufnehmen der Umgebung des Fahrzeugs mithilfe der Kamera des Fahrzeugs; Erkennen von Referenzpunkten in den Aufnahmen; Übertragen von einigen oder allen Referenzpunkten vom Fahrzeug an das mobile Endgerät. Die Kamera des Fahrzeugs ist insbesondere in im Außenbereich der Karosserie des Fahrzeugs integriert mit einem Aufnahmebereich bzw. Sicht nach außen, so dass die Sicht der Fahrzeugkamera nur unwesentliche durch Teile der Karosserie eingeschränkt wird.According to a first aspect of the invention, a method for providing reference points in the area surrounding a vehicle from the vehicle to a mobile terminal device, in particular data glasses; wherein the vehicle comprises a camera for recording areas of the surroundings of the vehicle, electronic computing means and communication means; wherein the mobile terminal comprises communication means, electronic computing means and a camera; the method comprising the steps of: recording the vehicle's surroundings using the vehicle's camera; Recognizing reference points in the recordings; Transmission of some or all reference points from the vehicle to the mobile device. The camera of the vehicle is integrated in particular in the exterior of the body of the vehicle with a recording area or view to the outside, so that the view of the vehicle camera is only insignificantly restricted by parts of the body.

Hierin wird also vorgeschlagen, eine Kamera des Fahrzeugs zu verwenden, um das Umfeld des Fahrzeugs auf Referenzpunkte zu untersuchen. Diese erkannten Referenzpunkte werden dann an die Datenbrille übertragen. Die Datenbrille erreicht so eine Kenntnis von den Referenzpunkten in der Umgebung des Fahrzeugs, die von der Kamera des Fahrzeugs, und damit ohne Verdeckung durch die Karosserieteile des Fahrzeugs, erkennbar sind. Auf diese Weise erlangt die Datenbrille Kenntnis von der Lage der erkennbaren Referenzpunkte und kann deren mögliche Verdeckung durch Karosserieteile berücksichtigen.It is therefore proposed here to use a camera of the vehicle in order to examine the surroundings of the vehicle for reference points. These recognized reference points are then transmitted to the data glasses. In this way, the data glasses gain knowledge of the reference points in the vehicle's surroundings, which can be recognized by the vehicle's camera and are therefore not covered by the vehicle's body parts. In this way, the data glasses gain knowledge of the position of the recognizable reference points and can take into account their possible covering by body parts.

Vorteilhafterweise ist im Verfahren vorgesehen, dass beim Erkennen von Referenzpunkten Informationen bezüglich Referenzpunkten berücksichtigt werden, die zuvor vom mobilen Endgerät zum Fahrzeug übertragen wurden, insbesondere bezüglich des Typs von zu erkennenden Referenzpunkten, und/oder vorbestimmten Referenzpunkten. Dieser Austausch zwischen der Datenbrille und dem Fahrzeug dient dazu, dass nach denselben Referenzpunkten durch die Datenbrille und das Fahrzeug gesucht wird. Auf diese Weise wird besser sichergestellt, dass die vom Fahrzeug erkannten Referenzpunkte durch die Datenbrille weiterverwertet werden können.Advantageously, the method provides that when recognizing reference points, information regarding reference points that was previously transmitted from the mobile terminal device to the vehicle is taken into account, in particular regarding the type of reference points to be recognized and/or predetermined reference points. This exchange between the data glasses and the vehicle is used to search for the same reference points through the data glasses and the vehicle. In this way, it is better ensured that the reference points recognized by the vehicle can be further processed by the data glasses.

Im Verfahren kann vorgesehen sein, dass nur eine Untergruppe von Referenzpunkten übertragen wird oder die Untergruppe als solche gekennzeichnet wird. Dies verringert den Übertragungsbedarf zwischen Fahrzeug und Datenbrille und kann die Übertragung auf die für die Datenbrille relevanten Referenzpunkte beschränken beziehungsweise erlaubt eine Identifizierung der Untergruppe durch die Datenbrille.Provision can be made in the method for only a subgroup of reference points to be transmitted or for the subgroup to be identified as such. This reduces the transmission load between the vehicle and data glasses and can limit the transmission to the reference points relevant for the data glasses or allow the subgroup to be identified by the data glasses.

Weiter kann die Untergruppe von Referenzpunkten abhängig von der Geometrie von Karosserieteilen des Fahrzeugs ausgewählt werden, insbesondere abhängig von der Geometrie von Karosserieteilen, die an die Frontscheibe des Fahrzeugs angrenzen. Es wird als vom Fahrzeug die Auswahl an zu übertragenden Referenzpunkten anhand der Geometrie der Karosserie ausgewählt. Dabei kann berücksichtigt werden, welche Bereiche des Umfeldes durch Karosserieteile für die Kamera des mobilen Endgerätes verdeckt werden, eben gerade durch Karosserieteile, die an die Frontscheibe des Fahrzeugs angrenzen, wie beispielsweise die A-Säule bei der Sicht des Fahrers nach vorne.Furthermore, the subgroup of reference points can be selected depending on the geometry of body parts of the vehicle, in particular depending on the geometry of body parts that adjoin the windshield of the vehicle. The selection of reference points to be transmitted is selected by the vehicle based on the geometry of the body. It can be taken into account which areas of the environment are covered by body parts for the camera of the mobile device, precisely by body parts that adjoin the windscreen of the vehicle, such as the A-pillar when the driver is looking forward.

Bevorzugt wird die Bestimmung der verdeckten Bereiche anhand der Geometrie von Katrosserieteilen und der Position des mobilen Endgeräts ausgeführt, und insbesondere anhand der Position der Kamera des mobilen Endgeräts, im Fahrzeug. Es wird also die konkrete Sicht der Kamera des mobilen Endgerätes und die resultierende Verdeckung durch Karosserieteile errechnet (durch das Fahrzeug oder das mobile Endgerät).The determination of the covered areas is preferably carried out based on the geometry of body parts and the position of the mobile terminal, and in particular based on the position of the camera of the mobile terminal, in the vehicle. The specific view of the mobile device's camera and the resulting coverage by body parts are calculated (by the vehicle or the mobile device).

Die Position des mobilen Endgerätes kann dabei als eine typische vordefinierte Position angenommen werden, oder abhängig von der Einstellung eines Sitzes, Spiegels und/oder Lenkrads bestimmt werden, oder durch das mobile Endgerät und den Aufnahmen der Kamera des mobilen Endgerätes von dem dem mobilen Endgerät bekannten Innenraum des Fahrzeugs bestimmt werden (Rückrechnung aus der Aufnahme von Karosserieteilen auf die Position des mobilen Endgeräts).The position of the mobile terminal can be assumed as a typical predefined position, or determined depending on the setting of a seat, mirror and/or steering wheel, or by the mobile terminal and the recordings of the camera of the mobile terminal from the known to the mobile terminal Interior of the vehicle are determined (back calculation from the inclusion of body parts on the position of the mobile device).

Zur Übertragung können nun Referenzpunkte in den verdeckten Bereichen des Umfeldes nicht ausgewählt werden, oder aber nur Referenzpunkte ausgewählt werden, die für die Kamera des mobilen Endgerätes aus dem Fahrzeug heraus sichtbar, d.h. aufnehmbar, sind. Ggf. können auch alle Referenzpunkte ausgwählt werden, und jeweils mit einer Information versehen werden, ob sie für das mobile Endgerät sichtbar oder nicht sichtbar sind.Reference points in the covered areas of the environment cannot be selected for transmission, or only reference points that are visible to the camera of the mobile terminal device from the vehicle, i.e. can be recorded, can be selected. If necessary, all reference points can also be selected and each provided with information as to whether they are visible or not visible to the mobile terminal device.

In dem System mit Datenbrille umfasst das Verfahren einen der folgenden Schritte: Erkennen von Referenzpunkten durch das mobile Endgerät, wobei beim Erkennen von vornherein diejenigen Referenzpunkte von der Erkennung ausgeschlossen werden, die zuvor vom Fahrzeug übertragen wurden; oder Erkennen von Referenzpunkten durch das mobile Endgerät, wobei beim Erkennen zumindest nach denjenigen Referenzpunkte priorisiert (oder nur) gesucht wird, die zuvor vom Fahrzeug übertragen wurden. Die Datenbrille sucht also nicht mehr oder jedenfalls nicht priorisiert, nach Referenzpunkten, von denen der Datenbrille bekannt ist, dass sie schon gar nicht erkennbar sind. Dies ermöglicht eine Einsparung von Rechenzeit und Rechenkapazität und verbessert Darstellungen der augmented reality.In the system with data glasses, the method comprises one of the following steps: detection of reference points by the mobile terminal, with the detection from the outset those reference points being excluded from the detection that were previously transmitted by the vehicle; or detection of reference points by the mobile terminal device, with priority being given to (or only) searching for at least those reference points that were previously transmitted by the vehicle. The data glasses no longer search, or at least do not prioritize, for reference points that the data glasses know are not recognizable at all. This enables savings in computing time and computing capacity and improves representations of augmented reality.

Ein anderer Aspekt der Erfindung umfasst ein Fahrzeug, umfassend eine Kamera zur Aufnahme von Bereichen des Umfeldes des Fahrzeugs, elektronische Rechenmittel und Kommunikationsmittel; wobei das Fahrzeug dazu eingerichtet ist, eines der vorstehenden Verfahren auszuführen.Another aspect of the invention comprises a vehicle, comprising a camera for recording areas of the surroundings of the vehicle, electronic computing means and communication means; wherein the vehicle is set up to carry out one of the above methods.

Ein weitere Aspekt der Erfindung betrifft ein Verfahren zum Bestimmen von Referenzpunkten durch ein mobiles Endgerät, umfassend eine Kamera, elektronische Rechenmittel und Kommunikationsmittel; wobei das Verfahren folgende Schritte umfasst: Bestimmen von Informationen bezüglich Referenzpunkten, insbesondere bezüglich des Typs von zu erkennenden Referenzpunkten, und/oder vorbestimmten Referenzpunkten; Übertragen dieser Informationen an ein Fahrzeug; Empfangen von Referenzpunkten von dem Fahrzeug; Erkennen von Referenzpunkten durch das mobile Endgerät, wobei entweder beim Erkennen von vornherein diejenigen Referenzpunkte von der Erkennung ausgeschlossen werden, die zuvor vom Fahrzeug übertragen wurden, oder beim Erkennen zumindest nach denjenigen Referenzpunkte priorisiert oder nur gesucht wird, die zuvor vom Fahrzeug übertragen wurden. Dieses Verfahren ermöglicht eine schnellere und ggf. qualitativ hochwertigere Erkennung von Referenzpunkten durch die Datenbrille und damit eine Verbesserung der Qualität der augmented reality Darstellungen.A further aspect of the invention relates to a method for determining reference points using a mobile terminal device, comprising a camera, electronic computing means and communication means; the method comprising the following steps: determining information relating to reference points, in particular relating to the type of reference points to be recognized, and/or predetermined reference points; transmitting that information to a vehicle; receiving reference points from the vehicle; Recognition of reference points by the mobile terminal, either those reference points that were previously transmitted by the vehicle are excluded from the recognition upon recognition from the outset, or upon recognition at least those reference points are prioritized or only searched for that were previously transmitted by the vehicle. This method allows reference points to be recognized more quickly and possibly with higher quality using the data glasses, and thus improves the quality of the augmented reality representations.

Die empfangenen Referenzpunkte können die gemäß einem der vorstehenden Verfahren übertragenen Referenzpunkte sein.The received reference points can be the reference points transmitted according to one of the above methods.

Ein weitere Aspekt betrifft ein mobiles Endgerät mit einer Kamera, elektronischen Rechenmitteln und Kommunikationsmitteln, wobei das mobile Endgerät dazu eingerichtet ist, eines der beiden zuletzt genannten Verfahren auszuführen.A further aspect relates to a mobile terminal device with a camera, electronic computing means and communication means, the mobile terminal device being set up to carry out one of the two last-mentioned methods.

Figurenlistecharacter list

1 shows the use of a system according to an embodiment.

DETAILLIERTE BESCHREIBUNG DES AUSFÜHRUNGSBEISPIELSDETAILED DESCRIPTION OF THE EMBODIMENT

1 zeigt die Verwendung eines Systems gemäß einem Ausführungsbeispiel. Ein Fahrer befindet sich in einem Fahrzeug mit einer Kamera 50, die das Umfeld des Fahrzeugs aufnimmt, und verwendet eine Datenbrille 20 mit elektronischen Verarbeitungsmitteln und einer Kamera (nicht dargestellt). Die Datenbrille 20 wird zur Darstellung von augmented reality Inhalten bezüglich des Umfeldes des Fahrzeugs verwendet, wozu Referenzpunkte im Umfeld des Fahrzeugs erkannt werden müssen. Das Sichtfeld der Kamera 50 und der Datenbrille 20 ist jeweils angedeutet durch gestrichelte Linien. 1 shows the use of a system according to an embodiment. A driver is in a vehicle with a camera 50 that records the surroundings of the vehicle and uses data glasses 20 with electronic processing means and a camera (not shown). The data glasses 20 are used to display augmented reality content relating to the area surrounding the vehicle, for which purpose reference points in the area surrounding the vehicle must be recognized. The field of view of the camera 50 and the data glasses 20 is indicated by dashed lines.

Im Umfeld des Fahrzeugs befindet sich hier beispielhaft und schemenhaft dargestellt ein Baum und ein Haus, von denen jeweils ein Teil nicht für die Kamera der Datenbrille 20 sichtbar ist, weil die Sicht der Kamera auf das Umfeld durch die Karosserie des Fahrzeugs (Dach, A-Säule, Fronthaube) eingeschränkt ist. Am Baum und am Haus befinden sich Referenzpunkte 41, 42. Die Referenzpunkte 42 sind sowohl für die Kamera 50 des Fahrzeugs, als auch für die Kamera der Datenbrille 20 sichtbar. Die Referenzpunkte 41 sind nur für die Kamera 50 des Fahrzeugs sichtbar, nicht aber für die Kamera der Datenbrille 20, weil sie von der Karosserie des Fahrzeugs verdeckt werden.In the surroundings of the vehicle there is a tree and a house shown here as an example and shown schematically, part of each of which is not visible to the camera of the data glasses 20 because the camera's view of the surroundings through the body of the vehicle (roof, A- pillar, front hood) is restricted. There are reference points 41, 42 on the tree and on the house. The reference points 42 are visible both to the camera 50 of the vehicle and to the camera of the data glasses 20. The reference points 41 are only visible to the camera 50 of the vehicle, but not to the camera of the data glasses 20 because they are covered by the body of the vehicle.

Im Fahrzeug befindet sich eine elektronische Verarbeitungseinheit 60 die mit der Kamera 50 verbunden ist und über eine drahtlose Funkverbindung (e.g. Bluetooth, WiFi, etc) auch mit der Datenbrille 20. Die elektronische Verarbeitungseinheit 60 dient dazu, die Aufnahmen der Kamera 50 zu empfangen, zu verarbeiten und darin Referenzpunkte zu erkennen.The vehicle contains an electronic processing unit 60 which is connected to the camera 50 and also to the data glasses 20 via a wireless radio link (e.g. Bluetooth, WiFi, etc.). The electronic processing unit 60 is used to receive the recordings from the camera 50, too process and recognize reference points in it.

Die Datenbrille 20 ist über eine drahtlose Funkverbindung mit der Verarbeitungseinheit 60 und über eine drahtlose Funkverbindung (e.g. Mobilfunk) mit einer Datenbank 70 verbunden. Die Datenbank 70 speichert für verschiedene Positionen in der Welt die detektierbaren Referenzpunkte. Die Datenbrille 20 umfasst auch einen GNSS-Empfänger (e.g. GPS, GLONASS, Galileo), um die eigene Position feststellen zu können. Anhand der bestimmten Position fragt die Datenbrille 20 bei der Datenbank 70 die an dieser Position detektierbaren Referenzpunkte ab.The data glasses 20 are connected to the processing unit 60 via a wireless radio link and to a database 70 via a wireless radio link (e.g. mobile radio). The database 70 stores the detectable reference points for different positions in the world. The data glasses 20 also include a GNSS receiver (e.g. GPS, GLONASS, Galileo) to be able to determine your own position. Based on the determined position, the data glasses 20 query the database 70 for the reference points that can be detected at this position.

Im Betrieb sendet die Datenbrille 20 an die Verarbeitungseinheit 60 die an der aktuellen Position detektierbaren Referenzpunkte, in 1 alle Bezugszeichen 41 und 42. Die Kamera 50 und die Verarbeitungseinheit 60 führen die entsprechenden Algorithmen zur Erkennung der empfangenen Referenzpunkte aus. Ebenfalls empfängt die Verarbeitungseinheit 60 vom Fahrzeug die Sitzeinstellung des Fahrersitzes und berechnet daraus die Position der Datenbrille 20 im Innenraum des Fahrzeugs. Weiterhin berechnet die Verarbeitungseinheit 60 anhand der bekannten Geometrie der Fahrzeugkarosserie, welche Bereiche des Umfeldes für die Kamera der Datenbrille sichtbar sind und welche nicht. Die Verarbeitungseinheit 60 prüft nun, welche der erkannten Referenzpunkte für die Datenbrille 20 sichtbar sind, hier die Punkte mit Bezugszeichen 42, und überträgt diese Untergruppe an Referenzpunkten 42 an die Datenbrille 20.During operation, the data glasses 20 send the reference points detectable at the current position to the processing unit 60, in 1 all reference numerals 41 and 42. The camera 50 and the processing unit 60 execute the appropriate algorithms for recognizing the received reference points. The processing unit 60 also receives the seat adjustment of the driver's seat from the vehicle and uses this to calculate the position of the data glasses 20 in the interior of the vehicle. Furthermore, the processing unit 60 uses the known geometry of the vehicle body to calculate which areas of the environment are visible to the camera of the data glasses and which are not. The processing unit 60 now checks which of the identified reference points are visible for the data glasses 20, here the points with reference number 42, and transmits this subgroup of reference points 42 to the data glasses 20.

Die Datenbrille 20 führt nun eine Erkennung der Referenzpunkte in der Umgebung des Fahrzeugs durch, wobei hierfür nur nach den Referenzpunkten 42 gesucht wird. Die Anzahl der Referenzpunkte 42 ist kleiner als die von der Datenbank 70 empfangene Anzahl an Referenzpunkten und so ist die Erkennung von Referenzpunkten durch die Datenbrille 20 schneller abgeschlossen, als wenn nach allen Referenzpunkten gesucht würde. Dies insbesondere deshalb, weil die Suche nach nicht erkennbaren (weil verdeckten) Referenzpunkten vergleichsweise viel Rechenkapazität und Rechenzeit in Anspruch nimmt. Die schnellere Detektion von Referenzpunkten ist vorteilhaft für die Qualität der Darstellung von augmented reality durch die Datenbrille.The data glasses 20 now carry out a detection of the reference points in the area surrounding the vehicle, only the reference points 42 being searched for this purpose. The number of reference points 42 is smaller than the number of reference points received from the database 70 and the identification of reference points by the data glasses 20 is thus completed more quickly than if all reference points were searched for. This in particular because the search for unrecognizable (because covered) reference points takes up a comparatively large amount of computing capacity and computing time. The faster detection of reference points is advantageous for the quality of the representation of augmented reality through the data glasses.

Claims

Method for providing reference points in the area surrounding a vehicle from the vehicle to a mobile device, in particular data glasses; wherein the vehicle comprises a camera for recording areas of the surroundings of the vehicle, electronic computing means and communication means; wherein the mobile terminal comprises communication means, electronic computing means and a camera; the method comprising the following steps: capturing surroundings of the vehicle using the vehicle's camera; Recognizing reference points in the recordings; Transmission of some or all reference points from the vehicle to the mobile device.

procedure after claim 1 , wherein when recognizing reference points, information regarding reference points is taken into account that was previously transmitted from the mobile terminal to the vehicle, in particular with regard to the type of reference points to be recognized and/or predetermined reference points.

Method according to any one of the preceding claims, the method further comprising the step of: selecting a subset of reference points; whereby only the subset of reference points is transmitted or the subset is marked as selected.

procedure after claim 3 , where the subset of reference points depends on the Geometry of body parts of the vehicle is selected, in particular depending on the geometry of body parts that are adjacent to the windscreen of the vehicle.

procedure after claim 3 or 4 , wherein when selecting the subgroup it is taken into account which areas of the environment are covered by body parts for the camera of the mobile terminal, in particular by body parts that adjoin the windscreen of the vehicle.

procedure after claim 5 , wherein the covered areas are determined based on the geometry of body parts and the position of the mobile device, and in particular the position of the camera of the mobile device in the vehicle.

procedure after claim 6 , wherein the position of the mobile terminal is assumed as a typical predefined position, or is determined depending on the adjustment of a seat, mirror and/or steering wheel, or by the mobile terminal and the recordings of the camera of the mobile terminal from that known to the mobile terminal Interior of the vehicle is determined.

procedure after claim 5 until 7 , where reference points in the hidden areas of the environment are not selected.

procedure after claim 3 until 7 , where only reference points for the subgroup of reference points are selected that are not visible to the camera of the mobile terminal device from the vehicle, ie, they can be recorded.

A method according to any one of the preceding claims, further comprising the step of: Recognition of reference points by the mobile terminal, with the recognition from the outset those reference points are excluded from the recognition or are included in the recognition that were previously selected by the vehicle; or Recognition of reference points by the mobile terminal device, with the recognition at least prioritizing or only looking for those reference points that were previously transmitted by the vehicle.

Vehicle, comprising a camera for recording areas of the surroundings of the vehicle, electronic computing means and communication means; wherein the vehicle is set up to carry out a method according to any one of the preceding claims.

Method for determining reference points by a mobile terminal, comprising a camera, electronic computing means and communication means; the method comprising the following steps: Determination of information regarding reference points, in particular regarding the type of reference points to be recognized, and/or predetermined reference points; transmitting that information to a vehicle; receiving reference points from the vehicle; Recognition of reference points by the mobile terminal, either those reference points that were previously transmitted by the vehicle are excluded from the recognition upon recognition from the outset, or upon recognition at least those reference points that were previously transmitted by the vehicle are searched for with priority.

procedure after claim 12 , wherein the received reference points according to a method according to one of Claims 1 until 10 transferred reference points are.

Mobile terminal with a camera, electronic computing means and communication means, wherein the mobile terminal is set up to a method claim 12 or 13 to execute.