DE102014207398A1

DE102014207398A1 - Object association for contact-analogue display on an HMD

Info

Publication number: DE102014207398A1
Application number: DE102014207398.7A
Authority: DE
Inventors: Matthias Kaufmann; Andreas Rauch
Original assignee: Bayerische Motoren Werke AG
Current assignee: Bayerische Motoren Werke AG
Priority date: 2014-04-17
Filing date: 2014-04-17
Publication date: 2015-10-22

Abstract

Offenbart wird ein Verfahren zur kontaktanalogen Anzeige eines Hinweises für ein zu markierendes Objekt im Umfeld eines Fahrzeugs, umfassend: Bereitstellen von Informationen zu dem kontaktanalog zu markierenden Objekt im Umfeld des Fahrzeugs, insbesondere die Position des zu markierenden Objektes; Erkennen von Objekten in den Aufnahmen einer Kamera eines mobilen Endgerätes, insbesondere einer Datenbrille; Identifizieren eines Objektes in den Aufnahmen der Kamera des mobilen Endgerätes als das zu markierende Objekt; Kontaktanaloges Anzeigen des Hinweises für das identifizierte Objekt auf einer Anzeige des mobilen Endgeräts.Disclosed is a method for contact-analogue display of an indication of an object to be marked in the environment of a vehicle, comprising: providing information about the contact analog object to be marked in the environment of the vehicle, in particular the position of the object to be marked; Recognition of objects in the recordings of a camera of a mobile terminal, in particular data glasses; Identifying an object in the recordings of the camera of the mobile terminal as the object to be marked; Contact analogue Display of the notice for the identified object on a display of the mobile terminal.

Description

Die Erfindung betrifft ein Verfahren zur kontaktanalogen Anzeige eines Hinweises für ein zu markierendes Objekt im Umfeld eines Fahrzeugs sowie ein System zu demselben Zweck. The invention relates to a method for contact-analog display of an indication of an object to be marked in the environment of a vehicle and a system for the same purpose.

Heutzutage sind Datenbrillen, manchmal auch Head-mounted Display (HMD) genannt, bekannt, mit deren Hilfe dem Träger der Datenbrille Informationen angezeigt werden können. Die Datenbrille wird dabei wie eine gewöhnliche Brille, die als Sehhilfe verwendet wird, auf dem Kopf getragen. Heutzutage sind Datenbrillen im Forschungsstadium bekannt geworden, bei denen das anzuzeigende Bild direkt in das Auge (auf die Netzhaut) projiziert wird, beispielsweise mithilfe von schwachen Lasern. Typischerweise umfasst eine HMD-Datenbrille allerdings jedoch eine Anzeige, die beim Tragen der Datenbrille nahe dem oder den Augen des Benutzers angeordnet ist. Die Anzeige kann dabei zwei Teilanzeigen umfassen, eine für jedes Auge. Auf der Anzeige können dem Benutzer Informationen und Hinweise in Form von Text, graphischen Darstellungen oder Mischungen davon angezeigt werden. Die Anzeige kann insbesondere teildurchlässig sein, also so ausgestaltet sein, dass der Träger auch die Umgebung hinter der Anzeige erkennen kann. Besonders bevorzugt werden dem Träger die Hinweise kontaktanalog angezeigt, was manchmal auch als augmented reality bezeichnet wird. Dabei wird dem Träger der Datenbrille die Information an einem Ort angezeigt, der an dem Ort eines Objektes in der Umgebung oder einem Bereich in der Umgebung orientiert ist. Die Information kann darin bestehen, ein Objekt oder einen Bereich des Umfeldes mithilfe einer geometrischen Form zu markieren, die beispielsweise an das Objekt angrenzend oder dieses überlagernd dargestellt wird. Die geometrische Form kann (perspektivisch korrekt) an die Kontur des zu markierenden Objektes angepasst werden.. Weiterhin kann die geometrische Form eine sogenannte Bounding Box sein, die als Rechteck (oder andere einfach geometrische Form) grob derart angeordnet wird, dass ein Objekt oder einen Bereich im Umfeld von ihr umschlossen wird (aus der Sicht des Trägers der Datenbrille). Weiterhin kann die markierende Information in Form von Text oder Piktogrammen sein, die in der Nähe oder das Objekt überlagernd angezeigt werden. Übelicherweise wird der Anzeigeort von kontaktanalogen Informationen nachgeführt, um Bewegungen der Datenbrille und des Objektes auszugleichen. Datenbrillen können auch in Fahrzeugen genutzt werden, um kontaktanaloge Hinweise für Objekte im Umfeld des Fahrzeugs anzuzeigen. Unter Objekten werden hierin Gegenstände, wie Verkehrsschilder oder Leitplanken verstanden aber auch andere Verkehrsteilnehmer wie Fahrzeuge und Fußgänger. Unter dem Begriff Eigenfahrzeug wird das Fahrzeug verstanden, in dem sich der Brillenträger befindet. Nowadays, data glasses, sometimes called head-mounted display (HMD) are known, with the help of the wearer of the data glasses information can be displayed. The data glasses are worn like ordinary glasses, which is used as a visual aid on the head. Today, data goggles have become known in the research stage, where the image to be displayed is projected directly into the eye (on the retina), for example using weak lasers. However, typically an HMD data goggle includes a display that is placed near the user's eye or eyes when wearing the data glasses. The display can include two partial displays, one for each eye. On the display, information and instructions in the form of text, graphics or mixtures thereof may be displayed to the user. In particular, the display may be semitransparent, that is configured in such a way that the wearer can also recognize the surroundings behind the display. Particularly preferably, the instructions are displayed contact-analogously to the wearer, which is sometimes also referred to as augmented reality. In this case, the information frame is displayed to the wearer of the data glasses at a location which is oriented at the location of an object in the surroundings or an area in the surroundings. The information may be to mark an object or a region of the environment using a geometric shape that is, for example, adjacent to the object or overlapping it. The geometric shape can be adapted (perspective correct) to the contour of the object to be marked. Furthermore, the geometric shape may be a so-called bounding box, which is roughly arranged as a rectangle (or other simple geometric shape) such that an object or a Enclosed in the area surrounding it (from the point of view of the wearer of the data glasses). Furthermore, the marking information may be in the form of text or pictograms displayed overlaying or superimposed over the object. Unfortunately, the display location is tracked by contact-analog information to compensate for movements of the data glasses and the object. Data glasses can also be used in vehicles to display contact analog information for objects around the vehicle. Under objects herein objects, such as traffic signs or guardrails understood but also other road users such as vehicles and pedestrians. The term "own vehicle" is understood to mean the vehicle in which the spectacle wearer is located.

Zur Realisierung der Kontaktanalogie wird typischerweise die Position des Objektes in der Umgebung (des Brillenträgers und damit häufig des Eigenfahrzeugs) und die Pose der Datenbrille in Relation zum Objekt berücksichtigt, also die Position der Datenbrille und die Ausrichtung der Datenbrille. Für die Anwendung im Fahrzeug wird die Pose der Datenbrille typischerweise mithilfe eines Datenbrillen-Tracking-Systems festgestellt. Ein Datenbrillen-Tracking-System kann beispielsweise eine im Fahrzeug verbaute Kamera umfassen, die den Kopf des Fahrers mit der Datenbrille zusammen aufnimmt. Aus diesen Aufnahmen wird dann auf die Pose der Datenbrille im Fahrzeug geschlossen. Die Position und häufig auch die Dimension des kontaktanalog zu markierenden Objektes wird typischerweise mithilfe von im Fahrzeug verbauten Sensoren wie Radar, Lidar und/oder einem Kamerasystem bestimmt. For the realization of the contact analogy, the position of the object in the environment (of the spectacle wearer and therefore often of the own vehicle) and the pose of the data spectacles in relation to the object are typically taken into account, ie the position of the data glasses and the orientation of the data glasses. For use in the vehicle, the pose of the data glasses is typically detected using a data goggle tracking system. A data-goggle tracking system may include, for example, a camera installed in the vehicle, which receives the head of the driver with the data goggles together. From these recordings is then closed on the pose of the data glasses in the vehicle. The position and often also the dimension of the object to be marked contact-analogically is typically determined by means of sensors installed in the vehicle such as radar, lidar and / or a camera system.

Die Realisierung einer kontaktanalogen Anzeige erfordert eine hohe Genauigkeit des Datenbrillen-Tracking Systems sowie der Bestimmung der Position des zu markierenden Objektes. Beispielsweise führt bereits ein Gesamtfehler von 1° bei der Bestimmung der Pose der Datenbrille und der Position des zu markierenden Objektes bei einem Abstand des Objektes von 100 Metern zu einem Fehler von 1,75 Metern. Für die kontaktanaloge Markierung eines voranfahrenden Fahrzeuges auf der Autobahn (beispielsweise ein Zielfahrzeug einer Automatic Cruise Control Steuerung, also einer Abstandsregelung) bedeutet dies jedoch bereits eine knappe Autobreite Versatz. The realization of a contact-analog display requires a high accuracy of the data-goggle tracking system as well as the determination of the position of the object to be marked. For example, a total error of 1 ° in the determination of the pose of the data glasses and the position of the object to be marked at a distance of the object of 100 meters leads to an error of 1.75 meters. However, for the contact-analogous marking of a preceding vehicle on the highway (for example, a target vehicle of an automatic cruise control, ie a distance control), this already means a scarce car width offset.

Der wesentliche Nachteil aktueller Systeme liegt in der zugrundeliegenden Verarbeitungskette begründet, d.h. dass zwischen den verschiedenen Bezugssystemen (Umfeldsensorik des Eigenfahrzeugs, Datenbrillen-Tracking, Datenbrille) umgerechnet werden muss und sich dabei alle Einzelfehler akkumulieren bei gleichzeitig hohen Anforderungen an die Gesamtqualität. Dies ist unabhängig davon, ob die endgültige Berechnung im Bezugsystem des Fahrzeugs, des Datenbrillen-Tracking Systems oder der Datenbrille erfolgt. Aus diesem Grund ermöglichen derzeitige Datenbrillen-Tracking-Systeme und derzeit eingesetzte Fahrzeugsensoren kaum die Erreichung einer Gesamtqualität unterhalb von 1°. Auch mittelfristig wird nicht erwartet, dass diese Genauigkeit mit den derzeitigen Systemen erreicht werden kann. The major disadvantage of current systems is due to the underlying processing chain, i. that between the different reference systems (environment sensor of the own vehicle, data glasses tracking, data glasses) must be converted and accumulate all single errors with high demands on the overall quality. This is independent of whether the final calculation takes place in the reference system of the vehicle, the data eye tracking system or the data glasses. For this reason, current data-goggle tracking systems and currently used vehicle sensors hardly allow achieving an overall quality below 1 °. Even in the medium term, it is not expected that this accuracy can be achieved with current systems.

Es sind Datenbrillen bekannt geworden, die ebenfalls jeweils eine Kamera umfassen, die Aufnahmen in Blickrichtung des Trägers der Datenbrille macht, siehe beispielsweise WO 2013/012914 . There are data goggles have become known, which also each include a camera that makes shots in the direction of the wearer of the data glasses, see for example WO 2013/012914 ,

Die Aufgabe, die der Erfindung zugrundeliegt, ist es, ein alternatives Verfahren bereitzustellen, das eine möglichst genaue kontaktanaloge Anzeige von Hinweisen auf Objekte ermöglicht. The object on which the invention is based is to provide an alternative method which allows the most accurate contact-analogue display of clues to objects.

Die Aufgabe wird durch die Gegenstände der unabhängigen Ansprüche gelöst. Vorteilhafte Weiterbildungen sind in den abhängigen Ansprüchen definiert. The object is solved by the subject matters of the independent claims. Advantageous developments are defined in the dependent claims.

In einem Aspekt umfasst ein Verfahren zur kontaktanalogen Anzeige eines Hinweises für ein zu markierendes Objekt im Umfeld eines Fahrzeugs: Bereitstellen von Informationen zu dem kontaktanalog zu markierenden Objekt im Umfeld des Fahrzeugs, insbesondere die Position des zu markierenden Objektes; Erkennen von Objekten in den Aufnahmen einer Kamera eines mobilen Endgerätes, insbesondere einer Datenbrille; Identifizieren eines Objektes in den Aufnahmen der Kamera des mobilen Endgerätes als das zu markierende Objekt; Kontaktanaloges Anzeigen des Hinweises für das identifizierte Objekt auf einer Anzeige des mobilen Endgeräts. Das mobile Endgerät umfasst eine Kamera und eine Anzeige, wobei die relative Ausrichtung und relative Position der Kamera und der Anzeige zueinander bekannt und/oder unveränderlich ist. Typischerweise umfasst das Verfahren ferner: Bereitstellen von Informationen zu weiteren Objekten im Umfeld des Fahrzeugs; Zuordnen von in den Aufnahmen der Kamera des mobilen Endgerätes erkannten Objekten zu den bereitgestellten weiteren Objekten. In one aspect, a method for contact-analogous display of an indication of an object to be marked in the environment of a vehicle comprises: providing information about the contact analog object to be marked in the environment of the vehicle, in particular the position of the object to be marked; Recognition of objects in the recordings of a camera of a mobile terminal, in particular data glasses; Identifying an object in the recordings of the camera of the mobile terminal as the object to be marked; Contact analogue Display of the notice for the identified object on a display of the mobile terminal. The mobile terminal comprises a camera and a display, wherein the relative orientation and relative position of the camera and the display to each other is known and / or immutable. Typically, the method further comprises: providing information about other objects around the vehicle; Assigning objects detected in the recordings of the camera of the mobile terminal to the further objects provided.

Gemäß dem hier vorgeschlagenen Verfahren wird die kontaktanaloge Anzeige somit basierend auf der Objekterkennung in den Aufnahmen einer Kamera des mobilen Endgeräts realisiert. Es findet ein Abgleich, der auch als Assoziation aufgefasst werden kann, zwischen den durch die Sensorik des Fahrzeug erkannten Objekten und den in den Aufnahmen der Kamera des mobilen Endgeräts erkannten Objekten statt. Eine Bestimmung der Pose der Datenbrille, wie in Verfahren des Standes der Technik vorgesehen, ist zwar zusätzlich möglich, allerdings nicht nötig, um die Kontaktanalogie zu realisieren. In manchen Implementierungen wird eine relativ ungenaue Bestimmung der Pose vorgenomomen. According to the method proposed here, the contact analog display is thus realized based on the object recognition in the recordings of a camera of the mobile terminal. A comparison, which can also be understood as an association, takes place between the objects detected by the sensors of the vehicle and the objects detected in the recordings of the camera of the mobile terminal. A determination of the pose of the data glasses, as provided in methods of the prior art, although additionally possible, but not necessary to realize the contact analogy. In some implementations, a relatively inaccurate determination of the pose is anticipated.

Das Verfahren ist nicht nur für Datenbrillen geeignet, sondern auch für sogenannte Smartphones und Tablets anwendbar. Smartphones und Tablets umfassen eine berührungssensitive Anzeige und eine Kamera. Eine kontaktanaloge Darstellung wird auf der Anzeige dadurch realisiert, dass ein Videostream der Kamera angezeigt wird, in dem das zu markierende Objekt auf kontaktanaloge Weise mit dem Hinweis versehen wird. Als mobile Endgeräte werden hierin bewegbare und tragbare Vorrichtungen mit Anzeige und Kamera verstanden, darunter Datenbrillen, Smartphones und Tablets. The method is not only suitable for data glasses, but also for so-called smartphones and tablets applicable. Smartphones and tablets include a touch-sensitive display and a camera. A contact-analogue representation is realized on the display by displaying a video stream of the camera in which the object to be marked is provided with the reference in a contact-analogous manner. Mobile terminals are understood here to be mobile and portable devices with display and camera, including data glasses, smartphones and tablets.

Durch das Verfahren ergeben sich wesentliche Vorteile bei der Genauigkeit der kontaktanalogen Darstellung: Bei den Verfahren des Standes der Technik findet eine Kumulierung der Fehler der Untersysteme statt. So bestehen für augmented reality Darstellungen hohe Anforderungen an die Genauigkeit der Fahrzeugsensorik und der Datenbrillen-Tracking-Systeme zur Bestimmung der Pose der Datenbrille. Diese Fehlerkette wird durch das vorgeschlagene Verfahren umgangen, indem die eigentliche Zielinformation (das zu markierendes Objekt in der realen Fahrszene) genutzt wird, um den Anzeigeort auf der Anzeige des mobilen Endgeräts zu bestimmen. Dabei wird ausgenutzt, dass die relative Position und Ausrichtung der Kamera des mobilen Endgeräts zur Anzeige des mobilen Endgeräts mit hoher Genauigkeit bestimmt werden können (beispielsweise in einem Konfigurationsverfahren nach der Herstellung des mobilen Endgeräts). The method provides substantial advantages in the accuracy of the contact-analog representation: In the prior art methods, an accumulation of the errors of the subsystems takes place. Thus, augmented reality representations place high demands on the accuracy of the vehicle sensors and the data-goggles tracking systems for determining the pose of the data glasses. This error chain is bypassed by the proposed method by using the actual destination information (the object to be marked in the real driving scene) to determine the display location on the display of the mobile terminal. In this case, it is exploited that the relative position and orientation of the camera of the mobile terminal for displaying the mobile terminal can be determined with high accuracy (for example in a configuration method after the production of the mobile terminal).

In der beispielhaften Verarbeitungskette werden somit vom Fahrzeug und dessen Sensorik und Auswerteeinheiten Objekte im Umfeld erkannt und dasjenige Objekt bestimmt, das markiert werden soll. Das mobile Endgerät erkennt in den Aufnahmen seiner Kamera ebenfalls Objekte und sendet eine Liste erkannter Objekte an das Fahrzeug. Das Fahrzeug erkennt in dieser Liste das zu markierende Objekt (aufgrund einer Objektassoziation) und sendet Informationen zu diesem an das mobile Endgerät zurück. Die Objektassoziation kann generell auch von dem mobilen Endgerät durchgeführt werden, wobei in diesem Fall das Fahrzeug eine Objektliste an das Endgerät sendet. Unter Berücksichtigung der relativen Ausrichtung und Position von Kamera und Anzeige des mobilen Endgerätes errechnet das mobile Endgerät den Anzeigenort für den kontaktanalogen Hinweis und zeigt den Hinweis auf der Anzeige an. Das zu markierende Objekt kann im Folgenden von dem mobilen Endgerät verfolgt werden und die kontaktanaloge Anzeige entsprechend angepasst werden (Tracking, insbesondere kamerabasiertes Tracking). In the exemplary processing chain, the vehicle and its sensors and evaluation units thus recognize objects in the environment and determine the object that is to be marked. The mobile terminal also recognizes objects in the recordings of its camera and sends a list of recognized objects to the vehicle. The vehicle recognizes in this list the object to be marked (due to an object association) and sends information about this back to the mobile terminal. In general, the object association can also be carried out by the mobile terminal, in which case the vehicle sends an object list to the terminal. Taking into account the relative orientation and position of the camera and display of the mobile terminal, the mobile terminal calculates the location for the contact-analog message and displays the indication on the display. The object to be marked can subsequently be followed by the mobile terminal and the contact-analogue display can be adapted accordingly (tracking, in particular camera-based tracking).

Gerade beim Tracking eines Objektes ergeben sich so Vorteile hinsichtlich einer Verzögerung der Nachführung, als auch ein geringeres Wackeln bei hochfrequenten Bewegungen des mobilen Endgerätes. Especially when tracking an object, there are advantages with respect to a delay of the tracking, as well as a lesser wobble in high-frequency movements of the mobile terminal.

Durch die Assoziation können die Vorteile der beiden Sensoriken optimal kombiniert werden. Dabei wird die fahrzeuglokale Sensorik für die Bestimmung dynamischer Größen (Geschwindigkeit, ACC Zielobjekt etc.) der relevanten Objekte genutzt. Die Optik der Kamera mit ihrem statischen und genau bekannten Bezug zur Anzeige im mobilen Endgerät wird für die visuelle Markierung (kontaktanaloge Markierung) genutzt. Through the association, the advantages of the two sensor systems can be optimally combined. The vehicle-local sensors are used to determine dynamic variables (speed, ACC target object, etc.) of the relevant objects. The optics of the camera with its static and precisely known relation to the display in the mobile terminal is used for the visual marking (contact-analogous marking).

In einer Weiterbildung umfasst das Verfahren ferner: Bestimmen der Orientierung des mobilen Endgerätes relativ zum Fahrzeug basierend auf der Abbildung des Innenraums des Fahrzeugs in den Aufnahmen der Kamera; Wobei beim Identifizieren des Objektes die bestimmte Orientierung des mobilen Endgerätes berücksichtigt wird. Dabei findet die Identifizierung des Objektes nicht allein aufgrund der bestimmten Orientierung statt. Die bestimmte Orientierung dient dazu einen verbesserten Startpunkt bei der Identifikation des zu markierenden Objektes bereitzustellen. Anstatt beispielsweise Objekte in einem Bereich von 180° vor dem Fahrzeug in den Aufnahmen erkannten Objekten zuordnen zu müssen, können nur die Objekte im Bereich von z.B. 20° bis 110° berücksichtigt werden, sofern festgestellt wird, dass das mobile Endgerät aufgrund seiner Ausrichtung nur Aufnahmen aus diesem Bereich bereitstellt und/oder nur in diesem Bereich Hinweise anzeigen kann. Hierdurch ergeben sich kürzere Latenzen und reduzierte Anforderungen an die Rechenkapazität. Zur Bestimmung der Orientierung kann in den Aufnahmen der Innenraum des Fahrzeugs erkannt werden und mit vorgespeicherten Daten zum Innenraum verglichen werden. Hieraus lässt sich – unter Aufwendung eines restriktierten Rechenaufwands – auf die grobe Orientierung der Datenbrille schließen. In a further development, the method further comprises: determining the orientation of the mobile terminal relative to the vehicle based on the image of the interior of the vehicle in the images of the camera; Wherein, when identifying the object, the particular orientation of the mobile terminal is taken into account. In this case, the identification of the object does not take place solely on the basis of the specific orientation. The particular orientation serves to provide an improved starting point in the identification of the object to be marked. For example, instead of having to allocate objects in a range of 180 ° in front of the vehicle in the images detected objects, only the objects in the range of, for example 20 ° to 110 ° can be considered, provided that it is determined that the mobile terminal due to its orientation only recordings from this area and / or can only show hints in this area. This results in shorter latencies and reduced computing capacity requirements. To determine the orientation, the interior of the vehicle can be recognized in the recordings and compared with pre-stored data for the interior. From this it is possible to deduce the rough orientation of the data goggles, using a limited calculation effort.

In einer bevorzugten Implementierung umfasst das Anzeigen des Hinweises: Bestimmen der Form und Position des Hinweises anhand der Abbildung des identifizierten Objektes in den Aufnahmen der Kamera. Das vorgeschlagene Verfahren bietet einen weiteren Vorteil: In den Systemen des Standes der Technik bestimmt sich die Größe und Form einer kontaktanalogen Markierung nach der Perspektive der Fahrzeugsensorik. Diese unterscheidet sich jedoch von der Perspektive des Fahrers. So sieht beispielsweise das Fahrzeug bei einer scharfen Kurve von einem Vorderfahrzeug mithilfe eines Radarsensors in der Stoßstange nur das Heck des Vorderfahrzeugs, während der Fahrer auch die Seite des Vorderfahrzeugs erkennen kann. Die Errechnung der Kontaktanalogie und der Größe und Form der Markierung aufbauend auf im Wesentlichen derselben Perspektive des Fahrers (Kamera und Anzeige sind vom mobilen Endgerät umfasst) ermöglicht somit eine verbesserte kontaktanaloge Markierung. In a preferred implementation, displaying the hint includes: determining the shape and position of the hint based on the image of the identified object in the camera's images. The proposed method offers a further advantage: In the systems of the prior art, the size and shape of a contact-analogous marking is determined according to the perspective of the vehicle sensor system. However, this is different from the perspective of the driver. For example, in a sharp turn from a fore vehicle using a radar sensor in the bumper, the vehicle only sees the rear of the vehicle in front, while the driver can also see the side of the vehicle in front. The computation of the contact analogy and the size and shape of the tag based on substantially the same driver's perspective (camera and display are included in the mobile terminal) thus enables improved contact analog tagging.

In einer vorteilhaften Implementierung wird beim Anzeigen der Form und Position des Hinweises die unterschiedliche geometrische Anordnung der Kamera im Verhältnis zur Anzeige des mobilen Endgerätes berücksichtigt, wobei sich die geometrische Anordnung der Kamera und der Anzeige insbesondere in der Position und der Ausrichtung unterscheiden. In an advantageous implementation, the different geometric arrangement of the camera in relation to the display of the mobile terminal is taken into account when displaying the shape and position of the hint, wherein the geometric arrangement of the camera and the display differ in particular in position and orientation.

Die Information zu dem kontaktanalog zu markierenden Objekt kann mithilfe von im Fahrzeug verbauter Sensorik, basierend auf einer Fahrzeug-zu-Fahrzeug Kommunikation und/oder von einem entfernten Rechner bereitgestellt werden. The information about the object to be marked contact-analog can be provided by means of sensors mounted in the vehicle, based on a vehicle-to-vehicle communication and / or by a remote computer.

In einem anderen Aspekt umfasst ein System zur kontaktanalogen Anzeige eines Hinweises für ein zu markierendes Objekt im Umfeld eines Fahrzeugs: Ein mobiles Endgerät, insbesondere eine Datenbrille, umfassend eine Anzeige und eine Kamera; Eine elektronische Steuereinrichtung; Wobei das System dazu eingerichtet ist, eines der oben dargestellten Verfahren auszuführen. In another aspect, a system for contact-analog display of an indication of an object to be marked in the vicinity of a vehicle comprises: a mobile terminal, in particular data-goggles, comprising a display and a camera; An electronic control device; The system is set up to execute one of the methods outlined above.

KURZE BESCHREIBUNG DER ZEICHNUNGEN BRIEF DESCRIPTION OF THE DRAWINGS

1 zeigt schematisch eine Vorrichtung zur Ausführung eines beispielhaften erfindungsgemäßen Verfahrens. 1 schematically shows an apparatus for carrying out an exemplary method according to the invention.

2 zeigt schematisch die Sichtbereiche von der Kamera einer Datenbrille und der Umfelderfassung eines Fahrzeugs gemäß einem Ausführungsbeispiel. 2 schematically shows the viewing areas of the camera of a data glasses and the surroundings detection of a vehicle according to an embodiment.

3 zeigt schematisch die Anordnung von Kamera und Anzeige einer Datenbrille gemäß einem Ausführungsbeispiel. 3 schematically shows the arrangement of camera and display of data glasses according to an embodiment.

4 und 5 zeigen schematisch kontaktanaloge Markierungen von Objekten gemäß Ausführungsbeispielen. 4 and 5 schematically show contact-analogous markings of objects according to embodiments.

Gleiche Bezugszeichen beziehen sich auf sich entsprechende Elemente über die Figuren hinweg. Like reference numerals refer to corresponding elements throughout the figures.

DETAILLIERTE BESCHREIBUNG DER AUSFÜHRUNGSBEISPIELE DETAILED DESCRIPTION OF THE EMBODIMENTS

1 zeigt schematisch eine Vorrichtung zur Ausführung eines beispielhaften erfindungsgemäßen Verfahrens. Einzelne Blöcke der 1 stellen dabei Funktionen dar, die mithilfe von Hardware-/Software oder einer Kombination davon realisiert werden können. Das Fahrzeug 1, umfasst Radar, Lidar und Kamerasensoren sowie ggf. weitere Sensoren. Die Messdaten dieser Sensoren werden fusioniert, um eine Umfeldmodell zuerstellen. Das Umfeldmodell gibt an, an welcher Position (relativ zum Fahrzeug) außerhalb des Fahrzeugs 1 sich Objekte befinden, sowie deren Klassifikation (bspw. Fußgänger, Fahrradfahrer, Fahrzeug, etc.). Das Umfeldmodell wird in diesem Beispiel als Objektliste bereitgestellt, die die vorgenannten Daten umfasst. Mit anderen Worten: Basierend auf der verfügbaren fahrzeuglokalen Sensorik sowie der Fahrzeug-zu-Fahrzeug Kommunikation und/oder einem zentralen Backend fusioniert das Fahrzeug diese Daten zu einem fahrzeuglokalen Umfeldmodell inklusive fremder Verkehrsteilnehmer wie beispielswiese voranfahrender Fahrzeuge, sodass diese Objektdaten im fahrzeuglokalen Koordinatensystem vorliegen. 1 schematically shows an apparatus for carrying out an exemplary method according to the invention. Individual blocks of 1 represent functions that can be implemented using hardware / software or a combination thereof. The vehicle 1 , includes radar, lidar and camera sensors and possibly other sensors. The measurement data from these sensors are fused to create an environmental model. The environmental model indicates at which position (relative to the vehicle) outside the vehicle 1 Objects are located, as well as their classification (eg pedestrian, cyclist, vehicle, etc.). The environment model is provided in this example as an object list that includes the aforementioned data. In other words, based on the available vehicle-local sensors and the vehicle-to-vehicle communication and / or a central backend, the vehicle fuses this data to a vehicle-local environment model including foreign road users such as driving ahead Vehicles, so that these object data are present in the vehicle-local coordinate system.

Die Datenbrille 2 umfasst ebenfalls eine Kamera, die statisch an der Datenbrille angeordnet ist, ebenso wie eine halbtransparente Anzeige mit zwei Teilanzeigen für jedes Auge. In der Kamera ist ein Modell des Cockpits, also des Innenraums und insbesondere der Fahrgastzelle um den Fahrer herum, gespeichert. Das Modell kann auch nur auf einige Merkmale des Innenraums widergeben, beispielsweise die Umrahmung der Fensterscheibe oder Details des Armaturenbretts. Mithilfe der Aufnahmen der Kamera der Datenbrille, die Teile des Innenraums des Fahrzeugs abbilden, und dem Cockpitmodell kann die Grobausrichtung der Kamera bestimmt werden. Dazu können beispielsweise sogenannte SLAM-Algorithmen verwendet werden (Simultaneous Localization and Mapping). Verfahren zur Bestimmung der Pose der Datenbrille basierend auf Aufnahmen des Innenraums sind in der vom selben Anmelder anhängigen Anmeldung DE (Zeichen des Anmelders EM27047) beschrieben; wobei die Pose der Datenbrille die Pose und Ausrichtung (hierin auch Orientierung genannt) umfasst. Zur Bestimmung der Grobausrichtung der Datenbrille reicht ein vergleichsweise geringer Rechenaufwand im Vergleich zur Bestimmung einer genauen Ausrichtung der Datenbrille. The data glasses 2 Also includes a camera that is statically arranged on the data glasses, as well as a semi-transparent display with two part displays for each eye. The camera stores a model of the cockpit, ie the interior and in particular the passenger compartment around the driver. The model can only reflect on some features of the interior, such as the framing of the window or details of the dashboard. The coarse alignment of the camera can be determined by means of the images of the camera of the data glasses, which depict parts of the interior of the vehicle, and the cockpit model. For this purpose, for example, so-called SLAM algorithms can be used (simultaneous localization and mapping). Methods of determining the pose of the data glasses based on images of the interior are described in co-pending application DE (Applicant's mark EM27047); wherein the pose of the data glasses comprises the pose and orientation (also referred to herein as orientation). To determine the coarse alignment of the data glasses, a comparatively low computational effort is sufficient in comparison to the determination of an exact alignment of the data glasses.

Ebenso dient das Cockpitmodell dazu, in den Aufnahmen der Kamera zwischen Innenraum und Außenraum zu unterscheiden. Die hierin zu markierenden Objekte befinden sich im Außenraum des Fahrzeugs. Dementsprechend kann die Objekterkennung der Datenbrille auf die Bereiche der Kameraaufnahmen beschränkt werden, die den Außenraum abbilden. Auch die Objekterkennung der Datenbrille erzeugt eine Objektliste, in der die Position und Klassifikation der erkannten Objekte vermerkt ist. Die Objekterkennung der Datenbrille erfolgt typischerweise im Koordinatensystem der Datenbrille. Likewise, the cockpit model is used to distinguish between interior and exterior space in the camera shots. The objects to be marked herein are located in the exterior of the vehicle. Accordingly, the object recognition of the data glasses can be limited to the areas of the camera images that depict the exterior space. The object recognition of the data glasses also generates an object list in which the position and classification of the detected objects is noted. The object recognition of the data glasses typically takes place in the coordinate system of the data glasses.

Die Objektliste der Datenbrille wird an das Fahrzeug 1 übertragen, beispielsweise mithilfe des Wi-Fi- oder Bluetooth-Standards. Im Fahrzeug 1 findet dann die Objektassoziation statt. Dabei wird die Groborientierung der Datenbrille im Fahrzeug-Koordinatensystem zusammen mit den erkannten Objekten im Fahrzeug Koordinatensystem genutzt um den groben Sichtbereich der Kamera der Datenbrille mit dem Fahrzeug Koordinatensystem abzugleichen und die Anzahl der Objekte, die zu assoziieren sind, zu begrenzen. 2 zeigt hierzu schematisch das Prinzip der Vor- Auswahl der zu assoziierenden Objekte. Der Fahrer 7 eines Fahrzeugs 6 trägt eine Datenbrille 2, deren Kamera Aufnahmen von Objekten im Bereich 8 macht. Die Sensoren des Fahrzeugs ermöglichen eine Umfelderfassung im Bereich 9. Damit umfasst die Objektliste des Fahrzeug-Umfeldmodells auch das Fahrzeug 10. Dieses kann allerdings nicht von der Datenbrille 2 erkannt werden, weil der Sichtbereich 8 der Kamera der Datenbrille 2 das Fahrzeug 10 nicht abbildet. Folglich braucht das Fahrzeug 10 bei der Objektassoziation nicht berücksichtigt zu werden. The object list of the data glasses is sent to the vehicle 1 transmitted using, for example, the Wi-Fi or Bluetooth standard. In the vehicle 1 then the object association takes place. In this case, the coarse orientation of the data glasses in the vehicle coordinate system is used together with the detected objects in the vehicle coordinate system to match the coarse field of view of the camera of the data glasses with the vehicle coordinate system and to limit the number of objects that are to be associated. 2 schematically shows the principle of preselection of the objects to be associated. The driver 7 of a vehicle 6 wears a data glasses 2 whose camera takes pictures of objects in the field 8th power. The sensors of the vehicle enable environment detection in the area 9 , Thus, the object list of the vehicle environment model also includes the vehicle 10 , However, this can not from the data glasses 2 be recognized because of the field of view 8th the camera of the data glasses 2 the vehicle 10 does not depict. Consequently, the vehicle needs 10 not to be considered in the object association.

Aufbauend auf der Vor-Auswahl der vom Fahrzeug erkannten Objekte werden die erkannten Objekte der Datenbrille mit den erkannten Objekten des Fahrzeugs assoziiert. Es wird versucht, jedem Objekt, das von der Datenbrille erkannt wurde, ein Objekt zuzuordnen, das vom Fahrzeug im Umfeld erkannt wurde. Hierbei kommen Algorithmen zum Einsatz, die aus der Sensordatenfusion für die Fahrzeugumfelderfassung bekannt sind. Dazu zählen u.a. Ansätze, die die globale Zuordnung der Objekte aus verschiedenen Quellen zueinander bezüglich eines Gütemaßes optimieren (sogenannte Global Nearest Neighbor Ansätze, wie Auktionsalgorithmen, von denen einer beipsielsweise in „A distributed asynchronous relaxation algorithm for the assignment problem“, Bertsekas, D. P., Proceedings of the 24th IEEE Conference on Decision and Control Bd. 24, 1985, 1703–1704 beschrieben ist). Based on the preselection of the objects detected by the vehicle, the detected objects of the data glasses are associated with the detected objects of the vehicle. An attempt is made to associate with each object recognized by the data glasses an object recognized by the vehicle in the environment. Here are algorithms used, which are known from the sensor data fusion for vehicle environment detection. These include approaches that optimize the global assignment of objects from different sources to each other in terms of a quality measure (so-called Global Nearest Neighbor approaches, such as auction algorithms, one of which in Example "A distributed asynchronous relaxation algorithm for the assignment problem", Bertsekas, DP, Proceedings of the 24th IEEE Conference on Decision and Control Vol. 24, 1985, 1703-1704 is described).

Das Fahrzeug 1 selektiert eines oder mehrere der Objekte, die in dem Umfeldmodell erkannt wurden, als Zielobjekt, für das der kontaktanaloge Hinweis angezeigt werden soll (mehrere gemeinsam zu markierende Objekte werden hierin als ein Zielobjekt verstanden). Das Zielobjekt kann sich aus der Funktion eines Fahrerassistenzsystems ergeben. Beispielsweise kann als Zielobjekt, dasjenige Fahrzeug ausgewählt werden, das für eine ACC Funktion als Vorderfahrzeug erkannt wurde. Es wird versucht das Zielobjekt in den von der Datenbrille erkannten Objekten zu identifizieren. Dabei wird auf die vorhergehend ausgeführte Objektassoziation zurückgegriffen. Das identifizierte Objekt wird an die Datenbrille 1 zurückübertragen, beispielsweise mithilfe des Wi-Fi- oder Bluetooth-Standards. The vehicle 1 selects one or more of the objects that were detected in the environment model as the target object for which the contact-analogous hint is to be displayed (several objects to be jointly marked are understood herein as a target object). The target object may result from the function of a driver assistance system. For example, as the target object, that vehicle can be selected which has been recognized as the front vehicle for an ACC function. An attempt is made to identify the target object in the objects recognized by the data goggles. It is based on the previously executed object association. The identified object is attached to the data glasses 1 using the Wi-Fi or Bluetooth standard, for example.

Die Datenbrille 1 errechnet anhand des identifizierten Objekts die Gestalt des kontaktanalogen Hinweises und dessen Anzeigeort auf der Anzeige der Datenbrille. In manchen Implementierungen wird dazu eine Kameraaufnahme bzw. Kameraframe zuhilfe genommen. Wenn beispielsweise die Konturen eines Fahrzeugs markiert werden sollen, müssen die Konturen des Fahrzeugs erkannt und durch den Hinweis markiert werden. Hierzu können im Stand der Technik bekannte Freizeichnungs-Techniken verwendet werden. Auf diese Weise wird die für den Fahrer sichtbare Seite eines zu markierenden Fahrzeugs, das sich in einer Kurve befindet, korrekt mit umrandet. The data glasses 1 calculated on the basis of the identified object, the shape of the contact-analogue hint and its display location on the display of the data glasses. In some implementations, a camera recording or camera frame is used for this purpose. If, for example, the contours of a vehicle are to be marked, the contours of the vehicle must be recognized and marked by the hint. Free drawing techniques known in the art may be used for this purpose. In this way, the visible to the driver side of a vehicle to be marked, which is located in a curve, surrounded correctly.

Ebenfalls wird bei der Berechnung (bzw. Bestimmung) des kontaktanalogen Hinweises die Verschiebung und Verdrehung von Kamera und Anzeige der Datenbrille berücksichtigt. 3 zeigt diese Verdrehung und Verschiebung schematisch und zur Verdeutlichung übertrieben. Die Datenbrille 2 umfasst die Kamera 5 und die Anzeige 4. Die Perspektive des Auges 3 des Nutzers (dargestellt durch ein Sichtdreieck) ist gegenüber dem Sichtbereich der Kamera 5 verschobenen und verdreht. Die Translation und Rotation muss bei der Berechnung der Gestalt des kontaktanalogen Hinweises berücksichtigt werden. Zu diesem Zweck kann die Translation und Rotation vorhergehend einmalig bestimmt werden. Eine für die Aufnahmen der Kamera bestimmte Gestalt des Hinweises kann dann z.B. durch eine homogene Transformation für die Anzeige umgerechnet werden. Also, in the calculation (or determination) of the contact-analogue hint the displacement and rotation of camera and Display of the data glasses considered. 3 shows this rotation and displacement schematically and exaggerated for clarity. The data glasses 2 includes the camera 5 and the ad 4 , The perspective of the eye 3 of the user (represented by a visual triangle) is opposite the field of view of the camera 5 shifted and twisted. The translation and rotation must be considered in the calculation of the shape of the contact-analogue hint. For this purpose, the translation and rotation can be previously determined once. A specific shape of the hint for the shots of the camera can then be converted for example by a homogeneous transformation for the display.

Der so bestimmte kontaktanaloge Hinweis wird schließlich auf der Anzeige der Datenbrille dargestellt. The so-determined contact analog message is finally displayed on the display of the data glasses.

4 und 5 zeigen schematisch kontaktanaloge Markierungen von Objekten mithilfe des erfindungsgemäßen Verfahrens gemäß Ausführungsbeispielen. 4 zeigt die kontaktanaloge Markierung eines Navigationshinweises 11 auf der Fahrbahn. Der Hinweis 11 wird weltstatisch angezeigt, d.h. er bewegt sich nicht im Relation zum Umfeld des Fahrzeugs. 5 zeigt die kontaktanaloge Markierung 12 eines ACC Zielfahrzeugs. Die Markierung besteht aus zwei Teilen wie in 5 gezeigt. 4 and 5 schematically show contact-analogous markings of objects by means of the method according to embodiments of the invention. 4 shows the contact-analogous marking of a navigation instruction 11 on the roadway. The hint 11 is displayed as static, ie it does not move in relation to the environment of the vehicle. 5 shows the contact analog label 12 an ACC target vehicle. The marker consists of two parts as in 5 shown.

ZITATE ENTHALTEN IN DER BESCHREIBUNG QUOTES INCLUDE IN THE DESCRIPTION

Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list of the documents listed by the applicant has been generated automatically and is included solely for the better information of the reader. The list is not part of the German patent or utility model application. The DPMA assumes no liability for any errors or omissions.

Zitierte PatentliteraturCited patent literature

WO 2013/012914 [0006]

Zitierte Nicht-PatentliteraturCited non-patent literature

"A distributed asynchronous relaxation algorithm for the assignment problem", Bertsekas, DP, Proceedings of the 24th IEEE Conference on Decision and Control Vol. 24, 1985, 1703-1704 [0030]

Claims

Method for the contact-analogue display of an indication of an object to be marked in the surroundings of a vehicle, comprising: Providing information on the contact analog object to be marked in the environment of the vehicle, in particular the position of the object to be marked; Recognition of objects in the recordings of a camera of a mobile terminal, in particular data glasses; Identifying an object in the recordings of the camera of the mobile terminal as the object to be marked; Contact analogue Display of the notice for the identified object on a display of the mobile terminal.

The method of claim 1, further comprising: Providing information about other objects in the environment of the vehicle; Assigning objects detected in the recordings of the camera of the mobile terminal to the further objects provided.

The method of any one of the preceding claims, further comprising: Determining the orientation of the mobile terminal relative to the vehicle based on the image of the interior of the vehicle in the images of the camera; Wherein, when identifying the object, the particular orientation of the mobile terminal is taken into account.

The method of any one of the preceding claims, wherein displaying the hint comprises: Determine the shape and position of the hint based on the image of the identified object in the camera's image.

Method according to one of the preceding claims, wherein when displaying the shape and position of the hint the different geometric arrangement of the camera is taken into account in relation to the display of the mobile terminal, wherein the geometric arrangement of the camera and the display differ in particular in position and orientation ,

Method according to one of the preceding claims, wherein the information is provided to the object to be marked contact-contact using built-in sensors, based on a vehicle-to-vehicle communication and / or from a remote computer.

System for contact-analogue display of an indication of an object to be marked in the environment of a vehicle, comprising: A mobile terminal, in particular data glasses, comprising a display and a camera; An electronic control device; Wherein the system is adapted to carry out a method according to any one of the preceding claims.