EP3129820A1 - Lokalisierung eines head-mounted displays (hmd) im fahrzeug - Google Patents

Lokalisierung eines head-mounted displays (hmd) im fahrzeug

Info

Publication number
EP3129820A1
EP3129820A1 EP15713864.5A EP15713864A EP3129820A1 EP 3129820 A1 EP3129820 A1 EP 3129820A1 EP 15713864 A EP15713864 A EP 15713864A EP 3129820 A1 EP3129820 A1 EP 3129820A1
Authority
EP
European Patent Office
Prior art keywords
data glasses
feature
pose
camera
determining
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
EP15713864.5A
Other languages
English (en)
French (fr)
Inventor
Andreas Bonfert
Matthias Roland KAUFMANN
Wolfgang Spiessl
Michael Graef
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Bayerische Motoren Werke AG
Original Assignee
Bayerische Motoren Werke AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Bayerische Motoren Werke AG filed Critical Bayerische Motoren Werke AG
Publication of EP3129820A1 publication Critical patent/EP3129820A1/de
Withdrawn legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B2027/0192—Supplementary details
    • G02B2027/0198—System for aligning or maintaining alignment of an image in a predetermined direction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30268—Vehicle interior

Definitions

  • HMD head-mounted display
  • the invention relates to a device for contact-analogue display of information on a head-mounted display (HMD), also referred to herein as data glasses.
  • HMD head-mounted display
  • the data glasses are known, with the help of the wearer of the data glasses information can be displayed.
  • the data glasses are worn like ordinary glasses, which is used as a visual aid on the head.
  • the data glasses include a display that is located near the user's eyes when wearing the data glasses.
  • the display can include two partial displays, one for each eye.
  • information may be displayed to the user in the form of text, graphics or mixtures thereof.
  • the display may be semitransparent, that is configured in such a way that the wearer can also recognize the surroundings behind the display.
  • the information is displayed to the wearer contact-analog, which is sometimes referred to as augmented reality.
  • the carrier of the data glasses the information is displayed at a location that is oriented to the location of an object in the area, so for example, adjacent to the object or this superimposed.
  • the position of the object in the environment and the pose of the data glasses in relation to the object must be known, ie the position of the data glasses and the alignment of the data glasses.
  • Data glasses have become known which likewise each comprise a camera which takes pictures in the direction of the eye of the wearer of the data glasses, see, for example, WO 2013/012914.
  • Data glasses can also be used in vehicles to display contact-analogue information. This information may concern other road users or objects in the vehicle. In order to be able to display contact-analogous information, in most cases the pose of the data goggles must also be known here.
  • the object of the invention is solved by the subject matters of the independent claims. Advantageous developments are defined in the dependent claims.
  • an apparatus for determining the pose of data glasses comprises: data glasses comprising a display and a camera; Electronic computing resources; Where the device is set up to: take pictures of the environment of the data glasses using the camera; Detecting the mapping of a stored and predefined area of the environment in the camera's recordings; wherein the stored and predefined area is stored in a file; Determining a feature in the recognized image of the region; Determining the pose of the data glasses taking into account the particular feature in the recordings; wherein the pose of the data glasses indicates the position of the data glasses and the orientation of the data glasses.
  • the method also includes: contact-analog display of information using the particular pose of the data glasses.
  • the method may include determining the position of the feature in the vicinity of the data glasses.
  • the pose of the data glasses can describe the alignment of the data glasses in a three-dimensional space and the position of the data glasses in a three-dimensional space.
  • the area of the environment can also be called an "area of interest”.
  • the invention it is proposed to search the recorded environment for predefined areas.
  • one or more features are identified by which the pose of the data glasses can be determined. This or these features are typically initially unknown and are first "learned" by the identification.
  • a feature is first of all a structure or shape recognized in the image of the camera, on the basis of which the pose of the data glasses can be determined
  • the feature can be used to identify the pose particularly well, typically by imaging an object or the part of an object that is suitable for determining the pose of the data glasses, such as a piece of paper or objects that are clearly delimited from the background Feature is ideally with the camera well detectable, so clearly limited and sufficiently contrasted.
  • the data glasses are worn by the driver or passenger in a vehicle
  • the images of the camera of the smart glasses both the interior of the vehicle and the environment of the vehicle.
  • the pose of the data glasses in relation to the vehicle is needed. Therefore, it can not be used for the determination of the pose of the data glasses on the images of the environment outside the vehicle, as this typically moves relative to the vehicle.
  • objects in the environment of the vehicle when driving the vehicle often not visible in the recording long enough to make sense for a
  • Poznan determination can be used.
  • the present invention proposes recognizing in the picture of the camera those areas of the environment of the data glasses which image the interior of the vehicle. For pre-stored information on the interior are provided, which allow the detection of the interior. In the interior recognized features in the recording then serve to determine the pose of the data glasses.
  • determining the position of the feature and determining the pose of the data glasses is accomplished by a simultaneous positioning and mapping algorithm, a so-called SLAM (Simultaneous Localization and Mapping).
  • the features are typically a feature whose position in the vicinity of the data glasses is unknown. For example, a sheet of paper lying on the dashboard of a vehicle. The position of this paper is variable and is first learned by the SLAM algorithm, after which also the position of the data glasses can be determined by the feature.
  • the SLAM algorithm is not applied to the entire camera recording, but only to the imaged area of the environment that corresponds to the predefinition. Thus, preprocessing is performed which restricts the selection of features for the SLAM algorithm.
  • the feature of the environment is initially unknown. For example, it is not known if and where a sheet of paper lies on the dashboard of a vehicle.
  • the feature is therefore determined in a development on the basis of a predefined rule.
  • This rule can determine from taking the camera characteristics that are particularly good for determining the pose suitable, of course only within the identified predefined areas. Suitability may result from the shape of the feature, contrast to the background, or object classification.
  • the electronic computing means may comprise a microcontroller, an application specific circuit or a typical CPU.
  • the data glasses advantageously comprise an energy store (accumulator or battery) and communication means, in particular for wireless communication by means of protocols such as Bluetooth or Wi-Fi.
  • the recognition of the mapping of the area comprises: providing a plurality of predefined and stored regions of the environment; wherein an order is given for the areas; In the order given: Check whether the image of the respective area of the several areas in the recordings of the camera is recognizable; Provide the area whose image was first recognizable. So a prioritization of areas of the environment is introduced. The order may vary depending on how appropriate features are suspected in an area.
  • the device is further configured to: recognize a fixed feature in the recordings, namely an a feature that is predefined; Retrieving the stored position of the fix feature in the vicinity of the data glasses; wherein the fixed feature and its location in the environment are stored in a file; Determining the pose of the data glasses taking into account the recognized fix feature, and in particular taking into account the specific feature. It is thus proposed, in addition to determining the pose about first unknown features, to also use already known features in the environment. For this purpose, known (and stored) features in the recording of the camera are detected and their position retrieved or provided. Based on this information, the pose of the data glasses can then be determined.
  • the pose of the data glasses is initially determined only taking into account the identified fix features. This first pose determination can be made when the device is first activated. Then, the steps of recognizing the area, determining a (heretofore unknown) feature, and determining the pose of the data glasses on the (hitherto unknown) feature can then be performed.
  • the pose determination algorithm may be configured to favorably utilize an already existing pose determination in determining pose using additional newly learned features. This allows the newly learned features with less computational effort for the
  • Pose determination can be used and / or the accuracy of the
  • Determining poses becomes more robust through the use of fix features and newly learned features. For example, due to the alignment of the data glasses, it could happen that no or only an insufficient number of fix features are picked up by the camera of the data glasses. Likewise, it could happen that fixed features are obscured by other temporary objects. Optionally, in this orientation of the data glasses but still newly learned features are recorded, with the help of which then a Posenbetician can be made. The enlargement of the The number and / or distribution of features allows a more robust and accurate pose determination.
  • the recognition of a fixed feature comprises in particular: providing a plurality of fixed features; wherein an order is given for the fixed features, in particular by a probability value for each feature; In the order given: Check whether the image of the respective fix feature is recognizable in the recordings of the camera; Providing the fix feature whose image was first recognizable. It can also be provided that also further recognized fixed features are provided.
  • a fixed feature may be, for example, the structure of the frame of the windshield, which is recognizable in the recording of the camera as a clearly limited form. Furthermore, the fixed feature may be a recognizable edge in the dashboard.
  • the data glasses also comprise a position sensor, in particular a gyroscope and / or an acceleration sensor; wherein the device is further configured to: receive sensor measurements; Determine the pose taking into account the received sensor measurements based on the pose determined by the feature. It is therefore proposed to determine the pose using the recognized (newly learned and possibly the fixed) feature. Based on this, sensor measurements of position sensors can then be used to further determine the pose.
  • the camera is not understood as a position sensor.
  • determining the pose is repeated taking into account the particular feature and performed with a first cycle; wherein the determination of the pose is repeated taking into account the received sensor measurements and performed with a second cycle; in particular, the second cycle is shorter than the first cycle, and more particularly the first cycle is a multiple of the second cycle. It is thus suggested to determine the pose using the features with a first cycle and then to update the pose based on the sensor measurements and a second cycle.
  • the determination of the pose based on camera images and the associated evaluation can, compared to a pose determination based on measurements of position sensors more computing time and consume more energy. In order to update the pose as often as possible, it may therefore be appropriate to continue the pose between the first cycles using the sensor measurements.
  • typical cycle times for the first cycle are 16 ms, and cycle times for the second cycle are 1 ms, for example.
  • the pose is thus determined 15 times between two determinations on the camera recording by the sensor measurements.
  • the quality of the measurements of position sensors and, based thereon, the determination of the pose due to the drift of the position sensors is worse than the accuracy of the determination of the pose based on camera shots. For this reason, the determination of the pose based on camera shots seems necessary to ensure sufficient accuracy of the pose determination.
  • the pose determination based on camera recordings can be compared with the pose determination based on measurements of the position sensors and from this the measurement inaccuracy (drift) of the position sensors can be determined and taken into account for future determination of the pose based on position sensor measurements. This will increase the accuracy of the
  • a vehicle in particular a passenger car, comprises one of the above-mentioned devices.
  • a method for contact-analogue display of information on data glasses wherein the data glasses include a display and a camera: taking pictures of the environment of the data glasses using the camera; Detecting the mapping of a stored and predefined area of the environment in the camera's recordings; wherein the stored and predefined area is stored in a file; Determining a feature in the recognized image of the region; Determining the position of the feature in the vicinity of the data glasses; Determining the pose of the data glasses taking into account the particular feature in the recordings; the pose of the data glasses indicating the position of the data glasses and the orientation of the data glasses; Mullana- loges displaying information using the particular pose of the data glasses.
  • the method is preferably carried out by one of the devices listed above.
  • the process can be extended by not just using one camera, but also adding additional sensors to the glasses, such as inertial sensors. Although these alone do not allow a reliable determination of Pose, however, offer a much higher update rate (eg 512 Hz instead of 30 Hz camera). While the determination of poses is precise but seldom done with the camera, in the meantime with the help of inertial sensors a more inaccurate intermediate pose can be determined and thus a high update rate of the pose can be achieved. In addition, at any point in time when a precise pose is determined by the camera, the drift of the inertial sensor can be compensated and, in addition, drift and error of the inertial sensor can be estimated, thus minimizing future inaccuracy in the pure inertial sensor based interposer determination can. Further advantageous embodiments:
  • a HUD Head-Up Display
  • a HUD Head-Up Display
  • construction space and costs can be saved and later in addition faster and easier updates are made.
  • a second embodiment would be the contact analog, world-wide route guidance of the navigation, in which the route instructions can be placed contact-analogous on the road (and thus not fixed to the vehicle but world-wide).
  • the information presented so far could be extended by other functions such as a completely virtual rearview mirror. Furthermore, by detecting the pose also a conclusion on the field of view of the user possible. Thus, for example, the display on a display may either appear brighter when gazing or the information displayed may be increased (due to the driver's obvious interest).
  • the positioning of the goggles is used to determine which seat in a vehicle the current user is sitting on. Conceivable here is the case that several occupants have a data glasses and want to see different information. The information displayed can thus be adapted to the wearer, eg warnings are only displayed to the person in the driver's seat.
  • the method enables efficient replacement of other assemblies in vehicles such as a head-up display, resulting in energy and cost savings.
  • the system described is so flexible that no unwanted cross-fading of real objects takes place. It saves considerable space in the vehicle.
  • Fig. 1 shows schematically a device according to an embodiment
  • FIG. 2 schematically shows a flowchart of a method according to an exemplary embodiment.
  • Like reference numerals refer to corresponding elements throughout the figures.
  • Fig. 1 shows schematically a device according to an embodiment.
  • the data glasses 1 comprise two partial displays 2, one for the left and the right eye. Furthermore, the data glasses 1 comprise a camera 3 and a computing unit 4. Not shown in FIG. 1, but included in the data glasses 1 is an accumulator and a Wi-Fi module for wireless radio transmission.
  • the data glasses are worn on the head like a typical visual aid, with the data glasses resting on the nose and ears.
  • the camera 3 is aligned in the direction of view of the carrier (not shown) of the data glasses 1 and essentially takes up the field of vision of the wearer of the data glasses 1.
  • the camera 3 continuously takes pictures, for example every 16 ms, in the visible range of the light.
  • the camera 3 also absorbs in the infrared light range. When used in the vehicle, in which the driver and the interior of the vehicle are illuminated at night with infrared light, so the function of the system can be guaranteed even at night.
  • FIG. 2 schematically shows a flowchart of a method according to an exemplary embodiment. Optional steps are shown in dashed lines in FIG. 2.
  • the method according to FIG. 2 is executed by the data glasses 1 according to FIG. 1.
  • step S1 provided the images of the camera 3 from the environment of the data glasses 1.
  • step S4 stored and predefined regions of the environment are detected. Subsequently, unknown features in the recognized images of the areas are determined, S5.
  • predefined fix features whose position in the vehicle is known, S2 and S3 can be detected in the recordings. Based on the specific features and the identified fix features, the pose of the data glasses is determined, S6.
  • the recordings of the surroundings are provided sequentially, that is to say successively, and the steps S2, S3, S4 and S5 are executed again for each recording.
  • it may also be provided to first carry out the steps S4 and S5 on the basis of several recordings.
  • the features determined in step S5 are traced only in the subsequently provided recordings.
  • a collection (sometimes referred to as a "dynamic map") of newly learned features is built which are then tracked, and at predetermined intervals, steps S4 and S5 may again be performed to update the learned features.
  • the pose may be updated based on sensor measurements of one or more position sensors, steps S7 and S8. This can be done continuously in a cycle B of eg 1 ms. However, since the accuracy of the position sensors is typically worse than the accuracy of the pose determination using the camera shots, it is usually necessary to determine the pose using the camera shots after several B cycles. This is done by cycle A, which may be 16 ms, for example.
  • the consecutive poses can be used to display information in a contact-analog way.
  • the function of a "transparent part" of a vehicle can be realized, whereby a camera in the exterior of the vehicle records the surroundings of the vehicle, those parts of these recordings (for example a video stream) that the user has due to The cover of the body of the vehicle can not be seen by the user then in the places of concealment via the displays of the data goggles.
  • a camera in the exterior of the vehicle records the surroundings of the vehicle, those parts of these recordings (for example a video stream) that the user has due to
  • the cover of the body of the vehicle can not be seen by the user then in the places of concealment via the displays of the data goggles.

Abstract

Offenbart wird eine Vorrichtung zum Bestimmen der Pose einer Datenbrille, umfassend: Eine Datenbrille, umfassend eine Anzeige und eine Kamera; Elektronische Rechenmittel; Wobei die Vorrichtung zu Folgendem eingerichtet ist: Erstellen von Aufnahmen der Umgebung der Datenbrille mithilfe der Kamera; Erkennen der Abbildung eines gespeicherten und vordefinierten Bereiches der Umgebung in den Aufnahmen der Kamera; wobei der gespeicherte und vordefinierte Bereich in einer Datei beschrieben ist; Bestimmen eines Merkmals in der erkannten Abbildung des Bereiches; Bestimmen der Pose der Datenbrille unter Berücksichtigung des bestimmten Merkmals in den Aufnahmen; wobei die Pose der Datenbrille die Position der Datenbrille und die Ausrichtung der Datenbrille angibt.

Description

Lokalisierung eines Head-mounted Displays (HMD) im Fahrzeug
Die Erfindung betrifft eine Vorrichtung zum kontaktanalogen Anzeigen von Informationen auf einem Head-mounted Display (HMD), hierin auch Datenbrille genannt.
Heutzutage sind Datenbrillen bekannt, mit deren Hilfe dem Träger der Datenbrille Informationen angezeigt werden können. Die Datenbrille wird dabei wie eine gewöhnliche Brille, die als Sehhilfe verwendet wird, auf dem Kopf getragen. Gegenüber einer gewöhnlichen Brille umfasst die Datenbrille jedoch eine Anzeige, die beim Tragen der Datenbrille nahe dem oder den Augen des Benutzers angeordnet ist. Die Anzeige kann dabei zwei Teilanzeigen umfassen, eine für jedes Auge. Auf der Anzeige können dem Benutzer Informationen in Form von Text, graphischen Darstellungen oder Mischungen davon angezeigt werden. Die Anzeige kann insbesondere teildurchlässig sein, also so ausgestaltet sein, dass der Träger auch die Umgebung hinter der Anzeige erkennen kann. Besonders bevorzugt werden dem Träger die Informationen kontaktanalog angezeigt, was manchmal auch als augmented reality bezeichnet wird. Dabei wird dem Träger der Datenbrille die Information an einem Ort angezeigt, der an dem Ort eines Objektes in der Umgebung orientiert ist, also beispielsweise an das Objekt angrenzend oder dieses überlagernd. Zur Realisierung der Kontaktanalogie, muss typischerweise die Position des Objektes in der Umgebung und die Pose der Datenbrille in Relation zum Objekt be- kannt sein, also die Position der Datenbrille und die Ausrichtung der Datenbrille.
Es sind Datenbrillen bekannt geworden, die ebenfalls jeweils eine Kamera umfassen, die Aufnahmen in Blickrichtung des Trägers der Datenbrille macht, siehe beispielsweise WO 2013/012914.
Datenbrillen können auch in Fahrzeugen genutzt werden, um kontaktanaloge Infor- mationen anzuzeigen. Diese Informationen können andere Verkehrsteilnehmer oder Objekte im Fahrzeug betreffen. Um kontaktanaloge Informationen anzeigen zu können muss in den meisten Fällen auch hier die Pose der Datenbrille bekannt sein.
Es ist eine Aufgabe der vorliegenden Erfindung, ein Verfahren bereitzustellen, mit dem die Pose der Datenbrille bestimmt werden kann und darauf aufbauend auf kon- taktanaloge Weise Informationen angezeigt werden können. Die Aufgabe der Erfindung wird durch die Gegenstände der unabhängigen Ansprüche gelöst. Vorteilhafte Weiterbildungen sind in den abhängigen Ansprüchen definiert.
In einem ersten Aspekt umfasst eine Vorrichtung zum Bestimmen der Pose einer Datenbrille: Eine Datenbrille, umfassend eine Anzeige und eine Kamera; Elektronische Rechenmittel; Wobei die Vorrichtung zu Folgendem eingerichtet ist: Erstellen von Aufnahmen der Umgebung der Datenbrille mithilfe der Kamera; Erkennen der Abbildung eines gespeicherten und vordefinierten Bereiches der Umgebung in den Aufnahmen der Kamera; wobei der gespeicherte und vordefinierte Bereich in einer Datei abgelegt ist; Bestimmen eines Merkmals in der erkannten Abbildung des Bereiches; Bestimmen der Pose der Datenbrille unter Berücksichtigung des bestimmten Merkmals in den Aufnahmen; wobei die Pose der Datenbrille die Position der Datenbrille und die Ausrichtung der Datenbrille angibt. Insbesondere umfasst das Verfahren auch: kontaktanaloges Anzeigen von Informationen unter Verwendung der bestimmten Pose der Datenbrille. Zusätzlich kann das Verfahren das Bestimmen der Position des Merkmals in der Umgebung der Datenbrille umfassen. Die Pose der Datenbrille kann die Ausrichtung der Datenbrille in einem dreidimensionalen Raum und die Position der Datenbrille in einem dreidimensionalen Raum beschreiben. Der Bereich der Umgebung kann auch als„Area of Interest" bezeichnet werden.
Gemäß der Erfindung wird vorgeschlagen die aufgenommene Umgebung nach vordefinierten Bereichen abzusuchen. Innerhalb der Bereiche werden dann ein oder mehrere Merkmale identifiziert, anhand derer die Pose der Datenbrille bestimmt werden kann. Dieses bzw. diese Merkmale sind typischerweise zunächst unbekannt und werden durch die Identifizierung erst„erlernt". Ein Merkmal ist zunächst eine in der Aufnahme der Kamera erkannte Struktur bzw. Form, auf dessen bzw. deren Basis die Pose der Datenbrille ermittelt werden kann. Idealerweise kann mithilfe des Merkmals die Pose besonders gut ermittelt werden. Ein Merkmal entsteht typischerweise durch die Abbildung eines Gegenstand oder der Teil eines Gegen- Stands, der sich zur Ermittlung der Pose der Datenbrille eignet, beispielsweise ein Papierblatt oder klar gegenüber dem Hintergrund abgegrenzte Gegenstände. Das Merkmal ist idealerweise mit der Kamera gut erfassbar, also klar begrenzt und ausreichend kontrastiert. Gerade in der Situation, dass die Datenbrille von dem Fahrer oder Beifahrer in einem Fahrzeug getragen wird, ergibt sich, dass die Aufnahmen der Kamera der Datenbrille sowohl den Innenraum des Fahrzeugs als auch das Umfeld des Fahrzeugs abbilden. Für die meisten Anwendungen wird jedoch die Pose der Datenbrille in Relation zum Fahrzeug benötigt. Deshalb kann für die Bestimmung der Pose der Datenbrille nicht auf die Aufnahmen der Umgebung außerhalb des Fahrzeugs zurückgegriffen werden, da sich diese typischerweise relativ zum Fahrzeug bewegt. Weiterhin sind Gegenstände im Umfeld des Fahrzeugs bei Fahrt des Fahrzeugs häufig nicht lange genug in der Aufnahme sichtbar, um sinnvoll für eine
Posenermittlung verwendet werden zu können. Die vorliegende Erfindung schlägt für eine typische Implementierung vor, in der Aufnahme der Kamera diejenigen Bereiche des Umfeldes der Datenbrille zu erkennen, die den Innenraum des Fahrzeugs abbilden. Dafür werden vorgespeicherte Angaben zum Innenraum zur Verfügung gestellt, die die Erkennung des Innenraums ermöglichen. Im Innenraum er- kannte Merkmale in der Aufnahme dienen dann zur Bestimmung der Pose der Datenbrille.
In einer typischen Implementierung wird das Bestimmen der Position des Merkmals und das Bestimmen der Pose der Datenbrille durch einen Algorithmus zum gleichzeitigen Positionieren und Kartenbilden ausgeführt, einem sogenannten SLAM (Simultaneous Localization and Mapping). Bei den Merkmalen handelt es sich typischerweise um ein Merkmal, dessen Position in der Umgebung der Datenbrille unbekannt ist. Beispielsweise ein Blatt Papier, das auf dem Armaturenbrett eines Fahrzeugs liegt. Die Position dieses Papiers ist veränderlich und wird durch den SLAM Algorithmus erst erlernt, woraufhin auch die Position der Datenbrille anhand des Merkmals ermittelt werden kann. Der SLAM Algorithmus wird dabei nicht auf die gesamte Kameraaufnahme angewandt, sondern nur auf den abgebildeten Bereich des Umfeldes, der der Vordefinition entspricht. Es wird also eine Vorprozessierung ausgeführt, die die Auswahl an Merkmalen für den SLAM Algorithmus einschränkt.
In einem typischen Szenario ist das Merkmal des Umfeldes zunächst unbekannt. Es ist beispielsweise nicht bekannt, ob und wo ein Blatt Papier auf dem Armaturenbrett eines Fahrzeugs liegt. Das Merkmal wird in einer Weiterbildung deshalb anhand einer vordefinierten Regel bestimmt. Diese Regel kann aus der Aufnahme der Kamera Merkmale bestimmen, die sich für die Bestimmung der Pose besonders gut eignen, natürlich nur innerhalb der erkannten vordefinierten Bereiche. Die Eignung kann sich aus der Form des Merkmals, dem Kontrast zum Hintergrund oder anhand einer Objektklassifizierung ergeben.
Die elektronischen Rechenmittel können einen MikroController, einen anwendungs- spezifischen Schaltkreis oder eine typische CPU umfassen. Bevorzugt ist sogar die Datenbrille selbst mit den elektronischen Rechenmitteln ausgestattet. Zusätzlich umfasst die Datenbrille vorteilhafterweise einen Energiespeicher (Akkumulator oder Batterie) und Kommunikationsmittel, insbesondere zur drahtlosen Kommunikation mittels Protokollen wie Bluetooth oder Wi-Fi. In einer vorteilhaften Weiterbildung umfasst das Erkennen der Abbildung des Bereiches: Bereitstellen mehrerer vordefinierter und gespeicherter Bereiche der Umgebung; wobei für die Bereiche eine Reihenfolge vorgegeben ist; In der vorgegebenen Reihenfolge: Prüfen, ob die Abbildung des jeweiligen Bereiches der mehreren Bereiche in den Aufnahmen der Kamera erkennbar ist; Bereitstellen des Bereiches, dessen Abbildung zuerst erkennbar war. Es wird also eine Priorisierung von Bereichen des Umfeldes eingeführt. Die Reihenfolge kann sich danach richten, inwiefern in einem Bereich geeignete Merkmale vermutet werden. Im Bereich der Anzeige des Geschwindigkeitsmessers mit einem Zeiger in einem Fahrzeug beispielsweise würden eher keine geeigneten Merkmale vermutet, da sich der Zeiger bei der Fahrt bewegt und seine Position verändert. In Bereichen des Armaturenbretts, in denen typischerweise nur Gegenstände abgelegt werden, ohne dass sich dort sich fortlaufend bewegende Teile befinden, können jedoch geeignete Merkmale vermutet werden. Die Annahme, in einem Bereich des Umfeldes geeignete Merkmale zu finden, und die Quantifizierung dieser Annahme spiegelt sich vorteilhafterweise in der vor- gegebenen Reihenfolge aus. Die Reihenfolge kann durch eine Wahrscheinlichkeitszahl vorgegeben sein. Die Bestimmung der Pose wird dann mithilfe eines Merkmals in dem Bereich ausgeführt, dem die höchste Priorität (in Form einer Position in der Reihenfolge) zugewiesen ist. Zusätzlich können natürlich auch weitere Merkmale in demselben Bereich oder in weiteren Bereichen zur Bestimmung der Pose verwen- det werden.
In einer besonders bevorzugten Ausführungsform ist die Vorrichtung ferner zu Folgendem eingerichtet: Erkennen eines Fixmerkmals in den Aufnahmen, nämlich ei- nes Merkmals, das vordefiniert ist; Abrufen der gespeicherten Position des Fixmerkmals in der Umgebung der Datenbrille; wobei das Fixmerkmal und dessen Position in der Umgebung in einer Datei gespeichert sind; Bestimmen der Pose der Datenbrille unter Berücksichtigung des erkannten Fixmerkmals, und insbesondere auch unter Berücksichtigung des bestimmten Merkmals. Es wird somit vorgeschlagen, zusätzlich zur Bestimmung der Pose über zuerst unbekannte Merkmale, auch bereits bekannte Merkmale in der Umgebung zu verwenden. Dazu werden bekannte (und gespeicherte) Merkmale in der Aufnahme der Kamera erkannt und deren Position abgerufen bzw. bereitgestellt. Aufbauend auf diesen Informationen kann dann die Pose der Datenbrille bestimmt werden.
In einer besonders bevorzugten Ausführungsform, wird die Pose der Datenbrille zunächst nur unter Berücksichtigung der erkannten Fixmerkmale bestimmt. Diese erste Posenbestimmung kann beim ersten Aktivieren der Vorrichtung vorgenommen werden. Anschließend können dann die Schritte des Erkennens des Bereiches, des Bestimmens eines (bisher unbekannten) Merkmals und des Bestimmens der Pose der Datenbrille auf dem (bisher unbekannten) Merkmal und ausgeführt werden. Der Algorithmus zur Bestimmung der Pose kann dazu ausgelegt sein, eine bereits vorhandene Bestimmung der Pose bei der Bestimmung der Pose unter zusätzlicher Verwendung von neu erlernten Merkmalen vorteilhaft zu verwenden. Dadurch kön- nen die neu erlernten Merkmale mit weniger Rechenaufwand für die
Posenbestimmung verwendet werden und/oder die Genauigkeit der
Posenbestimmung unter Berücksichtigung der neu erlernten Merkmale verbessert werden.
Die Verwendung der neu erlernten (und zusätzlichen) Merkmale dient generell der Steigerung der Genauigkeit der Posenbestimmung. Zudem kann die
Posenbestimmung durch die Verwendung von Fixmerkmalen und neu erlernten Merkmalen robuster werden. Beispielsweise könnte es aufgrund der Ausrichtung der Datenbrille dazu kommen, dass keine oder eine nur unzureichende Anzahl an Fixmerkmalen durch die Kamera der Datenbrille aufgenommen werden. Ebenso könnte es dazu kommen, dass Fixmerkmale von anderen temporär vorhandenen Gegenständen verdeckt werden. Gegebenenfalls werden in dieser Ausrichtung der Datenbrille aber immer noch neu erlernte Merkmale aufgenommen, mit deren Hilfe dann eine Posenbestimmung vorgenommen werden kann. Die Vergrößerung der Anzahl und/oder der Verteilung der Merkmale ermöglicht eine robustere und genauere Posenbestimmung.
Das Erkennen eines Fixmerkmals umfasst insbesondere: Bereitstellen mehrerer Fixmerkmale; wobei für die Fixmerkmale eine Reihenfolge vorgegeben ist, insbe- sondere durch einen Wahrscheinlichkeitswert für jedes Merkmal; In der vorgegebenen Reihenfolge: Prüfen, ob die Abbildung des jeweiligen Fixmerkmals in den Aufnahmen der Kamera erkennbar ist; Bereitstellen des Fixmerkmals, dessen Abbildung zuerst erkennbar war. Es kann ebenfalls vorgesehen sein, dass auch weitere erkannte Fixmerkmale bereitgestellt werden. Ein Fixmerkmal kann beispielsweise die Struktur des Rahmens der Windschutzscheibe sein, die in der Aufnahme der Kamera als klar begrenzte Form erkennbar ist. Weiterhin kann das Fixmerkmal eine erkennbare Kante im Armaturenbrett sein.
In einer Erweiterung umfasst die Datenbrille ferner einen Lagesensor umfasst, insbesondere ein Gyroskop und/oder einen Beschleunigungssensor; wobei die Vorrich- tung ferner zu Folgendem eingerichtet ist: Empfangen von Sensormessungen; Bestimmen der Pose unter Berücksichtigung der empfangenen Sensormessungen basierend auf der mithilfe des Merkmals bestimmten Pose. Es wird also vorgeschlagen die Pose mithilfe des erkannten (des neu erlernten und ggf. des Fix-) Merkmals zu bestimmen. Aufbauend darauf können dann Sensormessungen von Lagesenso- ren verwendet werden, um die Pose weiterhin zu bestimmen. Hierin wird die Kamera nicht als ein Lagesensor verstanden.
In einer typischen Implementierung der Erweiterung wird das Bestimmen der Pose unter Berücksichtigung des bestimmten Merkmals wiederholt und mit einem ersten Zyklus ausgeführt; wobei das Bestimmen der Pose unter Berücksichtigung der emp- fangenen Sensormessungen wiederholt und mit einem zweiten Zyklus ausgeführt wird; wobei insbesondere der zweite Zyklus kürzer als der erste Zyklus ist und weiter insbesondere der erste Zyklus ein Vielfaches des zweiten Zyklus ist. Es wird somit vorgeschlagen die Pose mithilfe der Merkmale mit einem ersten Zyklus zu bestimmen und die Pose dann basierend auf den Sensormessungen und einem zweiten Zyklus fortzuschreiben. Die Bestimmung der Pose basierend auf Kameraaufnahmen und die dazugehörige Auswertung können im Vergleich zu einer Posenbestimmung basierend auf Messungen von Lagesensoren mehr Rechenzeit und mehr Energieverbrauch in Anspruch nehmen. Um die Pose möglichst häufig zu aktualisieren kann es sich deshalb anbieten zwischen den ersten Zyklen die Pose mithilfe der Sensormessungen fortzuschreiben. Typische Zykluszeiten für den ersten Zyklus sind beispielsweise 16 ms und Zykluszeiten für den zweiten Zyklus sind beispielsweise 1 ms. Die Pose wird also 15 mal zwischen zwei Bestimmungen über die Kameraaufnahme durch die Sensormessungen bestimmt. Typischerweise ist die Güte der Messungen von Lagesensoren und darauf aufbauend die Bestimmung der Pose aufgrund der Drift der Lagesensoren schlechter, als die Genauigkeit der Bestimmung der Pose basierend auf Kameraaufnahmen. Aus diesem Grund erscheint die Bestimmung der Pose basierend auf Kameraaufnahmen nötig, um eine ausreichende Genauigkeit der Posenbestimmung zu gewährleisten. Bei der Verwendung von hochgenauen Lagesensoren mit sehr geringer Drift kann in Betracht gezogen werden, die Zykluszeiten für die Posenbestimmung mithilfe der Kamera wesentlich zu erhöhen. In einer Ausgestaltung kann die Posenbestimmung aufbauend auf Kameraaufnahmen mit der Posenbestimmung aufbauend auf Messungen der Lagesensoren verglichen werden und daraus die Messungenauigkeit (Drift) der Lagesensoren bestimmt und für zukünftige Bestimmungen der Pose aufbauend auf Lagesensormessungen berücksichtigt werden. Hierdurch wird die Genauigkeit der
Posenbestimmung aufbauend auf Lagesensormessungen verbessert.
Es kann vorgesehen sein, dass ein Fahrzeug, insbesondere ein Personenkraftwagen, eine der obengenannten Vorrichtungen umfasst.
In einem anderen Aspekt umfasst ein Verfahren zum kontaktanalogen Anzeigen von Informationen auf einer Datenbrille, wobei die Datenbrille eine Anzeige und eine Kamera umfasst: Erstellen von Aufnahmen der Umgebung der Datenbrille mithilfe der Kamera; Erkennen der Abbildung eines gespeicherten und vordefinierten Bereiches der Umgebung in den Aufnahmen der Kamera; wobei der gespeicherte und vordefinierte Bereich in einer Datei abgelegt ist; Bestimmen eines Merkmals in der erkannten Abbildung des Bereiches; Bestimmen der Position des Merkmals in der Umgebung der Datenbrille; Bestimmen der Pose der Datenbrille unter Berücksichtigung des bestimmten Merkmals in den Aufnahmen; wobei die Pose der Datenbrille die Position der Datenbrille und die Ausrichtung der Datenbrille angibt; Kontaktana- loges Anzeigen der Informationen unter Verwendung der bestimmten Pose der Datenbrille. Das Verfahren wird bevorzugt von einer der vorhergehend aufgeführten Vorrichtungen ausgeführt.
In einer weiterführenden Ausprägung wird vorgeschlagen, das von einer in der Da- tenbrille eingebauten Kamera aufgenommene aktuelle Bild mit einem Referenzbild des Fahrzeuginnenraums abzugleichen und somit entsprechende Formen und Objekte erkennen zu können. Eine gleichzeitige Erlernung des Referenzbildes ist hier auch möglich. Zur Erkennung von Objekten werden in den Bildern gleiche Objekte gefunden und daraus Rückschlüsse gezogen. Ein Ansatz für die Lösung des Problems aus der Robotik ist z.B. der SLAM-Algorithmus, es gibt jedoch diverse andere verwendbare Algorithmen. Dabei wird eine interne Karte des Fahrzeuges auf Basis von eindeutigen und nicht veränderbaren Merkmalen des Interieurs erstellt. Da sich Teile dieses Interieurs aber bewegen oder verändern wie z.B. Lenkrad oder Schaltknauf, kann der Algorithmus durch Implementierung von„Areas of Interest" optimiert werden.
Bei der Benutzung des Systems wird ein Abgleich mit dieser internen Karte durchgeführt und es ist somit möglich, die Datenbrille im Interieur zu lokalisieren. Nach jedem Durchlauf der Sensoren werden die Daten ausgewertet und die interne Karte des Innenraums erweitert und verbessert, um die Genauigkeit zu erhöhen. Dabei wird mit einer statischen Karte begonnen und diese während der Laufzeit dynamisch um neue erlernte Features, also Merkmale, erweitert. Der Grund für dynamische Karten sind Fremdobjekte im Sichtbereich, die gelernte Features in der statischen Karte überdecken, jedoch ihrerseits gute Features liefern können (beispielsweise Prospekt auf dem Armaturenbrett). Durch das Verfahren wird nicht nur die Position in 3 Freiheitsgraden, sondern auch die rotatorische Ausrichtung in 3 Freiheitsgraden bestimmt. Dadurch kann die Kopfbewegung des Benutzers errechnet (6D-Pose), sein aktuelles Sichtfeld bestimmt und möglicherweise auf dieses reagiert werden.
Erweitert werden kann das Verfahren, indem nicht nur eine Kamera eingesetzt wird, sondern zusätzlich weitere Sensoren in der Brille verbaut werden, beispielsweise Inertialsensorik. Diese erlauben zwar alleine keine zuverlässige Bestimmung der Pose, bieten jedoch eine deutlich höhere Updaterate (z.B. 512 Hz anstelle von 30 Hz Kamera). Während mit der Kamera die Posen-Bestimmung präzise aber selten geschieht, kann in der Zwischenzeit mit Hilfe der Inertialsensorik eine ungenauere Zwischenpose ermittelt werden und somit eine hohe Updaterate der Pose erzielt werden. Zu jedem Zeitpunkt, an dem eine präzise Posen-Bestimmung durch die Kamera erfolgt, kann zudem der Drift der Inertialsensorik ausgeglichen werden und darüber hinaus sogar Drift und Fehler der Inertialsensorik geschätzt werden, sodass die zukünftige Ungenauigkeit bei der rein Inertialsensorik basierenden Zwischenposen-Bestimmung minimiert werden kann. Weitere vorteilhafte Ausgestaltungen:
In einer ersten Ausgestaltung wird ein HUD (Head-Up Display) im gewohnten Funktionsumfang an der gewohnten, fahrzeugfesten Position simuliert, ohne dass jedoch im Fahrzeug ein echtes HUD verbaut sein muss. Hier können Bau Raum und Kosten gespart werden und später zusätzlich schneller und einfacher Aktualisierungen vorgenommen werden.
Eine zweiten Ausgestaltung wäre die kontaktanaloge, weltfeste Routenführung der Navigation, bei der die Routenanweisungen kontaktanalog auf der Straße platziert werden können (und somit nicht fahrzeugfest sondern weltfest).
In einer dritten Ausgestaltung könnten die bisher dargestellten Informationen durch weitere Funktionen wie z.B. einen komplett virtuellen Rückspiegel erweitert werden. Des Weiteren durch die Erkennung der Pose auch ein Rückschluss auf das Blickfeld des Benutzers möglich. Damit kann z.B. die Anzeige in einem Display bei Blickzuwendung entweder heller erscheinen oder die dargestellten Informationen könnten (aufgrund des offensichtlichen Interesses des Fahrers) vergrößert werden. In einer vierten Ausgestaltung wird die Positionierung der Brille verwendet, um festzustellen, auf welchem Sitzplatz in einem Fahrzeug der aktuelle Benutzer sitzt. Denkbar ist hier der Fall, dass mehrere Insassen eine Datenbrille aufhaben und unterschiedliche Informationen sehen wollen. Die dargestellten Informationen lassen sich somit an den Träger anpassen, z.B. werden Warnungen nur der Person auf dem Fahrersitz dargestellt. Durch das Verfahren können andere Baugruppen in Fahrzeugen wie ein Head-Up Display effizient ersetzt werden, was eine Energie- und Kostenersparnis mit sich bringt. Gleichzeitig ist das beschriebene System so flexibel, dass keine unerwünschte Überblendung realer Objekte erfolgt. Es wird erheblicher Bauraum im Fahrzeug eingespart.
KURZE BESCHREIBUNG DER ZEICHNUNGEN
Fig. 1 zeigt schematisch eine Vorrichtung gemäß einem Ausführungsbeispiel
Fig. 2 zeigt schematisch ein Ablaufdiagramm eines Verfahrens gemäß einem Ausführungsbeispiel. Gleiche Bezugszeichen beziehen sich auf sich entsprechende Elemente über die Figuren hinweg.
DETAILLIERTE BESCHREIBUNG DER AUSFÜHRUNGSBEISPIELE
Fig. 1 zeigt schematisch eine Vorrichtung gemäß einem Ausführungsbeispiel. Die Datenbrille 1 umfasst zwei Teilanzeigen 2, je eine für das linke und das rechte Au- ge. Des Weiteren umfasst die Datenbrille 1 eine Kamera 3 und eine Recheneinheit 4. Nicht in Fig. 1 dargestellt, aber von der Datenbrille 1 umfasst ist ein Akkumulator und ein Wi-Fi Modul zur drahtlosen Funkübertragung. Die Datenbrille wird wie eine typische Sehhilfe auf dem Kopf getragen, wobei die Datenbrille auf der Nase und den Ohren aufliegt. Die Kamera 3 ist in Blickrichtung des Trägers (nicht gezeigt) der Datenbrille 1 ausgerichtet und nimmt im Wesentlichen das Blickfeld des Trägers der Datenbrille 1 auf. Die Kamera 3 macht fortlaufend Aufnahmen, also beispielsweise alle 16 ms, im sichtbaren Bereich des Lichts. Zusätzlich nimmt die Kamera 3 auch im Infrarotlichtbereich auf. Bei einem Einsatz im Fahrzeug, bei dem der Fahrer und der Innenraum des Fahrzeugs bei Nacht mit Infrarotlicht beleuchtet werden, kann somit auch bei Nacht die Funktion des Systems gewährleistet werden.
Fig. 2 zeigt schematisch ein Ablaufdiagramm eines Verfahrens gemäß einem Ausführungsbeispiel. Optionale Schritte sind in Fig. 2 gestrichelt dargestellt. Das Verfahren nach Fig. 2 wird von der Datenbrille 1 nach Fig. 1 ausgeführt. Im Schritt S1 wer- den Aufnahmen der Kamera 3 von der Umgebung der Datenbrille 1 bereitgestellt. Im Schritt S4 werden gespeicherte und vordefinierte Bereiche der Umgebung erkannt. Daraufhin werden bisher unbekannte Merkmale in den erkannten Abbildungen der Bereiche bestimmt, S5. Zusätzlich können in den Aufnahmen vordefinierte Fixmerkmale erkannt werden, deren Position im Fahrzeug bekannt ist, S2 und S3. Basierend auf den bestimmten Merkmalen und den erkannten Fixmerkmalen wird die Pose der Datenbrille bestimmt, S6. Es kann vorgesehen sein, dass die Aufnahmen der Umgebung sequentiell, also nacheinander bereitgestellt werden und die Schritte S2, S3, S4 und S5 für jede Aufnahme erneut ausgeführt werden. In einer Implementierung kann auch vorgesehen sein, zunächst anhand mehrerer Aufnahmen die Schritte S4 und S5 auszuführen. Anschließend werden die in Schritt S5 bestimmten Merkmale nur noch in den nachfolgend bereitgestellten Aufnahmen verfolgt. Es wird somit eine Sammlung (manchmal auch„dynamische Karte" genannt) von neu erlernten Merkmalen aufgebaut, die dann getrackt werden. In vorge- gebenen Intervallen können erneut die Schritte S4 und S5 ausgeführt werden, um die erlernten Merkmale zu aktualisieren.
Aufbauend auf der mithilfe der Kameraaufnahmen bestimmten Pose kann die Pose basierend auf Sensormessungen eines oder mehrerer Lagesensoren fortgeschrieben werden, Schritte S7 und S8. Dies kann fortlaufend in einem Zyklus B von z.B. 1 ms geschehen. Da allerdings die Genauigkeit der Lagesensoren typischerweise schlechter ist, als die Genauigkeit der Posenbestimmung mithilfe der Kameraaufnahmen, ist meist eine Posenbestimmung mithilfe der Kameraaufnahmen nach mehreren B-Zyklen nötig. Dies geschieht durch den Zyklus A, der beispielsweise 16 ms lang sein kann. Die so fortlaufend bestimmten Posen können dazu verwendet werden, Informationen kontaktanalog anzuzeigen. Insbesondere lässt sich mit der so bestimmten Pose die Funktion eines„transparenten Teils" eines Fahrzeugs realisieren. Dabei nimmt eine Kamera im Außenbereich des Fahrzeugs die Umgebung des Fahrzeugs auf. Diejenigen Teile dieser Aufnahmen (beispielsweise ein Videostream), die der Be- nutzer aufgrund von Verdeckungen durch die Karosserie des Fahrzeugs nicht sehen kann, werden dem Benutzer dann an den Stellen der Verdeckung über die Anzeigen der Datenbrille angezeigt. Ein typischer Anwendungsfall hierfür entsteht beim Einparken. Mithilfe der Bestimmten Pose der Datenbrille können einem Fahrer so zum Beispiel Videoaufnahmen im direkten Umfeld des Fahrzeugs angezeigt werden. Der Fahrer kann Bordsteine oder Stoßstangen der nächsten Fahrzeuge„durch die Karosserie hindurch" erkennen.

Claims

ANSPRUCHE
Vorrichtung zum Bestimmen der Pose einer Datenbrille, umfassend: Eine Datenbrille, umfassend eine Anzeige und eine Kamera; Elektronische Rechenmittel;
Wobei die Vorrichtung zu Folgendem eingerichtet ist:
Erstellen von Aufnahmen der Umgebung der Datenbrille mithilfe der Kamera;
Erkennen der Abbildung eines gespeicherten und vordefinierten Bereiches der Umgebung in den Aufnahmen der Kamera; wobei der gespeicherte und vordefinierte Bereich in einer Datei beschrieben ist;
Bestimmen eines Merkmals in der erkannten Abbildung des Bereiches;
Bestimmen der Pose der Datenbrille unter Berücksichtigung des bestimmten Merkmals in den Aufnahmen; wobei die Pose der Datenbrille die Position der Datenbrille und die Ausrichtung der Datenbrille angibt.
Vorrichtung nach Anspruch 1 , wobei das Bestimmen der Position des Merkmals und das Bestimmen der Pose der Datenbrille durch einen Algorithmus zum gleichzeitigen Positionieren und Kartenbilden ausgeführt werden.
Vorrichtung nach einem der vorhergehenden Ansprüche, wobei das Merkmal anhand einer vordefinierten Regel bestimmt wird.
Vorrichtung nach einem der vorhergehenden Ansprüche, wobei das Erkennen der Abbildung des Bereiches umfasst:
Bereitstellen mehrerer vordefinierter und gespeicherter Bereiche der Umgebung; wobei für die Bereiche eine Reihenfolge vorgegeben ist; In der vorgegebenen Reihenfolge: Prüfen, ob die Abbildung des jeweiligen Bereiches der mehreren Bereiche in den Aufnahmen der Kamera erkennbar ist;
Bereitstellen des Bereiches, dessen Abbildung zuerst erkennbar war.
Vorrichtung nach einem der vorhergehenden Ansprüche, wobei die Vorrichtung ferner zu Folgendem eingerichtet ist:
Erkennen eines Fixmerkmals in den Aufnahmen, nämlich eines Merkmals, das vordefiniert ist;
Abrufen der gespeicherten Position des Fixmerkmals in der Umgebung der Datenbrille; wobei das Fixmerkmal und dessen Position in der Umgebung in einer Datei gespeichert sind;
Bestimmen der Pose der Datenbrille unter Berücksichtigung des erkannten Fixmerkmals, und insbesondere auch unter Berücksichtigung des bestimmten Merkmals.
Vorrichtung nach Anspruch 5, wobei das Erkennen eines Fixmerkmals umfasst:
Bereitstellen mehrerer Fixmerkmale; wobei für die Fixmerkmale eine Reihenfolge vorgegeben ist, insbesondere durch einen Wahrscheinlichkeitswert für jedes Merkmal;
In der vorgegebenen Reihenfolge: Prüfen, ob die Abbildung des jeweiligen Fixmerkmals in den Aufnahmen der Kamera erkennbar ist;
Bereitstellen des Fixmerkmals, dessen Abbildung zuerst erkennbar war.
Vorrichtung nach einem der vorhergehenden Ansprüche, wobei die Datenbrille ferner einen Lagesensor umfasst, insbesondere ein Gyroskop und/oder einen Beschleunigungssensor; wobei die Vorrichtung ferner zu Folgendem eingerichtet ist:
Empfangen von Sensormessungen;
Bestimmen der Pose unter Berücksichtigung der empfangenen Sensormessungen basierend auf der mithilfe des Merkmals bestimmten Pose.
8. Vorrichtung nach Anspruch 7, wobei das Bestimmen der Pose unter Berücksichtigung des bestimmten Merkmals wiederholt und mit einem ersten Zyklus ausgeführt wird; und wobei das Bestimmen der Pose unter Berücksichtigung der empfangenen Sensormessungen wiederholt und mit einem zweiten Zyk- lus ausgeführt wird; wobei insbesondere der zweite Zyklus kürzer als der erste Zyklus ist und weiter insbesondere der erste Zyklus ein Vielfaches des zweiten Zyklus ist.
Fahrzeug, insbesondere Personenkraftwagen, umfassend eine Vorrichtung nach einem der vorhergehenden Ansprüche.
Verfahren zum kontaktanalogen Anzeigen von Informationen auf einer Datenbrille, wobei die Datenbrille eine Anzeige und eine Kamera umfasst; wobei das Verfahren umfasst:
Erstellen von Aufnahmen der Umgebung der Datenbrille mithilfe der Kamera;
Erkennen der Abbildung eines gespeicherten und vordefinierten Bereiches der Umgebung in den Aufnahmen der Kamera; wobei der gespeicherte und vordefinierte Bereich in einer Datei abgelegt ist;
Bestimmen eines Merkmals in der erkannten Abbildung des Bereiches;
Bestimmen der Position des Merkmals in der Umgebung der Datenbrille; Bestimmen der Pose der Datenbrille unter Berücksichtigung des bestimmten Merkmals in den Aufnahmen; wobei die Pose der Datenbrille die Position der Datenbrille und die Ausrichtung der Datenbrille angibt;
Kontaktanaloges Anzeigen der Informationen unter Verwendung der bestimmten Pose der Datenbrille.
EP15713864.5A 2014-04-07 2015-03-27 Lokalisierung eines head-mounted displays (hmd) im fahrzeug Withdrawn EP3129820A1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102014206623.9A DE102014206623A1 (de) 2014-04-07 2014-04-07 Lokalisierung eines Head-mounted Displays (HMD) im Fahrzeug
PCT/EP2015/056698 WO2015155029A1 (de) 2014-04-07 2015-03-27 Lokalisierung eines head-mounted displays (hmd) im fahrzeug

Publications (1)

Publication Number Publication Date
EP3129820A1 true EP3129820A1 (de) 2017-02-15

Family

ID=52807797

Family Applications (1)

Application Number Title Priority Date Filing Date
EP15713864.5A Withdrawn EP3129820A1 (de) 2014-04-07 2015-03-27 Lokalisierung eines head-mounted displays (hmd) im fahrzeug

Country Status (3)

Country Link
EP (1) EP3129820A1 (de)
DE (1) DE102014206623A1 (de)
WO (1) WO2015155029A1 (de)

Families Citing this family (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102016221123A1 (de) 2016-10-26 2018-04-26 Bayerische Motoren Werke Aktiengesellschaft Verfahren und Vorrichtung zum Betreiben eines Anzeigesystems mit einer Datenbrille
DE102016225082A1 (de) 2016-12-15 2018-06-21 Bayerische Motoren Werke Aktiengesellschaft Verfahren und Vorrichtung zum Betreiben einer Datenbrille
DE102016225269A1 (de) 2016-12-16 2018-06-21 Bayerische Motoren Werke Aktiengesellschaft Verfahren und Vorrichtung zum Betreiben eines Anzeigesystems mit einer Datenbrille
DE102016225265A1 (de) 2016-12-16 2018-06-21 Bayerische Motoren Werke Aktiengesellschaft Verfahren und Vorrichtung zum Betreiben eines Anzeigesystems mit einer Datenbrille
DE102016225262A1 (de) 2016-12-16 2018-06-21 Bayerische Motoren Werke Aktiengesellschaft Verfahren und Vorrichtung zum Betreiben eines Anzeigesystems mit einer Datenbrille
DE102016225263A1 (de) 2016-12-16 2018-06-21 Bayerische Motoren Werke Aktiengesellschaft Verfahren und Vorrichtung zum Betreiben eines Anzeigesystems mit einer Datenbrille in einem Kraftfahrzeug
DE102016225261A1 (de) 2016-12-16 2018-06-21 Bayerische Motoren Werke Aktiengesellschaft Verfahren und Vorrichtung zum Betreiben eines Anzeigesystems mit einer Datenbrille
DE102016225266A1 (de) 2016-12-16 2018-06-21 Bayerische Motoren Werke Aktiengesellschaft Verfahren und Vorrichtung zum Betreiben einer Datenbrille
DE102017205194A1 (de) 2017-03-28 2018-10-04 Bayerische Motoren Werke Aktiengesellschaft Verfahren und Vorrichtung zum Bereitstellen von 3D-Bild-Informationen in einem Fahrerassistenzsystem eines Kraftfahrzeugs
DE102017209798A1 (de) 2017-06-09 2018-12-13 Bayerische Motoren Werke Aktiengesellschaft Verfahren und Vorrichtung zum Betreiben eines Anzeigesystems in einem Kraftfahrzeug
DE102017209797A1 (de) 2017-06-09 2018-12-13 Bayerische Motoren Werke Aktiengesellschaft Verfahren und Vorrichtung zum Betreiben eines Anzeigesystems mit einem Fahrerassistenzsystem und einer Datenbrille
DE102017217027A1 (de) 2017-09-26 2019-03-28 Audi Ag Verfahren zum Betreiben einer am Kopf tragbaren elektronischen Anzeigeeinrichtung und Anzeigesystem zum Anzeigen eines virtuellen Inhalts
DE102017221317A1 (de) 2017-11-28 2019-05-29 Bayerische Motoren Werke Aktiengesellschaft Verfahren und Vorrichtung zum Betreiben einer Datenbrille in einem Kraftfahrzeug
DE102018201509A1 (de) 2018-02-01 2019-08-01 Bayerische Motoren Werke Aktiengesellschaft Verfahren und Vorrichtung zum Betreiben eines Anzeigesystems mit einer Datenbrille
WO2019154510A1 (en) 2018-02-09 2019-08-15 Pupil Labs Gmbh Devices, systems and methods for predicting gaze-related parameters
EP3750029A1 (de) 2018-02-09 2020-12-16 Pupil Labs GmbH Vorrichtungen, systeme und verfahren zur vorhersage von parametern im zusammen mit dem blick unter verwendung eines neuronalen netzes
WO2019154509A1 (en) 2018-02-09 2019-08-15 Pupil Labs Gmbh Devices, systems and methods for predicting gaze-related parameters
US10469769B1 (en) 2018-07-30 2019-11-05 International Business Machines Corporation Augmented reality based driver assistance
DE102018215265A1 (de) 2018-09-07 2020-03-12 Audi Ag Verfahren und Steuereinrichtung zum Betreiben einer am Kopf tragbaren Anzeigeeinrichtung in einem Kraftfahrzeug
EP3663941B1 (de) * 2018-12-07 2022-07-13 Volvo Car Corporation Beurteilung einer simulierten fahrzeugbezogenen funktion
US10767997B1 (en) 2019-02-25 2020-09-08 Qualcomm Incorporated Systems and methods for providing immersive extended reality experiences on moving platforms
US11270463B2 (en) 2019-05-29 2022-03-08 Infineon Technologies Ag Dynamic three-dimensional imaging distance safeguard
WO2020244752A1 (en) 2019-06-05 2020-12-10 Pupil Labs Gmbh Devices, systems and methods for predicting gaze-related parameters
DE102022104091A1 (de) 2022-02-22 2023-08-24 Holoride Gmbh Verfahren und Prozessorschaltung zum Betreiben einer Datenbrille mit Driftkorrektur eines Beschleunigungssensors sowie entsprechend betreibbare Datenbrille und computerlesbares elektronisches Speichermedium

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102005051396A1 (de) * 2005-10-25 2007-05-03 Siemens Ag System und Verfahren für ein kamerabasiertes Tracking

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102005058240A1 (de) * 2005-12-06 2007-06-14 Siemens Ag Trackingsystem und Verfahren zur Posenbestimmung
US9323055B2 (en) * 2006-05-26 2016-04-26 Exelis, Inc. System and method to display maintenance and operational instructions of an apparatus using augmented reality
JP5728159B2 (ja) * 2010-02-02 2015-06-03 ソニー株式会社 画像処理装置、画像処理方法及びプログラム
US20130021269A1 (en) 2011-07-20 2013-01-24 Google Inc. Dynamic Control of an Active Input Region of a User Interface
US9342610B2 (en) * 2011-08-25 2016-05-17 Microsoft Technology Licensing, Llc Portals: registered objects as virtualized, personalized displays
US9177360B2 (en) * 2012-09-11 2015-11-03 Apple Inc. Automatic image orientation and straightening through image analysis

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102005051396A1 (de) * 2005-10-25 2007-05-03 Siemens Ag System und Verfahren für ein kamerabasiertes Tracking

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of WO2015155029A1 *

Also Published As

Publication number Publication date
DE102014206623A1 (de) 2015-10-08
WO2015155029A1 (de) 2015-10-15

Similar Documents

Publication Publication Date Title
WO2015155029A1 (de) Lokalisierung eines head-mounted displays (hmd) im fahrzeug
EP3164756B1 (de) Lokalisierung eines hmd im fahrzeug
EP3191919B1 (de) Bestimmung der pose eines hmd
DE102018201509A1 (de) Verfahren und Vorrichtung zum Betreiben eines Anzeigesystems mit einer Datenbrille
DE112017003916T5 (de) Head-Up-Display-Vorrichtung, Anzeigesteuerverfahren und Steuerprogramm
DE102017221871A1 (de) Verfahren zur Berechnung der Bewegungsdaten des Kopfes eines Fahrers eines Fahrzeuges, Datenbrille sowie Fahrzeug zur Verwendung bei dem Verfahren und Computerprogramm
DE102010060225A1 (de) Fahrzeuginformationsanbietevorrichtung
DE102017107396A1 (de) Testverfahren und Testvorrichtung für Fahrerassistenzsysteme
DE102014008152A1 (de) Verfahren und Vorrichtung zur augmentierten Darstellung mindstens einer Zusatzinformation in mindestens einem Bild einer Umgebung
DE102019109505A1 (de) Datenverarbeitungsvorrichtung, überwachungssystem, wecksystem, datenverarbeitungsverfahren und datenverarbeitungsprogramm
DE102017215163B4 (de) System aus einem Kraftfahrzeug und einer Augmented-Reality-Brille und Verfahren zum Bestimmen einer Pose einer Augmented-Reality-Brille im Innenraum eines Fahrzeugs
DE102014206626A1 (de) Müdigkeitserkennung mithilfe von Datenbrillen (HMD)
EP3685213A1 (de) Verfahren, vorrichtung und computerlesbares speichermedium mit instruktionen zur steuerung einer anzeige einer augmented-reality-head-up-display-vorrichtung für ein kraftfahrzeug
DE102010003850A1 (de) Verfahren und Vorrichtung zur Nachführung einer Position einer Objektmarkierung
EP3392111A1 (de) Verfahren und vorrichtung zum ermitteln einer visuellen ablenkung eines fahrers eines fahrzeugs
DE102019128840A1 (de) Fahrassistenzgerät
DE102017215161A1 (de) Verfahren und Vorrichtung zur Anwahl von einem Umgebungsobjekt im Umfeld eines Fahrzeugs
DE102016224122A1 (de) Verfahren zum Betreiben einer VR-Brille in einem Innenraum eines Kraftfahrzeugs sowie Steuervorrichtung und Kraftfahrzeug
DE102010003851A1 (de) Verfahren und Informationssystem zum Markieren eines Zielorts für ein Fahrzeug
DE102019208788A1 (de) Kraftfahrzeug
DE102017217923A1 (de) Verfahren zum Betrieb einer Anzeigeeinrichtung in einem Kraftfahrzeug
DE102014207398A1 (de) Objektassoziation zur kontaktanalogen Anzeige auf einem HMD
DE102015207337A1 (de) Verfahren und Vorrichtung zur Unterhaltung mindestens eines Insassen eines Kraftfahrzeugs
DE102016014712A1 (de) Fahrzeug und Verfahren zur Ausgabe von Informationen an eine Fahrzeugumgebung
DE102016225261A1 (de) Verfahren und Vorrichtung zum Betreiben eines Anzeigesystems mit einer Datenbrille

Legal Events

Date Code Title Description
PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

17P Request for examination filed

Effective date: 20160912

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

AX Request for extension of the european patent

Extension state: BA ME

DAV Request for validation of the european patent (deleted)
DAX Request for extension of the european patent (deleted)
17Q First examination report despatched

Effective date: 20191219

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE APPLICATION IS DEEMED TO BE WITHDRAWN

18D Application deemed to be withdrawn

Effective date: 20200630