DE102015204743A1

DE102015204743A1 - Apparatus and method for rendering data in an augmented reality

Info

Publication number: DE102015204743A1
Application number: DE102015204743.1A
Authority: DE
Inventors: Wolfgang Spießl; Michael Graef; Matthias Roland Kaufmann
Original assignee: Bayerische Motoren Werke AG
Current assignee: Bayerische Motoren Werke AG
Priority date: 2015-03-17
Filing date: 2015-03-17
Publication date: 2016-09-22

Abstract

Die Erfindung betrifft eine Vorrichtung zur Wiedergabe von Daten in einer erweiterten Realität für einen Insassen eines Fahrzeugs, insbesondere für einen Fahrer, weist vorzugsweise eine erste Einrichtung, eingerichtet zum Ermitteln eines Sichtfelds eines Insassen, insbesondere einen Headtracker mit MEMS und/oder einen optischen Headtracker auf. Zum Filmen eines Außenbereichs des Fahrzeugs in wenigstens einem Teil des sichtbaren Spektralbereichs weist die Vorrichtung vorzugsweise eine erste Kamera auf sowie eine zweite Kamera, welche eingerichtet ist zum Filmen des Sichtfelds des Insassen in wenigstens einem Teil des sichtbaren und des infraroten Spektralbereichs. Des Weiteren weist die Vorrichtung vorzugsweise einen Infrarotprojektor auf, eingerichtet zum Projizieren im infraroten Spektralbereich auf ein oder mehrere Fahrzeugteile, welche wenigstens einen Bildausschnitt des Sichtfelds bedecken. Weiter vorzugsweise weist die Vorrichtung eine Verarbeitungseinrichtung mit wenigstens einem ersten Modul auf, eingerichtet zum Bestimmen der ersten Daten auf der Grundlage des erfassten Sichtfelds und des gefilmten Außenbereichs, mit einem zweiten Modul zum Erstellen einer Infrarotdarstellung der ersten Daten, mit einem dritten Modul, eingerichtet zum Bestimmen von zweiten Daten auf der Grundlage des gefilmten Sichtfelds, welche die projizierte Infrarotdarstellung der ersten Daten und Bildinformationen über wenigstens einen nicht bedeckten Bildausschnitt des Sichtfelds des sichtbaren Spektralbereichs enthalten. Die Verarbeitungseinrichtung weist weiter vorzugsweise ein viertes Modul auf, eingerichtet zum Abgleichen der ersten Daten mit der Bildinformation der nicht bedeckten Bildausschnitte der zweiten Daten und ein fünftes Modul zum Korrigieren der ersten Daten auf der Grundlage der zweiten Daten. Die erfindungsgemäße Vorrichtung weist des Weiteren eine Anzeigeeinrichtung auf, insbesondere ein Display oder einen Projektor, eingerichtet zum Wiedergeben wenigstens eines Teils der korrigierten ersten Daten im sichtbaren Spektralbereich als erweiterte Realität in dem wenigstens einen verdeckten Bildausschnitt.The invention relates to a device for reproducing data in an augmented reality for an occupant of a vehicle, in particular for a driver, preferably has a first device configured to determine a field of view of an occupant, in particular a head tracker with MEMS and / or an optical head tracker , To film an exterior of the vehicle in at least a portion of the visible spectral range, the apparatus preferably includes a first camera and a second camera configured to film the occupant's field of view in at least a portion of the visible and infrared spectral ranges. Furthermore, the device preferably has an infrared projector, configured for projecting in the infrared spectral range on one or more vehicle parts, which cover at least one image section of the field of view. The apparatus preferably also has a processing device with at least one first module, configured to determine the first data on the basis of the detected field of view and the filmed outer region, with a second module for generating an infrared representation of the first data, with a third module configured for Determining second data based on the filmed field of view that includes the projected infrared representation of the first data and image information about at least one uncovered portion of the field of view of the visible spectral range. The processing means further preferably comprises a fourth module adapted to match the first data with the image information of the uncovered image sections of the second data and a fifth module to correct the first data based on the second data. The device according to the invention furthermore has a display device, in particular a display or a projector, configured to display at least a part of the corrected first data in the visible spectral range as augmented reality in the at least one hidden image section.

Description

Die Erfindung betrifft eine Vorrichtung und ein Verfahren zur Wiedergabe von Daten in einer erweiterten Realität für einen Insassen eines Fahrzeugs. The invention relates to an apparatus and a method for reproducing data in an augmented reality for an occupant of a vehicle.

Bei Fahrzeugen wird allgemein als störend empfunden, dass, unabhängig davon, in welche Richtung der Fahrer seinen Blick wendet, jeweils Bildausschnitte existieren, die von nicht-transparenten Fahrzeugteilen überdeckt werden. Der Fahrer oder auch ein anderer Insasse weiß daher nicht, was sich hinter diesen Fahrzeugteilen verbirgt. Dies kann auf der einen Seite einfach unbequem sein, auf der anderen Seite kann dies aber auch ein großes Sicherheitsrisiko darstellen, insbesondere beim Rückwärtsfahren oder auch beim Abbiegen, wo niedrige Gegenstände oder Lebewesen nicht wahrgenommen werden. In the case of vehicles, it is generally perceived as disturbing that, regardless of the direction in which the driver turns his gaze, image sections exist which are covered by non-transparent vehicle parts. The driver or another occupant therefore does not know what is behind these vehicle parts. This can be uncomfortable on the one hand, but on the other hand, it can also pose a major security risk, especially when reversing or turning off, where low objects or living things are not perceived.

Insbesondere bei Cabriolet-Fahrzeugen, bei welchen ausschließlich die A-Säule als Überrollbügel dient, wird auch der Sichtbereich in Fahrtrichtung durch solche Fahrzeugteile stark eingeschränkt. In particular, in convertible vehicles, in which only the A-pillar serves as a roll bar, the field of view in the direction of travel is severely limited by such vehicle parts.

In den 1 und 2 ist eine typische Verdeckung des Sichtfeldes des Fahrers dargestellt. Ein Bildausschnitt 6, welcher durch ein Fahrzeugteil 7, in diesem Fall eine A-Säule eines Kraftfahrzeugs, im Sichtfeld eines Insassen 1 verdeckt wird, ist beispielhaft in 1 dargestellt. In 2 ist die Kontur 9, 10 einer Landschaft oder eines Objekts dargestellt, welches sich sowohl im für den Insassen 1 einsehbaren Bereich wie auch in dem für den Fahrer durch das nicht-transparente Fahrzeugteil 7 verdeckten Abschnitt 10 des Sichtfelds erstreckt. Schließlich haben die nicht-transparenten Fahrzeugteile auch eine beengende Wirkung auf die Insassen eines Fahrzeugs. Umso transparenter eine Fahrzeugkabine nach außen ist, desto angenehmer und großzügiger empfinden die Insassen im Allgemeinen den Innenraum. In the 1 and 2 is a typical masking of the driver's field of vision. A picture detail 6 passing through a vehicle part 7 , in this case, an A-pillar of a motor vehicle, in the field of view of an occupant 1 is obscured, is exemplary in 1 shown. In 2 is the contour 9 . 10 a landscape or an object, which is both in the for the occupant 1 Visible area as well as in the driver through the non-transparent part of the vehicle 7 hidden section 10 extends the field of view. Finally, the non-transparent vehicle parts also have a restrictive effect on the occupants of a vehicle. The more transparent a vehicle cabin is to the outside, the more pleasant and generous the occupants generally feel the interior.

Vor diesem Hintergrund ist es aus dem Stand der Technik bekannt, verschiedene nicht-transparente Fahrzeugteile durch Projektion oder auch durch das Vorsehen eines Displays auf den Fahrzeugteilen zu überblenden:
Die DE 10 2013 203 162 A1 offenbart beispielsweise ein virtuelles Sonnendachsystem zum Vorsehen eines virtuellen Sonnendachs an einer Innenseite eines Fahrzeugs zum Betrachten durch einen Insassen des Fahrzeugs. Against this background, it is known from the prior art to blend different non-transparent vehicle parts by projection or by providing a display on the vehicle parts:
The DE 10 2013 203 162 A1 for example, discloses a virtual sunroof system for providing a virtual sunroof to an inside of a vehicle for viewing by an occupant of the vehicle.

Die DE 10 2008 028 303 A1 betrifft ein Anzeigesystem, das eine Szene außerhalb eines Fahrzeugs auf einem im Fahrzeug angeordneten Anzeigemittel anzeigt. The DE 10 2008 028 303 A1 relates to a display system displaying a scene outside a vehicle on a display means arranged in the vehicle.

Wie in 3 dargestellt, ist bei den bekannten Systemen im Allgemeinen eine erste Kamera 3 im Außenbereich des Fahrzeugs angeordnet, welche wenigstens jenen Bildausschnitt 6 im Sichtfeld des Insassen 1 filmt, welchen dieser aufgrund eines nicht-transparenten Fahrzeugteils 7 nicht einsehen kann. Diese Außenaufnahme wird auf das nicht-transparente Fahrzeugteil 7 projiziert bzw. auf einem darauf angeordneten Display angezeigt. Hierbei erweist es sich jedoch als schwierig, die Bildwiedergabe auf dem nicht-transparenten Fahrzeugteil 7 perspektivisch so exakt zu gestalten, dass an den Rändern des nicht-transparenten Fahrzeugteils 7 zu den für den Insassen 1 einsehbaren Bildausschnitten seines Sichtfelds ein nahtloser kontinuierlicher Übergang des Bildes ohne Verschiebungen und Artefakte entsteht. As in 3 In the known systems, in general, a first camera is shown 3 arranged in the outer region of the vehicle, which at least those image detail 6 in the field of view of the occupant 1 films which one of these due to a non-transparent part of the vehicle 7 can not see. This exterior shot is on the non-transparent vehicle part 7 projected or displayed on a display arranged thereon. However, it proves difficult, the image reproduction on the non-transparent vehicle part 7 in perspective so exactly to make that at the edges of the non-transparent vehicle part 7 to those for the inmate 1 visible image sections of his field of view, a seamless continuous transition of the image without shifts and artifacts arises.

Ausgehend von diesem Stand der Technik ist es eine Aufgabe der Erfindung, ein Verfahren und eine Vorrichtung bereitzustellen, welche das Überblenden von Fahrzeugteilen, insbesondere nicht-transparenter Fahrzeugteile, verbessert und dem Insassen des Fahrzeugs damit ein angenehmeres Fahrgefühl und einen sicheren Fahrbetrieb eines Fahrzeugs ermöglichen. Diese Aufgabe wird durch eine Vorrichtung nach Anspruch 1 und ein Verfahren nach Anspruch 6 gelöst. Vorteilhafte Ausgestaltungen werden in abhängigen Ansprüchen beansprucht. Der Wortlaut der Ansprüche wird durch ausdrückliche Bezugnahme zum Inhalt der Beschreibung gemacht. Based on this prior art, it is an object of the invention to provide a method and a device which improves the blending of vehicle parts, in particular non-transparent vehicle parts, and thus allows the occupant of the vehicle a more pleasant driving feel and safe driving operation of a vehicle. This object is achieved by a device according to claim 1 and a method according to claim 6. Advantageous embodiments are claimed in the dependent claims. The wording of the claims is incorporated herein by express reference.

Eine erfindungsgemäße Vorrichtung zur Wiedergabe von Daten in einer erweiterten Realität für einen Insassen eines Fahrzeugs, insbesondere für einen Fahrer, weist vorzugsweise eine erste Einrichtung, eingerichtet zum Ermitteln eines Sichtfelds eines Insassen, insbesondere einen Headtracker mit MEMS und/oder einen optischen Headtracker auf. Zum Filmen eines Außenbereichs des Fahrzeugs in wenigstens einem Teil des sichtbaren Spektralbereichs weist die Vorrichtung vorzugsweise eine erste Kamera auf sowie eine zweite Kamera, welche eingerichtet ist zum Filmen des Sichtfelds des Insassen in wenigstens einem Teil des sichtbaren und des infraroten Spektralbereichs. Des Weiteren weist die Vorrichtung vorzugsweise einen Infrarotprojektor auf, eingerichtet zum Projizieren im infraroten Spektralbereich auf ein oder mehrere Fahrzeugteile, welche wenigstens einen Bildausschnitt des Sichtfelds bedecken. Weiter vorzugsweise weist die Vorrichtung eine Verarbeitungseinrichtung mit wenigstens einem ersten Modul auf, eingerichtet zum Bestimmen der ersten Daten auf der Grundlage des erfassten Sichtfelds und des gefilmten Außenbereichs, mit einem zweiten Modul zum Erstellen einer Infrarotdarstellung der ersten Daten, mit einem dritten Modul, eingerichtet zum Bestimmen von zweiten Daten auf der Grundlage des gefilmten Sichtfelds, welche die projizierte Infrarotdarstellung der ersten Daten und Bildinformationen über wenigstens einen nicht bedeckten Bildausschnitt des Sichtfelds des sichtbaren Spektralbereichs enthalten. Die Verarbeitungseinrichtung weist weiter vorzugsweise ein viertes Modul auf, eingerichtet zum Abgleichen der ersten Daten mit der Bildinformation der nicht bedeckten Bildausschnitte der zweiten Daten und ein fünftes Modul zum Korrigieren der ersten Daten auf der Grundlage der zweiten Daten. Die erfindungsgemäße Vorrichtung weist des Weiteren eine Anzeigeeinrichtung auf, insbesondere ein Display oder einen Projektor, eingerichtet zum Wiedergeben wenigstens eines Teils der korrigierten ersten Daten im sichtbaren Spektralbereich als erweiterte Realität in dem wenigstens einen verdeckten Bildausschnitt. An inventive device for reproducing data in an augmented reality for an occupant of a vehicle, in particular for a driver, preferably has a first device, configured to determine a field of view of an occupant, in particular a head tracker with MEMS and / or an optical head tracker. To film an exterior of the vehicle in at least a portion of the visible spectral range, the apparatus preferably includes a first camera and a second camera configured to film the occupant's field of view in at least a portion of the visible and infrared spectral ranges. Furthermore, the device preferably has an infrared projector, configured for projecting in the infrared spectral range on one or more vehicle parts, which cover at least one image section of the field of view. The apparatus preferably also has a processing device with at least one first module, configured to determine the first data on the basis of the detected field of view and the filmed outer region, with a second module for generating an infrared representation of the first data, with a third module configured for Determining second data based on the filmed field of view that includes the projected infrared representation of the first data and image information about at least one uncovered portion of the field of view of the visible Spectral range included. The processing means further preferably comprises a fourth module adapted to match the first data with the image information of the uncovered image sections of the second data and a fifth module to correct the first data based on the second data. The device according to the invention furthermore has a display device, in particular a display or a projector, configured to display at least a part of the corrected first data in the visible spectral range as augmented reality in the at least one hidden image section.

Ein erfindungsgemäßes Verfahren zum Wiedergabe von Daten in einer erweiterten Realität für einen Insassen eines Fahrzeugs weist vorzugsweise folgende Arbeitsschritte auf: Ermitteln eines Sichtfelds des Insassen, insbesondere mittels Headtracking; erstes Filmen wenigstens eines Außenbereichs des Fahrzeugs in wenigstens einem Teil des sichtbaren Spektralbereichs; Bestimmen von ersten Daten auf der Grundlage des erfassten Sichtfelds und des gefilmten Außenbereichs, welche wenigstens einen Bildausschnitt im Sichtfeld, welcher von einem oder mehreren Fahrzeugteilen, insbesondere einer Fahrzeugsäule und/oder Fahrzeugwand verdeckt wird, entsprechen; Erstellen einer Infrarotdarstellung der ersten Daten; Wiedergeben der Infrarotdarstellung auf das eine oder die mehreren Fahrzeugteile; zweites Filmen des Sichtfelds in wenigstens einem Teil des infraroten Spektralbereich und in wenigstens einem Teil des sichtbaren Spektralbereichs; Bestimmen von zweiten Daten auf der Grundlage des gefilmten Sichtfelds, welche die projizierte Infrarotdarstellung der ersten Darstellung und Bildinformationen über wenigstens einen nicht verdeckten Bildausschnitt des Sichtfelds enthalten; Abgleichen der Bildinformation der projizierten Infrarotdarstellung der ersten Daten mit der Bildinformation der nicht verdeckten Bildausschnitte der zweiten Daten in wenigstens einem Teil des sichtbaren Spektralbereichs; Korrigieren der ersten Daten auf der Grundlage der zweiten Daten; und Wiedergeben der ersten Daten als erweiterte Realität im sichtbaren Spektralbereich in dem wenigstens einem verdeckten Bildausschnitt. An inventive method for reproducing data in an augmented reality for an occupant of a vehicle preferably has the following steps: determining a field of view of the occupant, in particular by means of head tracking; firstly filming at least one exterior of the vehicle in at least a portion of the visible spectral range; Determining first data on the basis of the detected field of view and the filmed outer area, which correspond to at least one image section in the field of view that is obscured by one or more vehicle parts, in particular a vehicle pillar and / or vehicle wall; Creating an infrared representation of the first data; Displaying the infrared representation on the one or more vehicle parts; secondly filming the field of view in at least a portion of the infrared spectral range and in at least a portion of the visible spectral range; Determining second data based on the filmed field of view that includes the projected infrared representation of the first representation and image information about at least one unobscured image detail of the field of view; Matching the image information of the projected infrared representation of the first data with the image information of the unobscured image sections of the second data in at least a part of the visible spectral region; Correcting the first data based on the second data; and reproducing the first data as augmented reality in the visible spectral region in the at least one obscured image detail.

Ein Display im Sinne der Erfindung ist eine elektrisch angesteuerte Anzeige zur optischen Signalisierung von veränderlichen Informationen wie Bildern oder Zeichen. A display according to the invention is an electrically controlled display for the optical signaling of variable information such as images or characters.

Bestimmen im Sinne der Erfindung ist ein Identifizieren von Daten anhand von weiteren Informationen bzw. Randbedingungen. Insbesondere ist das Bestimmen hierbei ein Berechnen einer Ansicht auf der Grundlage von vorhandenen Verdeckungen und einer definierten Perspektive. Determining in the sense of the invention is an identification of data on the basis of further information or boundary conditions. In particular, determining here is computing a view based on existing occlusions and a defined perspective.

Erfassen im Sinne der Erfindung ist ein Einlesen von Parameterwerten, insbesondere durch automatische oder manuelle Eingabe oder ein Ausführen von Messungen zum Ermitteln der Werte. Detecting within the meaning of the invention is a reading in of parameter values, in particular by automatic or manual input or by carrying out measurements for determining the values.

Ein Modul im Sinne der Erfindung kann sowohl als Hardware-Komponente der Verarbeitungseinrichtung wie auch als deren Software-Komponente ausgebildet sein. A module in the sense of the invention can be designed both as a hardware component of the processing device and as its software component.

Die Erfindung basiert insbesondere auf dem Ansatz, eine Korrektur einer Einblendung in einer virtuellen Realität auf der Grundlage einer für den Insassen nicht sichtbaren Überblendung im infraroten Spektralbereich vorzunehmen. Dabei wird ein für den Fahrer verdeckter Bildausschnitt, welcher anhand eines berechneten Sichtfelds des Insassen ermittelt wurde bzw. dessen Bildinformation, auf ein nicht-transparentes Fahrzeugteil projiziert. Mittels einer Kamera, welche vorzugsweise sowohl im infraroten Spektralbereich als auch im sichtbaren Spektralbereich sensitiv ist, wird darauf vorzugsweise ein Gesamtbild des verdeckten Sichtfelds sowie des nichtverdeckten Sichtfelds des Insassen erstellt. Anhand dieser Aufnahmen können Konturen der Umgebung (im sichtbaren Spektralbereich) mit den Konturen in dem Infrarotbild vorzugsweise verglichen werden und etwaige Abweichungen in der Position der Überblendung festgestellt werden. Ein im sichtbaren Spektralbereich überblendetes Bild kann auf der Grundlage der festgestellten Abweichung daraufhin korrigiert werden. Fehler beim Ermitteln des Sichtfelds des Insassen können, insbesondere beim Headtracking, beispielsweise durch Sensoren, eine Optik, Algorithmen oder in den Positionen von natürlichen oder künstlichen Markern entstehen, beispielsweise, wenn die Position von Markern in verschiedenen Fahrzeugen, durch eine Reparatur, Alterung oder thermische Effekte schwankt. In particular, the invention is based on the approach of making a correction of a glare in a virtual reality on the basis of a fade in the infrared spectral range, which is not visible to the occupant. In this case, an image section concealed for the driver, which was determined on the basis of a calculated field of view of the occupant or whose image information is projected onto a non-transparent vehicle part. By means of a camera, which is preferably sensitive both in the infrared spectral range and in the visible spectral range, an overall image of the hidden field of view as well as the unobstructed field of view of the occupant is preferably created thereon. On the basis of these images, contours of the environment (in the visible spectral range) can be compared with the contours in the infrared image, and possible deviations in the position of the cross-fade can be determined. An image superimposed in the visible spectral range can then be corrected on the basis of the detected deviation. Errors in determining the field of view of the occupant may arise, in particular during head tracking, for example by sensors, optics, algorithms or in the positions of natural or artificial markers, for example, if the position of markers in different vehicles, by a repair, aging or thermal Effects varies.

Das erfindungsgemäße Verfahren und die erfindungsgemäße Vorrichtung ermöglicht es, eine nahezu perfekte Deckungsgleichheit zwischen Wiedergabe einer erweiterten Realität mittels einer Anzeigevorrichtung und der real einsehbaren Bildausschnitte des Sichtfelds des Fahrers herzustellen, indem solche Fehler bzw. die daraus resultierenden Abweichungen der Überblendung korrigiert werden. Dadurch kann eine besonders gute Anpassung der virtuellen Überlagerung an die Realität erreicht werden. Insbesondere ist der Vergleich der Bilddaten nicht abhängig von theoretischen Überlegungen und Messungen in Bezug auf Position und Blickwinkel des Insassen. The method according to the invention and the device according to the invention make it possible to achieve an almost perfect congruence between reproduction of an augmented reality by means of a display device and the real visible image sections of the field of view of the driver by correcting such errors or the resulting deviations of the crossfading. As a result, a particularly good adaptation of the virtual overlay to reality can be achieved. In particular, the comparison of the image data is not dependent on theoretical considerations and measurements with respect to occupant position and perspective.

In einer vorteilhaften Ausgestaltung des erfindungsgemäßen Verfahrens ist die Anzeigeeinrichtung semitransparent ausgebildet, so dass der Insasse eine reale Umgebung in seinem Sichtfeld zur Überblendung der erweiterten Realität wahrnehmen kann. In an advantageous embodiment of the method according to the invention, the display device is formed semitransparent, so that the occupant a real environment in his field of vision for Blurring the augmented reality can perceive.

In einer weiteren vorteilhaften Ausgestaltung der erfindungsgemäßen Vorrichtung ist die erste Kamera eingerichtet, außen am Fahrzeug angebracht zu werden und im Wesentlichen jeden Teil zu filmen, welcher im Sichtfeld des Fahrers durch das eine oder die mehreren Fahrzeugteile verdeckt wird. In a further advantageous embodiment of the device according to the invention, the first camera is set up to be mounted on the outside of the vehicle and essentially to film each part which is hidden in the field of view of the driver by the one or more vehicle parts.

In einer weiteren vorteilhaften Ausgestaltung der erfindungsgemäßen Vorrichtung ist die zweite Kamera und/oder der Infrarotprojektor eingerichtet, um im Inneren des Fahrzeugs angebracht zu werden, insbesondere am Kopf des Insassen, an einer Brille und/oder an einem Head-Mounted-Device. In a further advantageous embodiment of the device according to the invention, the second camera and / or the infrared projector is set up to be mounted inside the vehicle, in particular on the head of the occupant, on a pair of glasses and / or on a head-mounted device.

In einer weiteren vorteilhaften Ausgestaltung ist die zweite Kamera an der Sichtachse der Brille, des Head-Mounted-Device oder des Insassen ausgerichtet. In a further advantageous embodiment, the second camera is aligned with the viewing axis of the glasses, the head-mounted device or the occupant.

Durch das Anordnen der zweiten Kamera am Kopf des Insassen und/oder in der Sichtachse des Insassen kann eine Korrektur des wiedergegebenen verdeckten Bildausschnitts exakt an die Perspektive des Insassen angepasst werden. By arranging the second camera at the head of the occupant and / or in the visual axis of the occupant, a correction of the reproduced covert image section can be adapted exactly to the perspective of the occupant.

Die im Vorstehenden genannten Aspekte der Erfindung und die dazugehörigen, zur Weiterbildung der Vorrichtung zur Wiedergabe von Daten der erweiterten Realität für einen Insassen eines Fahrzeugs offenbarten Merkmale und Vorteile gelten auch für die nachstehend beschriebenen Aspekte der Erfindung und die dazugehörigen, zur Weiterbildung des Verfahrens zur Wiedergabe von Daten in einer erweiterten Realität für einen Insassen eines Fahrzeugs offenbarten Merkmale und Vorteile entsprechend und umgekehrt. The above-mentioned aspects of the invention and the associated features and advantages disclosed for developing the device for reproducing augmented reality data for an occupant of a vehicle also apply to the aspects of the invention described below and to the associated ones for developing the method of reproduction data in an augmented reality for an occupant of a vehicle disclosed features and advantages accordingly and vice versa.

In einer weiteren vorteilhaften Ausgestaltung des erfindungsgemäßen Verfahrens betrifft das erste Filmen im Wesentlichen jenen Teil des Außenbereichs des Fahrzeugs, welcher im Sichtfeld des Fahrers durch das eine oder die mehreren Fahrzeugteile verdeckt wird. Hierdurch können Informationen über den Bildausschnitt des Sichtfelds gewonnen werden, welcher durch das Fahrzeugteil verborgen wird. In a further advantageous embodiment of the method according to the invention, the first film substantially relates to that part of the exterior of the vehicle which is hidden in the field of view of the driver by the one or more vehicle parts. As a result, information about the image section of the field of view can be obtained, which is hidden by the vehicle part.

In einer vorteilhaften Ausgestaltung des erfindungsgemäßen Verfahrens weist dieses des Weiteren den Schritt des Erkennens wenigstens eines Merkmals und/oder Objekts auf, welches sich sowohl im gefilmten Außenbereich als auch im gefilmten Sichtfeld erstreckt. Indem ein spezielles Merkmal bzw. Objekt durch Abgleichen identifiziert wird, kann die Korrektur anhand der bekannten Informationen über ein solches Merkmal oder Objekt, z.B. die Position von Scheinwerfern an einem Fahrzeug, korrigiert werden. In an advantageous embodiment of the method according to the invention, this further comprises the step of recognizing at least one feature and / or object which extends both in the filmed outer area and in the filmed field of view. By identifying a particular feature by matching, the correction may be based on the known information about such feature or object, e.g. the position of headlights on a vehicle, be corrected.

In einer vorteilhaften Ausgestaltung des erfindungsgemäßen Verfahrens schließt das Abgleichen ein Prüfen ein, ob die zweiten Daten inhaltlich mit den ersten Daten, zusammenpassen, insbesondere ob ein bestimmtes Merkmal und/oder Objekt im gefilmten Außenbereich mit dem gefilmten Sichtfeld zusammenpassen. Durch eine inhaltliche Prüfung der Daten können Kontextinformationen in den einzelnen Bildabschnitten verwendet werden, um die erfindungsgemäße Bildkorrektur durchzuführen. Hierdurch können Fehler, welche durch alleiniges Fortführen von Verläufen einer Korrektur entstehen, vermieden werden. In an advantageous embodiment of the method according to the invention, the matching includes a check as to whether the second data match the content of the first data, in particular whether a specific feature and / or object in the filmed outer area match the filmed field of view. By examining the contents of the context context information in the individual image sections can be used to perform the image correction according to the invention. As a result, errors that arise by solely continuing courses of a correction can be avoided.

Weitere Merkmale, Vorteile und Anwendungsmöglichkeiten der Erfindung ergeben sich aus der nachfolgenden Beschreibung in Zusammenhang mit den Figuren. Es zeigt: Other features, advantages and applications of the invention will become apparent from the following description taken in conjunction with the figures. It shows:

1 eine teilweise schematische Darstellung eines verdeckten Bildausschnitts im Sichtfeld eines Insassen; 1 a partial schematic representation of a hidden image detail in the field of view of an occupant;

2 eine teilweise schematische Darstellung einer durch das gesamte Sichtfeld eines Insassen verlaufenden Kontur; 2 a partial schematic representation of a running through the entire field of view of an occupant contour;

3 eine teilweise schematische Darstellung eines Systems des Standes der Technik zur Vervollständigung des Sichtfelds eines Insassen; 3 a partial schematic representation of a prior art system for completing the field of view of an occupant;

4 eine teilweise schematische Darstellung des Sichtfelds eines Insassen in einer erweiterten Realität; 4 a partial schematic representation of the field of view of an occupant in an augmented reality;

5 eine teilweise schematische Darstellung einer Ausführungsform einer erfindungsgemäßen Vorrichtung; 5 a partial schematic representation of an embodiment of a device according to the invention;

6 eine teilweise schematische Darstellung eines Sichtfelds eines Insassen, wobei die virtuelle Realität durch das erfindungsgemäße Verfahren korrigiert ist; und 6 a partial schematic representation of a field of view of an occupant, wherein the virtual reality is corrected by the inventive method; and

7 ein Flussdiagramm einer Ausführungsform eines erfindungsgemäßen Verfahrens. 7 a flowchart of an embodiment of a method according to the invention.

In der in 3 dargestellten Vorrichtung des Stands der Technik wird ein Bildausschnitt 6, welcher für einen Insassen 1 durch ein nicht-transparentes Fahrzeugteil 7 verdeckt wird, von einer ersten Kamera 3, welche vorzugsweise außen am Fahrzeug angeordnet ist, gefilmt. Dieses Bild wird auf der Grundlage einer vorbestimmten, fiktiven Position des Insassen 1 mittels eines Projektors 16 in einer Projektion 13 als virtuelle Realität auf das nicht-transparente Fahrzeugteil 7 überblendet. In the in 3 The device of the prior art shown is a picture detail 6 which is for an occupant 1 through a non-transparent vehicle part 7 is covered by a first camera 3 , which is preferably arranged on the outside of the vehicle, filmed. This image is based on a predetermined, fictitious position of the occupant 1 by means of a projector 16 in a projection 13 as a virtual reality on the non-transparent part of the vehicle 7 superimposed.

Wie anhand der Darstellung eines Sichtfelds des Insassen 1 in 4 gezeigt, entstehen durch Abweichungen der tatsächlichen Position des Insassen 1, insbesondere dessen Kopfes, von der vorbestimmten Position bzw. Blickrichtung, durch fehlerhafte Installation der ersten Kamera 3 sowie etwaiger technischer Einrichtungen zur Bestimmung der Blickrichtung des Insassen 1 Abweichungen 12 der überblendeten Darstellung eines Objektes 11 von der tatsächlichen durch einen Fahrer wahrnehmbaren Konturen des Objekts 9. Diese Abweichungen 12 können, wie dargestellt, eine Verschiebung der Überblendung in vertikaler Richtung hervorrufen. Alternativ oder zusätzlich kann die Überblendung 11 aber in horizontaler Richtung verschoben sein oder die Berechnung der virtuellen Entfernung der Überblendung 11 zum Insassen 1 kann fehlerhaft sein, was zu einer fehlerhaften Größe der dargestellten Überblendung 11 und/oder zu Artefakten führt. Zudem können auch die Orientierung oder die Perspektive falsch sein. As with the representation of a field of view of the occupant 1 in 4 shown, caused by deviations of the actual position of the occupant 1 , in particular its head, from the predetermined position or viewing direction, by incorrect installation of the first camera 3 as well as any technical equipment for determining the line of sight of the occupant 1 deviations 12 the superimposed representation of an object 11 from the actual driver perceivable contours of the object 9 , These deviations 12 can, as shown, cause a shift of the cross-fading in the vertical direction. Alternatively or additionally, the transition can 11 but be shifted in the horizontal direction or the calculation of the virtual distance of the transition 11 to the inmate 1 can be faulty, resulting in incorrect size of the displayed crossfade 11 and / or leads to artifacts. In addition, the orientation or the perspective may be wrong.

5 zeigt eine Ausführungsform einer erfindungsgemäßen Vorrichtung. Bei dieser wird Position und Blickrichtung des Insassen 1 vorzugsweise durch einen Headtracker 2 bestimmt, welcher zum Ermitteln eines Sichtfelds des Insassen 1 wenigstens die Bewegung des Kopfes des Insassen 1 nachverfolgt. Hierfür könne sowohl Headtracker mittels eines Inertial-Sensors (IMU) wie auch Outside-In-Tracking oder Inside-Out-Tracking zum Einsatz kommen, welche auf optischen Trackingmethoden basieren. Aufgrund der mittels des Headtrackers 2 gewonnenen Daten kann das Sichtfeld des Insassen 1 ermittelt werden. Informationen über das Sichtfeld werden vorzugsweise an eine Verarbeitungseinrichtung 5 weitergegeben. Der Headtracker 2 und die Verarbeitungseinrichtung 5 sind vorzugsweise in einem Head-Mounted-Device integriert. 5 shows an embodiment of a device according to the invention. In this position and direction of the occupant 1 preferably by a head tracker 2 which determines to determine a field of view of the occupant 1 at least the movement of the occupant's head 1 tracked. For this purpose, both head trackers using an inertial sensor (IMU) as well as outside-in-tracking or inside-out tracking can be used, which are based on optical tracking methods. Due to the means of the head tracker 2 Data gained can be the field of vision of the occupant 1 be determined. Information about the field of view is preferably sent to a processing device 5 passed. The head tracker 2 and the processing device 5 are preferably integrated in a head-mounted device.

Die Verarbeitungseinrichtung 5 verarbeitet diese Informationen über das Sichtfeld sowie eine durch eine erste Kamera 3 gefilmte Ansicht des Außenbereichs des Fahrzeugs und bestimmt vorzugsweise erste Daten mit Informationen, welche einem durch das Fahrzeugteil 7 erdeckten Bildausschnitt im Sichtfeld des Insassen 1 entsprechen. The processing device 5 processes this information through the field of view as well as through a first camera 3 filmed view of the exterior of the vehicle and preferably determines first data with information provided by the vehicle part 7 covered image section in the field of view of the occupant 1 correspond.

Ausgehend von diesen ersten Daten wird vorzugsweise ein Bild des verdeckten Bildausschnitts 6 aus der Perspektive des Insassen 1 im infraroten Spektralbereich erzeugt, ein sogenanntes Infrarotbild. Dieses enthält im Wesentlichen alle Bildinformationen der mit der Kamera 3 gefilmten Ansicht des Außenbereichs (außer den für den Menschen sichtbaren Farben). Based on these first data is preferably an image of the hidden image detail 6 from the perspective of the occupant 1 generated in the infrared spectral range, a so-called infrared image. This contains essentially all image information with the camera 3 filmed view of the exterior (except the colors visible to man).

Das erzeugte Bild wird vorzugsweise mit einem Infrarotprojektor 8, der im infraroten Spektralbereich projiziert, mittels einer Projektion 13 auf die einen oder mehreren Fahrzeugteile 7 projiziert. Eine zweite Kamera 4, welche vorzugsweise im Fahrzeug angeordnet ist, ist vorzugsweise eingerichtet, das Sichtfeld des Insassen in wenigstens einem Teil des sichtbaren und des infraroten Spektralbereichs zu filmen. Hierbei wird insbesondere die Perspektive des Insassen 1 eingenommen, besonders vorteilhaft ist die Perspektive von dessen Augen. The generated image is preferably with an infrared projector 8th , which projects in the infrared spectral range, by means of a projection 13 on the one or more vehicle parts 7 projected. A second camera 4 , which is preferably arranged in the vehicle, is preferably arranged to film the field of view of the occupant in at least a part of the visible and the infrared spectral range. This is especially the perspective of the occupant 1 taken, particularly advantageous is the perspective of his eyes.

Sowohl die Bilddaten des durch die zweite Kamera 4 gefilmten Sichtfelds als auch die Bilddaten, welche auf der Grundlage des durch den Headtracker 2 ermittelten Sichtfelds und des von der ersten Kamera 3 gefilmten Außenbereichs des Fahrzeugs ermittelt wurden, werden vorzugsweise in einer Verarbeitungseinrichtung 5 gesammelt. Diese weist vorzugsweise ein erstes Modul auf, welches eingerichtet ist zum Bestimmen von den ersten Bilddaten auf der Grundlage des erfassten Sichtfelds und des gefilmten Außenbereichs, und ein zweites Modul zum Erstellen einer Infrarotdarstellung dieser ersten Daten. Both the image data of the second camera 4 filmed field of view as well as the image data based on the by the head tracker 2 determined field of view and of the first camera 3 filmed outside of the vehicle are preferably in a processing device 5 collected. This preferably has a first module which is set up to determine the first image data on the basis of the acquired field of view and the filmed outer region, and a second module to produce an infrared representation of this first data.

Des Weiteren weist die Verarbeitungseinrichtung vorzugsweise ein drittes Modul, eingerichtet zum Bestimmen von zweiten Daten auf der Grundlage des gefilmten Sichtfelds, welche die projizierte Infrarotdarstellung der ersten Daten und Bildinformationen über wenigstens einen nicht verdeckten Bildausschnitt des Sichtfelds im sichtbaren Spektralbereich enthalten, auf. Ein viertes Modul der Verarbeitungseinrichtung ist vorzugsweise eingerichtet zum Abgleichen der ersten Daten mit der Bildinformation der nicht verdeckten Bildausschnitte der zweiten Daten und ein fünftes Modul ist vorzugsweise zum Korrigieren der ersten Daten auf der Grundlage der zweiten Daten vorgesehen. Furthermore, the processing means preferably comprises a third module arranged to determine second data based on the filmed field of view including the projected infrared representation of the first data and image information over at least one unobscured image section of the field of view in the visible spectral region. A fourth module of the processing device is preferably arranged to match the first data with the image information of the non-hidden image sections of the second data, and a fifth module is preferably provided for correcting the first data on the basis of the second data.

Für den Vorgang der Korrektur kommen insbesondere Konturen der Landschaft oder von Objekten infrage, welche sich sowohl im einsehbaren Bildausschnitt als auch im verdeckten Bildausschnitt 6 des Sichtfelds des Insassen 1 erstrecken. Abweichungen an diesen Konturen können hierbei ohne großen Aufwand festgestellt werden, da in dem von der zweiten Kamera gefilmten Sichtfeld sowohl die einsehbare Kontur 9 (im sichtbaren Spektralbereich) als auch durch das nicht-transparente Fahrzeugteil 7 verdecket berechnete Kontur 11, die durch den Infrarotprojektor 8 auf das nicht-transparente Fahrzeugteil projiziert wird, enthalten sind. Die korrigierten ersten Daten, d.h. die Bildinformationen, werden dann als erweiterte Realität für den wenigstens einen verdeckten Bildausschnitt 6 auf dem oder der Mehrzahl von nicht-transparenten Fahrzeugteilen 7 wiedergegeben bzw. auf diese mit einem Projektor 16 vorzugsweise überblendet (im sichtbaren Spektralbereich). Contours of the landscape or of objects come into consideration for the process of correction, which can be seen both in the visible image detail and in the hidden image detail 6 the field of view of the occupant 1 extend. Deviations on these contours can be determined without much effort, since both the visible contour in the field of view filmed by the second camera 9 (in the visible spectral range) as well as through the non-transparent vehicle part 7 concealed calculated contour 11 through the infrared projector 8th is projected onto the non-transparent vehicle part are included. The corrected first data, ie the image information, then becomes an augmented reality for the at least one obscured image detail 6 on the one or more non-transparent vehicle parts 7 played back or on this with a projector 16 preferably superimposed (in the visible spectral range).

Mit der erfindungsgemäßen Vorrichtung kann die von dem Projektor 16 erzeugte Überblendung des wenigstens einen nicht-transparenten Fahrzeugteils 7 ständig in Echtzeit in der Weise korrigiert werden, dass ein für den Insassen 1 wirklichkeitsnahes Gesamtbild mit der durch transparente Fahrzeugteile einsehbaren Umgebung des Fahrzeugs dargestellt wird. Der Insasse 1 braucht hierfür insbesondere keine spezielle Einrichtung zu tragen, z.B. ein Head-Mounted-Device oder auch eine spezielle Datenbrille. Auch kann die zweite Kamera 4 möglichst klein gehalten werden und für den Insassen 1 kaum merklich oder an dessen normaler optischer Brille angebracht werden. Statt einem Projektor handelt es sich bei der Anzeigevorrichtung alternativ um ein Display 16. With the device according to the invention, that of the projector 16 generated transition of the at least one non-transparent vehicle part 7 constantly corrected in real time in the way that one for the occupant 1 Realistic overall picture with the viewable through transparent vehicle parts environment of the vehicle shown becomes. The inmate 1 In particular, this does not require any special equipment, eg a head-mounted device or special data glasses. Also, the second camera 4 be kept as small as possible and for the occupant 1 barely noticeable or attached to its normal optical glasses. Instead of a projector, the display device is alternatively a display 16 ,

Ein wichtiger Aspekt der Erfindung ist hierbei, das sowohl die zweite Kamera 4, als auch der Infrarotprojektor 8 vorzugsweise an einer Sichtachse S des Insassen 1 ausgerichtet bzw. dass die Sichtachse dieser Einrichtung sogar mit der Sichtachse S des Insassen 1 identisch sind. Hierdurch kann eine besonders gute Korrektur erfolgen. An important aspect of the invention here is that both the second camera 4 , as well as the infrared projector 8th preferably on a visual axis S of the occupant 1 aligned or that the visual axis of this device even with the visual axis S of the occupant 1 are identical. This can be done a particularly good correction.

6 zeigt schematisch anhand des Sichtfelds des Insassen 1, wie eine Korrektur durch die Verarbeitungsvorrichtung 5 vorzugsweise erfindungsgemäß vorgenommen wird. Anhand der Bildinformationen der zweiten Kamera 4 über den (nicht verdeckten Teil des) Außenbereichs in dem wenigstens einen nicht-verdeckten Bildausschnitt 9 des Sichtfelds kann ein Fehler bzw. eine Abweichung 12 anhand des mit dem Headtracker 2 ermittelten Sichtfeld und einer mit der ersten Kamera 3 bestimmten Kontur 11 ines Objekts oder der Landschaft festgestellt werden. Hierbei wird die gestrichelt dargestellte Kontur 11 im infraroten Spektralbereich auf das nicht-transparente Fahrzeugteil 7 projiziert. Diese bestimmte Kontur 11 wird vorzugsweise mit den im einsehbaren Bildausschnitt des Sichtfelds des Insassen 1 liegenden Konturen 9 verglichen. Mittels der so gewonnenen Kenntnisse kann der durch das Fahrzeugteil 7 verdeckte Bildausschnitt 6 in der Weise korrigiert und/oder verschoben und/oder rotiert und/oder perspektivisch angepasst werden, dass sich an den Rändern des nicht-transparenten Fahrzeugteils 7 ein stetiger Übergang zwischen den Konturen 9, 14 eines Objekts oder der Landschaft ergeben. Zwischen der überblendeten Kontur 14 und den real wahrgenommenen Konturen 9 kann somit ein nahtloser Übergang erreicht werden. Artefakte im Gesamtbild werden hierbei wesentlich reduziert. 6 shows schematically based on the field of view of the occupant 1 as a correction by the processing device 5 is preferably carried out according to the invention. Based on the image information of the second camera 4 over the (not hidden part of) the exterior in the at least one unobscured image detail 9 of the field of view may be an error or a deviation 12 on the basis of the head tracker 2 determined field of view and one with the first camera 3 certain contour 11 ines object or the landscape can be determined. This is the contour shown in dashed lines 11 in the infrared spectral range on the non-transparent vehicle part 7 projected. This particular contour 11 is preferably with the visible in the image section of the field of view of the occupant 1 lying contours 9 compared. By means of the knowledge gained by the vehicle part 7 hidden picture detail 6 corrected in the manner and / or displaced and / or rotated and / or adjusted in perspective, that at the edges of the non-transparent vehicle part 7 a steady transition between the contours 9 . 14 of an object or landscape. Between the blended contour 14 and the real perceived contours 9 Thus, a seamless transition can be achieved. Artifacts in the overall picture are significantly reduced.

7 zeigt teilweise schematisch den Ablauf einer Ausführungsform des erfindungsgemäßen Verfahrens 100 zur Wiedergabe von Daten in einer erweiterten Realität für einen Insassen 1 eines Fahrzeugs. 7 shows partially schematically the sequence of an embodiment of the method according to the invention 100 to play data in an augmented reality for an occupant 1 of a vehicle.

Zunächst wird vorzugsweise ein Sichtfeld des Insassen 1 ermittelt 101 und ein Außenbereich um das Fahrzeug, insbesondere jener Außenbereich hinter einem nicht-transparenten Fahrzeugteil 7, gefilmt 102. Auf der Grundlage des ermittelten Sichtfelds des gefilmten Außenbereichs sowie der Position des Insassen 1 werden vorzugsweise erste Daten bestimmt 103, welche Bilddaten wenigstens eines Bildausschnitts 6 in dem Sichtfeld, welches von einem oder mehreren nicht-transparenten Fahrzeugteilen 7 verdeckt wird/werden, entsprechen. Auf der Grundlage der ersten Daten wird vorzugsweise eine Infrarotdarstellung des verdeckten Bildausschnitts 6 erzeugt 104. Diese Infrarotdarstellung wird auf dem einen oder den mehreren Fahrzeugteilen vorzugsweise wiedergegeben 105. Zur Kontrolle, ob die ersten Daten tatsächlich dem verdeckten Bildausschnitt 6 aus Sicht des Insassen 1 entsprechen, wird das Sichtfeld vorzugsweise mittels einer zweiten Kamera 4 gefilmt 106. Die Kamera ist dabei vorzugsweise an der Sichtachse S des Insassen 1 ausgerichtet. Anhand des durch die zweite Kamera 4 gefilmten Sichtfelds werden zweite Daten bestimmt, welche die projizierte Infrarotdarstellung der ersten Daten und Bildinformationen über wenigstens einen nicht-verdeckten Bildausschnitt des Sichtfelds enthalten 107. Vorzugsweise wird hierbei wenigstens ein Merkmal und/oder Objekt erkannt 107a, das sich sowohl im gefilmten Außenbereich als auch in dem gefilmten Sichtfeld erstreckt. Dies können insbesondere markante Punkte im verdeckten Bildausschnitt 6 wie auch im nicht-verdeckten Bildausschnitt 7 des Sichtfelds des Insassen sein. Beispielsweise können hierfür Konturen von Objekten oder die Kontur der Umgebung oder andere Merkmale herangezogen werden, welche dann als Grundlage für ein Abgleichen der Bildinformation der projizierten Infrarotdarstellung der ersten Daten mit der Bildinformation der nicht-verdeckten Bildausschnitte der zweiten Daten dienen 108. Bei diesem Abgleich wird vorzugsweise geprüft 108a, ob die zweiten Daten inhaltlich mit den ersten Daten zusammenpassen, insbesondere, ob wenigstens ein bestimmtes Merkmal und/oder Objekt im gefilmten Außenbereich und im gefilmten Sichtfeld zusammenpassen. Die ersten Daten, welche den verdeckten Bildausschnitt repräsentieren, werden hierbei vorzugsweise auf der Grundlage der zweiten Daten, welche die Information zum Abgleichen betreffen, korrigiert 108, d.h. der verdeckte Bildausschnitt 6 oder die wiedergegebene Bildinformation in dem Außenbereich, welcher durch das wenigstens eine Fahrzeugteil 7 verdeckt wird, werden in der Weise korrigiert, dass sich am Rand des Fahrzeugteils 7 (am Übergang zwischen dem überblendeten Bildausschnitt und dem real wahrgenommenen Bildausschnitt) für den Insassen ein stetiger Übergang beim Betrachten einer Wiedergabe 109 der korrigierten ersten Daten im sichtbaren Spektralbereich als erweiterte Realität ergibt. First, preferably, a field of view of the occupant 1 determined 101 and an outside area around the vehicle, in particular that outside area behind a non-transparent vehicle part 7 , filmed 102 , Based on the detected field of view of the filmed outdoor area and the position of the occupant 1 preferably first data are determined 103 which image data of at least one image section 6 in the field of view, which is one or more non-transparent vehicle parts 7 is covered / will correspond. On the basis of the first data, preferably an infrared representation of the hidden image detail is obtained 6 generated 104 , This infrared representation is preferably displayed on the one or more vehicle parts 105 , To check if the first data is actually the hidden image detail 6 from the perspective of the occupant 1 correspond, the field of view is preferably by means of a second camera 4 filmed 106 , The camera is preferably on the visual axis S of the occupant 1 aligned. Look through the second camera 4 In the filed field of view, second data is determined which includes the projected infrared representation of the first data and image information about at least one unobscured image section of the field of view 107 , Preferably, at least one feature and / or object is detected here 107a which extends both in the filmed outdoor area and in the filmed field of view. This can be particularly striking points in the hidden image detail 6 as well as in the non-hidden image section 7 be the field of view of the occupant. For example, contours of objects or the contour of the environment or other features can be used for this, which then serve as the basis for matching the image information of the projected infrared representation of the first data with the image information of the non-hidden image sections of the second data 108 , This adjustment is preferably checked 108a whether the second data match in terms of content with the first data, in particular, whether at least one particular feature and / or object in the filmed outdoor area and in the filmed field of view match. The first data, which represents the hidden image detail, is hereby preferably corrected on the basis of the second data relating to the information for matching 108 ie the hidden image section 6 or the reproduced image information in the outdoor area, which by the at least one vehicle part 7 is covered, are corrected in such a way that is at the edge of the vehicle part 7 (At the transition between the cross-faded image detail and the real perceived image detail) for the occupant a steady transition when viewing a playback 109 of the corrected first data in the visible spectral range as augmented reality.

BezugszeichenlisteLIST OF REFERENCE NUMBERS

1 1: Insasse inmate
2 2: erste Einrichtung first device
3 3: erste Kamera first camera
4 4: zweite Kamera second camera
5 5: Verarbeitungseinrichtung processing device
6 6: verdeckter Bildausschnitt hidden picture detail
7 7: nicht-transparentes Fahrzeugteil non-transparent vehicle part
8 8th: Projektor (infraroter Spektralbereich) Projector (infrared spectral range)
9, 10 9, 10: Kontur einer Landschaft/Objekt im Sichtfeld eines Insassen Contour of a landscape / object in the field of view of an occupant
11 11: berechnete Position einer verdeckten Kontur calculated position of a hidden contour
12 12: Fehler/Abweichung Error / deviation
13 13: Projektion projection
14 14: korrigierte Position einer verdeckten Kontur corrected position of a hidden contour
15 15: Brille glasses
16 16: Anzeigeeinrichtung (sichtbarer Spektralbereich) Display device (visible spectral range)

ZITATE ENTHALTEN IN DER BESCHREIBUNG QUOTES INCLUDE IN THE DESCRIPTION

Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list of the documents listed by the applicant has been generated automatically and is included solely for the better information of the reader. The list is not part of the German patent or utility model application. The DPMA assumes no liability for any errors or omissions.

Zitierte PatentliteraturCited patent literature

DE 102013203162 A1 [0005]
DE 102008028303 A1 [0006]

Claims

Device for reproducing data in an augmented reality for an occupant ( 1 ) of a vehicle, in particular for a driver, comprising: a first device ( 2 ) arranged to determine a field of view of the occupant ( 1 ), in particular a head tracker with MEMS and / or an optical head tracker, a first camera ( 3 ) configured to film an exterior of the vehicle in at least a portion of the visible spectral range; a second camera ( 4 ) adapted to film the field of view of the occupant ( 1 ) in at least a part of the visible and the infrared spectral range, an infrared projector ( 8th ) arranged for projecting in the infrared spectral range on one or more vehicle parts ( 7 ), which at least one image section ( 6 ) of the field of view, a processing device ( 5 ) with at least one first module configured to determine the first data based on the detected field of view and the filmed outer area, with a second module for generating an infrared representation of the first data, with a third module configured to determine second data based on the filmed one Field of view containing the projected infrared representation of the first data and image information over at least one unobscured image section of the field of view in the visible spectral range, comprising a fourth module adapted to match the first data with the image information of the unobscured image sections of the second data, and a fifth module for correcting the first data based on the second data; and a display device ( 16 ), in particular a display or a projector, arranged to reproduce at least a part of the corrected first data in the visible spectral range as augmented reality in the at least one hidden image section.

Device according to claim 1, wherein the first camera ( 3 ) is adapted to be mounted externally on the vehicle and substantially to film that part of the exterior area which is obscured in the field of view of the driver by the one or more vehicle parts.

Apparatus according to claim 1 or 2, wherein the second camera 4 is arranged to be mounted inside the vehicle, in particular at the head of the occupant ( 1 ), on glasses ( 15 ) and / or a head-mounted device (HMD).

Device according to 3, wherein the second camera ( 4 ) on the visual axis (S) of the occupant ( 1 ), the glasses or the head-mounted device.

Vehicle, in particular a highly automated or fully automated vehicle, comprising a device according to one of claims 1 to 4.

Procedure ( 100 ) for reproducing data in an augmented reality for an occupant ( 1 ) of a vehicle, in particular for a driver, comprising the following working steps: determining ( 101 ) of a field of view of the occupant, in particular by means of head tracking; first movie ( 102 ) at least one outer area around the vehicle in at least a part of the visible spectral range; Determine ( 103 ) of first data on the basis of the acquired field of view and the filmed outer area, which at least one image section ( 6 ) in the field of view of the occupant ( 1 ), which of one or more vehicle parts ( 7 ), in particular a vehicle pillar and / or vehicle wall, is covered, correspond; Create ( 104 ) an infrared representation of the first data; First play ( 105 ) of the infrared representation on the one or more vehicle parts ( 7 ); second filming ( 106 ) of the field of view in at least a portion of the infrared spectral range and in at least a portion of the visible spectral range; Determine ( 107 ) of second data based on the filmed field of view including the projected infrared representation of the first data and image information about at least one unobscured image section of the field of view; Compare ( 108 ) the image information of the projected infrared representation of the first data with the image information of the unobscured image sections of the second data in at least a part of the visible spectral region; and correcting ( 109 ) the first data based on the second data; and playing ( 110 ) of the corrected first data as extended reality in the visible spectral range in the at least one hidden image section ( 6 ).

Procedure ( 100 ) according to claim 6, wherein the first film substantially relates to that part of the outer area which is in the field of vision of the occupant ( 1 ) is obscured by the one or more parts of the vehicle.

The method of claim 6 or 7, further comprising the step of: detecting ( 107a ) of at least one feature and / or object that extends in both the filmed exterior and the filmed field of view as the basis for matching.

The method of any one of claims 6 to 8, wherein said matching includes the following operation: Check ( 108a ), whether the second data match in terms of content with the first data, in particular at least one specific feature and / or object in the filmed outer area and the filmed field of view.

A computer program comprising instructions which, when executed by a computer, cause it to perform the operations of a method ( 100 ) according to one of claims 6 to 9.

A computer-readable medium having stored thereon a computer program according to claim 10.