-
Die Erfindung betrifft ein Verfahren zur Erkennung und Ausgabe von realen nicht sichtbaren Objekten einer Umgebung, wobei mindestens ein digitales Bild einer Umgebung aufgenommen wird. Des Weiteren betrifft die Erfindung eine Vorrichtung zur Durchführung des Verfahrens.
-
Vorrichtungen für eine augmentierte Darstellung bringen eine erzeugte Zusatzinformation in Überlagerung mit einer aufgenommenen und wahrnehmbaren Umgebung. Dabei werden die Zusatzinformationen lagerichtig in den Umgebungsbildern dargestellt, wobei die Umgebungsbilder im Hintergrund ausgegeben werden. Solche Vorrichtungen sind beispielsweise teildurchsichtige Anzeigeeinheiten, wie eine HUP-Anzeigeeinheit (HUP = Head-Up-Display), eine HMD-Anzeigeeinheit (HMD = Head Mounted Display), oder undurchsichtige Anzeigeeinheiten, wie zum Beispiel ein herkömmlicher Bildschirm.
-
Eine solche Vorrichtung zur augmentierten Darstellung ist beispielsweise aus der
DE 10 2011 115 739 A1 bekannt.
-
Aus der
DE 10 2010 053 651 B3 ist darüber hinaus ein Verfahren zur ortsbeschränkten Anzeige lesbarer Inhalte auf einem mobilen Lesegerät bekannt, bei welchem die Verfügbarkeit von lesbaren Inhalten ortsgebunden beschränkt werden kann.
-
Der Erfindung liegt demgegenüber die Aufgabe zu Grunde, ein Verfahren und eine Vorrichtung zur Erkennung und Ausgabe von realen nicht sichtbaren Objekten einer Umgebung anzugeben.
-
Hinsichtlich des Verfahrens wird die Aufgabe erfindungsgemäß gelöst durch die Merkmale des Anspruchs 1. Hinsichtlich der Vorrichtung wird die Aufgabe erfindungsgemäß gelöst durch die Merkmale des Anspruchs 5.
-
Vorteilhafte Ausgestaltungen der Erfindung sind Gegenstand der Unteransprüche. Beim erfindungsgemäßen Verfahren zur Erkennung und Ausgabe von realen nicht sichtbaren Objekten einer Umgebung, insbesondere eines Fahrzeuginnenraums, wird mindestens ein digitales Bild der Umgebung aufgenommen, wobei das aufgenommene Bild als Ausgabebild einen Hintergrund bildend auf einer Anzeige ausgegeben wird, wobei das reale nicht sichtbare und mittels einer Markierung gekennzeichnete Objekt anhand von reflektiertem Licht im nicht sichtbaren Wellenbereich detektiert wird und bei Detektion und Identifizierung der Markierung des realen Objekts für dieses eine virtuelle Zusatzinformation erzeugt und im Ausgabebild überlagert ausgegeben wird. Gleichfalls kann es sich bei der Umgebung auch um eine Umgebung außerhalb des Fahrzeugs handeln.
-
Das Verfahren ermöglicht die Identifikation eines für das menschliche Auge in einer Umgebung nicht sichtbaren Objektes anhand von einem ebenfalls für das menschliche Auge nicht sichtbaren Markers, der detektiert wird, so dass bei Detektion des Markers in der Anzeige das real nicht sichtbare Objekt virtuell dargestellt werden kann. Hierzu wird eine virtuelle Zusatzinformation für das real nicht sichtbare Objekt erzeugt und im Ausgabebild überlagert und lage- und positionsgenau ausgegeben. Somit kann ein Betrachter der Anzeige das in der Umgebung vorhandene, aber für ihn nicht sichtbare Objekt auf der Anzeige wahrnehmen.
-
In einer möglichen Ausführungsform wird als virtuelle Zusatzinformation für das reale nicht sichtbare Objekt eine Abbildung des Objekts, z. B. in Form einer Umrandung oder eine gleichen Abbildes, ausgegeben. Alternativ oder zusätzlich kann als virtuelle Zusatzinformation für das reale nicht sichtbare Objekt eine Bedienfläche, z. B. eine Schaltfläche zur Aktivierung des Objektes und/oder zur Bedienung von Funktionen des Objektes, ausgegeben werden. Darüber hinaus kann als virtuelle Zusatzinformation für das reale nicht sichtbare Objekt ein Text, z. B. nähere Angaben zur Funktion, Ort und/oder Ausstattung des Objektes, ausgegeben werden.
-
Hinsichtlich der Vorrichtung zur Durchführung eines Verfahrens umfasst diese mindestens eine Aufnahmeeinheit zur Aufnahme eines digitalen Bildes einer Umgebung, mindestens eine Verarbeitungseinheit zur grafischen Verarbeitung des aufgenommenen Bildes und Transformation des Bildes in ein Ausgabebild sowie zur Erzeugung und Überlagerung mindestens einer Zusatzinformation in dem Ausgabebild und mindestens eine Ausgabeeinheit zur Ausgabe des Ausgabebildes zusammen mit der Zusatzinformation.
-
Bei der Aufnahmeeinheit handelt es sich insbesondere um eine oder mehrere Kameras, insbesondere um eine mobile, in der Hand tragbare Kamera, ein Nachsicht-(Stereo)-Kamerasystem, eine Infrarot-Kamera, eine Laser-Scan-Einheit, ein Radar, ein Lidar oder eine Kombination von vergleichbaren Erfassungseinheiten. Die Verarbeitungseinheit kann in der Aufnahmeeinheit integriert oder separat ausgebildet sein. Die Verarbeitungseinheit kann eine integrierte Schaltung oder ein Steuergerät oder eine andere geeignete Bildverarbeitungseinheit sein. Die Ausgabeeinheit kann eine mobile, in der Hand tragbare Anzeigeeinheit, ein klassischer Bildschirm, eine HUP-Anzeigeinheit (HUP = Head-Up-Display), eine HMD-Anzeigeeinheit (HMD = Head Mounted Display) oder eine andere geeignete Anzeigeeinheit sein.
-
Ausführungsbeispiele der Erfindung werden im Folgenden anhand von Zeichnungen näher erläutert.
-
Dabei zeigen:
-
1 schematisch eine Vorrichtung zur augmentierten Darstellung einer Zusatzinformation in einem Ausgabebild,
-
2 schematisch ein Ausführungsbeispiel für ein Ausgabebild mit überlagerten 2D-Zusatzinformationen zur Markierung von vorausfahrenden oder benachbarten Fahrzeugen, und
-
3 schematisch ein Ausführungsbeispiel für eine Anzeige mit einem Ausgabebild mit darin eingeblendeten Zusatzinformationen für ein reales nicht sichtbares Objekt.
-
Einander entsprechende Teile sind in allen Figuren mit den gleichen Bezugszeichen versehen.
-
1 zeigt schematisch eine Vorrichtung 1 zur augmentierten Darstellung mindestens einer, insbesondere virtuellen Zusatzinformation Z in einem Ausgabebild A auf einer Ausgabeeinheit 2.
-
Die Vorrichtung 1 umfasst eine Aufnahmeeinheit 3, welche ein digitales Bild B einer Umgebung U aufnimmt. Das Bild B wird einer Verarbeitungseinheit 4 zur Verarbeitung und Erzeugung eines daraus resultierenden Ausgabebildes A und der Zusatzinformation Z im Ausgabebild A zugeführt.
-
Die Vorrichtung 1 ist beispielsweise in einem in 2 dargestellten Innenraum I eines nicht dargestellten Fahrzeugs integriert und dient dort der Erfassung der Umgebung U im Fahrzeuginnenraum.
-
Dazu ist im Fahrzeug in nicht näher dargestellter Art und Weise beispielsweise im Dachhimmel, im Rückspiegel und/oder in einer der Verkleidungen der B-Säule mindestens eine Aufnahmeeinheit 3 angeordnet. Die Aufnahmeeinheit 3 kann eine herkömmliche Kamera und/oder eine Nachtsichtkamera und/oder eine Infrarot-Kamera, eine CCD-Kamera, eine CMOS-Kamera oder eine ähnliche Aufnahmeeinheit sein.
-
Die Aufnahmeeinheit 3 ist dabei derart ausgeführt, dass diese zwei- oder mehrdimensionale Bilder B mit oder ohne Tiefeninformation der Umgebung U aufnimmt.
-
Die Verarbeitungseinheit 4 ist insbesondere ein separates Steuergerät und/oder eine Bildverarbeitungseinheit, die in einem anderen Steuergerät und/oder Fahrassistenzsystem integriert sein kann bzw. können.
-
Die Ausgabeeinheit 2 ist insbesondere eine Anzeige in Form eines Bildschirms im Armaturenbereich und/oder eines Projektionsbildschirms im Frontscheibenbereich. Die Ausgabeeinheit 2 wird nachfolgend Anzeige 2 genannt.
-
Die Vorrichtung 1 ist auch für andere Anwendungen beispielsweise zur Überwachung von Produktionsprozessen und/oder an anderen Orten einsetzbar.
-
2 zeigt den Innenraum I des Fahrzeugs. Im Innenraum I des Fahrzeugs sind dabei zunehmend vom Fahrer während der Fahrt nicht einsehbare und/oder bei schlechten Sicht-/Lichtverhältnissen (bei Nacht oder bei Spiegelungen) nicht sichtbare Objekte O1 bis Oz, wie z. B. ein Fensterheber im Fondbereich und/oder ein anderes Betätigungselement, und/oder andere relevante Flächen angeordnet. Die für das aufgrund schlechter Lichtverhältnisse nicht sichtbaren Objekte O1 bis Oz sind durch eine dünne Punktliniendarstellung in 2 gezeigt.
-
Die Erfindung sieht vor, dass diese vom Fahrer nicht einsehbaren und/oder nicht sichtbaren Objekte O1 bis Oz und/oder die relevanten Flächen mit einer zugehörigen Markierung M1 bis Mz versehen sind, die ebenfalls für den Fahrer nicht einsehbar und/oder nicht sichtbar ist. Die Markierung M1 bis Mz kann dabei ein teilweise oder vollständig das zugehörige Objekt O1 bis Oz umlaufender Rahmen, ein auf das reale Objekt O1 bis Oz aufgebrachtes Muster oder eine Codierung, insbesondere ein QR-Code, sein. Die jeweilige Markierung M1 bis Mz ist derart ausgebildet, dass diese Licht im nicht sichtbaren Wellenbereich reflektiert, so dass die Markierung M1 bis Mz auch bei Dunkelheit und/oder schlechten Lichtverhältnissen wahrnehmbar und identifizierbar ist. Alternativ oder zusätzlich kann die Markierung M1 bis Mz aus einem aktivierbaren Material gebildet sein, dass durch Anstrahlung ein Rückleuchten und somit Ausstrahlen im nicht sichtbaren Wellenbereich ausführt, so dass ein kontrolliertes Rückleuchten ermöglicht ist und die Markierung M1 bis Mz sicher erkennbar ist.
-
Hierzu kann im Innenraum I des Fahrzeugs eine Sendeeinheit 5, insbesondere eine Lichtquelle, angeordnet sein, welche so ausgerichtet ist, dass diese die Markierung M1 bis Mz beleuchtet.
-
Darüber hinaus ist die Aufnahmeeinheit 3 derart im Innenraum I integriert, dass deren Erfassungsbereich die Markierung M1 bis Mz erfasst.
-
Die Vorrichtung 1, insbesondere die Verarbeitungseinheit 4, ist derart ausgebildet, dass das aufgenommene Bild B der realen Umgebung U in ein Ausgabebild A der Anzeige 2 als Hintergrund transformiert wird. Darüber hinaus wird mittels der Aufnahmeeinheit 3 für die im Erfassungsbereich liegenden Objekte O1 bis Oz die das jeweilige Objekt O1 bis Oz kennzeichnende Markierung M1 bis Mz anhand des reflektierten Lichts im nicht sichtbaren Wellenbereich detektiert. Bei Detektion der Markierung M1 bis Mz und anschließender Identifizierung des der Markierung M1 bis Mz zugehörigen Objektes O1 bis Oz wird mittels der Verarbeitungseinheit 4 eine zugehörige virtuelle Zusatzinformation Z1 bis Zz erzeugt und im Ausgabebild A orts- und/oder zeitbezogen zum realen Objekt O1 bis Oz eingeblendet und somit im Hintergrund – das reale Abbild der Umgebung U – überlagert ausgegeben.
-
Darüber hinaus kann die Zusatzinformation Z1 bis Zz in Abhängigkeit von dem zugehörigen Hintergrundbereich des Ausgabebildes A situationsbedingt (in Abhängigkeit eines Fahrzeugzustandes und/oder eines Zustandes des realen Objektes O1 bis Oz) und/oder ortsabhängig (in Abhängigkeit von der realen Position des zugehörigen Objektes O1 bis Oz und somit positions- und lagegenau) und/oder verändert/angepasst im Ausgabebild A überlagert ausgegeben werden.
-
3 zeigt ein mögliches Ausführungsbeispiel für eine Anzeige 2 mit einem Ausgabebild A mit darin eingeblendeten Zusatzinformationen Z1 bis Zz für ein reales nicht sichtbares Objekt O1 bis Oz.
-
Das beispielsweise als Farbbild aufgenommene Bild B des Innenraums I mit der Umgebung U im Armaturenbereich wird als Ausgabebild A und Hintergrundbild auf der Anzeige 2 erzeugt und ausgegeben. Aufgrund der schlechten Lichtverhältnisse ist das reale Objekt O1 bis Oz nicht sichtbar im die reale Umgebung U repräsentierenden Ausgabebild A.
-
Zur Unterstützung des Betrachters, insbesondere eines Fahrers oder Beifahrers, wird daher gemäß der Erfindung zu den relevanten Objekten O1 bis Oz eine virtuelle Zusatzinformation Z1 bis Zz eingeblendet, welche relativ zu dem jeweils zugehörigen Objekt O1 bis Oz positionsgenau und perspektivisch korrekt im Ausgabebild A eingeblendet werden.
-
Mit anderen Worten: Das Ausgabebild A, repräsentierend die umgebende Realität und damit den Innenraum I, wird mit zusätzlichen digitalen Informationen – den virtuellen Zusatzinformationen Z1 bis Zz – überlagert, wobei die Überlagerung im Ausgabebild A perspektivisch korrekt zu den realen Objekten O1 bis Oz erfolgt. Dadurch korrespondieren die virtuellen Zusatzinformationen Z1 bis Zz direkt mit den realen Objekten O1 bis Oz in der realen Umgebung U.
-
Aufgrund der Korrespondenz von virtuellen Zusatzinformationen Z1 bis Zz und zu einem oder mehreren realen Objekten O1 bis Oz in der Umgebung U kann in einer Weiterbildung die Lage, Farbe und/oder Form der virtuellen Zusatzinformation Z1 bis Zz kontinuierlich an einen geänderten Zustand des realen Objektes O1 bis Oz angepasst werden.
-
Hierzu ist vorgesehen, dass die virtuelle Zusatzinformation Z1 bis Zz für das reale nicht sichtbare Objekt O1 bis Oz selbst als eine Bedienfläche ausgebildet ist, die entsprechend einer hinterlegten Bedienfunktion bedient, insbesondere geschaltet, werden kann.
-
Alternativ oder zusätzlich kann die virtuelle Zusatzinformation Z1 bis Zz eine Abbildung des realen nicht sichtbaren Objektes O1 bis Oz sein, wobei zusätzlich bei Bedarf eine weitere Zusatzinformation Z1.1 bis Zz.1 als Bedienfläche eingeblendet werden kann, um eine Bedienung des realen Objektes O1 bis Oz zu ermöglichen.
-
Durch die unsichtbare Beleuchtung und Rückstrahlung der Markierung M1 bis Mz kann eine sichere Erkennung der Marker erfolgen, auch bei unterschiedlichen äußeren Beleuchtungsbedingungen. Die Beleuchtung im relevanten Spektralbereich kann darüber hinaus kontrolliert werden. Die Markierungen M1 bis Mz können zudem unterschiedlich ausgebildet sein, z. B. verschiedene geometrische Formen, Barcode oder QR-Code, um sie einfach unterscheiden und sicher verfolgen (tracken) zu können.
-
Darüber hinaus können über eine kodifizierte Markierung M1 bis Mz, z. B. mittels eines QR-Codes, zusätzliche Informationen anhand der eingeblendeten Zusatzinformationen Z1 bis Zz ausgegeben werden, z. B. verbaute Sonderausstattungen, um den Innenraum I präzise zu erkennen, wenn dieser sich bei verschiedenen Sonderausstattungen unterscheidet.
-
Darüber hinaus wird es bei schlechten Sichtverhältnissen oder Dunkelheit ermöglicht, augmentierte Zusatzinformationen Z1 bis Zz kontaktanalog zum Innenraum I im Ausgabebild A und somit mit den zugehörigen Funktionen über weitere bildgeführte, sprachgeführte Bedienflächen darzustellen.
-
Der Nutzer kann die Funktionen und Vorteile der Applikation damit unabhängig von Umgebungseinflüssen, wie schlechte Lichtverhältnisse, nutzen.
-
Die gegebenenfalls im Videobild sichtbaren Markierungen M1 bis Mz können ferner im aufgenommenen Bild B herausgefiltert werden, z. B. mit Hintergrund/Umgebungstextur überdeckt und sind somit auch im Ausgabebild A nicht erkennbar sein, so dass nur die vordefinierten Zusatzinformationen Z1 bis Zz als das relevante Objekt O1 bis Oz kennzeichnende Bildelement im Ausgabebild A ausgegeben wird.
-
Die Erfindung ist nicht nur im Fahrzeug einsetzbar, sondern an allen Orten an denen Beleuchtungs- und Oberflächenteile kontrolliert werden können und Positionierungsaufgaben anstehen, z. B. auch in einer Werkhalle zur Überwachung eines Produktionsprozesses.
-
Bezugszeichenliste
-
- 1
- Vorrichtung
- 2
- Ausgabeeinheit
- 3
- Aufnahmeeinheit
- 4
- Verarbeitungseinheit
- A
- Ausgabebild
- B
- Bild
- I
- Innenraum
- M1 bis MZ
- Markierung
- O1 bis OZ
- Objekte
- U
- Umgebung
- Z bis ZZ
- Zusatzinformation
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
- DE 102011115739 A1 [0003]
- DE 102010053651 B3 [0004]
