-
Die Erfindung betrifft ein Verfahren zur augmentierten Darstellung mindestens einer Zusatzinformation in mindestens einem aufgenommenen digitalen Bild einer Umgebung, insbesondere einer Fahrzeugumgebung. Des Weiteren betrifft die Erfindung eine Vorrichtung zur Durchführung des Verfahrens.
-
Vorrichtungen für eine augmentierte Darstellung bringen eine erzeugte Zusatzinformation in Überlagerung mit einer aufgenommenen und wahrnehmbaren Umgebung. Dabei werden die Zusatzinformationen lagerichtig in den Umgebungsbildern dargestellt, wobei die Umgebungsbilder im Hintergrund erscheinen. Solche Vorrichtungen sind beispielsweise teildurchsichtige Anzeigeeinheiten, wie eine HUD-Anzeigeinheit (HUD = Head-Up-Display), eine HMD-Anzeigeeinheit (HMD = Head Mounted Display), oder undurchsichtige Anzeigeeinheiten, zum Beispiel herkömmlicher Bildschirm.
-
Eine solche Vorrichtung zur augmentierten Darstellung ist beispielsweise aus der
DE 10 2011 115 739 A1 bekannt.
-
Der Erfindung liegt die Aufgabe zu Grunde, ein verbessertes Verfahren und eine verbesserte Vorrichtung zur augmentierten Darstellung von mindestens einer Zusatzinformation anzugeben.
-
Hinsichtlich des Verfahrens wird die Aufgabe erfindungsgemäß gelost durch die Merkmale des Anspruchs 1. Hinsichtlich der Vorrichtung wird die Aufgabe erfindungsgemäß gelost durch die Merkmale des Anspruchs 10.
-
Vorteilhafte Ausgestaltungen der Erfindung sind Gegenstand der Unteransprüche.
-
Beim erfindungsgemäßen Verfahren zur augmentierten Darstellung mindestens einer Zusatzinformation in mindestens einem aufgenommenen digitalen Bild einer Umgebung, insbesondere einer Fahrzeugumgebung, wird das aufgenommene Bild in ein Ausgabebild mit mindestens einer gegenüber dem aufgenommenen Bild reduzierten Bildeigenschaft transformiert und das Ausgabebild auf einer Anzeige ausgegeben, wobei die Zusatzinformation im Ausgabebild überlagert ausgegeben wird.
-
Mit anderen Worten: Für eine übersichtliche Darstellung der Zusatzinformation in dem realen wahrnehmbaren Bild der Umgebung wird das Bild der Umgebung vereinfacht und/oder verfremdet, indem mindestens eine Bildeigenschaft des aufgenommenen Bildes entsprechend verändert wird. Insbesondere bei Verwendung des Verfahrens in einem Fahrzeug und Darstellung der Fahrzeugumgebung sind fahrrelevante Zusatzinformationen von Bedeutung und sollen daher klar erkennbar sein und sich vom Hintergrund – dem ausgegebenen Umgebungsbild – hervorheben. Hierzu sieht die Erfindung vor, dass das Bild der Umgebung durch Reduzierung von mindestens einer Bildeigenschaft im Ausgabebild deutlich in den Hintergrund tritt und die Zusatzinformationen ohne oder zusätzlich mit optischer Hervorhebung überlagert in dem Ausgabebild ausgegeben wird.
-
In einer möglichen Ausführungsform wird das aufgenommene Bild in ein Ausgabebild mit einer geringeren Anzahl von Farben und/oder in einen anderen Farbraum transformiert wird, wobei die Zusatzinformation mit einer höheren Anzahl von Farben bzw. in einem vom Farbraum des Ausgabebildes verschiedenen Farbraum in dem Ausgabebild überlagert ausgegeben wird. Dabei wird beispielsweise das Ausgabebild der Umgebung in einem anderen Farbraum und somit mit falscher Farbe erzeugt und ausgegeben, so dass frei werdende Farbräume für die Erzeugung der Zusatzinformation genutzt werden können. Durch die Erzeugung und Ausgabe der Zusatzinformation mit einer Anzahl von Farben, die größer als die Anzahl der Farben des Ausgabebildes ist, ist eine optische Hervorhebung der überlagerten Zusatzinformation einfach ermöglicht.
-
In einer einfachen Ausführungsform wird das Ausgabebild als ein Graustufenbild ausgegeben. Beispielsweise bei Verwendung eines Bildes der Umgebung, das im nicht wahrnehmbaren Wellenbereich, z. B. Infrafrot-Wellenbereich, aufgenommen wird, wird das Bild in einfacher Art und Weise in ein Graustufenbild transformiert und dieses als Ausgabebild auf einer Anzeige dargestellt. Bei einem herkömmlichen aufgenommenen Farbbild, zum Beispiel ein 24-bit dreikanaliges (RGB – Rot-Grün-Blau) Farbbild mit je Bildpixel einem RGB-Wert, wird dieses mittels einer so genannten Graustufen-Funktion in ein 8-bit einkanaliges Graustufenbild mit je Bildpixel einem Summen-Wert transformiert. Die Graustufen-Funktion bildet beispielsweise eine gewichtete Summe der roten, grünen und blauen Farbkanäle mit: Y = aR + bG + cB [1] mit Y = Summenkanal; R = roter Farbkanal, G = grüner Farbkanal, B = Blauer Farbkanal, a, b, c = Gewichtungsfaktoren.
-
Alternativ kann das aufgenommene Farbbild mit Hilfe einer Lock-Up-Tabelle in eine vereinfachte Repräsentation transformiert werden. Beispielsweise in dem verschiedenen RGB Werten neue RGB Werte aus einem eingeschränkten Pool zugewiesen werden (Reduktion der Farbtiefe) oder durch die Zuordnung unbunter Farben zu bunten Ausgangswerten (Entsättigung des Bildes).
-
In einer weiteren Ausführungsform der Erfindung wird mindestens ein Bildbereich des Bildes positionsabhängig unterschiedlich bearbeitet, insbesondere gefiltert, so dass dieser Bildbereich im Ausgabebild hinsichtlich mindestens einer Bildeigenschaft, insbesondere Sättigung, Schärfe und/oder Farbe, verändert ausgegeben wird. Mit anderen Worten: In Abhängigkeit von der Position des Bildbereichs wird dieser Bildbereich mittels entsprechend verschiedener Filter derart unterschiedlich verarbeitet, dass dieser Bildbereich farblich verfremdet, getönt, eingefärbt, unscharf und/oder weich gezeichnet ausgegeben wird.
-
In einer möglichen Weiterbildung werden/wird mindestens ein Bildobjekt und/oder ein Bildmerkmal des Bildes ermittelt und objektabhängig bzw. merkmalsabhängig derart bearbeitet, dass im Ausgabebild das mindestens eine Bildobjekt bzw. das mindestens eine Bildmerkmal hinsichtlich mindestens einer Bildeigenschaft, insbesondere Farbe, Farbraum, Sättigung, Schärfe, verändert ausgegeben wird. So können mindestens eines der Bildobjekte und/oder mindestens eines der Bildmerkmale hervorgehoben durch eine höhere Anzahl von Farben als die anderen reduzierten Bildbereiche des Ausgabebildes im Ausgabebild erzeugt und ausgegeben. Alternativ oder zusätzlich können die Bildobjekte und/oder Bildmerkmale in einem anderen als dem aufgenommenen Farbraum erzeugt und im Ausgabebild ausgegeben werden.
-
Des Weiteren kann vorgesehen sein, dass ein oder mehrere Bildobjekte und/oder ein oder mehrere Bildmerkmale hinsichtlich mindestens einer Objekteigenschaft verändert ausgegeben werden oder eine Ausgabe des mindestens einen Bildobjektes bzw. des mindestens einen Bildmerkmals unterbleibt. Beispielsweise kann ein im Bild identifiziertes Bildobjekt schematisiert, nur in Linien- oder Kantendarstellung hervorgehoben, transparent und/oder teiltransparent im Ausgabebild ausgegeben werden.
-
Für den Fall, dass mehrere Bildobjekte und/oder mehrere Bildmerkmale des Bildes ermittelt werden, so können diese, d. h. die ermittelten Bildobjekte bzw. Bildmerkmale, gewichtet und in Abhängigkeit von der jeweils zugehörigen Gewichtung im Ausgabebild unterschiedlich ausgegeben werden. Alternativ kann in Abhängigkeit von der Gewichtung, insbesondere bei einer geringen oder Null-Gewichtung eine Ausgabe des/der Bildobjekte bzw. des/der Bildmerkmale unterbleiben.
-
Ferner wird gemäß einer Weiterbildung der Erfindung das Ausgabebild mit einem variablen Kontrast und/oder variablen Helligkeit, der bzw. die vom Kontrast bzw. Helligkeit der überlagerten Zusatzinformationen verschieden sind/ist, ausgegeben. Dabei kann eine Veränderung der Helligkeit und des Kontrastes nur bereichsweise im Ausgabebild erzeugt werden. Eine Veränderung von Helligkeit und Kontrast wird insbesondere in jenen Bildbereichen erzeugt, in welchen die Zusatzinformation überlagert im Ausgabebild ausgegeben wird. Hierdurch ist eine zusätzliche optische Hervorhebung der Zusatzinformation gegenüber dem geänderten Bildbereich des Ausgangsbildes und somit gegenüber dem Hintergrund ermöglicht.
-
Bei einer Darstellung einer Videosequenz und somit einer Abfolge von aufgenommenen Bildern kann diese kontinuierlich in eine gleiche oder eine reduzierte Abfolge von Ausgabebildern transformiert werden. Dabei kann die reduzierte Abfolge von Ausgabebildern benutzerdefiniert oder automatisch ereignisgesteuert oder zyklisch mit konstanter Aktualisierungsrate oder nicht-konstanter Aktualisierungsrate vorgegeben. Durch die reduzierte Abfolge von Ausgabebildern, d. h. eine Reduzierung der Anzahl der dargestellten Ausgabebilder gegenüber der größeren Anzahl von aufgenommenen Bildern der Umgebung, wirkt die augmentierte Darstellung für einen Betrachter ruhiger und auf das Wesentliche konzentriert, so dass der Betrachter nicht abgelenkt wird. Darüber hinaus können Einzelbilder ereignisgesteuert, z. B. nur an Positionen mit Fahrhinweisen, Gefahrenstellen oder Stellen mit Position von Interesse (points-of-interest), ausgegeben werden.
-
Hinsichtlich der Vorrichtung zur Durchführung eines Verfahrens umfasst diese mindestens eine Aufnahmeeinheit zur Aufnahme eines digitalen Bildes einer Umgebung, mindestens eine Verarbeitungseinheit zur grafischen Verarbeitung des aufgenommenen Bildes und Transformation des Bildes in ein Ausgabebild sowie zur Erzeugung und Überlagerung mindestens einer Zusatzinformation in dem Ausgabebild und mindestens eine Ausgabeeinheit zur Ausgabe des Ausgabebildes zusammen mit der Zusatzinformation.
-
Bei der Aufnahmeeinheit handelt es sich insbesondere um eine oder mehrere Kameras, insbesondere ein Stereo-Kamerasystem, eine omnidirektionale Kamera, eine Infrarot-Kamera, eine Laser-Scan-Einheit, oder einer Kombination von vergleichbaren Erfassungseinheiten. Die Verarbeitungseinheit kann in der Aufnahmeeinheit integriert oder separat ausgebildet sein. Die Verarbeitungseinheit kann eine integrierte Schaltung oder ein Steuergerät oder eine andere geeignete Bildverarbeitungseinheit sein. Die Ausgabeeinheit kann ein klassischer Bildschirm, eine HUP-Anzeigeinheit (HUD = Head-Up-Display), eine HMD-Anzeigeeinheit (HMD = Head Mounted Display) oder eine andere geeignete Anzeigeeinheit sein.
-
Die mit der Erfindung erzielten Vorteile bestehen insbesondere darin, dass das im Hintergrund zu der augmentierten Zusatzinformation dargestellte Ausgabebild der Umgebung bearbeitet und derart vereinfacht oder verfremdet wird, dass die Umgebung weiterhin erkennbar, aber deutlich in den Hintergrund tritt, wodurch die augmentierten Zusatzinformationen in einfacher Art und Weise im Ausgabebild hervorgehoben werden. Die oben beschriebenen verschiedenen Möglichkeiten der Bearbeitung des Bildes der Umgebung, wie
- – Reduzierung der Anzahl der Farben im Ausgabebild,
- – Überlagern des Bildes mit unterschiedlichen Filtern abhängig von der Stelle im Ausgabebild,
- – Hervorhebung von Bildmerkmalen und/oder Bildobjekten im Ausgabebild,
- – Veränderung von Helligkeit und Kontrast im Ausgabebild,
- – Entfernen von unwichtigen Bildobjekten und/oder Bildmerkmalen im Ausgabebild,
- – Reduzierung der Anzahl der dargestellten Ausgabebilder,
können darüber hinaus bei der Erzeugung des Ausgabebildes beliebig kombiniert werden.
-
Ausführungsbeispiele der Erfindung werden im Folgenden anhand von Zeichnungen näher erläutert. Dabei zeigen:
-
1 schematisch eine Vorrichtung zur augmentierten Darstellung einer Zusatzinformation in einem Ausgabebild,
-
2 schematisch ein Ausführungsbeispiel für ein Ausgabebild als Graustufenbild mit überlagerter Zusatzinformation,
-
3 schematisch ein weiteres Ausführungsbeispiel für ein Ausgabebild mit einer gegenüber dem aufgenommenen Bild reduzierten Anzahl von Farben und mit überlagerter Zusatzinformation, und
-
4 schematisch ein weiteres Ausführungsbeispiel für ein Ausgabebild als Graustufenbild und mit reduzierter Anzahl von Farben und mit überlagerter Zusatzinformation.
-
Einander entsprechende Teile sind in allen Figuren mit den gleichen Bezugszeichen versehen.
-
1 zeigt schematisch eine Vorrichtung 1 zur augmentierten Darstellung mindestens einer Zusatzinformation Z in einem Ausgabebild A auf einer Ausgabeeinheit 2.
-
Die Vorrichtung 1 umfasst eine Aufnahmeeinheit 3, welche ein digitales Bild B einer Umgebung U aufnimmt. Das Bild B wird einer Verarbeitungseinheit 4 zur Verarbeitung und Erzeugung eines daraus resultierenden Ausgabebildes A und der Zusatzinformation Z im Ausgabebild A zugeführt.
-
Die Vorrichtung 1 ist beispielsweise in einem nicht näher dargestellten Fahrzeug integriert und dient dort der Erfassung der Umgebung U des Fahrzeugs, insbesondere der Erfassung einer in Fahrrichtung vorausliegenden Fahrzeugumgebung. Das Fahrzeug umfasst beispielsweise als Aufnahmeeinheit 3 mindestens eine fahrzeugeigene Kamera, die insbesondere im Frontbereich angeordnet ist. Die Aufnahmeeinheit 3 ist dabei derart ausgeführt, dass diese zwei- oder mehrdimensionale Bilder B mit oder ohne Tiefeninformation aufnimmt.
-
Die Verarbeitungseinheit 4 ist insbesondere ein separates Steuergerät und/oder eine Bildverarbeitungseinheit, die in einem anderen Steuergerät und/oder Fahrassistenzsystem integriert sein kann.
-
Die Ausgabeeinheit 2 ist insbesondere eine Anzeige in Form eines Bildschirms im Armaturenbereich und/oder eines Projektionsbildschirms im Frontscheibenbereich. Die Ausgabeeinheit 2 wird nachfolgend Anzeige 2 genannt.
-
Die Vorrichtung 1, insbesondere die Verarbeitungseinheit 4 ist derart ausgebildet, dass das aufgenommene Bild B der Umgebung U in ein Ausgabebild A mit mindestens einer gegenüber dem aufgenommenen Bild B reduzierter Bildeigenschaft transformiert wird, wobei die Zusatzinformation Z im Ausgabebild A überlagert ausgegeben wird.
-
Das heißt, ohne zusätzliche Bearbeitung der Zusatzinformation Z kann diese optisch hervorgehoben im Ausgabebild A erscheinen, da das reale wahrnehmbare Bild B der Umgebung U als „vereinfachtes/reduziertes” oder „verfremdetes” Ausgabebild A ausgegeben wird und somit in den Hintergrund tritt.
-
2 zeigt ein mögliches Ausführungsbeispiel, bei welchem anhand des beispielsweise als Farbbild aufgenommenen Bildes B einer Umgebung U ein Graustufenbild als Ausgabebild A auf der Anzeige 2 erzeugt und ausgegeben wird und somit als Bildeigenschaft die Anzahl der Farben im Ausgabebild A reduziert wird (angedeutet durch eine dünne Punktliniendarstellung der Elemente des Ausgabebildes A).
-
Das Ausgabebild A zeigt hierbei eine einem eigenen, nicht dargestellten Fahrzeug vorausliegende Umgebung U. Das erfasste Bild B dieser Umgebung U wurde beispielsweise als ein 24-bit dreikanaliges (RGB – Rot-Grün-Blau) Farbbild mit je Bildpixel einem RGB-Wert oder als ein Infrarot-Bild in einem für den Menschen nicht wahrnehmbaren Wellenbereich aufgenommen.
-
Zur einfachen zurückgestellten Erscheinung des zugehörigen Ausgabebildes A wird das aufgenommene Bild B mittels einer so genannten Graustufen-Funktion der Verarbeitungseinheit 4 von dem 24-bit dreikanaligem Farbbild in ein 8-bit einkanaliges Graustufenbild mit je Bildpixel einem Summen-Wert für das Ausgabebild A transformiert. Alternativ kann das aufgenommene Bild B mittels einer Entsättigungs-Funktion in ein Graustufenbild für das Ausgabebild A transformiert werden. Auch sind andere geeignete Verfahren zur Umwandlung des Farb- in ein Graustufenbild einsetzbar.
-
Um die Realitätswahrnehmung im Ausgabebild A um weitere Informationen zu erweitern, wird das aufgenommene Bild B hinsichtlich enthaltener Bildobjekte O1 bis Oz, insbesondere Werkstattkennzeichen O1, Fahrbahnkennzeichen O2, Straßenschilder/-laterne O3, entgegenkommendes Fahrzeug O4, parkende Fahrzeug Oz, und/oder Bildmerkmale M1 bis Mx, insbesondere Bildrand M1, Bildmitte M2 analysiert und gegebenenfalls mit weiteren Daten, insbesondere Momentanposition des Fahrzeugs (anhand von Navigationsdaten bestimmt), Kartendaten, weitere Navigationsdaten, Vor-Ort-Daten, wie Lage eines Bahnhofs, einer Werkstatt, eines Einkaufszentrums, Informationen eines Verkehrs- und/oder Parkleitsystems, eines Fahrerassistenzsystems, verknüpft.
-
Insbesondere bei Verwendung des Verfahrens in einem Fahrzeug und Darstellung der Fahrzeugumgebung sind fahrrelevante Zusatzinformationen Z, wie Lagehinweis für einen Bahnhof Z1 und/oder eine Werkstatt Z2, Geschwindigkeitshinweis Z3 für eine Geschwindigkeitsbegrenzung, ein Warnhinweis Z4, Informationen Z5 für eine Veranstaltung und/oder ein Richtungshinweis Z6, von Bedeutung. Diese Zusatzinformationen Z (beispielsweise in Form von grafischen Elementen, wie Symbole, Karten, und/oder Textelementen) werden mittels der Verarbeitungseinheit 4 dem Ausgabebild A überlagert und an entsprechender, insbesondere lagerichtiger Bildposition in der Anzeige 2 ausgegeben. Das heißt, die Zusatzinformation Z, Z1 bis Z6, welche ein Bildobjekt O1 bis Oz und/oder ein Bildmerkmal M1 bis Mx näher spezifiziert, wird lagerichtig und somit nah am betreffenden Bildobjekt O1 bis Oz bzw. am Bildmerkmal M1 bis Mx im Ausgabebild A ausgegeben.
-
Die Ausgabe der Zusatzinformationen Z1 bis Z6 erfolgt in herkömmlicher Farbdarstellung, insbesondere als 24-bit dreikanalige Farbdarstellung, so dass diese Zusatzinformationen Z1 bis Z6 gegenüber dem reduzierten Ausgabebild A als Graustufenbild klar erkennbar sind und sich vom Hintergrund sowie dem ausgegebenen Graustufenbild optisch und grafisch hervorheben.
-
Alternativ zur Umwandlung des aufgenommenen Bildes B in ein Graustufenbild für das Ausgabebild A kann die aufgenommene Umgebung U in anderen („falschen”) Farben auf der Anzeige 2 ausgegeben werden. Bei einer solchen „Falschfarbdarstellung” wird das aufgenommene farbige Bild B in ein Ausgabebild A mit einem anderen Farbraum transformiert, wie es beispielsweise bei Wärmebildaufnahmen zur Temperaturdarstellung geschieht.
-
Hierbei wird das farbige Bild B der Umgebung U in ein Ausgabebild A in einem vorgegebenen Teilfarbraum, wie nur im blauen oder roten Teilfarbraum, transformiert und erzeugt. Freibleibende Farbräume können hierdurch für zusätzliche Einblendungen, insbesondere für die Einblendung von Zusatzinformationen Z, Z1 bis Z6 genutzt werden.
-
3 zeigt schematisch ein weiteres Ausführungsbeispiel für ein Ausgabebild A mit einer gegenüber dem aufgenommenen Bild B reduzierten Anzahl von Farben und mit überlagerten Zusatzinformationen Z1 bis Z6 (angedeutet durch eine dünne Vollliniendarstellung der Elemente des Ausgabebildes A).
-
In diesem Ausführungsbeispiel wird das aufgenommene farbige Bild B mit einer vorgegebenen Anzahl von Farben (z. B. 256 Farben) mittels der Verarbeitungseinheit 4 in ein Ausgabebild A mit einer geringeren Anzahl von Farben (z. B. 8 Farben) transformiert. Die in der Anzeige 2 dem Ausgabebild A überlagerten Zusatzinformationen Z1 bis Z6 werden als übliche Farbteilbilder mit beispielsweise 256 Farben und somit mit einer höheren Anzahl von Farben erzeugt. Somit erscheinen die Zusatzinformationen Z1 bis Z6 aufgrund der höheren Anzahl von Farben grafisch und optisch, insbesondere farblich hervorgehoben gegenüber dem „matten” Ausgabebild A mit einer geringeren Anzahl von Farben.
-
Darüber hinaus kann das Ausgabebild A mit weiteren unterschiedlichen und/oder variierenden Bildeigenschaften aus dem aufgenommenen Bild B erzeugt werden, wobei die oben beschriebenen verschiedenen Ausführungsbeispiele zur Veränderung des Ausgabebildes A gegenüber dem aufgenommenen Bild B (Transformierung in Graustufenbild oder Transformierung mit geringerer Anzahl von Farben) beliebig kombiniert werden können.
-
4 zeigt ein weiteres Ausführungsbeispiel für ein Ausgabebild A, welches als Graustufenbild und mit reduzierter Anzahl von Farben aus dem aufgenommenen Bild B erzeugt auf der Anzeige 2 zusammen mit den überlagerten Zusatzinformationen Z1 bis Z6 ausgegeben wird (die Kombination von Graustufenbild und reduzierter Farbenanzahl als Ausgabebild A ist durch Kennzeichnung der Elemente des Ausgabebildes A mittels einer Doppellinie aus einer Punktlinie und einer Volllinie dargestellt).
-
Nachfolgend sind weitere Bearbeitungs- und Verfremdungsmöglichkeiten des aufgenommenen Bildes B beschrieben, welche einzeln oder in Kombination mit den anderen beschriebenen Bearbeitungsmöglichkeiten angewendet werden können.
-
In einer weiteren Ausführungsform kann mindestens ein Bildbereich des Bildes B positionsabhängig unterschiedlich bearbeitet, insbesondere gefiltert, werden, so dass dieser Bildbereich im Ausgabebild A hinsichtlich mindestens einer Bildeigenschaft, insbesondere Sättigung, Schärfe und/oder Farbe, verändert ausgegeben wird. Hierzu umfasst die Verarbeitungseinheit 4 entsprechende Sättigungsfunktionen, Schärfefunktionen und/oder farbreduzierende/farberhöhende Funktionen zur Bearbeitung des aufgenommenen Bildes B und zur Umwandlung dieses in das Ausgabebild A.
-
Mit anderen Worten: In Abhängigkeit von der Position des Bildbereichs wird dieser Bildbereich mittels entsprechend verschiedener Filter derart unterschiedlich verarbeitet, dass dieser Bildbereich farblich verfremdet, getönt, eingefärbt, unscharf und/oder weich gezeichnet ausgegeben wird. Beispielsweise können unwichtigere Bildteile, wie unwichtige Bildobjekte O1, stärker farblich verfremdet werden oder unscharf maskiert werden.
-
Eine mögliche Ausführung sieht vor, eine Reduktion der Schärfeebene im Ausgabebild A auf wesentliche Bereiche vorzunehmen. Auch ein gezieltes Weichzeichnen von unwichtigen Bildbereichen ist möglich, um Unruhe durch kleinteilige Texturen zu reduzieren. Ferner können wichtige Bildbereiche oder Bildobjekte O2 gezielt eingefärbt werden, um sie von unwichtigen Bildbereichen zu unterscheiden.
-
Beispielsweise kann die Verarbeitungseinheit 4 derart ausgebildet sein, dass mindestens eines der ermittelten Bildobjektes O1 bis Oz und/oder eines der ermittelten Bildmerkmale M1 bis Mx des aufgenommenen Bildes B objektabhängig bzw. merkmalsabhängig derart bearbeitet werden, dass diese im Ausgabebild A hinsichtlich mindestens einer Bildeigenschaft, insbesondere Farbe, Farbraum, Sättigung, Schärfe, verändert ausgegeben wird. So können mindestens eines der Bildobjekte O1 bis Oz der Umgebung U und/oder mindestens eines der Bildmerkmale M1 bis Mx durch eine höhere Anzahl von Farben gegenüber den anderen reduzierten Bildbereichen des Ausgabebildes A mit geringerer Farbenanzahl erzeugt und im Ausgabebild A ausgegeben werden. Alternativ oder zusätzlich können die Bildobjekte O1 bis Oz und/oder Bildmerkmale M1 bis Mx in einem anderen als dem aufgenommenen Farbraum erzeugt und somit grafisch und/oder optisch verändert im Ausgabebild A ausgegeben werden.
-
Des Weiteren kann vorgesehen sein, dass ein oder mehrere Bildobjekte O1 bis Oz und/oder ein oder mehrere Bildmerkmale M1 bis Mx hinsichtlich mindestens einer Objekteigenschaft verändert ausgegeben werden oder eine Ausgabe des mindestens einen Bildobjektes O1 bis Oz bzw. des mindestens einen Bildmerkmals M1 bis Mx unterbleibt. Beispielsweise kann ein im aufgenommenen Bild B identifiziertes Bildobjekt O1 bis Oz schematisiert, nur in Linien- oder Kantendarstellung hervorgehoben, transparent und/oder teiltransparent im Ausgabebild A ausgegeben werden. Eine solche Vereinfachung des Ausgabebildes A durch Filter, mittels welcher die Bildobjekte O1 bis Oz z. B. in Linien- oder Kanten dargestellt werden, ermöglicht eine Comic-artig vereinfachte Darstellung insbesondere dann, wenn diese mit weiteren Filtern verknüpft werden, die die Farbenanzahl im Ausgabebild A reduziert. Hierdurch erfolgt eine Abstrahierung/Schematisierung des Bildinhalts des Ausgabebildes A, um durch die verringerte Informationstiefe die Ablenkung des Betrachters, insbesondere des Fahrers des Fahrzeugs, zu reduzieren.
-
Für den Fall, dass mehrere Bildobjekte O1 bis Oz und/oder mehrere Bildmerkmale M1 bis Mx im aufgenommenen Bild B ermittelt werden, so können diese, d. h. die ermittelten Bildobjekte O1 bis Oz bzw. Bildmerkmale M1 bis Mx, gewichtet und in Abhängigkeit von der jeweils zugehörigen Gewichtung im Ausgabebild A verändert und somit unterschiedlich ausgegeben werden. Alternativ kann in Abhängigkeit von der Gewichtung, insbesondere bei einer geringen oder Null-Gewichtung eine Ausgabe des/der Bildobjekte O1 bis Oz bzw. des/der Bildmerkmale M1 bis Mx unterbleiben.
-
So können beispielsweise unwichtige Bildobjekte O1 bis Oz anhand von Daten der Fahrerassistenzsysteme und deren Umfelderfassung ermittelt und entfernt werden. Aus Daten einer oder mehrerer Aufnahmeeinheiten 3, insbesondere einer Stereokamera und/oder einer Radarerfassung, sind Bildobjekte O1 bis Oz wie z. B. vorausfahrende Fahrzeuge und insbesondere bremsende Fahrzeuge bekannt, welche entsprechend farblich markiert werden können.
-
Ebenso lassen sich Bewegungsrichtungen von Bildobjekten O1 bis Oz einschätzen, die entsprechend mittels einer farblichen Markierung des betreffenden, sich bewegenden Objektes O4 (z. B. grün in gleicher Fahrrichtung wie das eigene Fahrzeug oder rot als entgegenkommendes Fahrzeug) und/oder durch eine eingeblendete richtungsweisende Zusatzinformation Z6 im Ausgabebild A dargestellt werden. Identifizierte Bildobjekte O1, O3, die relativ zur Umgebung U statisch sind und sich nicht in Richtung der Fahrbahn O2 bewegen, lassen sich mit einer der hier beschriebenen Bildbearbeitungsmethoden deutlich weniger auffällig darstellen, um im Gegenzug die relevanten Bildelemente, wie Bildobjekt O4, Oz und/oder Zusatzinformationen Z1 bis Z6 deutlicher hervorzuheben. Durch Darstellung von ausschließlich relevanten Inhalten wird eine Informationsreduktion für den Fahrer erreicht.
-
Ferner wird gemäß einer Weiterbildung der Erfindung das Ausgabebild A mit einem variablen Kontrast und/oder variablen Helligkeit, der bzw. die vom Kontrast bzw. Helligkeit der überlagerten Zusatzinformationen Z1 bis Z6 verschieden sind/ist, ausgegeben. Dabei kann eine Veränderung der Helligkeit und des Kontrastes nur bereichsweise im Ausgabebild A erzeugt werden. Diese Veränderung von Helligkeit und Kontrast werden insbesondere in jenen Bildbereichen des Ausgabebildes A erzeugt, in welchen die Zusatzinformation/en Z1 bis Z6 überlagert im Ausgabebild A ausgegeben wird/werden. Hierdurch ist eine zusätzliche optische Hervorhebung der Zusatzinformation Z1 bis Z6 ermöglicht. Mit anderen Worten: Die Helligkeit und der Kontrast des aufgenommenen Bildes B wird im Ausgabebild A verändert, um die Zusatzinformationen Z1 bis Z6 mit anderer Helligkeit und genügendem Kontrast zum Ausgabebild A und damit zum Hintergrund einzublenden. Dabei erfolgt die Helligkeits- und/oder Kontraständerung insbesondere in jenem Teil-/Bildbereich des Ausgabebildes A, in welchem die Zusatzinformation Z1 bis Z6 eingeblendet und sichtbar sein soll.
-
Neben der Bearbeitung des Bildinhaltes, insbesondere der Bildobjekte O1 bis Oz und der Bildmerkmale M1 bis Mx, des Ausgabebildes A, wie oben beschrieben, kann zur Beruhigung der Anzeige 2 auch der zeitliche Ablauf der Darstellung einer Bildsequenz und somit einer Abfolge von Ausgabebildern A beeinflusst werden. In einer Ausführungsform erfolgt eine kontinuierliche Anzeige einer Sequenz von Ausgabebildern (Videosequenz), wobei zum einen die Anzahl der dargestellten Ausgabebilder A reduziert werden kann, um ein ruhiges nichtablenkendes Bild zu erzeugen bei kontinuierlicher Anzeige der Ausgabebilder A. Zum anderen kann die Anzahl der dargestellten Ausgabebilder A reduziert werden, indem die Ausgabebilder A nicht mit einer konstanten Aktualisierungsrate, sondern diskontinuierlich oder ereignisgesteuert als Einzelbild dargestellt werden. Ereignisgesteuerte Fälle können dabei z. B. Stellen mit Fahrhinweisen, Gefahrenstellen, Stellen mit Points-of-Interest oder ähnliches sein.
-
Bezugszeichenliste
-
- 1
- Vorrichtung zur augmentierten Darstellung
- 2
- Ausgabeeinheit (Anzeige)
- 3
- Aufnahmeeinheit
- 4
- Verarbeitungseinheit
- A
- Ausgabebild
- B
- aufgenommenes Bild
- M1 bis Mx
- Bildmerkmale
- O1 bis Oz
- Bildobjekte
- U
- Umgebung
- Z1 bis Z6
- Zusatzinformation
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
- DE 102011115739 A1 [0003]
