DE102015204277A1

DE102015204277A1 - Verfahren und vorrichtung zum simulieren eines weiten gesichtsfeldes

Info

Publication number: DE102015204277A1
Application number: DE102015204277.4A
Authority: DE
Inventors: Piergiorgio Sartor; Klaus Zimmermann
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2014-03-10
Filing date: 2015-03-10
Publication date: 2015-09-10
Also published as: US9754347B2; US10176555B2; US20150254802A1; US20170337660A1

Abstract

Es wird ein Verfahren offenbart zum Anzeigen von Eingangsbilddaten auf einem Display-Gerät. Das Display-Gerät weist ein Haupt-Display und eine Rand-Display auf, welches das Haupt-Display wenigstens teilweise umgibt. Das Verfahren umfasst ein Extrapolieren der Eingangsbilddaten, um extrapolierte Bilddaten zu erhalten, ein Anzeigen wenigstens eines Teils der Eingangsbilddaten auf dem Haupt-Display und ein Anzeigen wenigstens eines Teils der extrapolierten Bilddaten auf dem Rand-Display

Description

TECHNISCHES GEBIET
Die vorliegende Offenbarung bezieht sich im Allgemeinen auf ein Verfahren und ein elektronisches Gerät zum Simulieren eines weiten Gesichtsfeldes. Das Verfahren und die elektronische Vorrichtung kann in einem Display-Gerät, beispielsweise einem Head-Mounted-Display verwendet werden, um Video- oder Bilddaten anzuzeigen.
TECHNISCHER HINTERGRUND
Eine mögliche Anwendung von Head-Mounted-Displays (HMDs) ist das „Personal Display“ (PD). Ein Personal-Display ist ein Head-Mounted-Display, das auf das Betrachten von Filmen oder ähnlichen Inhalt zugeschnitten ist. Allerdings kann das Gesichtsfeld (FOV = „Field of View“) von Video- oder Bilddaten auf ~30 Grad beschränkt sein, da Videoinhalte üblicherweise unter Berücksichtigung dieses Feldes aufgenommen werden, d. h. für normale Videoinhalte wird angenommen, dass die Betrachtungsdistanz vom Bildschirm proportional zur Bildschirmdiagonale ist, so dass das Gesichtsfeld ~30 Grad beträgt. Obgleich dieses Gesichtsfeld perfekt zu den Anforderungen für normale Fernsehbildschirme passt, kann es doch unbequem sein, Filme mit einem Gesichtsfeld von ~30 Grad zu betrachten, wenn man über ein Personal-Display sieht und dabei das umgebende Umfeld vollständig schwarz ist.
ZUSAMMENFASSUNG
Gemäß eines ersten Aspekts der Offenbarung wird ein Verfahren bereitgestellt zum Anzeigen von Eingangsbilddaten auf einem Display-Gerät, wobei das Display-Gerät ein Haupt-Display und ein Rand-Display aufweist, welches das Haupt-Display wenigstens teilweise umgibt, wobei das Verfahren umfasst: Extrapolieren der Eingangsbilddaten, um extrapolierte Bilddaten zu erhalten, Anzeigen wenigstens eines Teils der Eingangsbilddaten auf dem Haupt-Display und Anzeigen wenigstens eines Teils der extrapolierten Bilddaten auf dem Rand-Display.
Gemäß eines zweiten Aspekts stellt die Offenbarung ein Display-Gerät bereit, wobei das Display-Gerät ein Haupt-Display, ein Rand-Display, welches das Haupt-Display wenigstens teilweise umgibt, und einen Prozessor aufweist, der dazu ausgelegt ist, Eingangsbilddaten zu extrapolieren, um extrapolierte Bilddaten zu erhalten, und wenigstens einen Teil der Eingangsbilddaten auf dem Haupt-Display anzuzeigen, und wenigstens einen Teil der extrapolierten Bilddaten auf dem Rand-Display anzuzeigen.
Weitere Aspekte sind in den beigefügten Ansprüchen, der folgenden Beschreibung und in den Zeichnungen dargelegt.
KURZBESCHREIBUNG DER ZEICHNUNGEN
Ausführungsbeispiele werden nun beispielhaft unter Bezugnahme auf die beigefügten Zeichnungen beschrieben, in denen:
1 schematisch ein Ausführungsbeispiels eines Display-Geräts zeigt;
2a schematisch ein Ausführungsbeispiel eines Prozessors zeigt;
2b schematisch ein alternatives Ausführungsbeispiels eines Prozessors zeigt;
3 schematisch detaillierter ein Ausführungsbeispiel eines Haupt-Displays und eines Rand-Displays zeigt;
4a ein Ausführungsbeispiel einer Skalierungsfunktion sx zeigt;
4b ein Ausführungsbeispiel einer inversen Skalierungsfunktion sx^–1 zeigt;
5 schematisch das Ergebnis einer Abbildung zeigt;
6 ein beispielhaftes Ergebnis der Multiscale-Foveated-Videoextrapolationstechnik zeigt;
7 ein Ausführungsbeispiel eines Verfahrens zum Anzeigen von Eingangsbilddaten auf einem Display-Gerät zeigt; und
8 ein Ausführungsbeispiel eines Head-Mounted-Displays zeigt, welches das Display-Gerät umfasst.
DETAILLIERTE BESCHREIBUNG VON AUSFÜHRUNGSBEISPIELEN
Bevor eine detaillierte Beschreibung der Ausführungsbeispiele unter Bezugnahme auf 1 gegeben wird, werden hier einige allgemeine Erläuterungen getätigt.
Ein gegenwärtiges Personal-Display (PD) liefert üblicherweise ein enges Gesichtsfeld (FOV = Field of View) von ungefähr 30 Grad. Dies passt zu den Erfordernissen, aber da das Display vom Typ der Head-Mounted-Displays (HMD) ist, ist normalerweise die gesamte Umgebung schwarz. Das menschliche Sehsystem (HVS = Human Vision System) hat in den Peripheriebereichen keine gute räumliche Auflösung; trotzdem ist es sehr empfindlich für Bewegung, Licht und Farbänderungen. Deshalb kann es unbequem sein, Inhalt mit einer statischen schwarzen Umgebung zu betrachten. Es kann deswegen bequemer sein, in umgebenden Bereichen auch Inhalt zu haben. Da normale Video- oder Bilddaten normalerweise für ein Gesichtsfeld von ~30 Grad gemacht sind, muss für die umgebenden Bereiche Inhalt erzeugt werden, so dass dieser diese Bereiche überdeckt.
Hier werden Techniken offenbart, welche dazu beitragen, diese „Umgebungen“ mit simuliertem Inhalt zu füllen, der mit dem Inhalt der zentralen Ansicht korreliert ist.
Insbesondere wird ein Verfahren offenbart zum Anzeigen von Eingangsbilddaten auf einem Display-Gerät, wobei das Display-Gerät ein Haupt-Display und ein Rand-Display aufweist, welches das Haupt-Display wenigstens teilweise umgibt. Das Verfahren umfasst ein Extrapolieren von Eingangsbilddaten, um extrapolierte Bilddaten zu erhalten, ein Anzeigen wenigstens eines Teils der Eingangsbilddaten auf dem Haupt-Display und ein Anzeigen wenigstens eines Teils der extrapolierten Bilddaten auf dem Rand-Display.
Eingangsbilddaten können Videobilder oder Standbilder umfassen. Die Eingangsbilddaten können unkomprimierten oder komprimierten Videobilddaten wie beispielsweise MPEG-Videodaten, oder unkomprimierten oder komprimierten Bilddaten wie beispielsweise JPG, GIF, oder dergleichen entsprechen.
In den Ausführungsbeispielen ist das Haupt-Display für foveales Sehen ausgelegt und liefert vorzugsweise eine gute Bildschirmauflösung.
In den Ausführungsbeispielen ist das Rand-Display für parafoveales Sehen ausgelegt und befindet sich deswegen in den Bereichen, welche das Haupt-Display umgeben. Das Rand-Display kann eine Bildschirmauflösung haben, die dem des Haupt-Displays entspricht, oder die sich von der Bildschirmauflösung des Haupt-Displays unterscheidet. Da das Rand-Display für parafoveales Sehen ausgelegt ist, kann das Rand-Display insbesondere eine geringere Bildschirmauflösung aufweisen, als das Haupt-Display. Das Haupt-Display und das Rand-Display können beispielsweise Flüssigkristalldisplays (LCD = Liquid Crystal Displays) sein oder Plasmabildschirme (PDP = Plasma Display Panels) mit gegebenen Bildschirmauflösungen, oder dergleichen. Das Rand-Display kann sogar aus lediglich einer geringen Anzahl von LEDs aufgebaut sein, die eine sehr geringe Bildschirmauflösung bieten.
Das Haupt-Display und das Rand-Display können flach oder gekrümmt sein. Das Haupt-Display und das Rand-Display können rechteckige Formen oder gekrümmte Formen aufweisen, beispielsweise eine ovale Form. In den offenbarten Ausführungsbeispielen weist das Haupt-Display eine rechteckige Form auf und das Rand-Display hat eine rahmenartige Form und umgibt das Haupt-Display vollständig.
In den offenbarten Ausführungsbeispielen sind die Eingangsbilddaten Bitmap-Daten, welche ein Bild mit einer Auflösung repräsentieren, die zu der des Haupt-Displays passt. In anderen Ausführungsbeispielen können die Eingangsbilddaten eine Auflösung aufweisen, die sich von der des Haupt-Displays unterscheidet. In solchen Fällen können die Eingangsbilddaten unter Verwendung von Techniken, die im Stand der Technik bekannt sind, skaliert werden, um zur Bildschirmauflösung des Haupt-Displays zu passen.
Ein Extrapolieren der Eingangsbilddaten kann auf einem Teil der Eingangsbilddaten oder auf den gesamten Eingangsbilddaten basieren. In den offenbarten Ausführungsbeispielen basiert das Extrapolieren der Eingangsbilddaten nicht nur auf den Randpixeln des Eingangsbildes, sondern es basiert auch auf Eingangsbilddaten, welche innere Teile des Eingangsbildes repräsentieren. Dies ermöglicht es, dass Strukturen, Texturen und sogar Objekte extrapoliert werden können, um Inhalt zur Anzeige auf dem Rand-Display zu erzeugen.
Gemäß eines Ausführungsbeispiels kann das Extrapolieren der Eingangsbilddaten ein Skalieren der Eingangsbilddaten umfassen.
Das Skalieren der Eingangsbilddaten kann auf einem nicht-linearen Skalierungsalgorithmus basieren. Ein Skalieren der Eingangsbilddaten kann zu dem Ergebnis führen, dass wenigstens ein Teil der Eingangsbilddaten für die Anzeige auf dem Rand-Display extrapoliert wird, und dass wenigstens andere Teile der Eingangsbilddaten für die Anzeige auf dem Haupt-Display bestehen bleiben.
Beispielsweise kann das Extrapolieren der Eingangsbilddaten auf den Abbildungsfunktionen x' = sx(|x – X1/2|)·(x – X1/2) + X2/2 y' = sy(|y – Y1/2|)·(y – Y1/2) + Y2/2 basieren, wobei x und y Pixelkoordinaten sind, welche den Ort eines Pixels auf dem Haupt-Display beschreiben, x' und y' Pixelkoordinaten sind, welche den Ort eines Pixels auf dem Rand-Display beschreiben, X1 und Y1 die Abmessungen des Haupt-Displays in Pixeln angeben, X2 und Y2 die Abmessungen des Rand-Displays in Pixeln angeben, und sx und sy vordefinierte Skalierungsfunktionen sind.
Gemäß anderer Ausführungsbeispiele basiert das Extrapolieren der Eingangsbilddaten auf einer Multiscale-Foveated-Videoextrapolationstechnik.
Andere Techniken, wie beispielsweise die Verwendung von trainierten Filtern oder eine lineare Skalierung können für das Extrapolieren der Eingangsbilddaten ebenso verwendet werden.
Das Verfahren kann ferner ein Erkennen und Entfernen von schwarzen Rändern in den Eingangsbilddaten umfassen.
Des Weiteren ist ein Display-Gerät offenbart, wobei das Display-Gerät ein Haupt-Display, ein Rand-Display, welches das Haupt-Display wenigstens teilweise umgibt, und einen Prozessor umfasst. Der Prozessor ist dazu ausgelegt, Eingangsbilddaten zu extrapolieren, um extrapolierte Bilddaten zu erhalten, wenigstens einen Teil der Eingangsbilddaten auf dem Haupt-Display anzuzeigen und wenigstens einen Teil der extrapolierten Bilddaten auf dem Rand-Display anzuzeigen.
In dem Display-Gerät kann das Haupt-Display dazu ausgelegt sein, ein normales Gesichtsfeld von ~30 Grad bereitzustellen und das Rand-Display kann dazu ausgelegt sein, das Gesichtsfeld auf über 30 Grad zu erweitern, beispielsweise bis hin zu 100 Grad, oder sogar bis zu ~200 Grad oder mehr.
Ferner ist ein Head-Mounted-Display offenbart, wobei das Head-Mounted-Display das oben beschriebene Display-Gerät umfasst. Bei der Anwendung in einem Head-Mounted-Display umfasst das Haupt-Display des elektronischen Geräts typischerweise ein erstes Haupt-Display und ein zweites Haupt-Display, um Eingangsbilddaten für ein linkes Auge bzw. ein rechts Auge anzuzeigen, und das Rand-Display der elektronischen Vorrichtung umfasst ein erstes Rand-Display und ein zweites Rand-Display zum Anzeigen von Eingangsbilddaten für ein linkes Auge bzw. ein rechtes Auge.
Display-Gerät
1 zeigt schematisch ein Ausführungsbeispiel eines Display-Geräts 1. Das Display-Gerät 1 umfasst ein Haupt-Display 3, und ein Rand-Display 5, welches das Haupt-Display 3 wenigstens teilweise umgibt. Ein Prozessor 7 ist dazu ausgelegt, Eingangsbilddaten 9 zu empfangen. Die Eingangsbilddaten 9 beziehen sich auf Mediendateien oder Medienströme, wie beispielsweise Videodaten. Im Falle von Videodaten kann jeder Videoframe unabhängig als Eingangsbilddaten 9 verarbeitet werden. Alternativ können mehrere Videoframes zusammen als Eingangsbilddaten verarbeitet werden.
Der Prozessor ist ferner dazu ausgelegt, die Eingangsbilddaten 9 zu extrapolieren, um extrapolierte Bilddaten 15 zu erhalten. Der Prozessor zeigt wenigstens einen Teil der Eingangsbilddaten 9 auf dem Haupt-Display 3 an. Ferner zeigt der Prozessor 7 einen Teil der extrapolierten Bilddaten 15 auf dem Rand-Display 5 an.
2a zeigt schematisch ein Ausführungsbeispiel eines Prozessors 7. Der Prozessor umfasst eine Bildanalyseeinheit 21, die dazu ausgelegt ist, Eingangsbilddaten 9 zu empfangen. Die Bildanalyseeinheit 21 ist dazu ausgelegt, Charakteristiken der Eingangsbilddaten 9 zu bestimmen, wie beispielsweise Bildauflösung oder dergleichen. Beispielsweise können die Eingangsbilddaten 9 MPEG4-kodierte Videodaten mit einer Bildauflösung von 1280×720 Pixeln sein.
Die Bildanalyseeinheit 21 kann auch dazu ausgelegt sein, andere Prozesse zur Analyse der Eingangsbilddaten 9 auszuführen. Beispielsweise kann die Bildanalyseeinheit 21 dazu ausgelegt sein, einen Erkennungsprozess für schwarze Ränder zu implementieren, der Schwarzrandinformationen 19 erkennt, welche Pixel in den Eingangsbilddaten 9 identifizieren, die sich auf schwarze Ränder beziehen.
Die Bildanalyseeinheit 21 gibt die Eingangsbilddaten 9, die erfasste Bildauflösung 17 und etwaige Schwarzrandinformationen 19 an eine Extrapolationseinheit 23 weiter. Die Extrapolationseinheit 23 entfernt, falls erforderlich, Schwarzrandpixel basierend auf den Schwarzrandinformationen 19, die sie von der Bildanalyseeinheit 21 empfangen hat, und extrapoliert die Eingangsbilddaten 9 um extrapolierte Bilddaten 15 zu erhalten. Die Extrapolation ist detaillierter unter Bezugnahme auf die 3, 4a, 4b, 5 und 6 beschrieben. Die Extrapolationseinheit 23 gibt die extrapolierten Bilddaten 15 an einen Rand-Display-Treiber 25 weiter. Der Rand-Display-Treiber 25 konvertiert die extrapolierten Bilddaten 15 in entsprechende elektronische Signale 15', die an das Rand-Display 5 weitergegeben werden. Das Rand-Display 5 ist dazu ausgelegt, die elektronischen Signale 15' vom Rand-Display-Treiber 25 entgegen zu nehmen und die entsprechenden extrapolierten Bilddaten 15 anzuzeigen.
Die Bildanalyseeinheit 21 gibt ferner die Eingangsbilddaten 9 und die erkannte Bildauflösung 17 sowie etwaige Schwarzrandinformationen 19 an eine Haupt-Display-Verarbeitungseinheit 27 weiter. Diese Haupt-Display-Verarbeitungseinheit 27 verarbeitet die Eingangsbilddaten 9, um Hauptbilddaten 13 zu erhalten. Beispielsweise kann die Haupt-Display-Verarbeitungseinheit 27 dazu ausgelegt sein, jegliche Bilddaten aus den Eingangsbilddaten 9 zu entfernen, welche von den Schwarzrandinformationen 19 als in Bezug zu schwarzen Rändern stehend identifiziert werden. Die Haupt-Display-Verarbeitungseinheit 27 gibt die Hauptbilddaten 13 an einen Haupt-Display-Treiber 29 weiter. Der Haupt-Display-Treiber 29 konvertiert die Eingangsbilddaten 13 in entsprechende elektronische Signale 13', die an das Haupt-Display 3 weitergegeben werden. Das Haupt-Display 3 ist dazu ausgelegt, die elektronischen Signale 13' vom Haupt-Display-Treiber 29 entgegen zu nehmen und die entsprechenden Haupt-Display-Daten 13 anzuzeigen. In den unten beschriebenen Ausführungsbeispielen kann angenommen werden, dass die Haupt-Display-Daten 13 und die Eingangsbilddaten 9 wenigstens zum Teil identisch sind.
In dem Ausführungsbeispiel der 2a sind zwei separate Entitäten, nämlich die Extrapolationseinheit 23 und die Haupt-Display-Verarbeitungseinheit 27, gezeigt, welche unabhängig die extrapolierten Bilddaten 15 und die Hauptbilddaten 13 erzeugen. Diese Einheiten müssen aber nicht notwendigerweise separate physikalische Einheiten sein. 2b zeigt ein alternatives Ausführungsbeispiel, bei dem eine einzige Einheit, nämlich die Extrapolationseinheit 23 dazu ausgelegt ist, die Eingangsbilddaten 9 zu verarbeiten und die extrapolierten Bilddaten und die Hauptbilddaten 13 aus den Eingangsbilddaten 9 zu erzeugen.
Obgleich in den 2a und 2b die Bildanalyseeinheit 21, die Extrapolationseinheit 23, die Haupt-Display-Verarbeitungseinheit 27, der Rand-Display-Treiber 25 und der Haupt-Display-Treiber 29 als separate Einheiten gezeigt sind, müssen gleichermaßen die Funktionalitäten dieser Einheiten nicht notwendigerweise durch separate physikalische Entitäten ausgeführt werden. Im Allgemeinen kann der Prozessor 7 aus 7 auf viele alternative Weisen ausgelegt sein, um die in dieser Anmeldung dargelegten Funktionalitäten bereitzustellen.
3 zeigt schematisch detaillierter ein Ausführungsbeispiel des Haupt-Displays 3 und des Rand-Displays 5.
Das Haupt-Display 3 ist ein rechteckiges LCD-Display mit einer Bildschirmauflösung von X1, Y1 Pixeln. (x, y) = (0, 0) beschreibt das Pixel, welches in der oberen linken Ecke des Displays lokalisiert ist. (x, y) = (X1, Y1) beschreibt das Pixel, welches in der unteren rechten Ecke des Displays lokalisiert ist.
Das Rand-Display 5 ist ein rechteckiges LCD-Display mit einer Bildschirmauflösung von X2, Y2 Pixeln. (x', y') = (0, 0) beschreibt das Pixel, welches in der oberen linken Ecke des Displays lokalisiert ist. (x', y') = (X2, Y2) beschreibt das Pixel, welches in der unteren rechten Ecke des Displays lokalisiert ist. Das Rand-Display 5 hat eine rahmenartige Form. D.h., es umgibt das Haupt-Display 3 und weist im zentralen Bereich, der bereits von den Pixeln des Haupt-Displays 3 abgedeckt ist, keine Pixel auf.
In diesem Ausführungsbeispiel ist die Bildschirmauflösung des Rand-Displays 5 kleiner als die des Haupt-Displays 3. Beispielsweise könnte das Haupt-Display 3 eine Bildschirmauflösung von X1, Y1 = 1280×720 Pixeln aufweisen und das Rand-Display 5 könnte eine Bildschirmauflösung von X2, Y2 = 640×480 Pixeln aufweisen, oder sogar weniger. In anderen Ausführungsbeispielen kann die Bildschirmauflösung des Rand-Displays 5 auch die gleiche sein, wie die des Haupt-Displays 3.
Das Haupt-Display 3 liefert ein Gesichtsfeld von ~30 Grad, was das Gesichtsfeld ist, für das Videoinhalt normalerweise produziert wird. Das Rand-Display 5 erweitert das Gesichtsfeld von ~30 Grad auf ein größeres Gesichtsfeld. 3 liefert lediglich eine beispielhafte und schematische Darstellung der beiden Displays. Das Rand-Display 5 könnte das Gesichtsfeld beispielsweise auf Werte wie beispielsweise ~200 Grad erweitern. Um solch ein großes Gesichtsfeld zu erreichen könnte das Rand-Display 5, anders als dies in dem Ausführungsbeispiel der 3 dargestellt ist, viel größer sein, als das Haupt-Display 3.
Die Eingangsbilddaten 9 aus 1 sind typischerweise ausgelegt für ein Gesichtsfeld von ~30 Grad und dementsprechend für ein Anzeigen auf dem Haupt-Display 3. Beispielsweise könnten die Eingangsbilddaten 9 eine Auflösung aufweisen, die 1280×720 Pixeln entspricht und so zur Auflösung des Haupt-Displays 3 passt. Solche Eingangsbilddaten 9 würden noch keine Bilddaten zur Darstellung mit einem größeren Gesichtsfeld aufweisen, d.h. auf dem Rand-Display 5. Bilddaten zum Anzeigen auf dem Rand-Display 5 werden durch Extrapolation der Eingangsbilddaten 9 in der Extrapolationseinheit 23 erzeugt.
Extrapolation durch nicht-lineares Skalieren
Die 4a und 4b beschreiben schematisch detaillierter ein Ausführungsbeispiel von Funktionalität, welche in der Extrapolationseinheit 23 der 2a oder 2b ausgeführt wird.
Gemäß der Ausführungsbeispiele der 4a und 4b führt die Extrapolationseinheit 23 einen nicht-linearen Skalierungsprozess auf den Eingangsbilddaten 9 aus, um extrapolierte Bilddaten 15 zum Anzeigen auf dem Rand-Display 5 zu erzeugen. Der nicht-lineare Skalierungsprozess wird schematisch durch eine Skalierungsfunktion s repräsentiert.
Die Skalierungsfunktion s ist dazu ausgelegt, die Eingangsbilddaten (welche für eine Anzeige auf dem Haupt-Display 3 ausgelegt sind) so abzubilden, dass diese das Gesichtsfeld des Rand-Displays 5 abdecken, beispielsweise so, dass die Pixel (x, y) des Haupt-Displays 3, d.h. die Abmessungen X1, Y1 auf die Pixel (x', y') und die Dimensionen X2, Y2 des Rand-Displays 5 abgebildet werden.
In dem unten beschriebenen Ausführungsbeispiel wird angenommen, dass die Pixelauflösung des Rand-Displays 5 die gleiche ist, wie die Pixelauflösung des Haupt-Displays 3.
Gemäß des hier beschriebenen Ausführungsbeispiels besteht die Skalierungsfunktion aus zwei Teilen sx und sy, wobei sx auf die x Koordinaten und sy auf die y Koordinaten angewendet wird, gemäß: x' = sx(|x – X1/2|)·(x – X1/2) + X2/2 Gl. (1) y' = sy(|y – Y1/2|)·(y – Y1/2) + Y2/2 Gl. (2)
Die Skalierungsfunktionen sx(|x – X1/2|) und sy(|y – Y1/2|) beschreiben Skalierungsfaktoren.
Die Prinzipien des Skalierens werden hier unter Betrachtung des x-Dimensionsteils sx der Skalierungsfunktion beschrieben. Für den y-Dimensionsteil der Skalierungsfunktion gelten die gleichen Prinzipien.
4a zeigt ein Ausführungsbeispiel einer Skalierungsfunktion sx. Die Skalierungsfunktion sx empfängt eine verschobene Version der Eingangsbilddaten 9, in denen das Eingangsbild um –X1/2 verschoben ist. Das bedeutet, dass die Skalierungsfunktion sx auf das Zentrum der Eingangsbilddaten zentriert wird, bzw. auf das Zentrum des Haupt-Displays 3, welches bei x = X1/2 lokalisiert ist. Ferner ist die Skalierungsfunktion sx dieses Ausführungsbeispiels symmetrisch bezüglich dem Zentrum, was bedeutet, das s(x) = s(–x) ist. 4a zeigt somit s(|x – X1/2|) wobei x die x Koordinate des Eingangsbilds ist.
Wie in 4a zu sehen ist, ist für x = X1/2 die Skalierungsfunktion sx(|x – X1/2|) = s(0) = 1. Das bedeutet, das gemäß Gl. (1) das Zentrum x = X1/2 des Haupt-Displays 3 abgebildet wird auf x' = X2/2, d.h. auf das (virtuelle) Zentrum des Rand-Displays 5.
Ferner ist in 4a zu sehen, dass für x = X1 (d.h. für Pixel am rechten Rand des Haupt-Displays 3) die Skalierungsfunktion sx(|x – X1/2|) = sx(X1/2) = X2/X1 ist. Gemäß Gl. (1) werden solche Pixel auf x' = sx(X1 – X1/2)·(X1 – X1/2) + X2/2 = X2/X1·X1/2 + X2/2 = X2 abgebildet. D.h., Pixel am rechten Rand des Haupt-Displays 3 werden auf Pixel am rechten Rand des Rand-Displays 5 abgebildet.
Ferner ist in 4a zu sehen, dass für x = 0 (d.h. für Pixel am linken Rand des Hauptdisplays 3) die Skalierungsfunktion sx(|x – X1/2|) = sx(X1/2) = X2/X1 ist. Gemäß Gl. (1) werden solche Pixel auf x' = sx(X1/2)·(0 – X1/2) + X2/2 = X2/X1·(–X1/2) + X2/2 = 0 abgebildet. D.h., Pixel am linken Rand des Haupt-Displays 3 werden auf Pixel am linken Rand des Rand-Displays 5 abgebildet.
Ferner ist in 4a zu sehen, dass die Skalierungsfunktion sx einen Wert von im Wesentlichen 1 im Intervall [0, x0] aufweist, welches einem zentralen Bereich des Eingangsbildes entspricht. Das bedeutet, dass x' = x in einem zentralen Bereich des Eingangsbildes ist. In anderen Worten, im Intervall [0, x0] der Skalierungsfunktion sx ist der Skalierungsfaktor sx im Wesentlichen 1, so dass das Zentrum des Bildes im Wesentlichen unskaliert bleibt. Die Skalierungsfunktion sx nimmt dann auf eine strikt monotone Weise zu, bis der Skalierungsfaktor sein Maximum X2/X1 für |x – X1/2| = X1/2 erreicht, d.h. an den linken und rechten Rändern x = 0 und x = X1 des Haupt-Displays 3 (bzw. dem Eingangsbild 9).
4b zeigt ein Ausführungsbeispiel einer inversen Skalierungsfunktion sx^–1. Die inverse Skalierungsfunktion sx^–1 ist dazu ausgelegt, das Inverse der Skalierungsfunktion sx auszuführen. Sie ist dazu ausgelegt, Pixel des Rand-Displays 5 auf Pixel des Haupt-Displays 3 abzubilden, d.h. Pixel (x', y') des Rand-Displays 5, d.h. die Abmessungen X2, Y2 auf Pixel (x, y) und die Abmessungen X1, Y1 des Haupt-Displays 3 abzubilden. x = sx^–1(|x' – X2/2|)·(x' – X2/2) + X1/2 Gl. (3) y = sy^–1(|y' – Y2/2|)·(y' – Y2/2) + Y1/2 Gl. (4)
Es soll (x', y') ein Pixel des Rand-Displays 5 beschreiben. Dann können die Gleichungen (3) und (4) dazu verwendet werden, Pixel (x, y) des Haupt-Displays 3 zu ermitteln, welche im Skalierungsprozess auf Pixel (x', y') abgebildet werden. Somit können gemäß der Gleichungen (3) und (4) die Farben c(x', y') eines Pixels (x', y') des Rand-Displays 3 aus Farben c(x, y) des entsprechenden Pixels (x, y) des Haupt-Displays 3 als c(x', y') = c(x, y) erhalten werden. Da die Eingangsbilddaten 9 und das Haupt-Display 3 beide für ein Gesichtsfeld von ~30 Grad ausgelegt sind, können Farben c(x, y,) von Pixeln (x, y) des Haupt-Displays 3 direkt in den Eingangsbilddaten 9 identifiziert werden. Somit ist in diesem Ausführungsbeispiel ein Prozess zum Extrapolieren der Eingangsbilddaten 9 unter Verwendung einer nicht-linearen Skalierungsfunktion beschrieben, um extrapolierte Bilddaten zum Anzeigen auf dem Rand-Display 5 zu erhalten.
5 zeigt schematisch das Ergebnis der Abbildung von Gl. (1). Auf der Abszisse des Koordinatensystems ist x – X1/2 abgetragen, d.h. der Ursprung des Koordinatensystems von 5 ist im Zentrum des Haupt-Displays 3 positioniert. Auf der Ordinate des Koordinatensystems ist sx(x – X1/2)·(x – X1/2) abgetragen, was das Ergebnis der Abbildung von Gleichung (1) ist, verschoben um –X2/2, d.h. mit dem Ursprung des Koordinatensystems positioniert im Zentrum des Rand-Displays 5.
Da die auf der Abszisse abgetragenen Werte sx^–1(x' – X2/2) entsprechen und die auf der Ordinate abgetragenen Werte gleich x' – X2/2 sind, kann das Diagramm der 5 auch gesehen werden als eine Anzeige des Ergebnisses der inversen Abbildungsfunktion (3) punktgespiegelt am Ursprung des Koordinatensystems. Die inverse Skalierungsfunktion sx^–1 kann somit aus der Skalierungsfunktion sx durch spiegeln und nummerische Auswertungen können erhalten werden.
Der 5 ist zu entnehmen, dass die Abbildungsfunktionen der Gl. (1) und (3) das Zentrum des Bildes im Wesentlichen unskaliert lassen.
Die gleichen Prinzipien können in Ausführungsbeispielen angewendet werden, bei denen die Pixelauflösung des Rand-Displays 5 kleiner ist als die Pixelauflösung des Haupt-Displays 3. In solchen Ausführungsbeispielen können die obigen Gleichungen an die Pixelauflösung des Rand-Displays angepasst werden. Alternativ kann für den Zweck der Abbildung das Rand-Display 5 auch so betrachtet werden, als würde es (virtuell) die gleiche Pixelauflösung wie das Haupt-Display 3 aufweisen. Nachdem das nicht-lineare Skalieren wie oben beschrieben ausgeführt wurde, kann dann ein linearer Herunterskalierungsvorgang ausgeführt werden, um das Ergebnis des nicht-linearen Skalierens auf die spezifische Pixelauflösung des Rand-Displays 5 anzupassen.
Multiscale-Foveated-Videoextrapolation
Gemäß anderer Ausführungsbeispiele basiert das Extrapolieren der Eingangsbilddaten auf einer Multiscale-Foveated-Videoextrapolationstechnik wie sie beschrieben ist von Amit Aides et al in „Multiscale Ultrawide Foveated Video Extrapolation", Proc. IEEE Int. Conference on Computational Photography (ICCP), 2011.
Die Multiscale-Foveated-Videoextrapolationstechnik bezieht sich auf Video-Inpainting, das auch bekannt ist als Video-Komplettierung. Wie in der obigen Referenz beschrieben ist, sind beim Video-Inpainting die fehlenden Teile innerhalb des Gesichtsfeldes, wogegen die Multiscale-Foveated-Videoextrapolationstechnik darauf abzielt, das Video über das Gesichtsfeld hinaus zu erstrecken. Die Multiscale-Foveated-Videoextrapolationstechnik imitiert das Verhalten der menschlichen Fovea, in dem sie die Auflösung in Richtung der Ränder des extrapolierten Bereichs verringert.
Wie von Amit Aides et al detaillierter beschrieben wird, wendet die Multiscale-Foveated-Videoextrapolationstechnik einen sogenannten Multistep-„Outside-In“-Ansatz an. Die Extrapolation beginnt mit der gröbsten Skala, wobei der gesamte Extrapolationsbereich verarbeitet wird. Dann werden nacheinander andere Auflösungsskalen verwendet, von grob bis fein, wobei eine feinere Skala sich auf einen kleineren (inneren) Bereich bezieht. Die „Outside-In“-Methode verwendet die auf groben Skalen extrapolierten Informationen, um die Extrapolation auf feineren Skalen zu initiieren. Die inneren Gebiete des Ausgabevideos werden mehrfach verarbeitet, mit verschiedenen Auflösungsskalen, wodurch das Ergebnis graduell verfeinert wird.
6 zeigt ein beispielhaftes Ergebnis der Multiscale-Foveated-Videoextrapolationstechnik. Ein Innenbereichsbild 61 wird extrapoliert, um ein Außenbereichsbild 63 zu erzeugen. Das Außenbereichsbild 63 zeigt Strukturen, welche Strukturen ähneln, die im Innenbereichsbild 61 zu finden sind.
In alternativen Ausführungsbeispielen können auch andere Videoextrapolationstechniken verwendet werden, wie beispielsweise jene, die auf einem „Inside-Out“-Ansatz basieren. Wie von Amit Aides et al detaillierter beschrieben wird, beginnt der „Inside-Out“-Ansatz mit der feinsten Auflösungsebene, d.h. dem innersten Gebiet und schreitet nach außen von fein bis grob fort.
Es können auch andere Inpainting-Ansätze für die Verwendung bei der Extrapolation der Eingangsbilddaten verwendet werden, um extrapolierte Ausgangsbilddaten zu erhalten.
Verfahren zum Anzeigen von Eingangsbilddaten
In 7 ist ein Ausführungsbeispiel eines Verfahrens zum Anzeigen von Eingangsbilddaten auf einem Display-Gerät gezeigt, wobei das Display-Gerät ein Haupt-Display und ein Rand-Display umfasst, welches das Haupt-Display wenigstens teilweise umgibt. Bei Schritt S701 werden Eingangsbilddaten extrapoliert, um extrapolierte Bilddaten zu erzeugen. Bei S703 wird wenigstens ein Teil der Eingangsbilddaten auf dem Haupt-Display angezeigt. Bei S705 wird wenigstens ein Teil der extrapolierten Bilddaten auf dem Rand-Display angezeigt. Die Extrapolation bei S703 kann beispielsweise wie oben beschrieben ausgeführt werden, d.h. durch nicht-lineare Skalierung, durch eine Multiscale-Foveated-Videoextrapolation, oder durch andere Extrapolationstechniken.
Head-up-Display
In 8 ist ein Ausführungsbeispiel eines Head-Mounted-Displays 80 gezeigt, welches das oben beschriebene Display-Gerät umfasst. Ein Haupt-Display 3l, 3r des elektronischen Geräts umfasst ein erstes Haupt-Display 3l und eine zweites Haupt-Display 3r zum Anzeigen von Eingangsbilddaten für ein linkes Auge bzw. ein rechtes Auge. Ein Rand-Display 5l, 5r des elektronischen Geräts umfasst ein erstes Rand-Display 5l und ein zweites Rand-Display 5r zum Anzeigen von Eingangsbilddaten für ein linkes Auge bzw. ein rechts Auge. Ein Prozessor 7 ist dazu ausgelegt, die Eingangsbilddaten zu verarbeiten, um extrapolierte Bilddaten 15 und Haupt-Display-Daten 13 zum Anzeigen auf dem Haupt-Display 3l, 3r zu erzeugen.
Alle Einheiten und Entitäten, die in dieser Spezifikation beschrieben und in den beigefügten Ansprüchen beansprucht sind, können, falls dies nicht anders angegeben ist, als integrierte Schaltkreislogik implementiert werden, beispielsweise auf einem Chip, und Funktionalität die durch solche Einheiten und Entitäten bereitgestellt wird, kann, falls nicht anders angegeben, durch Software implementiert werden.
In dieser Anmeldung sind offenbart:

[1] Ein Verfahren zum Anzeigen von Eingangsbilddaten auf einem Display-Gerät, wobei das Display-Gerät ein Haupt-Display und ein Rand-Display umfasst, welches das Haupt-Display wenigstens teilweise umgibt, wobei das Verfahren umfasst Extrapolieren der Eingangsbilddaten, um extrapolierte Bilddaten zu erhalten, Anzeigen wenigstens eines Teils der Eingangsbilddaten auf dem Haupt-Display, und Anzeigen wenigstens eines Teils der extrapolierten Bilddaten auf dem Rand-Display.
[2] Das Verfahren nach [1], bei dem das Extrapolieren der Eingangsbilddaten ein Skalieren der Eingangsbilddaten umfasst.
[3] Das Verfahren nach [1] oder [2], bei dem das Extrapolieren der Eingangsbilddaten auf einem nicht-linearen Skalierungsalgorithmus basiert.
[4] Ein Verfahren nach [1], [2], oder [3], bei dem das Extrapolieren der Eingangsbilddaten auf den Abbildungsfunktionen x' = sx(|x – X1/2|)·(x – X1/2) + X2/2 y' = sy(|y – Y1/2|)·(y – Y1/2) + Y2/2 basiert, wobei x und y Pixelkoordinaten sind, welche den Ort eines Pixels auf dem Haupt-Display beschreiben, x' und y' Pixelkoordinaten sind, welche den Ort eines Pixels auf dem Rand-Display beschreiben, X1 und Y1 die Abmessungen des Haupt-Displays in Pixeln bezeichnen, X2 und Y2 die Abmessungen des Rand-Displays in Pixeln bezeichnen, und sx und sy vordefinierte Skalierungsfunktionen sind.
[5] Das Verfahren nach [1] bei dem das Extrapolieren der Eingangsbilddaten auf einer Multiscale-Foveated-Videoextrapolationstechnik basiert.
[6] Das Verfahren nach einem von [1] bis [5], ferner umfassend ein Erfassen und Entfernen von schwarzen Rändern in den Eingangsbilddaten.
[7] Ein Display-Gerät, wobei das Display-Gerät umfasst ein Haupt-Display, ein Rand-Display, welches das Haupt-Display wenigstens teilweise umgibt, und einen Prozessor, der dazu ausgelegt ist, Eingangsbilddaten zu extrapolieren, um extrapolierte Bilddaten zu erhalten, wenigstens einen Teil der Eingangsbilddaten auf dem Haupt-Display anzuzeigen, und wenigstens einen Teil der extrapolierten Bilddaten auf dem Rand-Display anzuzeigen.
[8] Das Display-Gerät nach [7], bei dem das Haupt-Display dazu ausgelegt ist, ein normales Gesichtsfeld von ungefähr 30 Grad bereitzustellen und bei dem das Rand-Display das Gesichtsfeld auf über 30 Grad erweitert, oder vorzugsweise auf über 100 Grad, oder noch mehr bevorzugt auf 200 Grad oder mehr.
[9] Ein Head-Mounted-Display umfassend das Display-Gerät nach [7] oder [8], bei dem das Haupt-Display des elektronischen Geräts ein erstes Haupt-Display und ein zweites Haupt-Display aufweist, zum Anzeigen der Eingangsbilddaten für ein linkes Auge beziehungsweise ein rechts Auge, und das Rand-Display des elektronischen Geräts ein erstes Rand-Display und ein zweites Rand-Display aufweist zum Anzeigen von Eingangsbilddaten für ein linkes Auge beziehungsweise ein rechts Auge.

ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Nicht-Patentliteratur

Amit Aides et al in „Multiscale Ultrawide Foveated Video Extrapolation“, Proc. IEEE Int. Conference on Computational Photography (ICCP), 2011 [0068]

Claims

Verfahren zum Anzeigen von Eingangsbilddaten auf einem Display-Gerät, wobei das Display-Gerät ein Haupt-Display und ein Rand-Display umfasst, welches das Haupt-Display wenigstens teilweise umgibt, wobei das Verfahren umfasst Extrapolieren der Eingangsbilddaten, um extrapolierte Bilddaten zu erhalten, Anzeigen wenigstens eines Teils der Eingangsbilddaten auf dem Haupt-Display, und Anzeigen wenigstens eines Teils der extrapolierten Bilddaten auf dem Rand-Display.
Verfahren nach Anspruch 1, bei dem das Extrapolieren der Eingangsbilddaten ein Skalieren der Eingangsbilddaten umfasst.
Verfahren nach Anspruch 2, bei dem das Extrapolieren der Eingangsbilddaten auf einem nicht-linearen Skalierungsalgorithmus basiert.
Verfahren nach Anspruch 3, bei dem das Extrapolieren der Eingangsbilddaten auf den Abbildungsfunktionen x' = sx(|x – X1/2|)·(x – X1/2) + X2/2 y' = sy(|y – Y1/2|)·(y – Y1/2) + Y2/2 basiert, wobei x und y Pixelkoordinaten sind, welche den Ort eines Pixels auf dem Haupt-Display beschreiben, x' und y' Pixelkoordinaten sind, welche den Ort eines Pixels auf dem Rand-Display beschreiben, X1 und Y1 die Abmessungen des Haupt-Displays in Pixeln bezeichnen, X2 und Y2 die Abmessungen des Rand-Displays in Pixeln bezeichnen, und sx und sy vordefinierte Skalierungsfunktionen sind.
Verfahren nach Anspruch 1 bei dem das Extrapolieren der Eingangsbilddaten auf einer Multiscale-Foveated-Videoextrapolationstechnik basiert.
Verfahren nach Anspruch 1, ferner umfassend ein Erfassen und Entfernen von schwarzen Rändern in den Eingangsbilddaten.
Display-Gerät, wobei das Display-Gerät umfasst ein Haupt-Display, ein Rand-Display, welches das Haupt-Display wenigstens teilweise umgibt, und einen Prozessor, der dazu ausgelegt ist, Eingangsbilddaten zu extrapolieren, um extrapolierte Bilddaten zu erhalten, wenigstens einen Teil der Eingangsbilddaten auf dem Haupt-Display anzuzeigen, und wenigstens einen Teil der extrapolierten Bilddaten auf dem Rand-Display anzuzeigen.
Display-Gerät nach Anspruch 7, bei dem das Haupt-Display dazu ausgelegt ist, ein normales Gesichtsfeld von ungefähr 30 Grad bereitzustellen und bei dem das Rand-Display das Gesichtsfeld auf über 30 Grad erweitert, oder vorzugsweise auf über 100 Grad, oder noch mehr bevorzugt auf 200 Grad oder mehr.
Head-Mounted-Display umfassend das Display-Gerät nach Anspruch 7, bei dem das Haupt-Display des elektronischen Geräts ein erstes Haupt-Display und ein zweites Haupt-Display aufweist, zum Anzeigen der Eingangsbilddaten für ein linkes Auge bzw. ein rechts Auge, und das Rand-Display des elektronischen Geräts ein erstes Rand-Display und ein zweites Rand-Display aufweist zum Anzeigen von Eingangsbilddaten für ein linkes Auge bzw. ein rechts Auge.