DE102018129318A1

DE102018129318A1 - Anordnen von Segmenten eines Bildes zum Codieren und zur Übertragung an eine Anzeigevorrichtung

Info

Publication number: DE102018129318A1
Application number: DE102018129318.6A
Authority: DE
Inventors: Jie Gao; Manish Hiranandani; Atsuo Kuwahara; Ulun Karacaoglu; Yaniv Frishman
Original assignee: Intel Corp
Current assignee: Intel Corp
Priority date: 2017-12-22
Filing date: 2018-11-21
Publication date: 2019-06-27
Also published as: CN110012290A; US10552988B2; US20190043223A1

Abstract

Es werden Verfahren, Einrichtungen, Systeme und Herstellungsgegenstände offenbart, um mehrere Segmente eines Bildes zum Codieren und zur drahtlosen Übertragung an eine Anzeigevorrichtung anzuordnen. Die Einrichtung beinhaltet eine Segment-Anordnungsvorrichtung zum Anordnen der Segmente in einer Codierungsreihenfolge zum Codieren. Die Codierungsreihenfolge ist verschieden von einer abtastzeilengemäßen Reihenfolge und die Codierungsreihenfolge ist derart, dass ein mittleres Segment aus den mehreren Segmenten eine erste Position in der Codierungsreihenfolge belegen soll. Die erste Position liegt vor einer zweiten Position, die von dem mittleren Segment in der abtastzeilengemäßen Reihenfolge belegt ist, und das mittlere Segment entspricht einer Mitte des Bildes. Die Einrichtung beinhaltet auch einen Codierer zum Codieren der Segmente in der Codierungsreihenfolge und einen drahtlosen Sender zum Übertragen der codierten Abschnitte an die Anzeigevorrichtung in der Codierungsreihenfolge, in welcher die codierten Segmente codiert sind.

Description

GEBIET DER OFFENBARUNG
Diese Offenbarung betrifft allgemein Systeme für virtuelle Realität und insbesondere das Anordnen von Segmenten eines Bildes zum Codieren und zur Übertragung an eine Anzeigevorrichtung.
HINTERGRUND
Jüngste Fortschritte bei Technologien für virtuelle Realität haben Systeme für virtuelle Realität hervorgebracht, die erheblich verbesserte Benutzererlebnisse bieten. Im Ergebnis werden Systeme für virtuelle Realität immer beliebter und es wird erwartet, dass sie schon bald einen Grundbestandteil von Unterhaltungssystemen für Zuhause, Attraktionen in Vergnügungsparks, berufsbezogenen Ausbildungswerkzeugen, Unterrichtsmethoden usw. bilden werden.
Figurenliste

1 stellt ein beispielhaftes System für virtuelle Realität dar, das eine beispielhafte Konsole für virtuelle Realität zum Anordnen von Segmenten eines Bildes zum Codieren und zur Übertragung an eine beispielhafte am Kopf befestigte visuelle Anzeige (Head-Mounted Display bzw. im Folgenden Datenbrille) des Systems für virtuelle Realität gemäß Lehren dieser Offenbarung beinhaltet.
2 ist ein Blockschaltbild der beispielhaften Konsole für virtuelle Realität von 1 und der beispielhaften Datenbrilleneinheit von 1.
3 ist ein beispielhaftes Bild, das in neun Bildsegmente aufgeteilt ist.
4A ist eine beispielhafte Bildsegment-Warteschlange, die Bildsegmente enthält, die in einer abtastzeilengemäßen Reihenfolge angeordnet sind.
4B ist eine beispielhafte Bildsegment-Warteschlange, die Bildsegmente enthält, die in einer ersten verbesserten Codierungsreihenfolge angeordnet sind.
5 ist eine Tabelle, die eine abtastzeilengemäße Decodierungsreihenfolge, die beispielhafte erste verbesserte Codierungsreihenfolge und einen Unterschied bei den Zeiträumen zwischen der Codierung jedes Bildsegments und der Decodierung jedes Bildsegments darstellt.
6A ist eine Kurve, die eine beispielhafte Erfolgsquote bei der Decodierung darstellt, die für jedes Bildsegment erreicht wird, wenn eine abtastzeilengemäße Codierungsreihenfolge verwendet wird.
6B ist eine Kurve, die eine beispielhafte Erfolgsquote bei der Decodierung darstellt, die für jedes Bildsegment erreicht wird, wenn die erste verbesserte Codierungsreihenfolge zum Codieren/Übertragen der Bildsegmente verwendet wird.
7 ist eine beispielhafte Bildsegment-Warteschlange, die Bildsegmente enthält, die in einer zweiten verbesserten Codierungsreihenfolge angeordnet sind.
8 ist eine Tabelle, die eine abtastzeilengemäße Decodierungsreihenfolge, die beispielhafte zweite verbesserte Codierungsreihenfolge und einen Unterschied bei den Zeiträumen zwischen der Codierung jedes Bildsegments und der Decodierung jedes Bildsegments darstellt.
9 ist eine Kurve, die eine beispielhafte Erfolgsquote bei der Decodierung darstellt, die für jedes Bildsegment erreicht wird, wenn die zweite verbesserte Codierungsreihenfolge zum Codieren/Übertragen der Bildsegmente verwendet wird.
10 ist ein Flussdiagramm, das für beispielhafte maschinenlesbare Anweisungen repräsentativ ist, die ausgeführt werden können, um die beispielhafte Konsole für virtuelle Realität von 1 und/oder 2 zu implementieren.
11 ist ein Flussdiagramm, das für beispielhafte maschinenlesbare Anweisungen repräsentativ ist, die ausgeführt werden können, um die beispielhafte Datenbrilleneinheit von 1 und/oder 2 zu implementieren.
12 ist ein Blockschaltbild einer beispielhaften Verarbeitungsplattform, die strukturiert ist, um die Anweisungen von 10 zum Implementieren der beispielhaften Konsole für virtuelle Realität von 1 und/oder 2 auszuführen.
13 ist ein Blockschaltbild einer beispielhaften Verarbeitungsplattform, die strukturiert ist, um die Anweisungen von 11 zum Implementieren der beispielhaften Datenbrilleneinheit von 1 und 2 auszuführen.

Die Figuren sind nicht maßstabsgetreu. Im Allgemeinen werden die gleichen Bezugszeichen in der bzw. den Zeichnung(en) und der gesamten begleitenden schriftlichen Beschreibung verwendet, um auf die gleichen oder ähnliche Teile zu verweisen.
AUSFÜHRLICHE BESCHREIBUNG
Systeme für virtuelle Realität werden voraussichtlich zu einem Grundbestandteil von Heimunterhaltungssystemen, da jüngste Fortschritte in der zugrundeliegenden Technologie das Benutzererlebnis wesentlich verbessert haben. Bei aktuellen drahtlosen Systemen für virtuelle Realität kommuniziert eine Konsole für virtuelle Realität über eine drahtlose Verbindung mit einer Datenbrille, die von einem Benutzer getragen wird. Über die drahtlose Verbindung übertragene Informationen beinhalten Bilder, die, wenn sie auf einem Bildschirm der Datenbrille angezeigt werden, dem Benutzer/Träger die Illusion verleihen, eine virtuelle Realität zu betreten.
Bei herkömmlichen Systemen für virtuelle Realität ändert sich die Bandbreite/der Datendurchsatz der drahtlosen Verbindung, durch welche die Konsole für virtuelle Realität mit der Datenbrille kommuniziert, dynamisch, je nachdem, wie sich die Ausrichtung der Datenbrille ändert. Somit ändert sich, je nachdem, wie sich der Kopf des Benutzers/Trägers bewegt, die Ausrichtung der Datenbrille und damit ändert sich die Qualität der drahtlosen Verbindung.
Bedauerlicherweise führen die Änderungen der Ausrichtung in einigen Fällen dazu, dass die Qualität der drahtlosen Verbindung so weit abnimmt, dass die Zuführung von Bilddaten negativ beeinflusst wird. In einigen Fällen gehen ein oder mehrere Segmente/Bereiche/Abschnitte eines Bildfelds, das auf der Datenbrille angezeigt werden soll, während der Zuführung verloren und/oder die Zuführung eines oder mehrerer Bildfelder verzögert sich. Ein Decodierer der Datenbrilleneinheit decodiert die empfangenen Bildsegmente, um das Bildfeld (auch als das Bild bezeichnet) auf der Datenbrille wiederzugeben. Wenn ein Bildsegment, das einem aktuellen Bild entspricht, verloren geht oder zu spät empfangen wird, um zeitnah decodiert zu werden, veranlasst der Decodierer, dass Bilddaten aus einem entsprechenden Bildsegment eines zuvor angezeigten Bildes auf der Anzeige wiedergegeben werden.
Zusätzlich oder alternativ dazu können ein oder mehrere andere Algorithmen zur Fehlerabschwächung und Fehlerbehebung verwendet werden um das fehlende Bildsegment auszugleichen. Obwohl solche Verfahrensweisen zur Fehlerkorrektur/-abschwächung helfen, die negativen Wirkungen abzuschwächen, die durch die verlorenen oder verzögerten Bildsegmente verursacht wurden, können die verlorenen/verzögerten Segmente immer noch eine negative Wirkung auf das Benutzererlebnis ausüben. In einigen solcher Fälle können Bilder, die unter Verwendung von aktuell und zuvor übertragenen Bildsegmenten wiedergegeben werden, Artefakte aufweisen, die für das menschliche Auge wahrnehmbar sind und dazu dienen, die Illusion des Erlebnisses der virtuellen Realität zu beeinträchtigen. Somit besteht ein andauernder Bedarf, die Weise zu verbessern, in der Bildsegmente codiert bzw. an die Datenbrilleneinheit zugeführt werden.
Die hier offenbarte Technologie für virtuelle Realität verbessert den Durchsatz einer drahtlosen Verbindung zwischen einer Konsole für virtuelle Realität und einer Datenbrille wesentlich durch Anordnen der Bildsegmente in einer nichtabtastzeilen-gemäßen Reihenfolge zum Codieren und zur Übertragung. Bei herkömmlichen Systemen wird ein Bild, das von der Konsole an die Datenbrille übertragen werden soll, in kleinere Segmente (hier auch als Abschnitte, Bereiche, Teile, Partitionen usw. bezeichnet) segmentiert/partitioniert. Das Segmentieren/Partitionieren führt dazu, dass das Bild in einen Satz von Reihen aufgeteilt wird, die weiter in Spalten aufgeteilt werden, wodurch ein Raster von Bildsegmenten ausgebildet wird. Die Bildsegmente werden nummeriert, beginnend bei der obersten Reihe, und jedem Segment in der obersten Reihe wird eine Zahl zugewiesen, wobei von links nach rechts fortgefahren wird, bis das Ende der obersten (ersten) Reihe erreicht ist. Als Nächstes beginnt die Nummerierung wieder bei dem am weitesten links stehenden Segment der zweiten Reihe. Die Nummerierung fährt auf diese Weise fort (Reihe für Reihe, von oben nach unten und innerhalb einer Reihe von links nach rechts), bis allen Bildsegmenten eine Zahl zugewiesen ist. Dies wird hier als ein(e) abtastzeilengemäße(s) Reihenfolge/Anordnen der Bildsegmente bezeichnet, da die Bildsegmente in der Weise, in der das Bild abgetastet wird (z. B. von oben nach unten und von links nach rechts) angeordnet werden. Somit werden bei einem Bild, das in neun Segmente aufgeteilt ist, die in drei Reihen und drei Spalten enthalten sind, die drei Segmente der obersten Reihe mit eins, zwei und drei von links nach rechts nummeriert. Die drei Segmente der zweiten Reihe werden von links nach rechts mit vier, fünf und sechs nummeriert und die drei Segmente der dritten Reihe werden von links nach rechts mit sieben, acht und neun nummeriert.
Bei herkömmlichen Systemen für virtuelle Realität werden die nummerierten Segmente in abtastzeilengemäßer Reihenfolge codiert (und dann übertragen), z. B. wird das Segment 1 zuerst codiert, gefolgt von den Segmenten 2, 3, 4, 5, 6, 7, 8 und zuletzt dem Segment 9. Die codierten Segmente werden auch von der Konsole für virtuelle Realität an die Datenbrille in abtastzeilengemäßer Reihenfolge übertragen, z. B. von 1-9.
Jedoch ist in der Regel die Mitte eines Bildes für den Benutzer optisch wichtiger, da der Blick des Benutzers auf ihr ruht. Darüber hinaus ist die Wiedergabetreue des Inhalts aufgrund des Designs einer Linse, die bei Datenbrillen beinhaltet ist, in der Mitte des Bildes am höchsten. Somit ist in dem beispielhaften vorstehenden Neun-Segment-Bild das Bildsegment 5, das Inhalt enthält, der sich in der Bildmitte befindet, wichtiger für die Vollständigkeit des Bildes, das auf der Datenbrilleneinheit angezeigt wird, als die anderen Bildsegmente. Dennoch wird, wie vorstehend erläutert, das Segment 5 bei einem herkömmlichen System für virtuelle Realität an die Datenbrille nach den Segmenten 1, 2, 3 und 4 codiert und kommuniziert.
Wie vorstehend erwähnt, verändert eine Kopfbewegung des Benutzers/Trägers der Datenbrilleneinheit die Ausrichtung der Datenbrilleneinheit, wodurch sich der Zustand der drahtlosen Verbindung verschlechtert. In einigen Fällen löst die Neuausrichtung der Datenbrilleneinheit einen Strahlformungsvorgang aus, durch welchen ein drahtloser Sender der Konsole für virtuelle Realität versucht, einen drahtlosen Strahl, durch welchen die drahtlose Verbindung mit der Datenbrilleneinheit kommuniziert, neu auszurichten. Im Ergebnis hält der Sender der Konsole für virtuelle Realität die Übertragung von Bildsegmenten an, bis der Strahl neu ausgerichtet ist. Dieser Anhaltevorgang der Übertragung kann einige wenige Millisekunden dauern, wodurch die Zuführung der Bildsegmente verzögert wird. Leider kann die Verzögerung, die sich durch die Strahlneuausrichtung ergibt, dazu führen, dass ein oder mehrere der Bildsegmente zu spät an einem Decodierer der Datenbrilleneinheit eintreffen, was wiederum ein Versagen der Bildsegmentzuführung ergeben kann. Ferner kann, Bezug nehmend auf das beispielhafte vorstehende Neun-Segment-Bild, ein Versagen der Bildsegmentzuführung des Bildsegments 5 eine größere Auswirkung auf die Vollständigkeit des sich ergebenden Bildes haben, das auf der Datenbrilleneinheit wiedergegeben wird, als ein Versagen der Zuführung anderer Segmente, da das Bildsegment 5 Inhalt enthält, der in der Mitte des Bildes liegt.
Das hier offenbarte System für virtuelle Realität verbessert das Benutzererlebnis durch das Ermöglichen der Anzeige eines satteren, höher qualitativen Bild-/Videoinhalts. Die Anzeige eines satteren, höher qualitativen Bild-/Videoinhalts wird ermöglicht, indem die Bildsegmente in einer nichtabtastzeilengemäßen Reihenfolge zum Codieren und zur Übertragung an die Datenbrille angeordnet werden. Bei einigen Beispielen werden die Bildsegmente in einer Weise angeordnet, die den Bildsegmenten, die Bildmitteninhalt aufweisen, einen größeren Zeitraum bereitstellen, um die Datenbrilleneinheit zu erreichen. Daher besteht eine höhere Wahrscheinlichkeit dafür, dass die Bildsegmente von höherer Priorität, die wichtigeren Bildinhalt enthalten, an der Datenbrille empfangen werden (z. B. nicht verloren gehen) und in einem Zeitraum empfangen werden, der ausreicht, um ein Decodieren zu gestatten (z. B. ohne eine unzulässige Verzögerung). Im Ergebnis sind die Bilder, die von der Datenbrille nach dem offenbarten System für virtuelle Realität wiedergegeben werden, weniger störanfällig und stellen dem Benutzer ein volleres und realistischeres Erlebnis der virtuellen Realität bereit.
Die hier offenbarten Technologien sind nicht nur auf Systeme für virtuelle Realität anwendbar, sondern auch auf Systeme für gemischte Realität und erhöhte Realität. In der Tat können die hier offenbarten Technologien verwendet werden, um jedes System, das drahtlos Bilder/Bildsegmente an eine Fern-Anzeigeeinheit transportiert, zu verbessern.
1 ist eine beispielhafte Implementierung eines beispielhaften Systems für virtuelle Realität 100, das eine beispielhafte Konsole für virtuelle Realität 110 beinhaltet, die drahtlos mit einer beispielhaften, von einem Benutzer 130 getragenen Datenbrille für virtuelle Realität 120 kommuniziert. Bei einigen Beispielen überträgt die Konsole für virtuelle Realität 110 drahtlos Bilddaten an die Datenbrille 120, welche die Bilddaten zum Wiedergeben eines entsprechenden Bildes zur Ansicht durch den Benutzer 130 verwendet.
2 ist ein Blockschaltbild einer beispielhaften Implementierung der beispielhaften Konsole für virtuelle Realität 110 und der beispielhaften Datenbrilleneinheit 120 von 1. Bei einigen Beispielen beinhaltet die Konsole für virtuelle Realität 110 eine beispielhafte Bildverarbeitungsvorrichtung 202, die sich in Kommunikation mit einem beispielhaften Speicher (z. B. einem Arbeitsspeicher) 204, der Software-Anweisungen und/oder Bild-/Videodaten speichert, einem beispielhaften Segmentierer 206, einer beispielhaften Segment-Warteschlange 208 und einer beispielhaften Segment-Anordnungsvorrichtung 210, einem beispielhaften Codierer 212 und einem beispielhaften drahtlosen Sender 214 befindet. Bei einigen Beispielen beinhaltet die beispielhafte Datenbrilleneinheit 120 einen beispielhaften drahtlosen Empfänger 216, einen beispielhaften Decodierer-Speicher 217, einen beispielhaften Decodierer 218 und eine/n beispielhafte/n Anzeige /Bildschirm/Linse 220, auf welcher/m Bilder wiedergegeben werden.
Bei einigen Beispielen verarbeitet, generiert und/oder wählt die beispielhafte Bildverarbeitungsvorrichtung 202 ein Bildfeld aus, das an die Datenbrille 120 zugeführt werden soll, um dort wiedergegeben zu werden. Bei einigen Beispielen identifiziert die Bildverarbeitungsvorrichtung 202 für den beispielhaften Bildsegmentierer 206 einen Ort im beispielhaften Speicher 204, in dem das Bildfeld gespeichert ist. Der Bildsegmentierer 206 reagiert auf die Ortsinformationen durch Segmentieren/Teilen/Partitionieren des Bildfelds in einen Satz von Bildsegmenten (hier auch als Bildabschnitte, Bildbereiche, Bildteile, Bildkacheln usw. bezeichnet).
3 stellt ein beispielhaftes Bildfeld 300 dar, das in einen Satz von Bildsegmenten aufgeteilt ist. Bei einigen Beispielen segmentiert/teilt der beispielhafte Bildsegmentierer 206 das Bildfeld in Bildsegmente auf durch Aufteilen des Bildfelds 300 in einen Satz von Reihen (z. B. eine obere Reihe 304, eine mittlere Reihe 306 und eine untere Reihe 308) und einen Satz von Spalten (z. B. eine erste Spalte 310, eine zweite Spalte 312 und eine dritte Spalte 314), um dadurch ein Raster auszubilden, das die Bildsegmente definiert. Bei einigen Beispielen kann das Bild in jede Anzahl von Reihen/Spalten oder auf jede gewünschte Art aufgeteilt werden. Zu Referenzzwecken wird auf die Bildsegmente durch Verwenden von Zahlen verwiesen, die in aufsteigender Reihenfolge Reihe für Reihe, beginnend bei der oberen Reihe, verlaufen und innerhalb jeder Reihe von links nach rechts verlaufen. Im Ergebnis werden die Bildsegmente der obersten Reihe als ein erstes Bildsegment 318, ein zweites Bildsegment 316 und ein drittes Bildsegment 320 bezeichnet. In ähnlicher Weise werden die Bildsegmente der mittleren Reihe als das vierte Bildsegment 322, das fünfte Bildsegment 324 und das sechste Bildsegment 326 bezeichnet. Und die Bildsegmente der unteren Reihe werden als das siebte Bildsegment 328, das achte Bildsegment 330 und das neunte Bildsegment 332 bezeichnet.
Zu Referenzzwecken werden die Bildsegmente 316 - 332 auch als einer von drei Ebenen zugeordnet beschrieben. Die erste Ebene enthält das mittelste Bildsegment (z. B. das fünfte Bildsegment 324), die zweite Ebene enthält Bildsegmente, die eine gemeinsame Grenze mit dem mittelsten, fünften Bildsegment haben (z. B. das zweite Bildsegment 318, das vierte Bildsegment 322, das sechste Bildsegment 326 und das achte Bildsegment 330) und die dritte Ebene enthält Bildsegmente, die peripher zum mittelsten, fünften Bildsegment 324 liegen (z. B. das erste Bildsegment 316, das dritte Bildsegment 320, das siebte Bildsegment 328 und das neunte Bildsegment 332). Wie aus 3 ersichtlich ist, enthalten die peripheren Bildsegmente Bildinhalt, der sich an den Ecken des Bildfelds 300 befindet.
Bei einigen Beispielen stellt der beispielhafte Segmentierer 206 die Bildsegmente in eine beispielhafte Segment-Warteschlange 208 in einer herkömmlichen (auch bezeichnet als abtastzeilengemäße) Reihenfolge. Bei einigen Beispielen ist die abtastzeilengemäße die von herkömmlichen Systemen für virtuelle Realität verwendete Reihenfolge, um Bildsegmente zu codieren/übertragen. Somit belegt das erste Segment 316 eine erste Position in der abtastzeilengemäßen Reihenfolge und in der Segment-Warteschlange 208, das zweite Segment 318 belegt eine zweite Position in der abtastzeilengemäßen Reihenfolge und in der Segment-Warteschlange 208, das dritte Segment 320 belegt eine dritte Position in der abtastzeilengemäßen Reihenfolge und in der Segment-Warteschlange 208 und so weiter.
Bei einigen Beispielen benachrichtigt der beispielhafte Bildsegmentierer 206 die beispielhafte Segment-Anordnungsvorrichtung 210, wenn die Bildsegmente in abtastzeilengemäßer Reihenfolge in die Segment-Warteschlange 208 gestellt werden. In Reaktion auf die Benachrichtigung ordnet die Segment-Anordnungsvorrichtung 210 die Bildsegmente in der Segment-Warteschlange 208 gemäß einer ersten beispielhaften verbesserten Codierungsreihenfolge neu.
4A stellt die Bildsegmente dar, die in der abtastzeilengemäßen Reihenfolge 410 in die beispielhafte Segment-Warteschlange 208 gestellt sind, und 4B stellt die Bildsegmente in der ersten beispielhaften verbesserten Codierungsreihenfolge 420 dar. Bei einigen Beispielen ordnet die beispielhafte Segment-Anordnungsvorrichtung 210 die Bildsegmente in der Segment-Warteschlange 208 in der ersten verbesserten Codierungsreihenfolge neu, sodass das fünfte Bildsegment 324 die erste Position belegt, das zweite Bildsegment 318 die zweite Position belegt, das erste Bildsegment 316 die dritte Position belegt, das vierte Bildsegment 322 die vierte Position belegt, das dritte Bildsegment 320 die fünfte Position belegt, das sechste Bildsegment 326 die sechste Position belegt, das siebte Bildsegment 328 die siebte Position belegt, das achte Bildsegment 330 die achte Position belegt und das neunte Bildsegment 332 die neunte Position belegt. Nachdem die Segment-Anordnungsvorrichtung 210 die Bildsegmente in der nichtabtastzeilengemäßen Reihenfolge neu angeordnet hat, benachrichtigt die Segment-Anordnungsvorrichtung 210 den beispielhaften Codierer 212, der die Bildsegmente aus der Segment-Warteschlange 208 extrahiert und in der ersten verbesserten Codierungsreihenfolge codiert. Der Codierer 212 liefert die codierten Bildsegmente an den beispielhaften drahtlosen Sender 214 in der ersten verbesserten Codierungsreihenfolge. Der drahtlose Sender 214 überträgt die codierten Segmente an die beispielhafte Datenbrilleneinheit 120 in der ersten verbesserten Codierungsreihenfolge.
Der beispielhafte drahtlose Empfänger 216 der beispielhaften Datenbrilleneinheit 120 empfängt die Bildsegmente in der ersten beispielhaften verbesserten Codierungsreihenfolge. Bei einigen Beispielen decodiert der beispielhafte Decodierer 218 die Bildsegmente in der vorstehend beschriebenen abtastzeilengemäßen Reihenfolge (z. B. wird das erste Bildsegment 316 zuerst decodiert, das zweite Bildsegment 320 wird als zweites decodiert, das dritte Bildsegment 322 wird als drittes decodiert und so weiter.) Der Decodierer 218 führt dann die decodierten Bildsegmente in der abtastzeilengemäßen Reihenfolge an eine/n Bildschirm/Anzeige/Linse 222 der Datenbrilleneinheit 120 zu, um darauf wiedergegeben zu werden.
5 ist eine Tabelle 500, die einen Vergleich der abtastzeilengemäßen Reihenfolge, in welcher der beispielhafte Decodierer 218 die Bildsegmente decodiert (siehe die erste Reihe 510 von 5), mit der ersten beispielhaften verbesserten Codierungsreihenfolge, in welcher Bildsegmente codiert bzw. an die Datenbrilleneinheit 120 (siehe die zweite Reihe 520 von 5) übertragen werden, darstellt. Da sich die abtastzeilengemäße Reihenfolge und die erste verbesserte Codierungsreihenfolge voneinander unterscheiden, identifiziert 5 auch einen Zeitunterschied (siehe die dritte Reihe 530 von 5) zwischen dem Codieren/Übertragen jedes Bildsegments und dem Decodieren jedes Bildsegments. Die Zeitunterschiede der dritten Reihe 530 von 5 sind als ein Vielfaches eines Zeitraums „t₀ “ wiedergegeben, in welchem erwartet wird, dass ein Bildsegment an dem beispielhaften Decodierer 218 (siehe 2) eintrifft, nachdem es von dem beispielhaften drahtlosen Sender 214 (siehe 2) übertragen wurde. Fälle, in denen die Übertragungszeit eines Bildsegments nach der Zeit auftritt, zu der das Decodieren zu erfolgen eingestellt ist, werden unter Verwendung einer negativen Zahl angezeigt.
Wie in der ersten Reihe 510 von 5 dargestellt, gibt die abtastzeilengemäße Decodierungsreihenfolge an, dass das erste Bildsegment 316 als erstes decodiert wird, das zweite Bildsegment 318 als zweites decodiert wird, das dritte Bildsegment 320 als drittes decodiert wird und so weiter, bis alle neun Bildsegmente decodiert und angezeigt sind. Wie in der zweiten Reihe 520 von 5 dargestellt, gibt die erste verbesserte Codierungsreihenfolge an, dass das fünfte Bildsegment 324 als erstes codiert wird, das zweite Bildsegment 318 als zweites codiert wird, das erste Bildsegment 316 als drittes codiert wird, das vierte Bildsegment 322 als viertes codiert wird, das dritte Bildsegment 320 als fünftes codiert wird, das sechste Bildsegment 326 als sechstes codiert wird, das achte Bildsegment 328 als siebtes codiert wird, das siebte Bildsegment 330 als achtes codiert wird und das neunte Bildsegment 332 als neuntes codiert wird. Die dritte Reihe 530 von 5 stellt die Wirkungen des Verwendens der abtastzeilengemäßen Reihenfolge zum Decodieren der Bildsegmente dar, wenn die erste verbesserte Codierungsreihenfolge zum Codieren/Übertragen jedes der Bildsegmente verwendet wird.
Wie in Reihe drei 530 von 5 dargestellt, wird, wenn die erste verbesserte Codierungsreihenfolge zum Codieren/Übertragen von Segmenten eines Bildes verwendet wird, das fünfte Bildsegment 324 vier Zeiträume (4t₀ ) früher codiert/übertragen, als der beispielhafte Decodierer 218 (siehe 2) zum Decodieren des fünften Bildsegments 324 bereit ist. Im Gegensatz dazu wird, wenn die abtastzeilengemäße Reihenfolge zum Codieren/Übertragen verwendet wird, das fünfte Bildsegment 324 in einem gleichen Zeitraum codiert/übertragen und decodiert. Somit stellt die erste verbesserte Codierungsreihenfolge dem fünften Bildsegment 324 zusätzliche Zeit bereit, um am Decodierer 218 einzutreffen, und erhöht dadurch die Wahrscheinlichkeit eines erfolgreichen Decodierens des fünften Bildsegments 324, verglichen mit dem Verwenden der abtastzeilengemäßen Reihenfolge für die Bildsegment-Codierung und -Übertragung. Im Gegensatz dazu wird, wenn die erste verbesserte Codierungsreihenfolge zum Codieren/Übertragen verwendet wird, das zweite Bildsegment 318 in dem gleichen Zeitraum codiert/übertragen, in dem der Decodierer 218 zum Decodieren des zweiten Bildsegments 318 bereit ist. Dasselbe gilt, wenn die abtastzeilengemäße Reihenfolge zum Codieren/Übertragen verwendet wird. Somit weist die Verwendung der ersten verbesserten Codierungsreihenfolge für das zweite Bildsegment 318 die gleiche Erfolgswahrscheinlichkeit wie das Verwenden der abtastzeilengemäßen Reihenfolge auf.
Weiter Bezug nehmend auf Reihe drei 530 von 5 wird, wenn die erste verbesserte Codierungsreihenfolge verwendet wird, das erste Bildsegment 316 zwei Zeiträume später codiert/übertragen als ein Zeitraum, in dem der Decodierer 218 bereit ist, mit dem Decodieren des ersten Bildsegments 316 zu beginnen. Im Gegensatz dazu wird, wenn die abtastzeilengemäße Reihenfolge zum Codieren/Übertragen verwendet wird, das erste Bildsegment 316 in einem gleichen Zeitraum codiert/übertragen und decodiert. Somit wirkt sich ein Verwenden der ersten verbesserten Codierungsreihenfolge negativ auf die Wahrscheinlichkeit eines erfolgreichen Decodierens des ersten Bildsegments 316 aus, verglichen mit dem Verwenden der abtastzeilengemäßen Reihenfolge zum Codieren. Wenn die erste verbesserte Codierungsreihenfolge zum Codieren/Übertragen verwendet wird, wird das vierte Bildsegment 322 in einem gleichen Zeitraum codiert/übertragen und decodiert. Gleichermaßen wird, wenn die abtastzeilengemäße Reihenfolge zum Codieren/Übertragen verwendet wird, das vierte Bildsegment 322 in einem gleichen Zeitraum codiert/übertragen und decodiert. Somit ändert ein Verwenden der ersten verbesserten Codierungsreihenfolge die Wahrscheinlichkeit eines erfolgreichen Decodierens des vierten Bildsegments 322 nicht, verglichen mit dem Verwenden der abtastzeilengemäßen Reihenfolge. Wenn die erste verbesserte Codierungsreihenfolge zum Codieren/Übertragen verwendet wird, wird das dritte Bildsegment 320 zwei Zeiträume später als ein Zeitpunkt codiert/übertragen, zu dem der Decodierer 218 bereit ist, mit dem Decodieren des dritten Bildsegments 320 zu beginnen. Wenn die abtastzeilengemäße Reihenfolge zum Codieren/Übertragen verwendet wird, wird das dritte Bildsegment 316 in einem gleichen Zeitraum codiert/übertragen und decodiert. Somit beeinflusst das Verwenden der ersten verbesserten Codierungsreihenfolge die Wahrscheinlichkeit eines erfolgreichen Decodierens des dritten Bildsegments 320 negativ, verglichen mit dem Verwenden der abtastzeilengemäßen Reihenfolge zum Codieren.
Noch Bezug nehmend auf 5 wird, wenn die erste verbesserte Codierungsreihenfolge zum Codieren/Übertragen verwendet wird, das sechste Bildsegment 326 in einem gleichen Zeitraum codiert/übertragen und decodiert. Dasselbe gilt für das sechste Bildsegment 326, wenn die abtastzeilengemäße Reihenfolge verwendet wird. Somit ändert das Verwenden der ersten verbesserten Codierungsreihenfolge die Wahrscheinlichkeit eines erfolgreichen Decodierens des sechsten Bildsegments 326 nicht, verglichen mit dem Verwenden der abtastzeilengemäßen Reihenfolge zum Codieren. Wenn im Gegensatz dazu die erste verbesserte Codierungsreihenfolge zum Codieren/Übertragen verwendet wird, wird das achte Bildsegment 330 einen Zeitraum früher codiert/übertragen als ein Zeitpunkt, zu dem der beispielhafte Decodierer 218 (siehe 2) bereit ist, mit dem Decodieren des achten Bildsegments 330 zu beginnen. Im Gegensatz dazu wird, wenn die abtastzeilengemäße Reihenfolge zum Codieren/Übertragen verwendet wird, das achte Bildsegment 316 in einem gleichen Zeitraum codiert/übertragen und decodiert. Somit gibt das Verwenden der ersten verbesserten Codierungsreihenfolge dem achten Bildsegment 330 mehr Zeit, um am Decodierer 218 einzutreffen, wodurch es die Wahrscheinlichkeit eines erfolgreichen Decodierens des achten Bildsegments 330 positiv beeinflusst, verglichen mit dem Verwenden der abtastzeilengemäßen Reihenfolge zum Codieren.
Noch Bezug nehmend auf 5 wird, wenn die erste verbesserte Codierungsreihenfolge zum Codieren/Übertragen verwendet wird, das siebte Bildsegment 328 einen Zeitraum später codiert/übertragen als ein Zeitpunkt, zu dem der beispielhafte Decodierer 218 (siehe 2) bereit ist, mit dem Decodieren des siebten Bildsegments 328 zu beginnen. Im Gegensatz dazu wird, wenn die abtastzeilengemäße Reihenfolge zum Codieren/Übertragen verwendet wird, das siebte Bildsegment 316 in einem gleichen Zeitraum codiert/übertragen und decodiert. Somit gibt ein Verwenden der ersten verbesserten Codierungsreihenfolge dem siebten Bildsegment 328 weniger Zeit, um am Decodierer 218 einzutreffen, als der bereitgestellte Zeitraum, wenn die abtastzeilengemäße Reihenfolge verwendet wird. Im Ergebnis beeinflusst die Verwendung der ersten verbesserten Codierungsreihenfolge die Wahrscheinlichkeit eines erfolgreichen Decodierens des siebten Bildsegments 328 negativ, verglichen mit dem Verwenden der abtastzeilengemäßen Reihenfolge zum Codieren.
Wenn die erste verbesserte Codierungsreihenfolge zum Codieren/Übertragen verwendet wird, wird das neunte Bildsegment 328 in einem gleichen Zeitraum codiert/übertragen und decodiert. Dasselbe gilt, wenn die abtastzeilengemäße Codierung verwendet wird. Somit ändert das Verwenden der ersten verbesserten Codierungsreihenfolge die Wahrscheinlichkeit eines erfolgreichen Decodierens des neunten Bildsegments 328 nicht, verglichen mit dem Verwenden der abtastzeilengemäßen Reihenfolge zum Codieren.
Um die Wirkung des Verwendens der ersten verbesserten Codierungsreihenfolge gegenüber dem Verwenden der abtastzeilengemäßen Reihenfolge zum Codieren/Übertragen der Bildsegmente weiter zu quantifizieren, zeigt 6A eine Kurve, die eine beispielhafte Erfolgsquote des Empfangens und Decodierens eines jeden der neun Bildsegmente darstellt, wenn die neun Bildsegmente in abtastzeilengemäßer Reihenfolge codiert/übertragen (und decodiert) werden. Bei dem dargestellten Beispiel beträgt die Erfolgsquote des Empfangens und Decodierens für jedes aus den neun Bildsegmenten 90 %, wenn die abtastzeilengemäße Reihenfolge zum Codieren/Übertragen und zum Decodieren der Bildsegmente verwendet wird. 6B zeigt eine Kurve, die eine beispielhafte Erfolgsquote des Empfangens und Decodierens eines jeden der neun Bildsegmente darstellt, wenn die Bildsegmente in der ersten beispielhaften verbesserten Codierungsreihenfolge codiert/übertragen werden und in der abtastzeilengemäßen Reihenfolge decodiert werden. Im dargestellten Beispiel von 6B beträgt die Erfolgsquote des Empfangens und Decodierens des fünften Bildsegments 100 %, wenn die erste verbesserte Codierungsreihenfolge verwendet wird. Die Erfolgsquote des Empfangens und Decodierens des zweiten, vierten, sechsten und neunten Bildsegments beträgt 90 %, wenn die erste verbesserte Codierungsreihenfolge verwendet wird. Dies wird erwartet, weil das zweite, vierte, sechste und neunte Bildsegment sowohl bei der herkömmlichen als auch bei der modifizierten Reihenfolge die gleiche Position belegen. Die Erfolgsquote des Empfangens und Decodierens des ersten, dritten und siebten Bildsegments beträgt 80 % oder weniger, wenn die erste verbesserte Codierungsreihenfolge verwendet wird. Wie in der Tabelle von 5 ersichtlich, wird der Rückgang der Erfolgsquote von 90 % auf 80 % oder weniger durch die Verzögerung der Übertragung des ersten, dritten und siebten Bildsegments in der ersten verbesserten Codierungsreihenfolge bezogen auf die Decodierungszeit des ersten, dritten und siebten Bildsegments verursacht. Somit wird die erreichte Erfolgsquote bei Verwenden der ersten verbesserten Codierungsreihenfolge für das fünfte Bildsegment verbessert, welches die Mitte des Bildes enthält, und wird ebenfalls für das achte Bildsegment (welches nichtperipheren Bildinhalt enthält) verbessert. Da das fünfte Bildsegment und das achte Bildsegment nichtperipheren Bildinhalt enthalten, der zum Wiedergeben des Bildes wichtiger ist, verleiht die erhöhte Wahrscheinlichkeit des erfolgreichen Decodierens dieser Segmente dem Wiedergeben des Bildes, das aus den Bildsegmenten strukturiert ist, einen bedeutenden Nutzen. Obwohl die für das erste, dritte und siebte Bildsegment erreichten Erfolgsquoten ein Absinken von 90 % bis 80 % oder weniger erfahren, enthält jedes aus dem ersten, dritten und siebten Bildsegment peripheren Bildinhalt, der zum Wiedergeben des Bildes weniger wichtig ist und somit tolerierbar sein kann.
7 stellt beispielhaften Inhalt der beispielhaften Segment-Warteschlange 208 dar, wenn die beispielhaften Bildsegmente in einer zweiten verbesserten Codierungsreihenfolge angeordnet sind. Bei einigen Beispielen kann eine Erfolgsquote des Decodierens von unter 80 % für keines der Bildsegmente toleriert werden. Bei einigen dieser Beispiele kann die beispielhafte Segment-Anordnungsvorrichtung 210 alternativ dazu konfiguriert sein, die Bildsegmente in der beispielhaften Segment-Warteschlange 208 unter Verwendung einer zweiten beispielhaften verbesserten Codierungsreihenfolge anzuordnen. Bei einigen dieser Beispiele ordnet die Segment-Anordnungsvorrichtung 210 in Reaktion auf die Benachrichtigung von dem beispielhaften Bildsegmentierer 206, die angibt, dass die Segmente in die Warteschlange 208 gestellt wurden, die Bildsegmente in der zweiten verbesserten Codierungsreihenfolge neu. Bei einigen Beispielen, wenn die Segment-Anordnungsvorrichtung 210 die Bildsegmente in der zweiten verbesserten modifizierten Reihenfolge anordnet, belegt das zweite Bildsegment 318 die erste Position in der Segment-Warteschlange 208, belegt das erste Bildsegment 316 die zweite Position, belegt das fünfte Bildsegment 324 die dritte Position, belegt das dritte Segment 320 die vierte Position, belegt das vierte Bildsegment 322 die fünfte Position, belegt das sechste Bildsegment 326 die sechste Position, belegt das achte Bildsegment 330 die siebte Position, belegt das siebte Bildsegment 328 die achte Position und belegt das neunte Segment 332 die neunte Position. Nachdem die Segment-Anordnungsvorrichtung 210 die Bildsegmente in der Segment-Warteschlange 208 in der verbesserten modifizierten Reihenfolge neu angeordnet hat, benachrichtigt die beispielhafte Segment-Anordnungsvorrichtung 210 den beispielhaften Codierer 212 (siehe 2), der die Bildsegmente aus der Segment-Warteschlange 208 extrahiert und sie in der zweiten verbesserten Codierungsreihenfolge codiert. Der Codierer 212 führt dem beispielhaften drahtlosen Sender 214 die codierten Bildsegmente zu, der die codierten Bildsegmente drahtlos an die beispielhafte Datenbrilleneinheit 120 überträgt.
Wie vorstehend beschrieben, empfängt der beispielhafte drahtlose Empfänger 216 der beispielhaften Datenbrilleneinheit 120 die Bildsegmente in der zweiten verbesserten Codierungsreihenfolge. Bei einigen Beispielen decodiert der beispielhafte Decodierer 218 der Datenbrilleneinheit 120 die Bildsegmente in der vorstehend beschriebenen abtastzeilengemäßen Decodierungsreihenfolge (z. B. wird das erste Bildsegment zuerst decodiert, das zweite Bildsegment wird als zweites decodiert, das dritte Bildsegment wird als drittes decodiert und so weiter). Die Bildsegmente werden, sobald sie decodiert sind, in der abtastzeilengemäßen Decodierungsreihenfolge durch den Decodierer 218 an den/die beispielhafte/n Bildschirm/Anzeige/Linse 220 der Datenbrilleneinheit 120 zum Wiedergeben darauf zugeführt.
8 ist eine Tabelle 800 zum Vergleichen der abtastzeilengemäßen Reihenfolge, in welcher der Decodierer die Bildsegmente (die erste Reihe 810) decodiert, mit der beispielhaften zweiten verbesserten Codierungsreihenfolge, in welcher die Bildsegmente codiert/an die Datenbrilleneinheit 120 übertragen werden (die zweite Reihe 820). Da sich die abtastzeilengemäße Reihenfolge und die zweite verbesserte Codierungsreihenfolge unterscheiden, identifiziert 8 auch einen Zeitunterschied (die dritte Reihe 830) (in Vielfachen des Zeitraums „t₀ “) zwischen dem Codieren/Übertragen jedes Bildsegments und der Bereitschaft des beispielhaften Decodierers 218, jedes Bildsegment zu decodieren. Fälle, in denen der Zeitpunkt der Übertragung eines Bildsegments nach dem Zeitpunkt auftritt, zu welchem der Decodierer 218 bereit ist, das Bildsegment zu decodieren, werden unter Verwendung einer negativen Zahl angezeigt.
Wie in der ersten Reihe 810 von 8 dargestellt, decodiert der beispielhafte Decodierer 218 (siehe 2) die Bildsegmente in der abtastzeilengemäßen Reihenfolge derart, dass das erste Bildsegment 316 zuerst decodiert wird, das zweite Bildsegment 318 als zweites decodiert wird, das dritte Bildsegment 320 als drittes decodiert wird und so weiter, bis alle neun Bildsegmente decodiert und angezeigt sind. Wie in der zweiten Reihe 820 von 8 dargestellt, gibt die zweite verbesserte Codierungsreihenfolge an, dass das zweite Bildsegment 318 zuerst codiert wird, das erste Bildsegment 316 als zweites codiert wird, das fünfte Bildsegment 324 als drittes codiert wird, das dritte Bildsegment 320 als viertes codiert wird, das vierte Bildsegment 322 als fünftes codiert wird, das sechste Bildsegment 326 als sechstes codiert wird, das achte Bildsegment 330 als siebtes codiert wird, das siebte Bildsegment 328 als achtes codiert wird und das neunte Bildsegment 332 als neuntes codiert wird.
Die dritte Reihe 830 von 8 stellt die Wirkungen des Verwendens der abtastzeilengemäßen Reihenfolge dar, um die Bildsegmente zu decodieren, wenn die zweite verbesserte Codierungsreihenfolge zum Codieren/Übertragen eines jeden der Bildsegmente verwendet wird. Unter Verwendung der zweiten verbesserten Codierungsreihenfolge wird das zweite Bildsegment 318 einen Zeitraum (1t₀ ) früher codiert/übertragen, als der Decodierer 218 (siehe 2) bereit sein wird, das zweite Bildsegment 318 zu decodieren. Wenn im Gegensatz dazu die abtastzeilengemäße Reihenfolge zum Codieren/Übertragen und Decodieren verwendet wird, wird das zweite Bildsegment in einem gleichen Zeitraum codiert/übertragen und decodiert, somit weist das zweite Bildsegment eine größere Wahrscheinlichkeit auf, erfolgreich decodiert zu werden, wenn die verbesserte Codierungsreihenfolge zum Codieren/Übertragen verwendet wird, verglichen mit der abtastzeilengemäßen Reihenfolge. Wenn die zweite verbesserte Codierungsreihenfolge zum Codieren/Übertragen verwendet wird, wird das erste Bildsegment 316 einen Zeitraum später codiert/übertragen, als der Decodierer 218 bereit ist, das zweite Bildsegment 318 zu decodieren. Wenn im Gegensatz dazu die abtastzeilengemäße Reihenfolge verwendet wird, wird das erste Bildsegment in einem selben Zeitraum codiert/übertragen und decodiert. Somit wird die Wahrscheinlichkeit, dass das erste Bildsegment erfolgreich decodiert wird, durch Verwenden der zweiten verbesserten Codierungsreihenfolge negativ beeinflusst, verglichen mit dem Verwenden der abtastzeilengemäßen Reihenfolge zum Codieren/Übertragen.
Noch weiter Bezug nehmend auf Reihe drei 830 von 8 wird, wenn die zweite verbesserte Codierungsreihenfolge verwendet wird, das fünfte Bildsegment 324 zwei Zeiträume früher codiert/übertragen als ein Zeitraum, zu dem der Decodierer 218 bereit ist, mit dem Decodieren des fünften Bildsegments 324 zu beginnen. Wenn im Gegensatz dazu die abtastzeilengemäße Reihenfolge zum Codieren/Übertragen verwendet wird, wird das fünfte Bildsegment 324 im selben Zeitraum codiert/übertragen und decodiert. Somit beeinflusst das Verwenden der fünften verbesserten Codierungsreihenfolge die Wahrscheinlichkeit eines erfolgreichen Decodierens des fünften Bildsegments 324 positiv, verglichen mit dem Verwenden der abtastzeilengemäßen Reihenfolge zum Codieren. Wenn im Gegensatz dazu die zweite verbesserte Codierungsreihenfolge zum Codieren/Übertragen verwendet wird, wird das dritte Bildsegment 320 einen Zeitraum später codiert/übertragen, als der Decodierer 218 bereit ist, das dritte Bildsegment 320 zu decodieren. Wenn die abtastzeilengemäße Reihenfolge zum Codieren/Übertragen verwendet wird, wird das dritte Bildsegment im selben Zeitraum codiert/übertragen und decodiert. Somit weist das Verwenden der zweiten verbesserten Codierungsreihenfolge eine negative Auswirkung auf die Wahrscheinlichkeit eines erfolgreichen Decodierens des dritten Bildsegments 320 auf, verglichen mit dem Verwenden der abtastzeilengemäßen Reihenfolge.
Wenn die zweite verbesserte Codierungsreihenfolge zum Codieren/Übertragen verwendet wird, wird das vierte Bildsegment 322 einen Zeitraum später codiert/übertragen als zu einem Zeitpunkt, zu dem der beispielhafte Decodierer 218 (siehe 2) bereit ist, mit dem Decodieren des vierten Bildsegments 322 zu beginnen. Wenn im Gegensatz dazu die abtastzeilengemäße Reihenfolge zum Codieren/Übertragen verwendet wird, wird das vierte Bildsegment 322 im selben Zeitraum codiert/übertragen und decodiert. Somit beeinflusst das Verwenden der zweiten verbesserten Codierungsreihenfolge die Wahrscheinlichkeit eines erfolgreichen Decodierens des vierten Bildsegments 322 negativ, verglichen mit dem Verwenden der abtastzeilengemäßen Reihenfolge zum Codieren.
Noch Bezug nehmend auf 8 wird, wenn die zweite verbesserte Codierungsreihenfolge zum Codieren/Übertragen verwendet wird, das sechste Bildsegment 326 im selben Zeitraum codiert/übertragen und decodiert. Dasselbe gilt für das sechste Bildsegment 326, wenn die abtastzeilengemäße Reihenfolge verwendet wird. Somit ändert das Verwenden der zweiten verbesserten Codierungsreihenfolge die Wahrscheinlichkeit eines erfolgreichen Decodierens des sechsten Bildsegments 326 nicht, verglichen mit dem Verwenden der abtastzeilengemäßen Reihenfolge zum Codieren. Wenn die zweite verbesserte Codierungsreihenfolge zum Codieren/Übertragen verwendet wird, wird das achte Bildsegment 330 einen Zeitraum früher codiert/übertragen als zu einem Zeitpunkt, zu dem der beispielhafte Decodierer 218 (siehe 2) bereit ist, mit dem Decodieren des achten Bildsegments 330 zu beginnen. Wenn die abtastzeilengemäße Reihenfolge zum Codieren/Übertragen verwendet wird, wird das achte Bildsegment 330 im selben Zeitraum codiert/übertragen und decodiert. Somit gibt das Verwenden der zweiten verbesserten Codierungsreihenfolge dem achten Bildsegment 330 mehr Zeit, um am Decodierer 218 einzutreffen, wodurch es die Wahrscheinlichkeit eines erfolgreichen Decodierens des achten Bildsegments 330 positiv beeinflusst, verglichen mit dem Verwenden der abtastzeilengemäßen Reihenfolge zum Codieren.
Wenn die zweite verbesserte Codierungsreihenfolge zum Codieren/Übertragen verwendet wird, wird das siebte Bildsegment 328 einen Zeitraum später codiert/übertragen als zu einem Zeitpunkt, zu dem der beispielhafte Decodierer 218 (siehe 2) bereit ist, mit dem Decodieren des siebten Bildsegments 328 zu beginnen. Wenn im Gegensatz dazu die abtastzeilengemäße Reihenfolge zum Codieren/Übertragen verwendet wird, wird das siebte Bildsegment 328 im selben Zeitraum codiert/übertragen und decodiert. Somit gibt das Verwenden der zweiten verbesserten Codierungsreihenfolge dem siebten Bildsegment 328 weniger Zeit, um am Decodierer 218 einzutreffen, als der Zeitraum, der bereitgestellt ist, wenn die abtastzeilengemäße Reihenfolge verwendet wird. Im Ergebnis beeinflusst das Verwenden der zweiten verbesserten Codierungsreihenfolge die Wahrscheinlichkeit eines erfolgreichen Decodierens des siebten Bildsegments 328 negativ, verglichen mit dem Verwenden der abtastzeilengemäßen Reihenfolge zum Codieren.
Wenn die zweite verbesserte Codierungsreihenfolge zum Codieren/Übertragen verwendet wird, wird das neunte Bildsegment 332 im selben Zeitraum codiert/übertragen und decodiert. Dasselbe gilt, wenn die abtastzeilengemäße Codierung verwendet wird. Somit ändert das Verwenden der zweiten verbesserten Codierungsreihenfolge die Wahrscheinlichkeit eines erfolgreichen Decodierens des neunten Bildsegments 332 nicht, verglichen mit dem Verwenden der abtastzeilengemäßen Reihenfolge zum Codieren.
Somit erhöht das Verwenden der zweiten verbesserten Codierungsreihenfolge zum Codieren und Übertragen der Bildsegmente (verglichen mit dem Verwenden der abtastzeilengemäßen Reihenfolge) die Wahrscheinlichkeit eines erfolgreichen Decodierens des zweiten, fünften und achten Bildsegments, weist keine Wirkung auf die Wahrscheinlichkeit eines erfolgreichen Decodierens des sechsten und neunten Bildsegments auf und weist eine negative Wirkung auf die Wahrscheinlichkeit des erfolgreichen Decodierens des ersten, dritten, vierten und siebten Bildsegments auf. Wie vorstehend beschrieben, wird, wenn die zweite verbesserte Codierungsreihenfolge zum Codieren/Übertragen der Bildsegmente verwendet wird, die Wahrscheinlichkeit eines erfolgreichen Decodierens einiger der Bildsegmente (z. B. des ersten Bildsegments, des dritten Bildsegments, des vierten Bildsegments und des siebten Bildsegments) negativ beeinflusst. Bei einigen Beispielen wird diese negative Wirkung verringert, wenn der beispielhafte Codierer 212 (siehe 2) schneller codiert, als der beispielhafte Decodierer 218 die empfangenen Bildsegmente decodiert. Bei einigen Beispielen codiert der Codierer 212 beispielsweise in einer Rate von etwa 5 Millisekunden (ms) Codierungszeit pro Bildfeld und der Codierer erzeugt anzuzeigende Daten in einer Rate von etwa 11,1 ms (d. h. der Codierer benötigt 5 ms zum Codieren eines Bildes, welches 11 ms benötigt, um angezeigt zu werden). Dieser Zeitunterschied gibt den Bildsegmenten mehr Zeit zum Eintreffen und beeinflusst somit die Wahrscheinlichkeit einer erfolgreichen Zuführung und Decodierung der Bildsegmente positiv.
9 ist eine Kurve 900, die eine beispielhafte Erfolgsquote für die Decodierung von jedem der neun Bildsegmente darstellt, wenn die Bildsegmente in der zweiten beispielhaften verbesserten Codierungsreihenfolge codiert/übertragen werden und in der abtastzeilengemäßen Reihenfolge decodiert werden. Wie im Beispiel von 9 dargestellt, liegt die Erfolgsquote des Decodierens des zweiten, fünften und achten Bildsegments bei genau oder nahe 100 %, wenn die zweite verbesserte Codierungsreihenfolge verwendet wird. Die Erfolgsquote beim Empfangen und Decodieren des sechsten und neunten Bildsegments beträgt 90 %, wenn die zweite verbesserte Codierungsreihenfolge verwendet wird. Es wird angemerkt, dass dies erwartet wird, da die Erfolgsquote für diese Segmente 90 % beträgt, wenn die abtastzeilengemäße Reihenfolge zum Codieren/Übertragen verwendet wird und das sechste und neunte Bildsegment die gleiche Position in sowohl der herkömmlichen und der modifizierten Reihenfolge belegen. Die Erfolgsquote beim Decodieren des ersten, dritten, vierten und siebten Bildsegment beträgt 80 %, wenn die zweite verbesserte Codierungsreihenfolge verwendet wird. Wie auch Bezug nehmend auf 8 ersichtlich ist, kann dieser Rückgang der Erfolgsquote von 90 % auf 80 % der Verzögerung bei der Übertragung des ersten, dritten, vierten und siebten Bildsegments in der zweiten verbesserten Codierungsreihenfolge bezogen auf die Decodierzeit des ersten, dritten, vierten und siebten Bildsegments zugeschrieben werden.
Somit wird die Erfolgsquote, die beim Verwenden der zweiten verbesserten Codierungsreihenfolge erzielt wird, für das zweite, fünfte und achte Bildsegment erhöht, die Bildinhalt enthalten, der in der Mitte des Bildes liegt oder daran angrenzt (z. B. Ebene 1 und Ebene 2). Da das zweite, fünfte und achte Bildsegment Inhalt enthalten, der in der Mitte des Bildes liegt oder daran angrenzt, enthalten diese Bildsegmente wichtigen Inhalt und sind deshalb wichtiger für das Wiedergeben des Bildes. Im Ergebnis verleiht die erhöhte Wahrscheinlichkeit eines erfolgreichen Decodierens des zweiten, fünften und achten Bildsegments einen wichtigen Nutzen für die virtuelle Realität, die durch das System für virtuelle Realität bewirkt wird. Ferner, obwohl die Erfolgsquote, die für das erste, dritte, vierte und siebte Bildsegment erreicht wurde, ein Absinken von 90 % auf 80 % erfährt, enthält jedes aus dem ersten, dritten, vierten und siebten Bildsegment peripheren Bildinhalt, der für das Wiedergeben des Bildes weniger wichtig ist und somit tolerierbar sein kann. Darüber hinaus verursacht die zweite verbesserte Codierungsreihenfolge niemals, dass die Erfolgsquote unter 80 % absinkt.
Während eine beispielhafte Weise zum Implementieren der Konsole für virtuelle Realität 110 und der Datenbrilleneinheit 120 von 1 in 2 dargestellt ist, können ein oder mehrere der Elemente, Prozesse und/oder Vorrichtungen, die in 2 dargestellt sind, kombiniert, aufgeteilt, neu angeordnet, auf sie verzichtet, beseitigt und/oder auf jede andere Weise implementiert werden. Ferner können die beispielhafte Bildverarbeitungsvorrichtung 202, der beispielhafte Speicher 204, der beispielhafte Bildsegmentierer 206, die beispielhafte Segment-Warteschlange 208, die beispielhafte Segment-Anordnungsvorrichtung 210, der beispielhafte Codierer 212, der beispielhafte drahtlose Sender 214, der beispielhafte drahtlose Empfänger 216, der beispielhafte Decodierer-Speicher 217, der beispielhafte Bild-Decodierer 218, die beispielhafte Anzeige 220 und/oder allgemeiner, die beispielhafte Konsole für virtuelle Realität 110 und die Datenbrilleneinheit 120 von 1 durch Hardware, Software, Firmware und/oder jede Kombination von Hardware, Software und/oder Firmware implementiert sein. Somit könnten beispielsweise jedes aus der beispielhaften Bildverarbeitungsvorrichtung 202, dem beispielhaften Speicher 204, dem beispielhaften Bildsegmentierer 206, der beispielhaften Segment-Warteschlange 208, der beispielhaften Segment-Anordnungsvorrichtung 210, dem beispielhaften Codierer 212, dem beispielhaften drahtlosen Sender 214, dem beispielhaften drahtlosen Empfänger 216, dem beispielhaften Decodierer-Speicher 217, dem beispielhaften Bild-Decodierer 218, der beispielhaften Anzeige 220 und/oder allgemeiner, die beispielhafte Konsole für virtuelle Realität 110 und die Datenbrilleneinheit 120 durch eine oder mehrere analoge oder digitale Schaltung(en), logische Schaltungen, programmierbare Prozessor(en), programmierbare Steuerung(en), Grafikverarbeitungseinheit(en) (graphics processing unit(s) - GPU(s)), digitale(n) Signalprozessor(en) (digital signal processor(s) - (DSP(s)), anwendungsspezifische integrierte Schaltung(en) (application specific integrated circuit(s) - ASIC(s)), programmierbare logische Vorrichtung(en) - (programmable logic device(s) - (PLD(s)) und/oder feldprogrammierbare logische Vorrichtung(en) (field programmable logic device(s) - (FPLD(s)) implementiert sein. Wenn zu lesen ist, dass ein jeglicher aus den Einrichtungs- oder Systemansprüchen dieses Patents eine reine Software- und/oder Firmware-Implementierung abdecken soll, ist/sind zumindest eines aus der beispielhaften Bildverarbeitungsvorrichtung 202, dem beispielhaften Speicher 204, dem beispielhaften Bildsegmentierer 206, der beispielhaften Segment-Warteschlange 208, der beispielhaften Segment-Anordnungsvorrichtung 210, dem beispielhaften Codierer 212, dem beispielhaften drahtlosen Sender 214, dem beispielhaften drahtlosen Empfänger 216, dem beispielhaften Decodierer-Speicher 217, dem beispielhaften Bild-Decodierer 218 und/oder der beispielhaften Anzeige 220 hiermit ausdrücklich definiert, Folgendes zu beinhalten: eine nichtflüchtige computerlesbare Speichervorrichtung oder Speicherplatte wie etwa einen Arbeitsspeicher, eine Digital Versatile Disk (DVD), eine Compact Disk (CD), eine Blu-Ray-Disk usw. einschließlich der Software und/oder Firmware. Weiterhin können die beispielhafte Bildverarbeitungsvorrichtung 202, der beispielhafte Speicher 204, der beispielhafte Bildsegmentierer 206, die beispielhafte Segment-Warteschlange 208, die beispielhafte Segment-Anordnungsvorrichtung 210, der beispielhafte Codierer 212, der beispielhafte drahtlose Sender 214, der beispielhafte drahtlose Empfänger 216, der beispielhafte Decodierer-Speicher 217, der beispielhafte Bild-Decodierer 218, die beispielhafte Anzeige 220 von 2 ein/e/n oder mehrere Elemente, Prozesse und/oder Vorrichtung außer den oder an Stelle derjenigen, die in 2 dargestellt sind, beinhalten und/oder können mehr als ein/e/n eines jeden oder aller der dargestellten Elemente, Prozesse und Vorrichtungen beinhalten. Wie hier verwendet, umfasst der Ausdruck „in Kommunikation“ einschließlich seiner Variationen direkte Kommunikation und/oder indirekte Kommunikation durch einen oder mehrere Zwischenkomponenten und erfordert keine unmittelbare physische (z. B. drahtgebundene) Kommunikation und/oder konstante Kommunikation, sondern beinhaltet eher zusätzlich eine selektive Kommunikation zu periodischen Intervallen, festgelegten Intervallen, nicht periodischen Intervallen und/oder einmaligen Ereignissen.
Ein Flussdiagramm, das beispielhafte Hardware-Logik und/oder maschinenlesbare Anweisungen zum Implementieren der Konsole für virtuelle Realität 110 von 2 repräsentativ ist, ist in 10 gezeigt und ein Flussdiagramm, das repräsentativ für beispielhafte Hardware-Logik oder maschinenlesbare Anweisungen zum Implementieren der Datenbrilleneinheit 120 von 2 ist, ist in 11 gezeigt. Die maschinenlesbaren Anweisungen können ein Programm oder ein Teil eines Programms zur Ausführung durch einen Prozessor wie etwa den Prozessor 1212, der in der nachstehend in Verbindung mit 12 erörterten beispielhaften Prozessorplattform 1200 gezeigt ist, sein. Das Programm kann in Software ausgeführt sein, die auf einem nichtflüchtigen computerlesbaren Speichermedium wie etwa einer CD-ROM, einer Diskette, einem Laufwerk, einer DVD, einer Blu-ray-Disk oder einem mit dem Prozessor 1212 verknüpften Arbeitsspeicher gespeichert ist, doch das gesamte Programm und/oder Teile davon könnten alternativ dazu durch eine von dem Prozessor 1212 verschiedene Vorrichtung ausgestaltet sein und/oder in Firmware oder zweckbestimmter Hardware ausgestaltet sein. Ferner können, obwohl das beispielhafte Programm Bezug nehmend auf das in 10 und 11 dargestellte Flussdiagramm beschrieben ist, viele andere Verfahren zum Implementieren der beispielhaften Konsole für virtuelle Realität 110 und/oder der Datenbrilleneinheit 120 alternativ dazu verwendet werden. Beispielsweise kann die Ausführungsreihenfolge der Blöcke geändert werden und/oder einige der beschriebenen Blöcke können geändert, beseitigt oder kombiniert werden. Zusätzlich oder alternativ dazu können jeder oder alle der Blöcke durch eine oder mehrere Hardwareschaltungen (z. B. diskrete und/oder integrierte analoge und/oder digitale Schaltungen, ein FPGA, eine ASIC, einen Komparator, einen Operationsverstärker (operational-amplifier - op-amp), eine Logikschaltung usw.) implementiert sein, die strukturiert sind, um die entsprechende Operation vornehmen zu können, ohne Software oder Firmware auszuführen.
Wie vorstehend erwähnt, können die beispielhaften Prozesse von 10 und 11 unter Verwendung von Folgendem implementiert werden: ausführbaren Anweisungen (z. B. computer- und/oder maschinenlesbare Anweisungen), die auf einem nichtflüchtigen computer- und/oder maschinenlesbaren Medium wie etwa einem Festplattenlaufwerk, einem Flash-Speicher, einem Nurlese-Speicher, einer Compact Disk, einer Digital Versatile Disk, einem Zwischenspeicher, einem Direktzugriffsspeicher und/oder jeder anderen Speichervorrichtung oder Speicherplatte, auf welcher Informationen über jede Dauer (z. B. für ausgedehnte Zeiträume, dauerhaft, für kurze Momente, zum zeitweiligen Puffern und/oder zum Zwischenspeichern der Informationen) gespeichert sind. Wie hier verwendet, wird der Begriff nichtflüchtiges computerlesbares Medium ausdrücklich definiert, um jede Art von computerlesbarer Speichervorrichtung und/oder Speicherplatte einzuschließen und propagierende Signale auszuschließen sowie um Übertragungsmedien auszuschließen.
„Beinhaltend“ und „umfassend“ (und alle deren Formen und Zeitformen) werden hier als offene Begriffe verwendet. Somit, wann immer ein Anspruch eine jegliche Form von „beinhalten“ oder „umfassen“ (z. B. umfasst, beinhaltet, umfassend, beinhaltend, aufweisend usw.) als Oberbegriff oder innerhalb einer Anspruchsangabe jeglicher Art einsetzt, versteht es sich, dass zusätzliche Elemente, Begriffe usw. vorliegen können, ohne aus dem Umfang des entsprechenden Anspruchs oder der Angabe zu fallen. Wie hier verwendet, ist, wenn der Ausdruck „mindestens“ als Übergangsbegriff in beispielsweise einem Oberbegriff eines Anspruchs verwendet wird, er auf die gleiche Weise offen ist wie die Begriffe „umfassend“ und „beinhaltend“ offen sind. Der Begriff „und/oder“ bezieht sich, wenn er beispielsweise in einer Form wie etwa A, B, und/oder C verwendet wird, auf jede Kombination oder Untergruppe von A, B, C wie etwa (1) A allein, (2) B allein, (3) C allein, (4) A mit B, (5) A mit C, (6) B mit C und (7) A und B und C.
Das Programm 1000 von 10 beginnt bei Block 1002, bei dem der beispielhafte Prozessor 202 (siehe 2) ein zu codierendes und von der beispielhaften Konsole für virtuelle Realität 110 (siehe 1 und 2) an die beispielhafte Datenbrilleneinheit 120 (siehe 1 und 2) zu übertragendes Bild identifiziert. Bei einigen Beispielen stellt der Prozessor 202 das zu codierende Bild in den beispielhaften Speicher 204. Der beispielhafte Bildsegmentierer 206 (siehe 2) teilt das Bildfeld, das im beispielhaften Speicher 204 gespeichert ist, in Segmente auf (Block 1004). Bei einigen Beispielen teilt der Bildsegmentierer 206 das Bild in neun Bildsegmente auf, indem er das Bild in ein Raster, das drei Reihen und drei Spalten aufweist, aufteilt. Bei einigen Beispielen enthalten die neun Bildsegmente nicht überlappenden Bildinhalt. Bei einigen Beispielen liegen das beispielhafte erste, zweite und dritte Bildsegment in der oberen Reihe des Bildrasters, das erste Bildsegment ist das am weitesten links liegende Segment der oberen Reihe, das zweite Bildsegment ist das mittlere Segment der oberen Reihe und das dritte Bildsegment ist das am weitesten links liegende Segment der oberen Reihe. Bei einigen Beispielen liegt das beispielhafte vierte, fünfte und sechste Bildsegment in der mittleren Reihe des Bildrasters und das vierte Bildsegment ist das am weitesten links liegende Segment der mittleren oberen Reihe, das fünfte Bildsegment ist das mittlere Segment der mittleren Reihe und das sechste Bildsegment ist das am weitesten rechts liegende Segment der mittleren Reihe. Bei einigen Beispielen befinden sich das beispielhafte siebte, achte und neunte Bildsegment in der unteren Reihe des Bildrasters und das siebte Bildsegment ist das am weitesten links liegende Segment der unteren Reihe, das achte Bildsegment ist das mittlere Segment der unteren Reihe und das neunte Bildsegment ist das am weitesten rechts liegende Segment der unteren Reihe.
Der beispielhafte Bildsegmentierer 206 stellt die Bildsegmente in die beispielhafte Segment-Warteschlange 208 (siehe 2) in der abtastzeilengemäßen Reihenfolge (Block 1006). Im Ergebnis wird das erste Segment in eine erste Position der Segment-Warteschlange 208 gestellt, das zweite Segment wird in eine zweite Position der Segment-Warteschlange 208 gestellt und das dritte Segment wird in eine dritte Position der Segment-Warteschlange 208 gestellt. Außerdem wird das vierte Segment in eine vierte Position der Segment-Warteschlange 208 gestellt, das fünfte Segment wird in eine fünfte Position der Segment-Warteschlange 208 gestellt, das sechste Bildsegment wird in eine sechste Position in der Segment-Warteschlange 208 gestellt, das siebte Bildsegment wird in eine siebte Position in der Segment-Warteschlange 208 gestellt, das achte Bildsegment wird in eine achte Position in der Segment-Warteschlange 208 gestellt und das neunte Bildsegment wird in eine neunte Position in der Segment-Warteschlange 208 gestellt. Außerdem benachrichtigt der Bildsegmentierer 206 bei einigen Beispielen die beispielhafte Segment-Anordnungsvorrichtung 210, dass Bildsegmente in die Bild-Warteschlange 208 gestellt worden sind (auch bei Block 1006).
Die beispielhafte Segment-Anordnungsvorrichtung 210 ordnet die Reihenfolge neu, in der die Bildsegmente in der Segment-Warteschlange 208 (Block 1008) gespeichert sind. Bei einigen Beispielen ordnet die Segment-Anordnungsvorrichtung 210 die Bildsegmente derart neu, sodass die Bildsegmente in der ersten verbesserten Codierungsreihenfolge angeordnet sind (z. B. belegt das fünfte Bildsegment die erste Position, das zweite Bildsegment belegt die zweite Position, das erste Bildsegment belegt die dritte Position, das vierte Bildsegment belegt die vierte Position, das dritte Bildsegment belegt die fünfte Position, das sechste Bildsegment belegt die sechste Position, das achte Bildsegment belegt die siebte Position, das siebte Bildsegment belegt die achte Position und das neunte Bildsegment belegt die neunte Position). Bei einigen Beispielen ordnet die beispielhafte Segment-Anordnungsvorrichtung 210 die Bildsegmente in der zweiten verbesserten Codierungsreihenfolge an (z. B. belegt das zweite Bildsegment die erste Position, das erste Bildsegment belegt die zweite Position, das fünfte Bildsegment belegt die dritte Position, das dritte Bildsegment belegt die vierte Position, das vierte Bildsegment belegt die fünfte Position, das sechste Bildsegment belegt die sechste Position, das achte Bildsegment belegt die siebte Position, das siebte Bildsegment belegt die achte Position und das neunte Bildsegment belegt die neunte Position). Bei einigen Beispielen ordnet die Segment-Anordnungsvorrichtung 210 die Bildsegmente in der Segment-Warteschlange 208 derart an, dass ein oder mehrere der Bildsegmente, denen die erste Ebene und/oder die zweite Ebene zugeordnet ist, zu einer früheren Position in der Segment-Warteschlange 208 bewegt werden als die Position, die von den gleichen Bildsegmenten in der abtastzeilengemäßen Reihenfolge belegt ist. Bei einigen dieser Beispiele enthalten die erste und die zweite Ebene Bildsegmente, die sich in der Mitte des Bildes befinden (z. B. das fünfte Bildsegment) oder eine gemeinsame Grenze mit dem Segment haben, das sich in der Mitte des Bildes befindet. Bei einigen Beispielen ordnet die Segment-Anordnungsvorrichtung 210 die Reihenfolge der Bildsegmente in der Segment-Warteschlange 208 derart, dass ein oder mehrere der jeweiligen Bildsegmente, die Bildinhalt enthalten, welcher in einer dritten Ebene liegt (sich z. B. in einer Ecke des Bildes befindet), auf eine spätere Position in der Segment-Warteschlange 208 bewegt werden als die Position, die von den jeweiligen Bildsegmenten belegt wird, wenn sie in der abtastzeilengemäßen Reihenfolge angeordnet sind.
Nachdem die beispielhafte Segment-Anordnungsvorrichtung 210 die Bildsegmente neu geordnet hat, codiert der beispielhafte Codierer 212 die Bildsegmente in derselben Reihenfolge, in der die Bildsegmente in der Segment-Warteschlange 208 gespeichert sind (z. B. das Bildsegment, das die erste Position belegt, wird zuerst codiert, das Bildsegment, das die zweite Position belegt, wird als zweites codiert, das Bildsegment, das die dritte Position belegt, wird als drittes codiert usw.) (Block 1010). Der Codierer 212 führt dem beispielhaften Sender 214 (siehe 2) jedes codierte Bildsegment in der gleichen Reihenfolge zu, in der die Bildsegmente codiert sind (Block 1012) und der Sender 214 überträgt drahtlos die Bildsegmente in der gleichen Reihenfolge, in der die Bildsegmente codiert sind (Block 1014). Nachdem die Bildsegmente codiert worden sind, kehrt das Programm zu Block 1002 und die darauf folgenden Blöcke zurück, um ein nächstes Bild zu codieren oder, falls keine weiteren Bilder zu codieren/übertragen sind (wie bei Block 1016 bestimmt), endet das Programm 1000.
Das Programm 1100 von 11 beginnt bei Block 1102, bei dem der beispielhafte Empfänger 216 (siehe 2) der beispielhaften Datenbrilleneinheit 120 (siehe 1 und 2) drahtlos ein oder mehrere Bildsegmente von dem beispielhaften Sender 214 (siehe 2) der Konsole für virtuelle Realität 110 (siehe 1 und 2) empfängt. Bei einigen Beispielen stellt der Empfänger 216 die empfangenen Bildsegmente in einen Decodierer-Speicher 217 und stellt eine Decodierer-Zähler-Variable „M“ gleich Eins (Block 1102) ein. Bei einigen dieser Beispiele benachrichtigt der beispielhafte Empfänger 216 den Decodierer 218, dass codierte Bildsegmente empfangen und gespeichert worden sind (auch bei Block 1104).
In Reaktion auf die Benachrichtigung identifiziert der Bild-Decodierer 218 basierend auf einer zu verwendenden Decodierungsreihenfolge und basierend auf einem Wert der Zählervariablen „M“, welches aus dem ersten, zweiten, dritten, vierten, fünften, sechsten, siebten, achten und neunten Bildsegment zuerst zu decodieren ist (Block 1106). Bei einigen dieser Beispiele identifiziert der Bild-Decodierer 218 während einer ersten Ausführung des Programms 1100 die Zahl des zuerst zu decodierenden Bildsegments basierend auf der Decodierer-Zählervariablen M, die gleich Eins ist. Bei späteren Ausführungen des Programms 1100 identifiziert der Bild-Decodierer 218 die Zahl des zu decodierenden Bildsegments basierend auf dem aktuellen Wert der Decodierer-Zählervariablen M. Somit, wenn die Decodierer-Zählervariable „M“ gleich Zwei ist, identifiziert der Decodierer basierend auf der zu verwendenden Reihenfolge die Zahl des als zweites zu decodierenden Bildsegments. Wenn die Decodierer-Zählervariable „M“ gleich Drei ist, identifiziert der Decodierer basierend auf der zu verwendenden Reihenfolge die Zahl des als drittes zu decodierenden Bildsegments und so weiter und so fort. Der Bild-Decodierer 218 beginnt mit einem Decodierungsprozess, durch welchen die gespeicherten, von der Konsole für virtuelle Realität empfangenen Bildsegmente decodiert werden (Block 1104). Bei einigen Beispielen ist der Bild-Decodierer 218 konfiguriert, Bildsegmente in der abtastzeilengemäßen Reihenfolge zu decodieren. Bei einigen Beispielen ist der Bild-Decodierer 218 konfiguriert, Bildsegmente in der ersten verbesserten Codierungsreihenfolge, in der zweiten verbesserten Codierungsreihenfolge oder in jeder anderen gewünschten Reihenfolge zu decodieren. Beispielsweise weisen neu entstehende Bild-/Videoanzeigetechnologien (z. B. Anzeigen, welche den VESA DisplayID 2.0-Standard einhalten) die Fähigkeit auf, Pixel von dem Decodierer in einer beliebigen Reihenfolge (z. B. einer nichtabtastzeilengemäßen Reihenfolge) auszugeben. Der Bild-Decodierer 218 von 2 kann in ähnlicher Weise konfiguriert sein, die Bildsegmente zur Anzeige in jeder beliebigen Reihenfolge zu decodieren/auszugeben. Bei einigen Beispielen ist der Bild-Decodierer konfiguriert, die Bildsegmente in einer Reihenfolge auszugeben, die so arbeitet, dass sie die Bildsegmente, welche den wichtigsten Inhalt aufweisen, so früh wie möglich decodiert und anzeigt. Bei einigen Beispielen werden die Reihenfolgen (z. B. die erste verbesserte Codierungsreihenfolge, die zweite verbesserte Codierungsreihenfolge usw.), in welchen die Bildsegmente codiert/übertragen und dann decodiert/angezeigt werden, ausgewählt, um zu gewährleisten, dass die den wichtigsten Inhalt aufweisenden Bildsegmente die drahtlose Verbindung pünktlich durchlaufen, die höchstmögliche Decodierungs-Erfolgsquote aufweisen und somit durch Bereitstellen von Bildern einer besseren Qualität an der Datenbrille das Benutzererlebnis bereichern.
Bei einigen Beispielen werden die beispielhaften Bildsegmente mit Informationen übertragen, welche die Zahl des Bildsegments identifizieren, um den Bild-Decodierer 208 beim Auswählen geeigneter zu decodierender Bildsegmente basierend auf einer eingesetzten Decodierungsreihenfolge (z. B. eine abtastzeilengemäße Reihenfolge, die erste beispielhafte verbesserte Reihenfolge, die zweite beispielhafte verbesserte Reihenfolge usw.) zu unterstützen. Die Informationen können in einem Kopfteil, in einer Markierung usw. beinhaltet sein. Bei einigen dieser Beispiele werden die Segment-Zahl-Informationen von dem Bild-Decodierer 208 verwendet, um die Bildsegment-Zahl zu identifizieren und das Bildsegment in eine ordnungsgemäße Reihenfolge zum Decodieren zu stellen. Die Bildsegment-Zahl wird auch zum Identifizieren verwendet, wie der in dem Bildsegment enthaltene Inhalt bezogen auf den in anderen Bildsegmenten enthaltenen Inhalt anzuzeigen ist. Es kann jede andere Technologie verwendet werden, um die Zahl eines Bildsegments für den Decodierer zur Verwendung beim Decodieren des Bildsegments in einer gewünschten Reihenfolge und zum zweckmäßigen Anzeigen des Bildsegments zu identifizieren.
Nach dem Identifizieren des zu decodierenden Bildsegments bestimmt der beispielhafte Bild-Decodierer 218, ob das identifizierte Bildsegment empfangen worden ist (z. B. im Decodierer-Speicher gespeichert ist) (Block 1108). Wenn das identifizierte Bildsegment empfangen worden ist, decodiert der Bild-Decodierer 218 das identifizierte Bildsegment und führt den decodierten Inhalt des identifizierten Bildsegments an die beispielhafte Anzeige 220 zu (siehe 2), um darauf wiedergegeben zu werden (Block 1110). Wenn das identifizierte Bildsegment noch nicht empfangen worden ist, führt der Bild-Decodierer 218 den decodierten Inhalt für ein Bildsegment, das die gleiche Zahl wie das identifizierte Bildsegment aufweist, jedoch entsprechend einem früher übertragenen Einzelbild/Bild, an die Anzeige 220 zu, um darauf wiedergegeben zu werden (Block 1112).
Bei einigen Beispielen bestimmt der Bild-Decodierer 218, nachdem das identifizierte Bildsegment decodiert/angezeigt worden ist oder das entsprechende Bildsegment des vorherigen Bildfelds angezeigt worden ist, ob die Zählervariable M gleich der Gesamtzahl von Bildsegmenten ist, die dem aktuellen Einzelbild (Frame) zugeordnet sind (Block 1114). Falls nicht, liegen für das aktuelle Einzelbild weitere zu decodierende Bildsegmente vor und der Bild-Decodierer inkrementiert die Zählervariable M (Block 1116) und kehrt dann zu Block 1106 und den darauf folgenden Blöcken zurück, um das nächste Bildsegment in der verwendeten Reihenfolge zu decodieren und anzuzeigen. Wenn (bei Block 1114) bestimmt wird, dass die Zählervariable M gleich der Gesamtzahl von Bildsegmenten ist, die dem aktuellen Einzelbild zugeordnet sind, ist das Decodieren des aktuellen Einzelbildes abgeschlossen. Im Ergebnis bestimmt der Bild-Decodierer 218, ob ein anderer Satz von Bildsegmenten, die einem anderen Bild zugeordnet sind, zu decodieren/anzuzeigen ist (Block 1118). Falls ein anderer Satz von zu decodierenden/anzuzeigenden Bildsegmenten vorliegt, kehrt das Programm 1100 zu Block 1104 und den darauf folgenden Blöcken zurück. Wenn kein anderer Satz von zu decodierenden/anzuzeigenden Bildsegmenten vorliegt, endet das Programm 1100.
12 ist ein Blockschaltbild einer beispielhaften Prozessorplattform 1200, die strukturiert ist, um die Anweisungen von 10 zum Implementieren der Konsole für virtuelle Realität 110 von 1 und 2 auszuführen. Die Prozessorplattform 1200 kann beispielsweise ein Server, ein Personalcomputer, eine Workstation, eine selbstlernende Maschine (z. B. ein neurales Netzwerk), ein Mobilgerät (z. B. ein Mobiltelefon, ein Smartphone, ein Tablet wie etwa ein iPad™), ein persönlicher digitaler Assistent (personal digital assistant - PDA), ein Internetzugangsgerät, ein DVD-Spieler, ein CD-Spieler, ein digitaler Videorecorder, ein Blu-Ray-Spieler, eine Spielkonsole, ein Festplattenrecorder (personal video recorder), eine Set-Top-Box oder jede andere Art von Datenverarbeitungsvorrichtung sein.
Die Prozessorplattform 1200 des dargestellten Beispiels beinhaltet einen Prozessor 1212. Der Prozessor 1212 des dargestellten Beispiels ist Hardware. Der Prozessor 1212 kann beispielsweise durch eine oder mehrere integrierte Schaltungen, Logikschaltungen, Mikroprozessoren, GPUs, DSPs oder Steuerungen aus jedem/r gewünschten Familie oder Hersteller implementiert sein. Der Hardware-Prozessor kann eine halbleiterbasierte (z. B. siliziumbasierte) Vorrichtung sein. Bei diesem Beispiel implementiert der Prozessor die beispielhafte Bildverarbeitungsvorrichtung 202, den beispielhaften Bildsegmentierer 206, die beispielhafte Segment-Warteschlange 208, die beispielhafte Segment-Anordnungsvorrichtung 210 und den beispielhaften Codierer 212.
Der Prozessor 1212 aus dem dargestellten Beispiel beinhaltet einen lokalen Arbeitsspeicher 1213 (z. B. einen Zwischenspeicher). Der Prozessor 1212 aus dem dargestellten Beispiel steht über einen Bus 1218 in Kommunikation mit einem Hauptspeicher einschließlich eines flüchtigen Arbeitsspeichers 1214 und eines nichtflüchtigen Arbeitsspeichers 1216. Der flüchtige Arbeitsspeicher 1214 kann durch einen synchronen dynamischen Direktzugriffsspeicher (Synchronous Dynamic Random Access Memory - SDRAM), einen dynamischen Direktzugriffsspeicher (Dynamic Random Access Memory - DRAM), einen dynamischen Direktzugriffsspeicher der Firma RAMBUS® (RAMBUS® Dynamic Random Access Memory - RDRAM®) und/oder jeden anderen Typ von Direktzugriffsspeichervorrichtung implementiert sein. Der nichtflüchtige Arbeitsspeicher 1216 kann durch einen Flash-Speicher und/oder jeden anderen gewünschten Typ von Arbeitsspeichervorrichtung implementiert sein. Der Zugriff auf den Hauptspeicher 1214, 1216 wird durch eine Arbeitsspeichersteuerung gesteuert.
Die Prozessorplattform 1200 des dargestellten Beispiels beinhaltet auch eine Schnittstellenschaltung 1220. Die Schnittstellenschaltung 1220 kann durch jeden Typ von Schnittstellenstandard wie etwa eine Ethernet-Schnittstelle, einen Universal Serial Bus (USB), eine Bluetooth®-Schnittstelle, eine Nahfeldkommunikations(near field communication - NFC)-Schnittstelle und/oder eine PCI-Express-Schnittstelle implementiert sein.
Im dargestellten Beispiel sind eine oder mehrere Eingabevorrichtungen 1222 mit der Schnittstellenschaltung 1220 verbunden. Die Eingabevorrichtung(en) 1222 gestattet/gestatten einem Benutzer, Daten und/oder Befehle in den Prozessor 1212 einzugeben. Die Eingabevorrichtung(en) können beispielsweise durch einen Audiosensor, ein Mikrofon, eine Kamera (Foto- oder Video-), eine Tastatur, eine Taste, eine Maus, einen berührungsempfindlichen Bildschirm, ein Trackpad, einen Trackball, Isopoint und/oder ein Spracherkennungssystem implementiert sein.
Eine oder mehrere Ausgabevorrichtungen 1224 sind auch mit der Schnittstellenschaltung 1220 des dargestellten Beispiels verbunden. Die Ausgabevorrichtungen 1224 können beispielsweise durch Anzeigevorrichtungen (z. B. eine Leuchtdiode (light emitting diode - LED), eine organische Leuchtdiode (organic light emitting diode - OLED), eine Flüssigkristallanzeige (liquid crystal display - LCD), eine Kathodenstrahlanzeige (cathode ray tube - CRT), eine In-Place-Switching (IPS)-Anzeige, einen berührungsempfindlichen Bildschirm usw.), eine taktile Ausgabevorrichtung, einen Drucker und/oder einen Lautsprecher implementiert sein. Die Schnittstellenschaltung 1220 des dargestellten Beispiels beinhaltet somit in der Regel eine Grafiktreiberkarte, einen Grafiktreiberchip und/oder einen Grafiktreiberprozessor.
Die Schnittstellenschaltung 1220 des dargestellten Beispiels beinhaltet auch eine Kommunikationsvorrichtung wie etwa einen Sender, einen Empfänger, einen Transceiver, ein Modem, einen Residential Gateway, einen drahtlosen Zugangspunkt und/oder eine Netzwerkschnittstelle zum Ermöglichen eines Datenaustauschs mit externen Maschinen (z. B. Datenverarbeitungsvorrichtungen jeder Art) über ein Netzwerk 1226. Die Kommunikation kann beispielsweise über eine Ethernetverbindung, eine digitale Teilnehmeranschluss (digital subscriber line - DSL)-Verbindung, eine Telefonleitungsverbindung, ein Koaxialkabelsystem, ein Satellitensystem, ein Sichtverbindungs-Funksystem, ein Mobiltelefonsystem usw. vorgenommen werden. Die Schnittstellenschaltung 1220 wird zum Implementieren des beispielhaften drahtlosen Senders 214 von 2 verwendet. Bei einigen Beispielen verwendet die Schnittstellenschaltung 1220 für die Kommunikation WiFi, wie im IEEE-Standard 802.11 definiert. Bei weiteren Beispielen verwendet die Schnittstellenschaltung 1220 zum Übertragen der Bildsegmente WiGig (wie in 802.11ad und/oder 802.11 ay definiert).
Die Prozessorplattform 1200 des dargestellten Beispiels beinhaltet auch eine oder mehrere Massenspeichervorrichtungen 1228 zum Speichern von Software und/oder Daten. Beispiele für solche Massenspeichervorrichtungen 1228 beinhalten Diskettenlaufwerke, Festplattenlaufwerke, CD-Laufwerke, Blu-Ray-Disk-Laufwerke, Systeme redundanter Anordnungen unabhängiger Festplatten (redundant array of independent disks - RAID) und Digital Versatile Disk (DVD)-Laufwerke. Jede der Speichervorrichtungen von 12 kann zum Implementieren des beispielhaften Speichers 204 und der beispielhaften Segment-Warteschlange 208 verwendet werden.
Die maschinenausführbaren Anweisungen 1232 (z. B. das Programm 1000) von 10 kann in der Massenspeichervorrichtung 1228, im flüchtigen Arbeitsspeicher 1214, im nichtflüchtigen Arbeitsspeicher 1216 und/oder auf einem entfernbaren nichtflüchtigen computerlesbaren Speichermedium wie etwa einer CD oder DVD gespeichert werden.
13 ist ein Blockschaltbild einer beispielhaften Prozessorplattform 1300, die strukturiert ist, um die Anweisungen (z. B. das Programm 1100) von 11 auszuführen, um die beispielhafte Datenbrilleneinheit 120 von 1 und 2 zu implementieren. Die Prozessorplattform 1300 kann beispielsweise ein Headset oder jeder andere Typ von tragbarer Vorrichtung sein.
Die Prozessorplattform 1300 des dargestellten Beispiels beinhaltet einen Prozessor 1312. Der Prozessor 1312 des dargestellten Beispiels ist Hardware. Der Prozessor 1312 kann beispielsweise durch eine oder mehrere integrierte Schaltungen, Logikschaltungen, Mikroprozessoren, GPUs, DSPs oder Steuerungen aus jeder gewünschten Familie oder von jedem gewünschten Hersteller implementiert sein. Der Hardware-Prozessor kann eine halbleiterbasierte (z. B. siliziumbasierte) Vorrichtung sein. Bei diesem Beispiel implementiert der Prozessor den beispielhaften Bild-Decodierer 218 von 2.
Der Prozessor 1312 des dargestellten Beispiels beinhaltet einen lokalen Arbeitsspeicher 1313 (z. B. einen Zwischenspeicher). Der Prozessor 1312 des dargestellten Beispiels steht in Kommunikation mit einem Hauptspeicher einschließlich eines flüchtigen Arbeitsspeichers 1314 und eines nichtflüchtigen Arbeitsspeichers 1316 über einen Bus 1318. Der flüchtige Arbeitsspeicher 1314 kann durch einen synchronen dynamischen Direktzugriffsspeicher (Synchronous Dynamic Random Access Memory - SDRAM), einen dynamischen Direktzugriffsspeicher (Dynamic Random Access Memory - DRAM), einen dynamischen Direktzugriffsspeicher der Firma RAMBUS® (RAMBUS® Dynamic Random Access Memory - RDRAM®) und/oder jeden anderen Typ von Direktzugriffsspeichervorrichtung implementiert sein. Der nichtflüchtige Arbeitsspeicher 1316 kann durch Flash-Speicher und/oder jeden anderen gewünschten Typ von Arbeitsspeichervorrichtung implementiert sein. Der Zugriff auf den Hauptspeicher 1314, 1316 wird durch eine Arbeitsspeichersteuerung gesteuert.
Die Prozessorplattform 1300 des dargestellten Beispiels beinhaltet auch eine Schnittstellenschaltung 1320. Die Schnittstellenschaltung 1320 kann durch jeden Typ von Schnittstellenstandard, wie etwa eine Ethernet-Schnittstelle, einen Universal Serial Bus (USB), eine Bluetooth®-Schnittstelle, eine Nahfeldkommunikations(near field communication - NFC)-Schnittstelle und/oder eine PCI Express-Schnittstelle implementiert sein.
In dem dargestellten Beispiel sind eine oder mehrere Eingabevorrichtungen 1322 mit der Schnittstellenschaltung 1320 verbunden. Die Eingabevorrichtung(en) 1322 gestattet/n einem Benutzer, Daten und/oder Befehle in den Prozessor 1312 einzugeben. Die Eingabevorrichtung(en) kann/können beispielsweise durch einen Audiosensor, ein Mikrofon, eine Kamera (Foto- oder Video-), eine Taste und/oder ein Spracherkennungssystem implementiert sein.
Eine oder mehrere Ausgabevorrichtungen 1324 sind auch mit der Schnittstellenschaltung 1320 des dargestellten Beispiels verbunden. Die Ausgabevorrichtungen 1324 können beispielsweise durch Anzeigevorrichtungen (z. B. eine Leuchtdiode (light emitting diode - LED), eine organische Leuchtdiode (organic light emitting diode - OLED), eine Flüssigkristallanzeige (liquid crystal display - LCD), eine Kathodenstrahlanzeige (cathode ray tube - CRT), eine In-Place-Switching (IPS)-Anzeige, einen berührungsempfindlichen Bildschirm usw.), eine taktile Ausgabevorrichtung, einen Drucker und/oder einen Lautsprecher implementiert sein. Die Schnittstellenschaltung 1320 des dargestellten Beispiels beinhaltet somit in der Regel eine Grafiktreiberkarte, einen Grafiktreiberchip und/oder einen Grafiktreiberprozessor. Die Schnittstellenschaltung 1320 wird zum Implementieren der beispielhaften Anzeige 220 von 2 verwendet.
Die Schnittstellenschaltung 1320 des dargestellten Beispiels beinhaltet auch eine Kommunikationsvorrichtung wie etwa einen Sender, einen Empfänger, einen Transceiver, ein Modem, einen Residential Gateway, einen drahtlosen Zugangspunkt und/oder eine Netzwerk-Schnittstelle, um den Datenaustausch mit externen Maschinen (z. B. Datenverarbeitungsvorrichtungen jeder Art) über ein Netzwerk 1326 zu ermöglichen. Die Kommunikation kann beispielsweise über eine Ethernetverbindung, eine digitale Teilnehmeranschluss (digital subscriber line - DSL)-Verbindung, eine Telefonleitungsverbindung, ein Koaxialkabelsystem, ein Satellitensystem, ein Sichtverbindungs-Funksystem, ein Mobiltelefonsystem usw. vorgenommen werden. Die Schnittstellenschaltung 1320 wird zum Implementieren des beispielhaften drahtlosen Empfängers 216 von 2 verwendet. Bei einigen Beispielen verwendet die Schnittstellenschaltung 1320 zur Kommunikation WiFi, wie im IEEE Standard 802.11 definiert. Bei weiteren Beispielen verwendet die Schnittstellenschaltung 1320 zum Übertragen der Bildsegmente WiGig (wie in 802.1lad und/oder 802.11 ay definiert).
Die Prozessorplattform 1300 des dargestellten Beispiels beinhaltet auch eine oder mehrere Massenspeichervorrichtungen 1328 zum Speichern von Software und/oder Daten. Beispiele für solche Massenspeichervorrichtungen 1328 beinhalten Diskettenlaufwerke, Festplattenlaufwerke, Compact-Disk-Laufwerke, Blu-Ray-Disk-Laufwerke, Systeme redundanter Anordnungen unabhängiger Festplatten (redundant array of independent disks - RAID) und Digital Versatile Disk (DVD)-Laufwerke. Jede der Speichervorrichtungen von 13 kann zum Implementieren des beispielhaften Decodierer-Speichers 217 von 2 verwendet werden.
Die maschinenausführbaren Anweisungen 1332 (z. B. das Programm 1100) von 11 können in der Massenspeichervorrichtung 1328, im flüchtigen Arbeitsspeicher 1314, im nichtflüchtigen Arbeitsspeicher 1316 und/oder auf einem entfernbaren nichtflüchtigen computerlesbaren Speichermedium wie etwa einer CD oder DVD gespeichert werden.
Aus dem Vorstehenden versteht es sich, dass beispielhafte Verfahren, Einrichtungen und Herstellungsgegenstände offenbart wurden, die den Durchsatz zwischen einer Konsole für virtuelle Realität und einer Datenbrilleneinheit eines Systems für virtuelle Realität verbessern. Die offenbarte Konsole für virtuelle Realität priorisiert das Codieren und die Übertragung von Bildsegmenten, die optisch wichtige Abschnitte des Bildes enthalten, einschließlich, beispielsweise, eines mittleren Bildsegments, das Inhalt enthält, der die Mitte des Bildes beinhaltet. Einige Beispiele priorisieren außerdem Bildsegmente, die eine gemeinsame Grenze mit dem mittleren Bildsegment haben. Einige beispielhafte hier offenbarte Systeme, Verfahren und Einrichtungen stellen einen Ausgleich zwischen einem Priorisieren des mittleren Bildsegments mit der pünktlichen Zuführung von anderen Bildsegmenten her. Solche beispielhaften Systeme, Verfahren und Einrichtungen sind konfiguriert, Bildsegmente derart zu codieren und zu übertragen, dass ein mittleres Bildsegment früher codiert/übertragen wird als das mittlere Segment unter Verwendung einer abtastzeilengemäßen Reihenfolge codiert werden würde, während eine gewünschte (z. B. 80 %) Zuführungs-/Decodierungs-Erfolgsquote für die nicht-mittleren Bildsegmente beibehalten wird. Ein Codieren/Übertragen des mittleren Bildsegments und von an das mittlere Bildsegment angrenzenden Bildsegmenten früher, als solche Bildsegmente unter Verwendung einer abtastzeilengemäßen Reihenfolge codiert/übertragen werden können, führt zu einem verbesserten Erlebnis der „virtuellen Realität“ für den Benutzer, da es wahrscheinlicher ist, dass der wichtigste Bildinhalt erfolgreich decodiert wird und somit in den auf der Datenbrilleneinheit angezeigten Bildern beinhaltet ist.
Es versteht sich, dass, obwohl ein zu codierendes Bild für beispielhafte Zwecke als in neun Segmente aufgeteilt gezeigt ist, der beispielhafte Bildsegmentierer 206, die beispielhafte Segment-Anordnungsvorrichtung 210, der beispielhafte Codierer 212, der beispielhafte Sender 214, der beispielhafte Empfänger 216, der beispielhafte Decodierer 218 konfiguriert sein können, auf einem Bildfeld zu arbeiten, das in jede Anzahl von Bildsegmenten aufgeteilt ist. In Beispielen, in denen mehr oder weniger als neun Segmente verwendet werden, sind die Zahlen der Bildsegmente, die Inhalt enthalten, der in der Mitte des Bildes, an der Außenseite des Bildes und einen von der Außenseite verschiedenen Ort des Bildes ist, selbstverständlich anders nummeriert, als die gleichen Segmente in der ersten verbesserten Codierungsreihenfolge und der zweiten verbesserten Codierungsreihenfolge nummeriert sind. Ungeachtet der Anzahl der Segmente, in die ein Bild aufgeteilt ist, gelten die gleichen Konzepte dafür, dass die erste verbesserte Codierungsreihenfolge die höchste Priorität auf das Übertragen des mittleren Bildsegments (und deshalb das mittlere Segment als das erste codierte/übertragene Bildsegment positioniert) setzt, wohingegen die zweite verbesserte Codierungsreihenfolge eine höhere Priorität auf das mittlere Bildsegment und nichtperiphere Bildsegmente setzt (als den gleichen Segmenten bei der abtastzeilengemäßen Reihenfolge gegeben wird), aber nicht auf Kosten des Verursachens einer zu großen Verzögerung für die peripheren Bildsegmente. Somit codiert/überträgt die erste verbesserte Codierungsreihenfolge das mittlere Bildsegment zuerst und verleiht somit dem erfolgreichen Eintreffen und Decodieren des mittleren Bildsegments die größte Erfolgswahrscheinlichkeit und die zweite verbesserte Codierung strebt danach, einen Ausgleich zwischen dem Erhöhen der Priorität des mittleren Bildsegments und dem pünktlichen Eintreffen aller Bildsegmente herzustellen.
Die folgenden weiteren Beispiele sind hier offenbart.
Beispiel 1 ist eine Einrichtung zum Anordnen mehrerer Segmente eines Bildes zum Codieren und zur Übertragung an eine Anzeigevorrichtung. Die Einrichtung von Beispiel 1 beinhaltet eine Segment-Anordnungsvorrichtung zum Anordnen der Segmente in einer Codierungsreihenfolge zum Codieren. Die Codierungsreihenfolge unterscheidet sich von einer abtastzeilengemäßen Reihenfolge und bei der Codierungsreihenfolge belegt ein mittleres Segment aus den mehreren Segmenten eine erste Position, wobei die erste Position vor einer zweiten Position liegt, die von dem mittleren Segment in der abtastzeilengemäßen Reihenfolge belegt ist, und das mittlere Segment einer Mitte des Bildes entspricht. Die Einrichtung beinhaltet auch einen Codierer zum Codieren der Segmente in der Codierungsreihenfolge und einen drahtlosen Sender zum Übertragen der codierten Segmente an die Anzeigevorrichtung in der Codierungsreihenfolge, in welcher die codierten Segmente codiert sind.
Beispiel 2 beinhaltet die Einrichtung von Beispiel 1. In Beispiel 2 ist die Codierungsreihenfolge ferner derart, dass ein peripheres Segment aus den mehreren Segmenten eine dritte Position in der Reihenfolge belegen soll, wobei die dritte Position mindestens eines aus Folgenden ist: 1) eine gleiche Position, die von dem peripheren Segment in der abtastzeilengemäßen Reihenfolge belegt ist, oder 2) hinter einer vierten Position, die von dem peripheren Segment in der abtastzeilengemäßen Reihenfolge belegt ist, und wobei das periphere Segment keine Grenze mit dem mittleren Segment teilt.
Beispiel 3 beinhaltet die Einrichtung von Beispiel 2. In Beispiel 3 ist das periphere Segment ein erstes aus mehreren peripheren Segmenten und die mehreren peripheren Segmente entsprechen Ecken des Bildes.
Beispiel 4 beinhaltet die Einrichtung von Beispiel 2. In Beispiel 4 ist die Codierungsreihenfolge ferner derart, dass mindestens ein nichtperipheres Segment aus den mehreren Segmenten eine fünfte Position in der Reihenfolge belegen soll, wobei die fünfte Position vor einer sechsten Position liegt, die von dem nichtperipheren Segment in der abtastzeilengemäßen Reihenfolge belegt ist, und das mindestens eine nichtperiphere Segment eine Grenze mit dem mittleren Segment teilt.
Beispiel 5 beinhaltet die Einrichtung von einem der Beispiele 1 - 4 und beinhaltet auch einen Segmentierer, um die mehreren Segmente durch Aufteilen des Bildes auszubilden. In Beispiel 5 speichert der Segmentierer die mehreren Segmente in einer Warteschlange in der abtastzeilengemäßen Reihenfolge.
Beispiel 6 beinhaltet die Einrichtung von Beispiel 5. In Beispiel 6 teilt der Segmentierer das Bild in ein Raster auf, das eine obere Reihe, eine untere Reihe und eine mittlere Reihe, eine linke Spalte, eine mittlere Spalte und eine rechte Spalte enthält, und wobei die mehreren Segmente neun Segmente beinhalten. In Beispiel 6 ist ein erstes Segment das am weitesten links liegende Segment in der oberen Reihe, ein zweites Segment ist ein mittleres Segment in der oberen Reihe, ein drittes Segment ist ein am weitesten rechts liegendes Segment in der oberen Reihe, ein viertes Segment ist ein am weitesten links liegendes Segment in der mittleren Reihe, ein fünftes Segment ist ein mittleres Segment in der mittleren Reihe, ein sechstes Segment ist ein am weitesten rechts liegendes Segment in der mittleren Reihe, ein siebtes Segment ist ein am weitesten links liegendes Segment in der unteren Reihe, das achte Segment ist ein mittleres Segment in der unteren Reihe und das neunte Segment ist ein am weitesten rechts liegendes Segment in der unteren Reihe. In Beispiel 6 ist die abtastzeilengemäße Reihenfolge das erste Segment, das zweite Segment, das dritte Segment, das vierte Segment, das fünfte Segment, das sechste Segment, das siebte Segment, das achte Segment und das neunte Segment und die Codierungsreihenfolge ist das zweite Segment, das erste Segment, das fünfte Segment, das dritte Segment, das vierte Segment, das sechste Segment, das achte Segment, das siebte Segment und das neunte Segment.
Beispiel 7 beinhaltet die Einrichtung eines der Beispiele 1-6. In Beispiel 7 enthalten die Abschnitte des Bildes keinen überlappenden Bildinhalt.
Beispiel 8 beinhaltet ein oder mehrere nichtflüchtige maschinenlesbare Speichermedien, die maschinenlesbare Anweisungen speichern, welche, wenn sie ausgeführt werden, einen oder mehrere Prozessoren veranlassen, mindestens einen Satz von Bildbereichen in einer nichtabtastzeilengemäßen Reihenfolge anzuordnen und die Bildbereiche in der nichtabtastzeilengemäßen Reihenfolge zu codieren. In Beispiel 8 veranlasst die Verwendung der nichtabtastzeilengemäßen Reihenfolge einen mittleren Bildbereich aus dem Satz von Bildbereichen, früher codiert zu werden als das mittlere Bildsegment in einer abtastzeilengemäßen Reihenfolge codiert werden würde, und veranlasst auch, dass ein peripherer Bildbereich aus dem Satz von Bildbereichen später codiert wird als der periphere Bildbereich in der abtastzeilengemäßen Reihenfolge codiert werden würde. In Beispiel 8 veranlassen die Anweisungen einen oder mehrere Prozessoren ferner, die codierten Bildbereiche in der nichtabtastzeilengemäßen Reihenfolge an einen Sender zur Übertragung an eine Anzeigeeinheit zuzuführen.
Beispiel 9 beinhaltet das eine oder die mehreren nichtflüchtigen maschinenlesbaren Speichermedien von Beispiel 8. In Beispiel 9 ist der periphere Bildbereich ein erster von mehreren peripheren Bereichen und die mehreren peripheren Bereiche entsprechen Ecken des Bildes.
Beispiel 10 beinhaltet das eine oder die mehreren nichtflüchtigen maschinenlesbaren Speichermedien von Beispiel 8. In Beispiel 10 verursacht die Verwendung der nichtabtastzeilengemäßen Reihenfolge ferner, dass ein nichtperipherer Bildbereich aus dem Satz von Bildbereichen früher codiert wird als das nichtperiphere Bildsegment in der abtastzeilengemäßen Reihenfolge codiert werden würde.
Beispiel 11 beinhaltet das eine oder die mehreren nichtflüchtigen maschinenlesbaren Speichermedien nach einem der Beispiele 8 - 10. In Beispiel 11 veranlassen die Anweisungen einen oder mehrere Prozessoren ferner, das Bild in nichtüberlappende Bildbereiche aufzuteilen, um den Satz von Bildbereichen auszubilden und den Satz von Bildbereichen in einer Warteschlange zu speichern.
Beispiel 12 beinhaltet das eine oder die mehreren nichtflüchtigen maschinenlesbaren Speichermedien von Beispiel 11. In Beispiel 12 veranlassen die Anweisungen einen oder mehrere Prozessoren, das Bild in ein Raster, enthaltend eine obere Reihe, eine untere Reihe und eine mittlere Reihe, eine linke Spalte, eine mittlere Spalte und eine rechte Spalte, aufzuteilen. Außerdem beinhaltet der Satz von Bildbereichen neun Bildbereiche. In Beispiel 12 ist ein erster Bildbereich ein am weitesten links liegender Bildbereich in der oberen Reihe, ein zweiter Bildbereich ist ein mittlerer Bildbereich in der oberen Reihe, ein dritter Bildbereich ist ein am weitesten rechts liegender Bildbereich in der oberen Reihe, ein vierter Bildbereich ist ein am weitesten links liegender Bildbereich in der mittleren Reihe, ein fünfter Bildbereich ist ein mittlerer Bildbereich in der mittleren Reihe, ein sechster Bildbereich ist ein am weitesten rechts liegender Bildbereich in der mittleren Reihe, ein siebter Bildbereich ist ein am weitesten links liegender Bildbereich in der unteren Reihe, ein achter Bildbereich ist ein mittlerer Bildbereich in der unteren Reihe, ein neunter Bildbereich ist ein am weitesten rechts liegender Bildbereich in der unteren Reihe. Ebenfalls in Beispiel 12 beinhaltet die nichtabtastzeilengemäße Reihenfolge das zweite Segment in einer ersten Position, das erste Segment in einer zweiten Position, das fünfte Segment in einer dritten Position, das dritte Segment in einer vierten Position, das vierte Segment in einer fünften Position, das sechste Segment in einer sechsten Position, das achte Segment in einer siebten Position, das siebte Segment in einer achten Position und das neunte Segment in einer neunten Position.
Beispiel 13 ist eine Einrichtung zum Anordnen mehrerer Bildkacheln. Die Einrichtung von Beispiel 13 beinhaltet Mittel zum Positionieren der mehreren Bildkacheln in einer nichtabtastzeilengemäßen Reihenfolge. In Beispiel 13 beinhalten die mehreren Bildkacheln eine mittlere Bildkachel, die der Mitte eines Bildes entspricht, und die mittlere Bildkachel belegt eine frühere Codierungsposition in der nichtabtastzeilengemäßen Reihenfolge als die mittlere Bildkachel in einer abtastzeilengemäßen Reihenfolge belegen würde. Die Einrichtung beinhaltet auch Mittel zum Codieren der mehreren Bildkacheln in der nichtabtastzeilengemäßen Reihenfolge, Mittel zum Übertragen der codierten Bildkacheln in der nichtabtastzeilengemäßen Reihenfolge an eine Anzeige.
Beispiel 14 beinhaltet die Einrichtung von Beispiel 13. In Beispiel 14 ist die nichtabtastzeilengemäße Reihenfolge eine erste Codierungsreihenfolge, in der eine mittlere Bildkachel, die Inhalt aufweist, der einer Mitte des Bildes entspricht, codiert und übertragen wird, bevor andere aus den mehreren Bildkacheln codiert und übertragen werden.
Beispiel 15 beinhaltet die Einrichtung von Beispiel 13. In Beispiel 15 ist die nichtabtastzeilengemäße Reihenfolge eine zweite Codierungsreihenfolge, in welcher eine mittlere Bildkachel, die Inhalt aufweist, der einer Mitte des Bildes entspricht, früher auftritt als die mittlere Bildkachel in einer abtastzeilengemäßen Reihenfolge auftritt, und eine periphere Bildkachel, die Inhalt aufweist, der einer Ecke des Bildes entspricht, später auftritt als die periphere Bildkachel in der abtastzeilengemäßen Reihenfolge auftritt.
Beispiel 16 beinhaltet die Einrichtung nach einem der Beispiele 13 - 15. In Beispiel 16 beinhalten die mehreren Bildkacheln auch eine periphere Bildkachel, die einer Außenseite des Bildes entspricht. Die periphere Bildkachel belegt eine spätere Codierungsposition in der nichtabtastzeilengemäßen Reihenfolge als die periphere Bildkachel in der abtastzeilengemäßen Reihenfolge belegt.
Beispiel 17 beinhaltet die Einrichtung nach einem der Beispiele 13 - 15. Außerdem beinhaltet die Einrichtung von Beispiel 17 ferner Mittel zum Segmentieren des Bildes, um die mehreren Bildkacheln auszubilden.
Beispiel 18 beinhaltet die Einrichtung von Beispiel 17. In Beispiel 18 teilt das Mittel zum Segmentieren das Bild in ein Raster auf, das eine obere Reihe, eine untere Reihe und eine mittlere Reihe, eine linke Spalte, eine mittlere Spalte und eine rechte Spalte enthält. In Beispiel 18 beinhalten die mehreren Bildkacheln neun Bildkacheln. Eine erste Bildkachel ist eine am weitesten links liegende Bildkachel in der oberen Reihe des Rasters, eine zweite Bildkachel ist eine mittlere Bildkachel in der oberen Reihe, eine dritte Bildkachel ist eine am weitesten rechts liegende Bildkachel in der oberen Reihe, eine vierte Bildkachel ist eine am weitesten links liegende Bildkachel in der mittleren Reihe, eine fünfte Bildkachel ist eine mittlere Bildkachel in der mittleren Reihe, eine sechste Bildkachel ist eine am weitesten rechts liegende Bildkachel in der mittleren Reihe, eine siebte Bildkachel ist eine am weitesten links liegende Bildkachel in der unteren Reihe, die achte Bildkachel ist eine mittlere Bildkachel in der unteren Reihe und die neunte Bildkachel ist eine am weitesten rechts liegende Bildkachel in der unteren Reihe. In Beispiel 18 ist die abtastzeilengemäße Reihenfolge wie folgt: die erste Bildkachel, die zweite Bildkachel, die dritte Bildkachel, die vierte Bildkachel, die fünfte Bildkachel, die sechste Bildkachel, die siebte Bildkachel, die achte Bildkachel und die neunte Bildkachel und die erste Codierungsreihenfolge ist wie folgt: die zweite Bildkachel, die erste Bildkachel, die fünfte Bildkachel, die dritte Bildkachel, die vierte Bildkachel, die sechste Bildkachel, die achte Bildkachel, die siebte Bildkachel und die neunte Bildkachel.
Beispiel 19 beinhaltet die Einrichtung von einem der Beispiele 13 - 18. In Beispiel 19 enthalten die Bildkacheln keinen überlappenden Bildinhalt.
Beispiel 20 beinhaltet die Einrichtung von einem der Beispiele 13 - 18. In Beispiel 20 ist die Einrichtung in einer Konsole für virtuelle Realität beinhaltet und die codierten Bildkacheln werden drahtlos übertragen.
Beispiel 21 ist ein Verfahren zum Anordnen mehrerer Segmente eines Bildes zum Codieren und zur Übertragung an eine Anzeigevorrichtung. Das Verfahren von Beispiel 21 beinhaltet Anordnen der Segmente in einer Codierungsreihenfolge zum Codieren. Die Codierungsreihenfolge ist von einer abtastzeilengemäßen Reihenfolge verschieden und die Codierungsreihenfolge ist derart, dass ein mittleres Segment aus den mehreren Segmenten eine erste Position in der Codierungsreihenfolge belegen soll, wobei die erste Position vor einer zweite Position liegt, die durch das mittlere Segment in der abtastzeilengemäßen Reihenfolge belegt ist, und das mittlere Segment einer Mitte des Bildes entspricht. Beispiel 21 beinhaltet auch Codieren der Segmente in der Codierungsreihenfolge und Übertragen der codierten Segmente an die Anzeigevorrichtung in der Codierungsreihenfolge, in welcher die codierten Segmente codiert sind.
Beispiel 22 beinhaltet das Verfahren von Beispiel 21. In Beispiel 22 ist die Codierungsreihenfolge ferner derart, dass ein peripheres Segment aus den mehreren Segmenten eine dritte Position in der Reihenfolge belegen soll, wobei die dritte Position mindestens eins aus Folgenden ist: 1) einer gleichen Position, die von dem peripheren Segment in der abtastzeilengemäßen Reihenfolge belegt ist, oder 2) hinter einer vierten Position, die von dem peripheren Segment in der abtastzeilengemäßen Reihenfolge belegt ist. In Beispiel 22 hat das periphere Segment keine gemeinsame Grenze mit dem mittleren Segment.
Beispiel 23 beinhaltet das Verfahren von Beispiel 22. In Beispiel 23 ist das periphere Segment ein erstes von mehreren peripheren Segmenten und die mehreren peripheren Segmente entsprechen Ecken des Bildes.
Beispiel 24 beinhaltet das Verfahren von Beispiel 22. In Beispiel 24 ist die Codierungsreihenfolge derart, dass mindestens ein nichtperipheres Segment aus den mehreren Segmenten eine fünfte Position in der Reihenfolge belegen soll, wobei die fünfte Position vor einer sechsten Position liegt, die durch das nichtperiphere Segment in der abtastzeilengemäßen Reihenfolge belegt ist, und das mindestens eine nichtperiphere Segment eine gemeinsame Grenze mit dem mittleren Segment hat.
Beispiel 25 beinhaltet das Verfahren nach einem der Beispiele 21 - 24. Das Verfahren von Beispiel 25 beinhaltet ferner Aufteilen des Bildes zum Ausbilden der mehreren Segmente und Speichern der Segmente in einer Warteschlange in abtastzeilengemäßer Reihenfolge.
Obwohl gewisse beispielhafte Verfahren, Einrichtungen und Herstellungsgegenstände hier offenbart worden sind, ist der Schutzumfang dieses Patents nicht darauf beschränkt. Im Gegenteil schützt dieses Patent alle Verfahren, Einrichtungen und Herstellungsgegenstände, die billigermaßen in den Umfang der Ansprüche dieses Patents fallen.

Claims

Einrichtung zum Anordnen mehrerer Segmente eines Bildes zum Codieren und zur Übertragung an eine Anzeigevorrichtung, wobei die Einrichtung Folgendes umfasst: eine Segment-Anordnungsvorrichtung zum Anordnen der Segmente in einer Codierungsreihenfolge zum Codieren, wobei die Codierungsreihenfolge von einer abtastzeilengemäßen Reihenfolge verschieden ist und die Codierungsreihenfolge derart ist, dass ein mittleres Segment aus den mehreren Segmenten eine erste Position in der Codierungsreihenfolge belegen soll, wobei die erste Position vor einer zweiten Position liegt, die von dem mittleren Segment in der abtastzeilengemäßen Reihenfolge belegt ist, wobei das mittlere Segment einer Mitte des Bildes entspricht; einen Codierer zum Codieren der Segmente in der Codierungsreihenfolge; und einen drahtlosen Sender zum Übermitteln der codierten Segmente an die Anzeigevorrichtung in der Codierungsreihenfolge, in welcher die codierten Segmente codiert sind.
Einrichtung nach Anspruch 1, wobei die Codierungsreihenfolge ferner derart ist, dass ein peripheres Segment aus den mehreren Segmenten eine dritte Position in der Reihenfolge belegen soll, wobei die dritte Position mindestens eines aus Folgenden ist: 1) eine gleiche Position, die von dem peripheren Segment in der abtastzeilengemäßen Reihenfolge belegt ist, oder 2) hinter einer vierten Position, die von dem peripheren Segment in der abtastzeilengemäßen Reihenfolge belegt ist, wobei das periphere Segment keine gemeinsame Grenze mit dem mittleren Segment hat.
Einrichtung nach Anspruch 1 oder 2, wobei das periphere Segment ein erstes von mehreren peripheren Segmenten ist, wobei die mehreren peripheren Segmente Ecken des Bildes entsprechen.
Einrichtung nach einem der Ansprüche 1 bis 3, speziell nach Anspruch 2, wobei die Codierungsreihenfolge ferner derart ist, dass mindestens ein nichtperipheres Segment aus den mehreren Segmenten eine fünfte Position in der Reihenfolge belegen soll, wobei die fünfte Position vor einer sechsten Position liegt, die von dem nichtperipheren Segment in der abtastzeilengemäßen Reihenfolge belegt ist, wobei das mindestens eine nichtperiphere Segment eine gemeinsame Grenze mit dem mittleren Segment hat.
Einrichtung nach einem der Ansprüche 1 bis 4, ferner beinhaltend einen Segmentierer, um die mehreren Segmente durch Aufteilen des Bildes auszubilden, wobei der Segmentierer die mehreren Segmente in einer Warteschlange in abtastzeilengemäßer Reihenfolge speichern soll.
Einrichtung nach einem der Ansprüche 1 bis 5, speziell Anspruch 5, wobei der Segmentierer das Bild in ein Raster aufteilt, das Folgendes enthält: eine obere Reihe, eine untere Reihe und eine mittlere Reihe, eine linke Spalte, eine mittlere Spalte und eine rechte Spalte, und wobei die mehreren Segmente neun Segmente beinhalten, wobei ein erstes Segment ein am weitesten links liegendes Segment in der oberen Reihe ist, ein zweites Segment ein mittleres Segment in der oberen Reihe ist, ein drittes Segment ein am weitesten rechts liegendes Segment in der oberen Reihe ist, ein viertes Segment ein am weitesten links liegendes Segment in der mittleren Reihe ist, ein fünftes Segment ein mittleres Segment in der mittleren Reihe ist, ein sechstes Segment ein am weitesten rechts liegendes Segment in der mittleren Reihe ist, ein siebtes Segment ein am weitesten links liegendes Segment in der unteren Reihe ist, das achte Segment ein mittleres Segment in der unteren Reihe ist, das neunte Segment ein am weitesten rechts liegendes Segment in der unteren Reihe ist, wobei die abtastzeilengemäße Reihenfolge das erste Segment, das zweite Segment, das dritte Segment, das vierte Segment, das fünfte Segment, das sechste Segment, das siebte Segment, das achte Segment und das neunte Segment ist und die Codierungsreihenfolge das zweite Segment, das erste Segment, das fünfte Segment, das dritte Segment, das vierte Segment, das sechste Segment, das achte Segment, das siebte Segment und das neunte Segment ist.
Einrichtung nach einem der Ansprüche 1 bis 6, wobei die Abschnitte des Bildes keinen überlappenden Bildinhalt enthalten.
Ein oder mehrere nichtflüchtige maschinenlesbare Speichermedien, umfassend maschinenlesbare Anweisungen, die, wenn sie ausgeführt werden, einen oder mehrere Prozessoren zu mindestens Folgendem veranlassen: Anordnen eines Satzes von Bildbereichen in einer nichtabtastzeilengemäßen Reihenfolge; Codieren der Bildbereiche in der nichtabtastzeilengemäßen Reihenfolge, Verwenden der nichtabtastzeilengemäßen Reihenfolge, um zu veranlassen, dass ein mittlerer Bildbereich aus dem Satz von Bildbereichen früher codiert wird als das mittlere Bildsegment in einer abtastzeilengemäßen Reihenfolge codiert werden würde, und um zu veranlassen, dass ein peripherer Bildbereich aus dem Satz von Bildbereichen später codiert wird als der periphere Bildbereich in der abtastzeilengemäßen Reihenfolge codiert werden würde; und Zuführen, in der nichtabtastzeilengemäßen Reihenfolge, der codierten Bildbereiche an einen Sender zur Übertragung an eine Anzeigeeinheit.
Ein oder mehrere nichtflüchtige maschinenlesbare Speichermedien nach Anspruch 8, wobei der periphere Bildbereich ein erster von mehreren peripheren Bereichen ist, wobei die mehreren peripheren Bereiche Ecken des Bildes entsprechen.
Ein oder mehrere nichtflüchtige maschinenlesbare Speichermedien nach Anspruch 8, wobei die Verwendung der nichtabtastzeilengemäßen Reihenfolge ferner veranlassen soll, dass ein nichtperipherer Bildbereich aus dem Satz von Bildbereichen früher codiert wird als das nichtperiphere Bildsegment in der abtastzeilengemäßen Reihenfolge codiert werden würde.
Ein oder mehrere nichtflüchtige maschinenlesbare Speichermedien nach einem der Ansprüche 8-10, wobei die Anweisungen ferner den einen oder die mehreren Prozessoren zu Folgendem veranlassen: Aufteilen des Bildes in nichtüberlappende Bildbereiche zum Ausbilden des Satzes von Bildbereichen; und Speichern des Satzes von Bildbereichen in einer Warteschlange.
Ein oder mehrere nichtflüchtige maschinenlesbare Speichermedien nach einem der Ansprüche 8 bis 11, speziell nach Anspruch 11, wobei, zum Aufteilen des Bildes, die Anweisungen den einen oder die mehreren Prozessoren veranlassen, das Bild in ein Raster aufzuteilen, das Folgendes enthält: eine obere Reihe, eine untere Reihe und eine mittlere Reihe, eine linke Spalte, eine mittlere Spalte und eine rechte Spalte, und wobei der Satz von Bildbereichen neun Bildbereiche beinhaltet, wobei ein erster Bildbereich ein am weitesten links liegender Bildbereich in der oberen Reihe ist, ein zweiter Bildbereich ein mittlerer Bildbereich in der oberen Reihe ist, ein dritter Bildbereich ein am weitesten rechts liegender Bildbereich in der oberen Reihe ist, ein vierter Bildbereich ein am weitesten links liegender Bildbereich in der mittleren Reihe ist, ein fünfter Bildbereich ein mittlerer Bildbereich in der mittleren Reihe ist, ein sechster Bildbereich ein am weitesten rechts liegender Bildbereich in der mittleren Reihe ist, ein siebter Bildbereich ein am weitesten links liegender Bildbereich in der unteren Reihe ist, ein achter Bildbereich ein mittlerer Bildbereich in der unteren Reihe ist, ein neunter Bildbereich ein am weitesten rechts liegender Bildbereich in der unteren Reihe ist und wobei die nichtabtastzeilengemäße Reihenfolge Folgendes beinhaltet: das zweite Segment in einer ersten Position, das erste Segment in einer zweiten Position, das fünfte Segment in einer dritten Position, das dritte Segment in einer vierten Position, das vierte Segment in einer fünften Position, das sechste Segment in einer sechsten Position, das achte Segment in einer siebten Position, das siebte Segment in einer achten Position und das neunte Segment in einer neunten Position.
Einrichtung zum Anordnen von mehreren Bildkacheln, wobei die Einrichtung Folgendes umfasst: Mittel zum Positionieren der mehreren Bildkacheln in einer nichtabtastzeilengemäßen Reihenfolge, wobei die mehreren Bildkacheln eine mittlere Bildkachel, die der Mitte eines Bildes entspricht, beinhalten, wobei die mittlere Bildkachel eine frühere Codierungsposition in der nichtabtastzeilengemäßen Reihenfolge belegt als die mittlere Bildkachel in einer abtastzeilengemäßen Reihenfolge belegt; Mittel zum Codieren der mehreren Bildkacheln in der nichtabtastzeilengemäßen Reihenfolge; und Mittel zum Übertragen der codierten Bildkacheln in der nichtabtastzeilengemäßen Reihenfolge an eine Anzeige.
Einrichtung nach Anspruch 13, wobei die nichtabtastzeilengemäße Reihenfolge eine erste Codierungsreihenfolge ist, in welcher eine mittlere Bildkachel, die Inhalt aufweist, der einer Mitte des Bildes entspricht, codiert und übertragen wird, bevor die anderen aus den mehreren Bildkacheln codiert und übertragen werden.
Einrichtung nach einem der Ansprüche 13 oder 14, speziell nach Anspruch 13, wobei die nichtabtastzeilengemäße Reihenfolge eine zweite Codierungsreihenfolge ist, bei welcher eine mittlere Bildkachel, die Inhalt aufweist, der einer Mitte des Bildes entspricht, früher auftritt als die mittlere Bildkachel bei einer abtastzeilengemäßen Reihenfolge auftritt, und eine periphere Bildkachel, die Inhalt aufweist, der einer Ecke des Bildes entspricht, später auftritt als die periphere Bildkachel in der abtastzeilengemäßen Reihenfolge auftritt.
Einrichtung nach einem der Ansprüche 13 bis 15, wobei die mehreren Bildkacheln ferner eine periphere Bildkachel beinhalten, die einer Außenseite des Bildes entspricht, wobei die periphere Bildkachel eine spätere Codierungsposition in der nichtabtastzeilengemäßen Reihenfolge belegt als die periphere Bildkachel in der abtastzeilengemäßen Reihenfolge belegt.
Einrichtung nach einem der Ansprüche 13 bis 16, ferner beinhaltend Mittel zum Segmentieren des Bildes, um die mehreren Bildkacheln auszubilden.
Einrichtung nach einem der Ansprüche 13 bis 17, speziell nach Anspruch 17, wobei das Mittel zum Segmentieren das Bild in ein Raster aufteilt, das Folgendes enthält: eine obere Reihe, eine untere Reihe und eine mittlere Reihe, eine linke Spalte, eine mittlere Spalte und eine rechte Spalte, und wobei die mehreren Bildkacheln neun Bildkacheln beinhalten, wobei eine erste Bildkachel eine am weitesten links liegende Bildkachel in der oberen Reihe des Rasters ist, eine zweite Bildkachel eine mittlere Bildkachel in der oberen Reihe ist, eine dritte Bildkachel eine am weitesten rechts liegende Bildkachel in der oberen Reihe ist, eine vierte Bildkachel eine am weitesten links liegende Bildkachel in der mittleren Reihe ist, eine fünfte Bildkachel eine mittlere Bildkachel in der mittleren Reihe ist, eine sechste Bildkachel eine am weitesten rechts liegende Bildkachel in der mittleren Reihe ist, eine siebte Bildkachel eine am weitesten links liegende Bildkachel in der unteren Reihe ist, die achte Bildkachel eine mittlere Bildkachel in der unteren Reihe ist, die neunte Bildkachel eine am weitesten rechts liegende Bildkachel in der unteren Reihe ist, wobei die abtastzeilengemäße Reihenfolge Folgendes ist: die erste Bildkachel, die zweite Bildkachel, die dritte Bildkachel, die vierte Bildkachel, die fünfte Bildkachel, die sechste Bildkachel, die siebte Bildkachel, die achte Bildkachel und die neunte Bildkachel, und wobei die erste verbesserte Codierungsreihenfolge Folgendes ist: die zweite Bildkachel, die erste Bildkachel, die fünfte Bildkachel, die dritte Bildkachel, die vierte Bildkachel, die sechste Bildkachel, die achte Bildkachel, die siebte Bildkachel und die neunte Bildkachel.
Einrichtung nach einem der Ansprüche 13 bis 18, wobei die Bildkacheln keinen überlappenden Bildinhalt enthalten.
Einrichtung nach einem der Ansprüche 13 bis 19, wobei die Einrichtung in einer Konsole für virtuelle Realität beinhaltet ist und die codierten Bildkacheln drahtlos übertragen werden.
Verfahren zum Anordnen von mehreren Segmenten eines Bildes zum Codieren und zur Übertragung an eine Anzeigevorrichtung, wobei das Verfahren Folgendes umfasst: Anordnen der Segmente in einer Codierungsreihenfolge zum Codieren, wobei die Codierungsreihenfolge von einer abtastzeilengemäßen Reihenfolge verschieden ist, und wobei die Codierungsreihenfolge derart ist, dass ein mittleres Segment aus den mehreren Segmenten eine erste Position in der Codierungsreihenfolge belegen soll, wobei die erste Position vor einer zweiten Position liegt, die von dem mittleren Segment in der abtastzeilengemäßen Reihenfolge belegt ist, wobei das mittlere Segment einer Mitte des Bildes entspricht; Codieren der Segmente in der Codierungsreihenfolge; und Übermitteln der codierten Segmente an die Anzeigevorrichtung in der Codierungsreihenfolge, in welcher die codierten Segmente codiert sind.
Verfahren nach Anspruch 21, wobei die Codierungsreihenfolge ferner derart ist, dass ein peripheres Segment aus den mehreren Segmenten eine dritte Position in der Reihenfolge belegen soll, wobei die dritte Position mindestens eines aus Folgenden ist: 1) eine gleiche Position, die von dem peripheren Segment in der abtastzeilengemäßen Reihenfolge belegt ist, oder 2) hinter einer vierten Position, die von dem peripheren Segment in der abtastzeilengemäßen Reihenfolge belegt ist, und wobei das periphere Segment keine gemeinsame Grenze mit dem mittleren Segment hat.
Verfahren nach Anspruch 21 oder 22, wobei das periphere Segment ein erstes aus mehreren peripheren Segmenten ist, wobei die mehreren peripheren Segmente Ecken des Bildes entsprechen.
Verfahren nach einem der Ansprüche 21 bis 23, speziell nach Anspruch 22, wobei die Codierungsreihenfolge ferner derart ist, dass mindestens ein nichtperipheres Segment aus den mehreren Segmenten eine fünfte Position in der Reihenfolge belegen soll, wobei die fünfte Position vor einer sechsten Position liegt, die von dem nichtperipheren Segment in der abtastzeilengemäßen Reihenfolge belegt ist, und wobei das mindestens eine nichtperiphere Segment eine gemeinsame Grenze mit dem mittleren Segment hat.
Verfahren nach einem der Ansprüche 21 bis 24, ferner Folgendes beinhaltend: Aufteilen des Bildes, um die mehreren Segmente auszubilden; und Speichern der Segmente in einer Warteschlange in der abtastzeilengemäßen Reihenfolge.